Apresentação por Lilian N. Calò, coordenadora de comunicação científica - BIREME/OPAS/OMS no contexto do Webinar 4 – Informação científica sobre COVID-19: o papel dos preprints

1. Fortalecimento das Redes de Informação em Saúde
Série de Webinars Redes BVS e BiblioSUS
A informação científica na COVID-19 e a
confiabilidade dos preprints
Dra. Lilian Calò
Comunicação Científica em Saúde
BIREME/OPAS/OMS
calolili@paho.org

2. Fonte: https://www.visualcapitalist.com/history-of-pandemics-deadliest/

5. Informação científica
Artigos publicados em periódicos científicos que relatam
resultados da pesquisa científica e observação de fenômenos da
natureza. Inclui também trabalhos apresentados em congressos e
conferências e livros científicos.
Os artigos científicos, para ser publicados, passam pelo processo
de verificação denominado revisão por pares (peer review)
Definição de peer review:
Consiste em submeter o trabalho científico ao escrutínio de um
ou mais especialistas (pares) designados pelo editor do periódico.
Estes revisores anônimos frequentemente fazem comentários ou
sugerem revisões no trabalho analisado, contribuindo para a
qualidade do trabalho a ser publicado.

6. O que esperamos da ciência em relação à pesquisa sobre
COVID-19:
Integridade da pesquisa
✓ Transparência
✓ Metodologia adequada
✓ Análise objetiva dos resultados
✓ Conclusões com base nos resultados
✓ Ausência de vieses ou conflitos de interesses
✓ Sem plágio ou dados falsificados

7. Entendimento da ciência por parte da sociedade
• Confiável
• Reprodutível
• Relevante
• Inédita
E que estas qualidades devem ser asseguradas pela avaliação por
pares
O que realmente está ao alcance da avaliação por pares?
O público, de maneira geral, interpreta “avaliação por pares”
como um selo de aprovação ou um mecanismo que tem o poder
de proteger a sociedade do caos informacional.

8. O que está ao alcance do escrutínio da avaliação por pares?
✓ Transparência nem sempre
✓ Metodologia adequada sim
✓ Análise objetiva dos resultados sim
✓ Conclusões com base nos resultados sim
✓ Ausência de vieses ou conflitos de interesses nem sempre
✓ Ausência de plágio ou dados falsificados nem sempre
✓ Reprodutibilidade não
✓ Relevância não de imediato
✓ Ineditismo nem sempre

9. Periódicos cujo tempo médio entre submissão e publicação de
artigos é de 60-140 dias (mediana 93 dias) tiveram este tempo
reduzido para ao redor de 7 dias quando se trata de artigos sobre
COVID-19
A magnitude e o impacto da pandemia certamente merece esforços
para acelerar a publicação dos resultados de pesquisa,
particularmente aqueles que podem imediatamente contribuir em
esforços para reduzir a transmissão, morbidade e mortalidade. No
entanto, a rapidez da publicação de pesquisas sobre Covid-19 causa
preocupação sobre a qualidade da base de evidencia e sobre o risco
de disseminar informação incorreta sobre a doença, com
consequências danosas para todos.
Fonte: Palayew et al. Pandemic publishing poses a new Covid-19 challenge. Nature Human
Behaviour 4:666-669,2020.

11. Preprint é um artigo científico completo que é depositado pelos autores em uma
plataforma (servidor) de acesso aberto. O preprint costuma ser a mesma ou uma versão
anterior de um manuscrito submetido a um periódico para revisão por pares e potencial
publicação.
Após uma triagem pelo editor (da plataforma ou servidor de preprint), para assegurar
que o trabalho seja de natureza científica, o artigo é publicado sem passar por avaliação
por pares e pode ser visualizado gratuitamente por qualquer pessoa. Os preprints
permitem que os cientistas controlem diretamente a disseminação de seu trabalho para a
comunidade científica mundial. Ademais, qualquer pessoa pode fazer comentários (que
são moderados) sobre o trabalho, o que funciona como peer review aberto e não
limitado à revisores convidados pelo editor. O autor pode responder aos comentários e
este diálogo, aberto a todos, é publicado na plataforma. O autor pode aproveitar os
comentários efetuados para atualizar seu artigo, assim como o faria na avaliação por
pares formal.
Na maioria dos casos, o mesmo trabalho publicado como preprint também é enviado
para um periódico e neste processo, passa pela revisão por pres. Preprints (rápidos, mas
não avaliados pelos pares) e publicação em periódicos (mais lentos, mas avaliados pelos
pares) podem funcionar em paralelo como canais de comunicação para a pesquisa
científica.

12. ArXiv – 1992 – Cornell University Library – Física, Astronomia, Matemática, Ciências da
Computação. 1,6 milhões de preprints
Figshare - 2011 – Consórcio de Universidades – Multidisciplinar > 2 milhões de preprints
bioRxiv- 2013 – Cold Spring Harbor Laboratory – Biologia e Ciências da vida. 65 mil
preprints
PeerJ Preprints – 2013 – Biologia/Medicina e Ciências da Computação.
Não confundir com o periódico PeerJ
medRxiv – 2019 - Cold Spring Harbor Laboratory – Ciências da Saúde – 10 mil preprints
ChemRxiv – 2016 – American Chemical Society
EngrXiv – 2018 – Cornell University
PsyArXiv – 2016 – Cornell University – Psicologia e Ciências da vida
SocArXiv – 2016 – Open Science Framework – Artes e Humanidades, Direito, Educação,
Ciências do Comportamento e Ciências Sociais.
2020 – Multidisciplinar – 9.800 preprints
2020 – ABEC e IBICT – Preprints provem dos periódicos
indexados na plataforma

13. 2017 2019
2017
2019
2000
2016
2017 2017
2017
2017
2005

14. Preprints em medRxiv & bioRxiv
sobre COVID-19
https://connect.medrxiv.org/rel
ate/content/181

15. https://www.medrxiv.org/content/10.1101/2020.04.14.20062463v2#disqus_thread

17. A favor e contra os preprints
- Rapidez, acesso aberto, transparência, atribuição de autoria
- Indexados pelo Google Scholar e Open Science Framework
- Artigos em repositórios tem DOI e podem ser citados
- A versão final pode ser publicada em periódicos – boa parte é
- Certos periódicos, porém, não aceitam submissão de artigos depositados
como preprints (p.ex. JAMA, NEJM)
- Lista de periódicos e políticas em relação a preprints:
https://en.wikipedia.org/wiki/List_of_academic_journals_by_preprint_policy
- Agências de fomento como o NIH, Wellcome Trust e Medical Research Council
(UK) aceitam preprints como resultado de projetos de pesquisa e como
referencias em propostas de projeto
- No Brasil, sistemas de avaliação da produção científica ainda não se
manifestaram quanto a preprints
- Facilita a disseminação de resultados negativos, controversos ou muito
inovadores
- Apenas 10% dos preprints em bioRxiv recebem comentários – este percentual
é diferente em relação à preprints sobre COVID-19.

18. “Uma série de motivações adicionais que impulsionam o aumento de preprints em
resposta à COVID-19 vão do altruísmo (tornar as descobertas disponíveis para todos) ao
egoísmo (assegurar a autoria de uma descoberta), todas elas amplificadas pelas
circunstâncias únicas da pandemia de COVID-19.”
“Os servidores bioRxiv e medRxiv incluem um disclaimer para explicar que as
descobertas comunicadas pelos preprints não devem ser consideradas conclusivas e
divulgadas na mídia como informação estabelecida. Apesar da mensagem de aviso,
preprints sobre COVID-19 receberam cobertura sem precedentes em plataformas de
mídia online”.
“O fato de que os meios de comunicação estejam reportando extensivamente notícias a
partir de preprints sobre COVID-19 representa uma mudança marcante na prática
jornalística: os preprints do bioRxiv pré-pandemia receberam, em comparação com os
artigos de periódicos, muito pouca cobertura. Essa mudança cultural oferece uma
oportunidade sem precedentes de criar uma ponte entre as comunidades científica e
jornalística para criar um consenso sobre reportar notícias de ciências utilizando
preprints, ademais de artigos de periódicos.”
Fonte: Fraser, N. et al. 2020.,Preprinting a pandemic: the role of preprints in the COVID-19
pandemic. bioRxiv. https://doi.org/10.1101/2020.05.22.111294

19. “E mais um caso de contágio de duas cepas do novo coronavírus por um
mesmo indivíduo foi registrado, dessa vez em Reno, no estado de
Nevada. Os dados foram publicados na forma de preprint (ainda sem
revisão por pares) e submetidos para publicação na revista científica
The Lancet na última quinta-feira. Na primeira vez, o paciente, um
homem de 25 anos, apresentou sintomas gripais —dor de garganta,
tosse, dor de cabeça. O paciente voltou a apresentar sintomas no dia 31
de maio, quando procurou assistência médica com quadro de febre,
diarreia, náusea e tosse. A segunda infecção, confirmada por outro
exame RT-PCR no início de junho, foi bem mais violenta, com
hospitalização, necessidade de suporte de oxigênio e danos ao pulmão.
O paciente se recuperou em 6 de junho.”

20. Artigos de periódicos sobre COVID-19
até 31.07.2020
67.753 19.789
Preprints sobre COVID-19
até 31.07.2020

21. Publicado no Lancet em 22 de maio 2020
Retratado em 5 de junho de 2020
Publicado no NEJM em 1° de maio 2020
Retratado em 4 de junho de 2020
O artigo do Lancet levou a OMS a
suspender os ensaios Solidarity sobre o
uso da hidroxicloroquina no tratamento
da COVID-19

22. RETRACTED: Wakefield, AJ. Et al. Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children. The Lancet 1998, 351
(9103)637-641. https://doi.org/10.1016/S0140-6736(97)11096-0
Artigo retratado em 2010. Dez dos 12 autores admitiram ter cometido fraude por
interesses financeiros. Houve ações judiciais do British Medical Council contra
Wakefield por violações éticas e má conduta científica.

24. E preprints, podem ser retratados ou retirados dos servidores?
Preprints, uma vez postados, não podem ser removidos pelos autores após
terem um DOI atribuído por motivos banais. Mas podem atualiza-lo inúmeras
vezes.
No entanto, o editor ou comitê consultivo do servidor de preprints pode decidir
pela edição ou remoção de um preprint por um dos seguintes motivos:
• Má conduta como plágio ou fabricação de dados
• Erros científicos sérios que não podem ser corrigidos pela atualização ou
edição do preprint
• Quando a manutenção do preprint online constituir um ato ilegal, incluindo
violação de direitos de autor
• Nestas circunstancias, os metadados do preprint geralmente são mantidos
Alguns servidores de preprints permitem a remoção de um preprint por meio
da postagem de uma nova versão do artigo, o que na verdade funciona como
uma notificação de retratação.

26. Quais são as críticas ao modelo atual de avaliação por pares?
1. Pouco fidedigno e
inconsistente
Nem sempre detecta erros, ou pode haver inconsistências
entre os informes dos pareceristas. Atribui um selo de
qualidade que muitas vezes não se justifica
2. É muito demorado e
oneroso
Dificuldade em encontrar bons pareceristas e obter pareceres
no tempo preconizado pelo processo editorial dos periódicos
3. Falta de
responsabilidades e
risco de vieses
Anonimato permite vieses sociais e de publicação. Falta de
treinamento adequado de pareceristas
4. Sem incentivo aos
pareceristas
Os pareceristas raramente recebem créditos por seu esforço.
Plataformas como Publons e ReviewerCredits buscam
preencher esta lacuna.
5. Desperdício de
esforço
O mesmo manuscrito pode ser revisado muitas vezes, à
medida que passa por ciclos de envio e reprovação. O trabalho
minucioso é descartado após a aprovação do manuscrito
Porém, é uma função muito valorizada por instituições e agências de fomento, e quando
realizada corretamente, é a melhor forma de aperfeiçoar as publicações. Para a maioria dos
pesquisadores, atuar como revisor na avaliação por pares faz parte das responsabilidades da
carreira de um cientista.

27. Open Peer
Review
Identidades abertas
Informes abertos
Interação aberta
Abrir os manuscritos previamente à revisão
Abrir a versão final aos comentarios (pós-publicação)
Plataformas abertas (third party peer review)
Reutilização de pareceres
Participação aberta
Alternativas para a avalição por pares

28. OPR
vantagens
Informes sobre
peer review
Pareceres são parte
integral do registro
do artigo
Material de
aprendizagem
Registra o trabalho do
parecerista e reconhece
sua expertise
Pareceres
construtivos
Transparência
Pareceres abertos e de
melhor qualidade
Fonte: NASSI-CALÒ, L. Potenciais vantagens e desvantagens na publicação de pareceres [online]. SciELO em Perspectiva, 2019 [viewed 04 September
2019]. Available from: https://blog.scielo.org/blog/2019/04/30/potenciais-vantagens-e-desvantagens-na-publicacao-de-pareceres/

29. OPR
desvantagens
Fonte: NASSI-CALÒ, L. Potenciais vantagens e desvantagens na publicação de pareceres [online]. SciELO em Perspectiva, 2019 [viewed 04 September 2019].
Available from: https://blog.scielo.org/blog/2019/04/30/potenciais-vantagens-e-desvantagens-na-publicacao-de-pareceres/
Pareceristas de
diferentes área reagem
diferentemente
Peer review é mais que o
relato dos pareceristas
Temor por represálias
Uso indevido dos pareceres
para avaliar pesquisadores
Uso indevido por opositores de
pesquisas controversas
Contestar a decisão final do
editor com base nas avaliações
Aspectos operacionais

30. Metas para aperfeiçoar a ciência
• Acelerar a comunicação dos resultados da pesquisa –
avaliação por pares pós publicação e preprints
• Observar as condutas éticas em pesquisa – Mentoring
adequado
• Aumentar a reprodutibilidade – Reproducibility Initiative

31. O futuro da comunicação científica
• Como o investimento em ciência pode contribuir para desenvolver
sociedades mais equitativas e sustentáveis, além dos avanços do
conhecimento científico?
• Horizon2020: Programa de pesquisa e inovação da UE 2014-2020,
adotou AA como regra para publicação dos resultados
• Plano U: Acesso universal à resultados de pesquisa via preprints
• Plano S: Acesso aberto (com APC) a resultados de pesquisa via
mandato de financiadores
• Plano T: Plano S financiado por taxas de submissão ao invés de APC

32. É importante que nós, cientistas, combatamos estes mitos de nossa
profissão como algo superior e à parte. Os mitos podem nos servir
adequadamente por pouco tempo, como justificativa para uma
estratégia de lobby – dê-nos o financiamento e nos deixe em paz, pois
sabemos o que estamos fazendo e vocês não entendem, afinal. Mas a
ciência só pode ser prejudicada a longo prazo por sua separação
autoproclamada como um sacerdócio guardando um rito sagrado
chamado método científico. A ciência é acessível a todas as pessoas
que pensam, por que aplica ferramentas universais de intelecto ao
seu material distinto. A compreensão da ciência - dificilmente é
necessário repetir a ladainha - torna-se cada vez mais crucial em um
mundo de biotecnologia, computadores e bombas.
Stephen J Gould
Time's Arrow, Time's Cycle:
Myth and Metaphor in the Discovery of Geological Time
Harvard University Press 1987