• Sesión 05 | 15 de julio de 2020 • Tema: "¿Cómo mejorar el proceso de Peer Review?" • Ponente: Drª Lilian N.Calò • Grabación: https://youtu.be/O3p8ZE7vnec Más informaciones → https://lilacs.bvsalud.org/es/buenas-practicas-en-los-procesos-editoriales-de-revistas-cientificas-para-lilacs-2020/

2. Dra. Lilian N. Calò
Comunicación Científica en Salud
BIREME/OPS/OMS
calolili@paho.org
Evaluación por pares abierta: ventajas, desventajas y desafíos
Sesiones Virtuales
Buenas Prácticas en Editoración de
Revistas Científicas LILACS
15 de julio de 2020

3. Revisión
por pares
pre-publicación
Revistas
científicas
Índices de
impacto
basados em
citas
La ciencia en el siglo XX

4. Periódicos

5. 2017 2019
2017
2019
2000
2016
2017 2017
2017
2017
2005

6. Índices de impacto
Impacto
Uso
Downloads
Page views
Peer
review
Opinión de
espertos
Citas
Altmetric

7. • Críticas al modelo de peer review pre-publicación
• Sobrecarga de los revisores
• San Francisco Declaration on Research Assessment
(DORA)
• Open peer review
▪ Identidades abiertas
▪ Revisiones abiertas
▪ Evaluación post-publicación
▪ Revisores no formalmente invitados pueden dar su
opinión
• Permite generar informes y estadísticas sobre la revisión
por pares
Peer review
pre-publicación

8. Evaluación por pares
1831 – William Whewell (Royal Society) Comisión de eminentes
académicos escriben relatos sobre los artículos enviados a la revista
Phylosophical Transactions.
Objetivo: aumentar la visibilidad de la ciencia en la sociedad para
obtener recursos y reconocimiento público en Inglaterra
“Llenos de invidia, odio, malicia y falta de caridad, escondido en
alguna cámara secreta, este judiciario científico se utiliza de la
protección del anonimato para promover sus intereses personales –
quizás a través de actos de piratería indetectables – en detrimento
de autores indefensos”1
1CSISZAR, A. Peer review: Troubled from the start. Nature. 2016, vol. 532, pp. 306–308.
DOI: 10.1038/532306a

9. Evaluación por pares tradicional (prepublicación) - principales
ventajas y desventajas
ABORDAGE DESCIPCIÓN VENTAJAS DESVENTAJAS EJEMPLOS
DOBLE CIEGO
Las identidades del revisor y
autor son anónimas.
Aumenta la diversidad de
autoría en la literatura
publicada, protege a ambos
contra sesgos y es más
objetiva.
Sin embargo, está sujeto a
sesgos (autores y
revisores pueden ser
identificados por su área
de actuación) y consume
más tiempo.
Revistas de Ciencias
sociales, Nature y
alrededor de 73% de
las revistas de salud
de Brasil.
TRIPLE CIEGO
Las identidades de los
revisores, autores y editores
son mantenidas anónimas.
Elimina sesgos de todo tipo
(incluso de género), el
trabajo es evaluado
exclusivamente por su
mérito.
Es incompatible con
preprints, y consume más
tiempo del editor-jefe. Es
un modelo en el cual hace
falta transparencia en el
proceso de evaluación.
Science Matters y
pocas revistas (2%)
del área de salud de
Brasil.
Está sujeto a sesgos en
varios niveles, el autor no
está protegido, y las
opiniones no pueden ser
verificadas.
Revistas de Física y
Biomedicina, PLoS
ONE , Science y
alrededor de 25% de
las revistas de salud
de Brasil.
Los revisores tienen acceso
al contexto de otros artículos
del autor y pueden detectar
conflictos de interés; es un
proceso más eficiente.
Los revisores poseen toda la
información sobre la
identidad y afiliación del
autor, pero la recíproca no es
verdadera.
SIMPLE CIEGO

10. Criticas al modelo presente de evaluación por pares
1. Poco fidedigno e
inconsistente
Ni siempre detecta errores, o puede haber inconsistencias
entre los informes de los revisores. Asigna un sello de calidad
que a menudo no está justificado
2. Es muy lento y
costoso
Dificultad para encontrar buenos revisores y obtener
revisiones dentro del tiempo recomendado por el proceso
editorial de las revistas
3. Falta de
responsabilidades y
riesgo de sesgo
El anonimato permite sesgos sociales y de publicación. Falta
de formación adecuada de los revisores
4. Sin incentivos para
los revisores
Los revisores rara vez reciben crédito por su esfuerzo.
Plataformas como Publons y ReviewerCredits buscan llenar
esta brecha.
5. Pérdida de esfuerzo
El mismo manuscrito puede revisarse muchas veces, ya que
pasa por ciclos de presentación y desaprobación. El trabajo
detallado se descarta después de la aprobación del
manuscrito.

11. Cualquier sistema alternativo de revisión por pares debe
considerar los siguientes aspectos:
1. Control de calidad y moderación
2. Incentivos de desempeño
3. Certificación y reputación
TENNANT J.P., et al. A multi-disciplinary perspective on emergent and future innovations in peer review. F1000Research
[online]. 2017, vol. 6, no. 1151, ISSN: 2046-1402 [viewed 11 September 2017]. DOI: 10.12688/f1000research.12037.1.
Available from: https://f1000research.com/articles/6-1151/v1

12. Lo que es, para los investigadores, evaluación por pares
abierta (open peer review – OPR) ?
• Las identidades de los autores y revisores son reveladas a
ambos
• Las revisiones son publicados después de los artículos o como
documentos independientes (y enlace para los artículos) y DOI
própio
• Ambas condiciones
• No solo los revisores pueden opinar sobre los artículos
• Una variedad de combinaciones de estes y otros métodos
inovadores
1 ver próxima diapositiva

13. Open Peer
Review
Identidades abiertas
Informes abiertos
Interación abierta
Abrir los manuscritos previamente a la revisión
Abrir la versión final a los comentarios (post-publicación)
Plataformas abiertas (third party peer review)
Reutilización de revisiones
Participación abierta

14. Cual es la opinión de autores, revisores, editores y otros
interesados sobre practicas abiertas?
Resultados de la pesquisa en línea1
60,3% son favorables a OPR – todavía no ha consenso
general sobre las diferentes formas de evaluación
abierta
88,2% son favorables al acceso abierto
80,3% son favorables a los datos abiertos
76,2% todavía participaron de OPR como autores,
revisores o editores
1En 2017 – 3 062 entrevistados en todas las disciplinas (Europa, América, Ásia,
Oceania, África)
1Fontes: Ross-Hellauer, T., Deppe, A. and Schmidt, B. Survey on open peer review: Attitudes and experience amongst editors, authors and
reviewers. PLoS ONE [online]. 2017, vol.12, no.12, e0189311, ISSN: 1932-6203. DOI: 10.1371/journal.pone.0189311. Available
from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0189311

15. Cambios en la forma de evaluar la ciencia OPR
PLoS – Lanza evaluación por pares objetiva
The BMJ – Publica revisiones después del artículo y divulga la identidad
de los revisores
F1000 Research – Evaluación por pares pospublicación
PeerJ – Evaluación por pares objetiva. Las revisiones y la identidad de
los revisores son divulgados de forma opcional
eLife – Revisiones consolidadas son publicadas después del artículo y la
identidad de los revisores es divulgada
BioMed Central – Evaluación prepublicación, revisiones e identidad de
los revisores publicados después del artículo
BMC - Frontiers – Publica identidad de los revisores
BMC - EMBO journals – Revisiones abiertas, revisores anónimos,
todavía los editores son identificados

16. Revisión por pares abierta - Las identidades de autores y revisores son
conocidas. Además, este sistema permite publicar los comentarios de
los revisores e las respuestas de los autores después de los artículos.
Por ex. F1000Research e muchas revistas de BioMed Central.
Revisión por pares pós-publicación – En este tipo de revisión, los
revisores evalúan el manuscrito después de publicarlo en una
plataforma de acceso abierto. Aquí, las identidades del autor y del
revisor son conocidas y la evaluación es publicada después del artículo.
Este sistema permite que los revisores reciban créditos por su trabajo.
Por ex. Preprints
Formas alternativas de revisión por pares

17. Revisión por pares técnica - Esta forma de evaluación tiene como
objetivo eliminar un juicio de "importancia" o "relevancia",
frecuentemente un criterio importante para las revistas, de los
criterios de la revisión por pares, con un enfoque en el rigor
metodológico y un cierto grado de innovación. Por ex. PLoS
La relevancia de los resultados es relativa e no puede ser
determinada en el momento de la publicación.
Revisión por pares ‘móvil’ - Esta tiene por objetivo evitar la
necesidad de nuevos ciclos de revisión por pares siempre que un
documento sea rechazado y enviado a otra revista, enviando (con el
consentimiento del autor) el artículo y las revisiones a la nueva
revista.
Por ex. BioMedCentral y revistas de un mismo grupo editorial.

18. 1. Artículos presentados son rapidamente publicados después de
breve proceso de verificación y chequeo por el editor;
2.Revisores son formalmente invitados y pueden ser sugeridos por los
autores;
3.Revisiones, identidad de los revisores y respuesta de los autores son
publicados después del artículo;
4. Autores que no están de acuerdo con las revisiones pueden
contactar a los editores;
5. Los artículos que obtienen el status ‘Aprobado’ por 2 revisores o 2
“Aprobado con Restricciones” y 1 “Aprobado” son indexados en
PubMed Central y otras bases de datos.
6. No es posible retirar un’ artículo presentado en la revista, aunqué
el autor discorde de las revisiones. Puede modificar el artículo
hasta obtener la aprobación
Modelo 1 de evaluación por pares abierta – F1000Research

20. Modelo 2 de evaluación abierta prepublicación - Thebmj
• Revisiones y respuestas de los autores son publicados después
del artículo aprobado
• Todas las versiones del manuscrito permanecem disponibles en
línea, incluso el protocolo experimental (mandatório para los
ensayos clínicos y encorajado para otros tipos de estudio
• Revisiones de artículos no aprobados son generalmente
mantidos confidenciales, todavía los autores pueden
compartirlos confidencialmente con otras revistas, pero no la
identidad de los revisores
• El proceso de OPR lleva en media 10 semanas
• Un mismo editor asociado acompaña todo el proceso
• Los artículos estan disponibles en acceso abierto y son enviados
a PubMed Central

25. Consecuência de la apertura del proceso de peer review:
The Global State of Peer Review – 2018 - https://publons.com/community/gspr
Informe con datos de Publons, Web of Science y Scholar One
550.000 revisores
3 millones de artículos
Respuestas de 11 000 investigadores de todos los continentes
1. ¿Quien hace la evaluación por pares?
2. ¿Qué tan eficiente es el proceso??
3. ¿Lo que sabemos sobre la calidad de la evaluación por pares?
4. ¿Que nos reserva el futuro sobre la evaluación por pares y los
revisores?

26. Algunos resultados del informe:
• Los investigadores de las regiones emergentes están subrepresentados en el
proceso de revisión por pares
• El informe detectó una "creciente fatiga de los revisores": los editores deberían
invitar a más árbitros para que cada revisión se lleve a cabo
• los revisores de países desarrollados tienden a aceptar menos invitaciones y
tardan más en revisar que los de países emergentes
• Los editores tienden a invitar a revisores de sus propias regiones geográficas.
Como la mayoría de los editores provienen de regiones desarrolladas, esto
implica un sesgo en la selección de los árbitros de estas regiones.
• La longitud de las opiniones y la velocidad de respuesta son directamente
proporcionales a la FI de las revistas.
• En general, los revisores de las regiones emergentes escriben opiniones de
menos de la mitad que las de las regiones desarrolladas.
• A pesar de estas diferencias, los volúmenes de revisión de las regiones
emergentes, particularmente de China, están creciendo mucho más rápido que
las regiones desarrolladas, lo que sugiere que eventualmente se alcanzará la
paridad.
Fuente: Spinak, E. Disponible en: https://blog.scielo.org/es/2019/02/05/desde-arbitros-estrellas-a-los-arbitros-
fantasmas-parte-i/

27. 68,5 millones de horas dedicadas a la evaluación global por año
16,4 días es la mediana del tiempo dedicado a la evaluación
5 horas es la mediana del tiempo dedicado a escribir cada evaluación
477 palabras es el tamaño medio de los informes de evaluación
10% de los revisores son responsables por 50% de las evaluaciones
41% de los encuestados considera que la revisión por pares es parte de su
trabajo como investigador
75% de los editores afirman que la parte más difícil de su trabajo es
encontrar revisores dispuestos.
71% de los investigadores rechazan solicitud de evaluación pues el
artículo está fuera de su área de especialización.
42% de los investigadores rechazan solicitud de evaluación por estar
demasiadamente ocupados.
39% de los revisores nunca recibió ningún tipo de capacitación sobre
evaluación por pares

28. OPR
ventajas
Informes sobre
peer review
Pareceres son parte
integral del registro
del artículo
Material de
aprendizaje
Registra el trabajo del
revisor y reconoce su
especialidad
Revisiones
constructivas
Transparencia
Revisiones abiertas y de
mejor calidad
Fuente: NASSI-CALÒ,L. Ventajas y desventajas potenciales en la publicación de opiniones de evaluación.
https://blog.scielo.org/es/2019/04/30/ventajas-y-desventajas-potenciales-en-la-publicacion-de-opiniones-de-evaluacion/#.XwyNVyhKg2w

29. OPR
desventajas
Revisores de diferentes
área reaccionan
diferentemente
La revisión por pares es
mucho más que los
reportes de los revisores
Temor a represalias
Uso indebido de las revisiones
para evaluar investigadores
Uso indebido por opositores de
investigaciones polémicas
Hay riesgo de contestar la
decisión final del editor con
base en las evaluaciones
Aspectos operacionales
Fuente: NASSI-CALÒ,L. Ventajas y desventajas potenciales en la publicación de opiniones de evaluación.
https://blog.scielo.org/es/2019/04/30/ventajas-y-desventajas-potenciales-en-la-publicacion-de-opiniones-de-evaluacion/#.XwyNVyhKg2w

30. Movimiento del
Acceso Abierto
Creado en los años 1960
Impulsado en 1990 por la
crisis de las publicaciones
seriadas y hecho posible y
motivado por la
popularización de Internet
Movimiento de la
Ciencia Abierta
Surgió en torno del 2006
Popularizado en 2013, motivado
por la necesidad de compartir
recursos entre disciplinas y
aumentar la transparencia en
todas las etapas de la investigación

31. El futuro de la comunicación científica
• Como el investimento en la ciencia puede contribuir para
desarrollar sociedades más equitativas y sostenibles, además de los
avances del conocimiento científico?
• Horizon2020: Programa de investigación e inovación de la UE 2014-
2020, que adoptó el AA como regla para publicación de los
resultados
• Plano U: Acceso universal a los resultados de investigación via
preprints
• Plano S: Acceso abierto (con tasa de publicación, APC) a resultados
de investigación vía mandato de financiadores
• Plano T: Plano S financiado por tasas de presentación de artículos
al revés de APC

32. Metas para perfeccionar la ciencia
• Accelerar la comunicação de los resultados de investigación >>
Preprints
• Incrementar la reproducibilidad de la investigación
• Observar las conductas éticas en investigación

33. La ciencia en el siglo XXI
Datos
abiertos
Acceso
abierto
Revisión por
pares
abierta