Se presentan las limitaciones del análisis de citas para evaluar las publicaciones en ciencias humanas y sociales. Se definen las altmétricas como unas métricas que permiten analizar la presencia de las publicaciones científicas en las redes sociales y académicas y que pueden ser un buen complemento a las citas. Se describen las fuentes así como los principales indicadores utilizados por las altmétricas, así como las principales aplicaciones en el ámbito de las revistas científicas y en bases de datos académicas. Finalmente se realiza una valoración global de los puntos fuertes y débiles de las altmétricas así como del interés que tienen para los nuevos modelos de evaluación de publicaciones científicas que se están configurando.
4° UNIDAD 2 SALUD,ALIMENTACIÓN Y DÍA DE LA MADRE 933623393 PROF YESSENIA CN.docx
FuturoRevistasPatrimonio
1. El futuro de las revistas de patrimonio cultural
(IPHA, Sevilla, 11/12/2018)
Nuevas métricas y modelos
para evaluar las publicaciones
científicas
Ernest Abadal
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona
abadal@ub.edu
3. 1 Introducción
Las preguntas clásicas
•¿En qué podemos basarnos para evaluar la
calidad de una publicación científica?
•¿Cómo se puede medir la influencia que tiene
una publicación científica?
Los usos
•Evaluación de proyectos
•Acreditación de profesorado
…/…
3
4. 2 Modelo tradicional
Base para la evaluación de la publicación:
las citas (impacto)
Creado por E. Garfield
4
5. 2.1 Principales indicadores
Índice de impacto
•Se aplica a las revistas
•Uso extendido y gran influencia
Índice h
•Se aplica a los autores
•Se puede aplicar también a las revistas
5
6. 2.2 Valoración
A favor:
•Fácil de calcular
•Dato cuantitativo
•Objetividad
Críticas:
•El índice de impacto de la revista se asigna a
todos los artículos (aunque no todos se citan).
•Las revistas anglosajonas están mejor
representadas en las bases de datos.
•Cada disciplina tiene sus hábitos de publicación
(artículos o libros) y de citación
6
7. 3 Nuevas métricas
Lecturas (usos)
•¿Cuántas veces me han leído?
Presencia en redes sociales
•¿Cuántas veces me han compartido?
Altmétricas, inicios en 2010.
“Altmetrics is the creation and study of new
metrics based on the Social Web for analyzing,
and informing scholarship”. (altmetrics.org)
Miden la visibilidad en las redes sociales.
7
8. 3.1 Indicadores
Número de redifusiones (retuits, etc.)
Número de comentarios en blogs
Menciones (likes), etc.
Referencias en wikipedia
Dónde
•Redes sociales (Twitter, Facebook, etc.)
•Redes académicas (RG, Mendeley, etc.)
•Blogs
•Wikipedia
8
9. 3.2 Ejemplos de aplicación
Revistas:
•PLOS, Nature, etc.
Portales de revistas
•MDPI, etc.
Bases de datos
• Scopus
Repositorios
9
14. 3.3 Valoración (a favor)
Centradas en el artículo (y no en la revista)
Amplitud
•Miden la incidencia más allá de los círculos
académicos.
Diversidad
•Se pueden aplicar a todo tipo de documento.
Inmediatez
•No hay que esperar el valor anual del FI o SJR.
Gran interés para autores y editores.
14
15. 3.3 Valoración (en contra)
Normalización
•Dificultades para homogeneizar la recogida de
datos.
Volatilidad
•Los indicadores deben recogerse de manera
muy rápida porque pueden desaparecer.
Posibilidad de falsificación (gaming)
•Existencia de bots, etc.
Difíciles de comparar entre sí.
•¿Qué es mejor un retweet o un "me gusta"?
15
16. 3.4 ¿Son alternativas?
Article-metrics
•Centran su foco en el artículo (y no en la
revista).
Complementarias
•Miden elementos que no son las citas
16
17. 4 Nuevos modelos de evaluación
Contexto (frame): la ciencia abierta
•Cambio de paradigma
•Ciencia “con y para” la sociedad
•“Open science refers to a new approach to the
scientific process based on cooperative work
and new ways of disseminating knowledge,
improving accessibility to and re-usability of
research outputs by using digital technologies
and new collaborative tools.” (Comisión
Europea, 2018)
17
19. Elementos de la ciencia abierta
Publicaciones en acceso abierto
Datos abiertos
Ciencia ciudadana
Infraestructuras
…/…
Nuevos incentivos / recompensas
•Cambio de modelo en el sistema de evaluación
Objetivos: transparencia, reproducibilidad,
reusabilidad,
19
20. 4.2 Manifiestos y declaraciones
San Francisco Declaration on Research
Assessment (2012)
Leiden Manifesto (2015)
The metric tide (2015)
Next-generation metrics (2017)
Peticiones para modificar los criterios para la
evaluación de la investigación y de las
publicaciones.
20
21. DORA (Declaration on Research Assessment)
21
Evaluar a nivel de artículo.
•No usar el factor de impacto de las revistas.
Utilizar amplio conjunto de indicadores
.../...
22. The Leiden Manifesto
Batería de indicadores
mejor que un único
indicador.
Combinar indicadores
cuantitativos con
cualitativos.
La evaluación y los
indicadores tienen
efectos sistémicos en
la ciencia.
.../...
22
23. Next generation metrics
Usar indicadores a
nivel de articulo y no
de revista.
Considerar las
altmétricas.
.../...
23
24. 4.3 Valoración
Crítica al monopolio del factor de impacto
para evaluar las publicaciones.
Propuestas:
•Valorar a nivel de artículo.
•Incorporar puntos de vista cualitativos.
•Ampliar el espectro de medidas (usos, redes
sociales, etc.). Actuar con cautela hasta
asegurar la fiabilidad.
24
25. 5 Conclusiones
Nuevas métricas
•Medir los usos (lecturas y descargas) y la
visibilidad en redes sociales (no sólo las citas)
•Dudas sobre la fiabilidad
Nuevos modelos de evaluación
•Ciencia abierta, el nuevo contexto (necesidad de
reformar el sistema de incentivos)
•Utilizar métricas diversas
•Centrarse en el artículo
Apuesta a medio plazo para cambiar un sistema de
evaluación basado en el uso exclusivo de la cita.
25
26. 6 Bibliografía
BORREGO, Ángel (2014). “Altmétricas para la evaluación de la
investigación y el análisis de necesidades de información”. El
profesional de la información, julio-agosto, v. 23, n. 4, p. 352-357.
http://dx.doi.org/10.3145/epi.2014.jul.02
COMISIÓN EUROPEA (2017). Next-generation metrics: Responsible
metrics and evaluation for open science. Report of the European
Commission Expert Group on Altmetrics. (
https://ec.europa.eu/research/openscience/pdf/report.pdf)
Delgado López-Cózar, E. (2017). “Evaluar revistas científicas: un afán
con mucho presente y pasado e incierto futuro. En: Revistas científicas:
situación actual y retos de futuro. Barcelona: Ediciosn Universitat de
Barcelona, p. 73-103. (http://eprints.rclis.org/32132/)
MELERO, R. (2015). “Altmetrics: a complement to conventional
metrics”. Biochemia Medica, vol. 25, no.2, pp. 152-160. doi:
10.11613/BM.2015.016
26
27. 6 Bibliografía (ii)
ORDUÑA-MALEA, Enrique; MARTÍN-MARTÍN, Alberto; DELGADO-
LÓPEZ-CÓZAR, Emilio (2016). “The next bibliometrics: ALMetrics
(Author Level Metrics) and the multiple faces of author impact”. El
profesional de la información, vol. 25, nº 3, pp. 485-496.
(http://dx.doi.org/10.3145/epi.2016.may.18)
PRIEM, J. et al (2010). Altmetrics: a manifesto (v.1.0), 26 October
2010. http://altmetrics.org/manifesto
TORRES-SALINAS, Daniel; CABEZAS-CLAVIJO, Álvaro (2013).
“Altmetrics: no todo lo que se puede contar, cuenta”. Anuario ThinkEPI,
vol. 7, pp. 114-117.
WILSDON, J., et al. (2015). The Metric Tide: Report of the Independent
Review of the Role of Metrics in Research Assessment and
Management. doi: 10.13140/RG.2.1.4929.1363
27