Este documento presenta una introducción a las métricas alternativas (altmetrics) para medir el impacto de la investigación científica. Explica que tradicionalmente la ciencia se ha medido a través de citas y el impacto de las revistas, pero que ahora existe un entorno digital que permite nuevas formas de medir el impacto más allá de las citas, como las menciones y discusiones en redes sociales y blogs. También introduce conceptos como identificadores persistentes, ORCID y herramientas altmetrics como Plum Analytics y Altmetric.

1. Métricas alternativas e
impacto social de la
investigación
Julio Alonso Arévalo
Facultad de Traducción y Documentación
Universidad de Salamanca
alar@usal.es
Enero 2019

2. Una recomendación
Evaluación de la Investigación Científica (2635 miembros)
https://www.facebook.com/groups/351683134853230/
Grupo para compartir información sobre los sistemas, acreditación y procesos de evaluación
científica. Os rogamos que las intervenciones en el mismo se adecúen a estos principios

3. Esquema
• Introducción. Tendencias científicas
• ¿Cómo se ha medido la ciencia los últimos 60 años?
• Una ciencia más interconectada: DOIs, URIs y URLs persistentes
• ¿Qué es Altmetrics? Ventajas, Inconvenientes
• Herramientas altmetrics
• ¿Qué sitios están incorporando medidas altmétricas?
• Conclusiones

4. Esquema
• Introducción. Tendencias científicas
• ¿Cómo se ha medido la ciencia los últimos 60 años?
• Una ciencia más interconectada: DOIs, URIs y URLs persistentes
• ¿Qué es Altmetrics? Ventajas, Inconvenientes
• Herramientas altmetrics
• ¿Qué sitios están incorporando medidas altmétricas?
• Conclusiones

5. “Los medios sociales no son una moda, son un cambio
fundamental en la forma en que nos comunicamos.”
Eric Qualman

6. Un nuevo
escenario para la
ciencia
Ecosistema Digital

8. El 90% de usuarios de Internet utiliza
motores de búsqueda para
satisfacer sus necesidades de
información

9. Van Noorden, R.. (2014). Online collaboration: Scientists and the social network. Nature, 512(7513), 126-129. doi: 10.1038/512126a
El 75% de los investigadores inician su investigación desde Google

10. HUELLA DIGITAL
vs REPUTACIÓN
DIGITAL

12. La reputación científica es esencial para
los investigadores, contribuye a su
progreso, reconocimiento, obtención de
subvenciones y de becas de
investigación

13. Saber qué estrategias de identidad escoger

14. Cultivar la
reputación digital

16. Un entorno digital en
expansión impulsa
cambios en los criterios
para medir el impacto
de la investigación y
erudición

17. Esquema
• Introducción. Tendencias científicas
• ¿Cómo se ha medido la ciencia los últimos 60 años?
• Una ciencia más interconectada: DOIs, URIs y URLs persistentes
• ¿Qué es Altmetrics? Ventajas, Inconvenientes
• Herramientas altmetrics
• ¿Qué sitios están incorporando medidas altmétricas?
• Conclusiones

18. ¿Cómo se ha
medido la calidad
científica en los
últimos 60 años?

20. Medir la Calidad
Las Agencias de Evaluación y entidades financieras necesitan una medida
objetiva de la calidad de las publicaciones.
Consecuentemente existe una demanda de medidas
de este tipo

21. Medir la Calidad
• Colectiva: Impacto de la revista. En que revistas publicar
- Internacional: ISI JCR, Scopus SJCR, EriH, Latindex.
- Nacional: RESH, DICE, IN-RECS
• Individual: Número de citas: ISI WoK, Scopus, Google Scoolar
Citations

22. Cálculo

23. Argumentos en contra
En contra…
•El número de las citas no mide realmente la calidad de la
publicación, pero sí la cantidad de publicaciones
•El periodo de cálculo base para citas es muy corto
• La naturaleza de los resultados en distintas áreas de
investigación (Ciencias vs. Sociales-Humanidades)
•Sesgo Lingüístico-Geográfico revistas principalmente en
inglés de países desarrollados

24. La Declaración de San Francisco sobre
Evaluación de la Investigación (DORA)
Descargar
Una serie de temas recorren estas recomendaciones:
• la necesidad de eliminar el uso de métricas basadas en revistas, tales
como índice de impacto de revistas, en la financiación, en los nombramientos,
y en las consideraciones de promoción;
• la necesidad de evaluar la investigación por sus propios méritos y no en
base a la revista en la que se publica la investigación, y
• la necesidad de aprovechar las oportunidades que ofrece la publicación
en línea exploración de nuevos indicadores de la importancia y el impacto

25. The Leiden Manifesto for research metrics 2015
Según los autores, la obsesión de las universidades con su posición en los rankings globales
(como el de Shanghai o el Times Higher Education, por ejemplo) está amenazando con dañar el
sistema científico ya que éstas listas están basadas en datos inexactos e indicadores arbitrarios.

26. International Council of Science. (2014). [e-Book] Open access to scientific data and literature and the
assessmentof research by metrics, International Council of Science.
Texto completo
“Las nuevas tecnologías digitales y la
comunicación ubicua ofrecen oportunidades sin
precedentes para la ciencia basada en procesos
abiertos”

27. “Lo que comenzó como
un intento de cuantificar la
calidad de la investigación
se nos ha escapado de las
manos y ha cobrado vida
propia.”
Rachel Borchardt and
Matthew R. Hartings
Professor of Chemistry at American
University

28. “El artículo científico es actualmente más
parte del problema que de la solución
para la comunidad científica, y que en un
futuro no lejano se convertirá en una
cosa del pasado”
Heidi Laine, Open Knowledge Finland Open Science Working Group,

29. Esquema
• Introducción. Tendencias científicas
• ¿Cómo se ha medido la ciencia los últimos 60 años?
• Una ciencia más interconectada: DOIs, URIs y URLs persistentes
• ¿Qué es Altmetrics? Ventajas, Inconvenientes
• Herramientas altmetrics
• ¿Qué sitios están incorporando medidas altmétricas?
• Conclusiones

30. Dos aspectos clave
• Una ciencia más abierta
• Una ciencia más
interconectada
Identificadores de
documentos
Identificadores
personales

31. Interacciones científicas

32. Interacciones científicas
Las nuevas herramientas 2.0 generan estadísticas de actividad e
interacciones entre sus usuarios tales como menciones,
retweets, conversaciones, comentarios en Blogs o en Facebook;
gestores de referencias que muestran índices de popularidad de las
referencias más compartidas por otros investigadores o repositorios
que generan estadísticas de visitas, o descargas de artículos.

33. Investigación 2.0
¿Cuáles son las herramientas 2.0 más usadas por
los investigadores?

34. Enlaces persistentes

35. Todo esto se ha visto favorecido por los avances hacia una
ciencia más interconectada: DOIs, URIs y URLs persistentes
Enlaces persistentes
Enlaces persistentes
Identificadores persistentes

36. Identificadores
ORCID
ISNI
Researcher
ID
AutorID
LCNAF
VIAF

37. ORCID ES UN
HUB, UN
INTERCONEC
TOR

38. ORCID es un proyecto abierto, sin
ánimo de lucro, comunitario, que
ofrece un sistema para la
identificación inequívoca de
investigadores y un método claro
para vincular las actividades de
investigación y los productos de
estos identificadores.

39. Esquema
• Introducción. Tendencias científicas
• ¿Cómo se ha medido la ciencia los últimos 60 años?
• Una ciencia más interconectada: DOIs, URIs y URLs persistentes
• ¿Qué es Altmetrics? Ventajas, Inconvenientes
• Herramientas altmetrics
• ¿Qué sitios están incorporando medidas altmétricas?
• Conclusiones

40. Altmetrics, abreviatura
de métricas
alternativas, es una
metodología de
desarrollo rápido para
medir el impacto de
los trabajos
académicos y de
investigación
publicados en el web.

41. J. Priem, D. Taraborelli, P. Groth, C. Neylon
(2010), Altmetrics: A manifesto, 26 October 2010.

42. Métricas a
nivel de
artículo
Los investigadores, los proveedores de fondos y las instituciones
están cada vez más preocupados por el impacto y retorno de la
inversión de su trabajo. Las métricas a nivel de artículo están
diseñadas para ayudar a los autores a evaluar esto
proporcionando una mejor comprensión del alcance de un
artículo o investigación publicada, y la atención que está
recibiendo en línea.

43. Altmetrics

45. All-metrics
vs Altmetrics

46. Cómo compilan la información
Para realizar este SEGUIMIENTO de las menciones
en línea para una parte específica de la
investigación, se tienen en cuenta tres cuestiones
• Un documento fuente (artículo de revista,
informes, imágenes)
• Un identificador (DOI, RePeC, PUbMed id, Arxiv
ID, SSRN… )
• Menciones recibidas.

47. Ventajas
• Extiende el impacto más allá del ámbito académico
• Mas comprensivo
• Es menos manipulable (?)
• Cubre el impacto del comportamiento en línea
• Medidas de impacto de formatos académicos no
tradicionales
• Muestra el impacto en tiempo real
• Permite predecir el futuro impacto académico (?)
• Puede integrarse en distintos servicios y productos
(repositorio, página personal, revistas… )
• Contribuye a promocionar la identidad digital del
autor

48. El impacto de la investigación no
son únicamente los artículos…
Nuevas perspectivas de Impacto

49. Nuevas
perspectivas
de Impacto
Una perspectiva más amplia
del impacto que la ofrecida
por las herramientas
bibliométricas tradicionales

50. Métricas disponibles inmediatamente

51. Problemas
• La Inconsistencia de los datos
• Mide la influencia social, no la calidad
• Posibilidad de manipulación
• Fuentes de información a veces no muy sólidas
• Diferencias en las metodologías de recogida
entre plataformas
• Necesidad de normalización
• ¿Qué significado tiene?

52. Inconsistencia de fuentes de datos

53. Inconsistencia de metodologías
Distintas mediciones en las herramientas para el mismo documento en
función de las metodologías o actualizaciones o fuentes utilizadas

54. Posibilidad de manipulación
Los autores realizaron un experimento consistente en editar un falso
artículo científico publicado por un supuesto investigador llamado
Marco Alberto Pantani-Contador. El texto, carente de sentido alguno,
fue copiado y pegado de la página web del grupo de investigación al
que pertenecen (EC3: Evaluación de la Ciencia y de la
Comunicación Científica), y traducido al inglés con Google
Translator. Los investigadores dividieron a su vez el falso paper en
seis artículos, citando en cada uno de ellos otros 129 trabajos
científicos. El resultado no se hizo esperar: los tres autores materiales de
este experimento, a quienes Pantani-Contador citaba en su falso artículo,
vieron cómo aumentaban considerablemente sus citas en Google Scholar,

55. Fuentes a veces poco consistentes y volátiles
Connotea un gestor
de referencias de
software libre
desaparecido en
2014 era utilizado
por herramientas
altmetricas cono
altmetric.com

56. Necesidad de normalización
Altmetrics : definiciones
y casos de uso
Libro blanco sobre
evaluación de métricas
alternativas de NISO
Especial Altmetrics en ISQ:
Information
Standards Quarterly
Los nuevos métodos cuantitativos de evaluación de investigación deben ser desarrollados y validados para
extender y complementar los sistemas tradicionales de citas basados en el análisis bibliométrico. NISO el
organismo normalizador estadounidense esta en ello, un claro sifno de que altmetrics llega para quedarse

57. ¿Qué significado tiene?
¿Los tweets pueden predecir las citas? Métricas de
impacto social basado en Twitter y correlación con los
parámetros tradicionales de impacto científico.
Jason Priem*, Heather A. Piwowar**, Bradley M.
Hemminger*. Altmetrics in the Wild: Using Social
Media to Explore Scholarly Impact
http://arxiv.org/abs/1203.4745v1
Artículos con poco
impacto social a veces
reciben mucha atención
académica
El significado de que tipo de impacto miden, y si pueden
predecir el futuro impacto académico es aún incierto

58. ¿Mide la cantidad o miden la calidad?
¿Es una simple medida de
popularidad?

59. ¿En que medida Altmetrics mide la calidad de la
investigación? un estudio empírico a gran escala
basado en datos de F1000Prime.
Los resultados muestran que la altmetria opera a lo
largo de diferentes dimensiones, mientras que los
recuentos de Mendeley están relacionados con los
recuentos de citas, y los tweets forman una dimensión
diferente.
Las métricas basadas en citas y los conteos de lectores
están significativamente más relacionados con la
calidad que con los tweets.
Bornmann, L., & Haunschild, R. (2018). Do altmetrics correlate with the quality of papers? A large-scale empirical study
based on F1000Prime data. PLOS ONE, 13(5), e0197133. https://doi.org/10.1371/journal.pone.0197133

60. “Mendeley es, con mucho, la mejor fuente
general de información temprana sobre el
impacto académico. ya que, los conteos de
descargas de los artículos de las propias
revistas muchas veces no están disponibles,
los conteos de Tweets son muy poco fiables
como indicador de impacto y otros
indicadores de impacto temprano por lo
general son mucho más escasos y
deficientes. Por lo que los recuentos de los
lectores de un artículos proporcionados por
Mendeley son una de las fuentes más válidas
como evidencia para informar de las
estimaciones del impacto de las
publicaciones académicas”
Mike Thelwall

61. Esquema
• Introducción. Tendencias científicas
• ¿Cómo se ha medido la ciencia los últimos 60 años?
• Una ciencia más interconectada: DOIs, URIs y URLs persistentes
• ¿Qué es Altmetrics? Ventajas, Inconvenientes
• Herramientas altmetrics
• ¿Qué sitios están incorporando medidas altmétricas?
• Conclusiones

62. HERRAMIENTAS
Altmétricas

63. Plos ALM • http://article-level-metrics.plos.org/

67. PONDERACIÓN
Puntuación

70. Fuentes que utiliza PlumX Metrics
• Amazon
• Bit.ly
• CrossRef
• Delicious
• Dryad
• dSpace
• EBSCO
• ePrints
• Facebook
• figshare
• Github
• Goodreads
• Google+
• Medwave
• Mendeley
• PLOS
• PubMed Central
• Reddit
• Research
Blogging
• Scopus
• SlideShare
• SourceForge
• Stack Overflow
• Twitter
• USPTO
• Vimeo
• Wikipedia
• Worldcat (OCLC)
• YouTube

71. Ideograma de
PlumX, sólo
otorga datos, no
hace valoración
de la atención
recibida por la
investigacion

72. https://impactstory.org/

73. OPEN SESAME
Has publicado el 53% de su investigación en lugares de acceso abierto de oro. Este
nivel de apertura se corresponde con sólo el 4% de los investigadores.
GREATEST HITS
Su publicación más
discutida ha sido
mencionada en línea
2 veces. Su mayor
éxito es sobre lectura
digital
FOWLER FRENZY
Alguien con 3,3 mil
seguidores ha
twitteado su
investigación.
Gracias,
@jalonsoarevalo.
ALL READERS WELCOME. Su escritura tiene un nivel de lectura fácilmente comprensible en el grado
11 y superiores, sobre la base de sus resúmenes y los títulos. Eso está muy bien – ya que ayuda a los
laicos y profesionales a utilizar su investigación-. También tiene 8% en la legibilidad.

74. Esquema
• Introducción. Tendencias científicas
• ¿Cómo se ha medido la ciencia los últimos 60 años?
• Una ciencia más interconectada: DOIs, URIs y URLs persistentes
• ¿Qué es Altmetrics? Ventajas, Inconvenientes
• Herramientas altmetrics
• ¿Qué sitios están incorporando medidas altmétricas?
• Conclusiones

75. Sitios que
incorporran
altmetrics
• Nature o Science reconocen que el uso de altmetrics les ha
proporcionado una mayor cobertura de sus publicaciones en
los medios y eventualmente un mayor número de citas.
• Canales nicho como blog o revistas de poca cobertura
también reconocen que el uso de medidas altmetricas
beneficia un mayor reconocimiento y visibilidad,
construyendo estrategias más eficaces de promoción de sus
publicaciones.
• En esta misma línea, Elsevier reconoce que aquellos
artículos donde ha incluido medidas altmétricas reciben
mayor atención.
• Taylor &Francis también incluye datos almétricos en su Top
20.
• MIT Press también está incorporando medidas altmétricas
en sus publicaciones de Batches Books Series

76. Sitios que incorporran altmetrics
Los departamentos de marketing y publicación utilizan estas medidas
para poder tener datos fiables y determinar el éxito de
sus páginas, conocer la procedencia geográfica de uso y de esta
manera establecer estrategias de mercado.

77. Sitios que
incorporran
altmetrics
Altmetrics proporciona un importante potencial a las
publicaciones de aquellas áreas tradicionalmente menos
representadas en el ámbito de la medición bibliométrica
tradicional como es el caso de las Humanidades

78. Repositorios

81. En algunos registros
de SCOPUS – SCiVerse
podemos ver ya el
rosco de
Altmetric.com

82. Zenodo es un repositorio de datos impulsado por OpenAire y el CERN

83. Interacción con
ORCID

84. Beneficios para los investigadores
• Monitorizar el rendimiento de sus trabajos
• Demostrar el valor de sus publicaciones
• Descubrimiento de nuevas propuestas

85. Beneficios para los bibliotecarios
• Bibliotecas y bibliotecarios poseen la
cualificación necesaria para proporcionar en su
instrucción el uso apropiado de medidas
altmétricas con el fin de promover en la
comunidad académica global el impacto y valor
de la investigación producida en sus instituciones
• La gran cantidad de resultados de Google que
citan tanto “Libguides” y “Altmetrics” indican que
“las bibliotecas ya están incorporando
información altmétrica en los recursos para la
comunicación científica, el impacto y la gestión
de citas
• Así lo demuestra la investigación de la
universidad de Utrech sobre uso de herramientas
de medición científica
González-Fernández-Villavicencio, Nieves and Domínguez-Aroca,
María-Isabel and Calderón-Rehecho, Antonio and García-
Hernández, Pablo ¿Qué papel juegan los bibliotecarios en las
altmetrics? Anales de Documentación, 2015, vol. 18, n. 2, pp. 1-
19.

86. Esquema
• Introducción. Tendencias científicas
• ¿Cómo se ha medido la ciencia los últimos 60 años?
• Una ciencia más interconectada: DOIs, URIs y URLs persistentes
• ¿Qué es Altmetrics? Ventajas, Inconvenientes
• Herramientas altmetrics
• ¿Qué sitios están incorporando medidas altmétricas?
• Conclusiones

87. Conclusiones
finales
• una imagen más amplia y precisa del
impacto de una investigación
• La naturaleza del impacto de la
investigación es cada vez más amplia y
multifacética que nunca.
• El valor de altmetrics como una
herramienta complementaria de
análisis de citas es evidente, aunque se
sugiere que se debe investigar más
profundamente sobre esta cuestión
para desentrañar el significado

88. ACCIONES INMEDIATAS
1. Crea tu perfil en Google Académico
2. Deposita en Acceso Abierto
3. Crea tu perfil en ORCID
4. Utiliza Mendeley
5. Divulga en Redes Sociales

89. Julio Alonso Arévalo
Universidad de Salamanca
alar@usal.es