1) El documento discute las tendencias internacionales en la evaluación de la ciencia y la tecnología, incluidos los desafíos con los métodos tradicionales basados en revistas y el surgimiento de métricas alternativas como las altmetrías. 2) Propone que se debe evaluar la investigación en base a sus propios méritos más que en la revista donde se publica y ampliar la definición de contribución científica. 3) También aboga por la liberación de datos bibliográficos para generar bases de datos de citas abiertas

1. Tendencias internacionales en la
evaluación de la ciencia y la tecnología.
Bibliometría y Altmetría
Jornada de intercambio y debate sobre la medición de la producción científico-tecnológica: políticas, experiencias
y desafíos. Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET), Facultad de
Humanidades y Ciencias de la Educación, Universidad Nacional de la Plata , 3 de diciembre de 2013
Zaida Chinchilla-Rodríguez
SCImago Research Group – IPP - CSIC

2. Situación actual de la investigación
• Conference themes and Plenary Sessions:
Topic 1 Scientometrics Indicators:
- Criticism and new developments
- Their disciplinary relevance: Science and Technology, Social Sciences and Humanities
Topic 2 Old and new of data sources for scientometric studies: coverage, accuracy and
reliability
Topic 3 Citation and co-citation analysis
Topic 4 Science Policy and Research Evaluation: Quantitative and qualitative approaches
Topic 5 Measuring Innovation and Emergence incl. Patent Analysis
Topic 6 Collaboration studies
Topic 7 Webometrics
Topic 8 Visualisation and Science Mapping: tools, methods and applications
Topic 9 Management and measurement of bibliometric data within scientific organizations
Topic 10 Open Access and Scientometrics
Topic 11 Scientometrics in the History of Science
Topic 12 Sociological and philosophical issues and applications
Social Network Analysis
Introduction to ORCID
The wondrous world of bibliometric indicators:
• Citation Indicators
• Usage Indicators
• Altmetrics

3. Research Trends
Table Compound Big Datasets and their objects of study. Source: Henk F. Moed
The use of Big Datasets in bibliometric research. Research Trends, 30, september 2012

4. Desarrollo de Sistemas de Información Científica e Indicadores - SCImago

5. Total
output
Liderazgo y excelencia científica
(país o institución)
Participated
output
Output as main
contributor
Excellence
output
Exclusive
output
Author/s only from one
domain
Authors from different
domains
Excellence
Output as
main
contributor

6. Principales Indicadores Latinoamérica
Country % LAC
Cites
per
docume
nt
% Cited
docum
ents
International
collaboration
Normalized
Citation
% Output
in Q1
% Excellence % Leadership
% Excellence
with Leadership
Brazil 51,19 7,61 72,39 24,92 0,78 36,64 7,17 86,99 4,76
Mexico 17,77 7,33 66,52 38,81 0,77 39,77 7,30 78,40 3,62
ARGENTINA 11,60 9,48 75,89 41,50 0,92 48,69 8,45 76,30 4,31
Chile 7,43 10,15 74,20 52,42 0,94 46,14 9,62 68,79 4,34
Colombia 4,06 7,86 63,49 51,18 0,81 34,93 7,86 67,43 2,50
Venezuela 2,74 6,33 58,11 43,38 0,61 31,08 5,65 73,91 2,07
Cuba 2,34 4,74 48,70 40,94 0,44 24,13 4,38 75,67 1,85
Latin America 100,00 5,84 60,47 32,85 0,78 37,23 7 82,93 4,06

7. SCImago Institutions Rankings

8. Literatura científica citada en
patentes

9. Matching Scopus-Patstat

10. Producción argentina citada en patentes

11. Patentes en las que ha sido citada

12. Producción científica UNLP citada en patentes

13. SIC
Patentes
(output tecnológico )
Patentometría)
Web 2.0
(motivaciones muy hetereogéneas)
Webometría
Usometría
Altmetría
Publicaciones
(output científico)
Bibliometría
Distintas fuentes - Distintos criterios

14. Métricas alternativas
Altmetrics

15. • Críticas al modelo tradicional de evaluación y financiación científica
– Descontento generalizado de investigadores, editores y gestores de investigación científica
sobre el modelo actual (San Francisco Declaration of Research Assessment) → Factor de
impacto de las revistas, no de los artículos → Único indicador de referencia en agencias de
promoción y financiación de la investigación →Re-diseñar estrategias y criterios de evaluación
de la actividad científica
– Múltiples fuentes de recogida de datos y plataformas abiertas y gratuitas
• Auge del acceso abierto
– Criterio para la financiación de la investigación (Leyes nacionales, Comisión Europea, Welcome
Trust, NIH, Russell Group …)
– Cumplir mandato institucional
– Difusión, divulgación, democratización de la actividad científica, visibilidad…
• Mayor repercusión y visibilidad de la actividad científica
– Nuevos canales de comunicación científica → se consolida el concepto de impacto social de
la actividad investigadora? → tercera misión de las universidades? → nuevos criterios de
evaluación → pro-actividad de investigadores e instituciones

16. • 1) “La necesidad de eliminar el uso de métricas basadas en revistas, como el índice de impacto de revistas, en las consideraciones
sobre financiación, nombramientos y promoción”. Si bien la DORA contempla mecanismos de transición, su diagnóstico es inapelable:
no se trata de remendar los “abusos” o “distorsiones” del factor de impacto, sino de abandonarlo.
• 2) “La necesidad de evaluar la investigación a partir de sus propios méritos y no a partir de la revista donde se publica”. Tres aspectos
me parecen especialmente reseñables de esta perogrullada/herejía (táchese lo que no proceda): primero, el acento en trasladar este
cambio de enfoque a los investigadores en fase inicial (los más sensibles a estos índices); segundo, la ampliación de la definición de
contribución científica para abarcar los programas informáticos y los conjuntos de datos (basta ver las charlas TED de Hans Rosling para
entender por qué); y tercero, la promoción de indicadores de impacto cualitativos como la influencia en las políticas públicas y en la
práctica social. Obviamente, evaluar esto es complejo (desde luego más complejo que transcribir un índice de impacto prefijado), pero
merece la pena si con ello potenciamos el diálogo enriquecedor entre ciencia y sociedad.
• 3) Finalmente, la DORA propone a los editores de revistas “eliminar toda limitación a la reutilización del listado de referencias de los
artículos y ponerlo a libre disposición bajo la licencia Creative Commons de Dominio Público”. ¿Qué pretenden con ello? Ni más ni
menos que reeditar la apuesta por la web semántica y los datos abiertos en el campo de las métricas científicas. Aquí también la opción
por el acceso abierto frente a lo que el reciente Nobel de Medicina Randy Schekman denomina “la tiranía de las revistas de lujo” se
evidencia como perentoria. Ahora bien, aun si las revistas no fueran de acceso abierto, bastaría la libre disposición y reutilización de sus
metadatos bibliográficos para generar una base de datos de citas que abriría el código de los índices de impacto y, por ende, de las
decisiones de evaluación... ¡Sería el fin de los “resultados irreproducibles” porque cualquier persona (científica o no) podría
comprobarlos!
En suma, la DORA propone una alternativa a los índices científicos establecidos que halla resonancia en muchos otros ámbitos sociales.
Al fin y al cabo, atender a los índices es atender a las creencias, esto es, a cómo una sociedad atribuye su crédito (financiero, político,
periodístico y también científico). Y creer a ciegas no es solo la antítesis de la actitud que se nos presupone a los académicos, sino
también una amenaza antidemocrática que ningún ciudadano comprometido puede permitirse ignorar. He aquí el sentido último de mi
invitación a la necedad: si deseamos apuntar bien a la Luna, debemos impedir que, a fuerza de no mirarlos, nuestros índices se nos
vayan de las manos hasta llegar a eclipsarla.

17. • Redes sociales
– Facebook y Twitter
• Redes sociales académicas
– Academia.edu
– ResearchGate
– Mendeley
– SlideShare
• Perfiles bibliográficos
– Google Citations
– MS Academic Search
Nuevas plataformas y herramientas
Altmetrics.com

18. Nuevos indicadores
• Medidas generadas a partir de las interacciones de los usuarios con
materiales generados por los propios investigadores
– Presencia en redes académicas
– Número de veces que un trabajo se marca como favorito (bookmarking)
– Número de veces que ha sido añadido a una colección bibliográfica
– Menciones en blogs y medios de comunicación
– Número de retwits…
• Fortalezas:
– Aporta una dimensión distinta a la bibliometría convencional
– Impacto social de la investigación científica
– Proporcionan datos a nivel artículo (documento)
– Proporcionan datos en tiempo real de la repercusión de la investigación
– Especie de revisión por pares colectiva posterior a la publicación
• Debilidades:
– Son muy recientes
– Problemas de normalización para la recuperación de la información
– Disponibilidad de datos

19. Facebook

20. Twitter

21. Twitter moves open science forward in real time
Source: Darling, Emily. It’s time for scientists to tweet . The Conversation, 28 May 2013.
http://theconversation.com/its-time-for-scientists-to-tweet-14658

22. Russell Group Universities

23. Academia.edu

25.  ¿Qué es Mendeley?
 Creando tu biblioteca
 Administrando tus documentos & referencias
 Insertando citas & generando bibliografías
 Compartiendo referencias usando grupos
Agenda

26. Academia.edu

28. Perfil de institución

29. Perfil de autor en ResearchGate

30. ¿Qué es Mendeley?
Mendeley e un programa académico
gratuito (Win, Mac & Linux) para
gestionar, compartir, anotar y citar tu
bibliografía científica…
...y una red social académica para
gestionar tu bibliografía online,
descubrir tendencias y estadísticas y
conocer a otros investigadores con
intereses communes

31. Perfil de autor en Mendeley

32. ReaderMeter

34. SlideShare

35. Perfiles bibliográficos
• Dos nuevas herramientas en la evaluación de la investigación (bases de datos de
citas)
• Diferentes perfiles y funcionalidades
– Google Scholar Citations: Perfil creado por el usuario, GS lo actualiza automáticamante.
Permite añadir manual o automáticamente registros, su exportación en distintos formatos
y unificar registros duplicados
– MS Academic Search: permite editar el perfil, incorporarlo en una web externa y tienes
más funcionalidades que Google Scholar Citations
Google Scholar
scholar.google.com
MS Academic Search
academic.research.microsoft.com
Size +100 million ~40 million
Sources (Un)reliable Reliable
Current Yes No
Quality control At the source By end user

36. Google Scholar Citations

37. Ranking de perfiles UNLP

38. Perfil de autor

39. Posición de la institución por temáticas

41. Exploración de red de coautores

42. PROS
• Participación en redes
sociales y académicas
• Incremento de visibilidad
• Posibilidad de interactuar
con otros grupos
• Acceso abierto de los
documentos
• Cumplimiento de
mandato institucional
CONTRAS
• Evanescencia de los datos
y las fuentes
• Posibilidad de incurrir en
ilegalidad por los
derechos de autor
• Aumenta el trabajo del
investigador

43. Normalización y recuperación de datos
• Identificadores ORCID

46. Aumentar la visibilidad
• Incorporación repositorio institucional
• Incorporación páginas personales
• Incorporación al CV

47. Comprobar en Digital.CSIC y enlazar

48. Incorporación en páginas personales (I)

49. Incorporación en páginas personales (II)

50. Impact Story

51. Firma correo electrónico – enlazar sitios web –
modelo altmetrics en CV

52. Consejos básicos
• Enlazar nuestras páginas personales con el mayor número
posible de sitios (redes sociales, perfiles bibliograficos,
web institucionales: IPP, CSIC…) Cualquier enlace es mejor
que ninguno
• Subir todo el contenido posible (mayor probabilidad de
ser visibles) respetando los permisos de autoarchivo
• Etiquetar los grupos e intereses de investigación
• Poner perfiles o un identificador estandarizado en la firma
del correo electrónico

53. Conclusiones finales…
• Los nuevos indicadores aún no se utilizan en la evaluación pero se recomienda su incorporación
paulatina en los currícula
• Resolver problemas de normalización a nivel individual e institucional
• La nueva generación de sistemas de información científica (CRIS) y las métricas basadas en el uso y
consumo de la información, pueden aportar nuevos criterios y soluciones en la evaluación científica
• También aporta la oportunidad de que el investigador pueda incrementar la visibilidad más allá de la
publicación en revistas, ya que puede compartir en muchas otras fuentes de interés
• Cualquier indicador que complemente los que ya existen (bibliométricos, de transferencia tecnológica,
etc.) son bienvenidos y hay que explorar sus utilidades y sus limitaciones

54. Gracias !!!
UNLP, 3 de diciembre de 2013
zaida.chinchilla@csic.es