Lecture. MedSouk 2013 University of Murcia, Campus Mare Nostrum By Álvaro Cabezas (EC3 Group, University of Granada)

1. Grupo EC3
EC3metrics
Calidad de la Investigación y
métodos de medición en el actual
contexto nacional e internacional
ÁLVARO CABEZAS CLAVIJO

2. Grupo EC3
EC3metrics
Estructura del taller

3. ÍNDICE
1. CÓMO MEDIR LA INVESTIGACIÓN: LA
OMNIPRESENCIA DE LA BIBLIOMETRÍA EN LOS
PROCESOS EVALUATIVOS
2. LOS INDICADORES BIBLIOMÉTRICOS, CON
ESPECIAL ATENCIÓN AL FACTOR DE IMPACTO Y AL
ÍNDICE H
3. LOS ÍNDICES DE CITAS (WEB OF SCIENCE,
SCOPUS, GOOGLE SCHOLAR) -PRÁCTICUM4. LOS PRODUCTOS DOCUMENTALES QUE OFRECEN
INDICIOS DE CALIDAD
- DE REVISTAS (LA SOPA DE LETRAS: JCR, SJR, ULRICHS,
LATINDEX, ERIH, DICE, RESH, INREC*, CIRC,…)
- DE LIBROS (SPI, BKCI)

4. Grupo EC3
EC3metrics
1.CÓMO
1.CÓMO MEDIR LA
INVESTIGACIÓN: LA
OMNIPRESENCIA DE LA
BIBLIOMETRÍA EN LOS
PROCESOS
EVALUATIVOS

5. ¿Qué es la calidad de un trabajo científico?
Algo fácil de percibir pero difícil de medir
Consenso implícito: cualquier científico competente puede
implícito:
distinguir los trabajos buenos de los malos y clasificar unos
como mejores que otros.
No existen medidas absolutas y directas de la calidad
sino indicadores parciales
Multidimensional

6. Métodos para valorar la calidad
Cuantitativos
Cualitativos
Mixtos
* Bibliometría
* Peer Review
*Combinando los
* Indicadores I+D
* Paneles
dos anteriores

7. ¿Por qué es necesario estar familiarizado con la
bibliometría? (1/3)
Porque la mayor de las políticas científicas y la evaluación
del rendimiento científico a nivel individual en la mayoría
de países se articulan en torno a bases de datos y
productos de evaluación basados en la bibliometria
CNEAI

8. ¿Por qué es necesario estar familiarizado con la
bibliometría? (2/3)
El rendimiento en centros I+D se suele comparar a partir
de rankings basados en indicadores bibliométricos

9. ¿Por qué es necesario estar familiarizado con la
bibliometría? (3/3)
Gran parte de los recursos se asignan en la actualidad
teniendo en cuenta o con un peso importante de los
indicadores bibliométricos logrados.
Convocatoria Centros de Excelencia Severo Ochoa
Convocatoria Programa Nacional Contratación RRHH I+D

10. Presupuestos para realizar evaluaciones basadas en indicadores
bibliométricos
Los resultados
investigación se
manifiestan a
través de
publicaciones
científicas.
Al contar
publicaciones se
asume que
todas ellas
portan la misma
cantidad de
conocimiento
científico
certificado.
Todos los
firmantes de un
trabajo son
responsables de
la investigación
expuesta y han
contribuido de
igual manera a
la misma.
Las citas son
una medida
fiable y válida
de la
repercusión de
los trabajos

11. Problemas a nivel de investigador y CV
El ‘estándar’ ISI no siempre funciona
especialmente por dos razones relacionadas
con las áreas de Ciencias Sociales,
Humanidades, Arte, Derecho, etc..:
● Gran parte de las áreas no están bien
cubiertas en el set de revistas de las bases de
datos Thomson-Reuters. Son áreas con menor
grado de internacionalización.
● Estas áreas pueden tener hábitos de
publicación diferentes, es decir los libros y
capítulos tienen un valor importante y han de
ser tenidos en cuenta.

12. El problema de los ‘hábitos’
Hábitos de publicación
en la UGR durante el
quinquenio 2007-2011
en diferentes áreas
científicas
(Fuente: SICA2)
• Para respetar los hábitos de publicación de áreas como las
Humanidades, Sociales, Derecho, etc.. Se da cabida a los libros /
monografías y los capítulos de libros entre los méritos que se
pueden evaluar

13. Publicación de resultados de investigación
por tipo de documento
…pero, la publicación en revistas, cada vez más importante
RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their
findings.

14. Los hábitos informativos
Incremento en el % de citas a revistas)
Biomedicina
Psicología
Ingenierías
Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing
practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles.
J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

15. Las comunidades científicas
El tamaño
Compare peras con peras, y manzanas con manzanas. Cada disciplina tiene
patrones de publicación y citación diferenciados.
¡¡No compare a un sociólogo con un físico!!
+ Científicos = + Publicaciones = + Referencias bibliográficas = +
Indicadores bibliométricos de mayor tamaño
Mayores Impact Factor, Índice H…
Citas

16. Diferentes comportamientos según disciplina
Volúmenes y promedios de citas diferentes
Datos: España | Categorías JCR | Período 2001-2010

17. Efectos en la productividad y la citación
Nº trabajos x autor
Producción anual Investigadores muy
productivos (Población: Invest. Principales
de Proyectos Plan nacional español 2007)
Artículos ISI-WOS
año
QUIMICA
9
FISICA
8
BIOMEDICINA
6
AGRICULTURA
4
MATEMATICAS
4
PSICOLOGIA
2
ECONOMIA
1
EDUCACION
1
Nº de citas x trabajo
Web of Science
1999-2009
Media de citas por artículo y por
especialidades

18. Grupo EC3
EC3metrics
2. LOS INDICADORES
BIBLIOMETRICOS, CON
ESPECIAL ATENCIÓN AL
FACTOR DE IMPACTO Y AL
ÍNDICE H

19. Tipos de indicadores bibliométricos
PRODUCCIÓN
IMPACTO
Indicadores
Bibliométricos
s
COLABORACIÓN
INDICADORES DE
USO Y ALTMETRICS
MAPAS DE LA
CIENCIA

20. Ejemplos de indicadores bibliométricos habituales
Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos
Producción
Impacto
Colaboración
• Nº Total documentos
• Nº Total documentos
citables
• Nº de documentos por
investigador
• Nº de documentos
según posición firma
(inicial o final etc.)
• Índice de
Especialización
Temática
• Índice de Actividad
temática
• Promedio y suma del
Impacto Factor
• Factor de Impacto de
relativo
• Nº o % de documentos
por cuartil (o bien decil
y tercil) s
• Promedio de citas
• Número de citas
• Tasa Autocitación
• Citas normalizadas:
Crown Indicator,
Karolinska
• Índice H y derivados
• Tasas de colaboración
• Índice de coautoría
general
• Índice de coautoría
institucional
• Número de
Instituciones firmantes
• Patrones de
colaboración (interna,
nacional,
internacionales)
* Habría que incluir los derivados de la combinación de este con los RRHH y económicos.

21. Ejemplos de indicadores bibliométricos habituales
Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos
Uso
•
•
•
•
Descargas
Visitas
Páginas vistas
Enlaces
Mapping
• Mapas de
cocitación
• Historiogramas
• Análisis de redes
s
sociales
• Técnicas de
visualización de
información
científica (PCA,
MDS, mapas
heliocéntricos)
Altmetrics
• Lectores en
Mendeley
• Visualizaciones en
Slideshare
• Retweets en
Twitter
• Reproducciones en
Youtube
• Likes en
Facebook…

22. Indicadores de producción. Ejemplo
Ejemplo: Producción total y citable de la Univ. Navarra en WoS (se consideran ítems
citables los artículos de investigación, las revisiones, las cartas y las notas, mientras
que no citables son las editoriales, las reseñas de libros, resúmenes de congresos,… )

23. Ejemplos: Índice Actividad Temática
Índice de Actividad temática (IAT)
de la Universidad de Granada
IAT 1 = MUNDO

24. El factor de impacto
¿Qué entendemos por Factores de Impacto?
La denominación Factores de Impacto la
empleamos para referirnos a indicadores
bibliométricos destinados a valorar el impacto de
una revista científica
Además estos indicadores deben estar
construidos a partir de una fórmula que contemple
el número de citas que las revistas reciben
Asimismo no solo nos basta el número; las
revistas deben aparecer ordenadas en función de
una categoría temática de manera que podamos
conocer su posición un año determinado

25. El origen del término impacto
El origen del término impacto: años ‘60 y
’70. Construye a partir de las bases de datos
del SCI y SSCI y fue formulado por Eugene
Garfield en este articulo científico.

26. Consideraciones a tener en cuenta
• Miden la utilidad y la influencia intelectual de las
revistas científicas, aunque en ocasiones puede
equiparse a calidad no siempre es así.
•Hay que tener muy claro que miden el impacto de
la revista y no el impacto del artículo.
• Por tanto es un indicador de impacto esperado y
no observado

27. Cómo indicador de competitividad
El Factor de Impacto
como un indicador de competitividad
• Todo los investigadores aspiran y necesitan publicar gran parte
de su producción científica en revistas de “Alto Impacto”.
• Son revistas globales, nos enfrentamos a científicos de todo el
mundo
• Reciben muchos manuscritos por lo que tienen por tanto tasas de
rechazo más elevadas.
• Los procesos de revisión son más duros, más exigentes y
realizados por los mejores expertos del área.
Al contar con más manuscritos los editores tienen más donde
seleccionar y más posibilidades de contar con los mejores papers
del área, que suelen ser los más citados, por tanto lo que más
reconocimiento reciben, por tanto alcanzan un IF más elevado.

28. Otras limitaciones de los indicadores de impacto
Algunas de las limitaciones del Factor de
Impacto que debes conocer
●
●
●
●
●
●
No es representativo del índice de citación de los artículo
Es variable según la disciplina científica
Es sensible al número y el tipo de trabajos de las revistas
Puede manipularse por parte de los editores
Existe un problema con las autocitas
La ventana de citación de dos años a veces no es suficiente

29. La fórmula mágica del Factor de Impacto
2006 Impact Factor
Tiempo
2003
2004
2005
2006
2007
JCR
A: Número de citas recibidas en 2006 por los trabajos
publicados en 2004 y 2005
B: Número de trabajos publicados en 2004 y 2005
Impact Factor = A/B

30. Las alternativas al Impact Factor
CITAS REALES
CITAS CON PESOS
ÍNDICE H
CROWN INDICATOR
FACTOR DE IMPACTO NORMALIZADO
% DE ARTÍCULOS EN PRIMER CUARTIL
SCIMAGO JOURNAL RANK
Se recomienda usar siempre varios indicadores en la evaluación
de la actividad científica, a fin de superar los sesgos y
limitaciones de cada uno de ellos

31. Citas reales
Profesores, Doc. Citables por profesor, citas y
promedio de citas para el TO10 de las
universidades españolas. Absoluto Vs Relativo

32. El índice H
Un investigador tiene un índice h cuando h de sus documentos han recibido al menos
h citas cada uno, y el resto tiene no más de h citas por documento.
uno,

33. El índice H
2
Posición o
rango de los
trabajos
1
Trabajos
ordenados
según
número de
citas
3
coinciden
posición y
citas o la
posición >
citas tenemos
el H-Index
H-
9

34. El índice H
• Fortalezas
– Combina producción e impacto en un solo indicador
– Simple y sencillo de calcular y entender
• Debilidades
– Valora la carrera de un investigador:
• No existen bases de datos que contengan todos los trabajos y las citas asociadas a
las mismas• Las que existen se limitan a un número limitado de publicaciones (artículos en
revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google
Scholar).
–
–
–
–
Inadecuado para comparar a investigadores de distintas áreas científicas
Favorece a los autores senior frente a los noveles
No excluye las autocitas
Penaliza a los autores con estrategias de publicación muy selectivas: pocos
documentos y altamente citados

35. El índice H
Índice H de universidades españolas en dos campos
científicos diferentes para 2007-2011

36. CROWN Indicator
TOP Categorías de la UGR según producción citable. Se puede ver
el detalle del cálculo del CROWN INDICADOR (Citas Teóricas/Reales)

37. Factor de impacto normalizado
Ejemplo: Impacto Vs Impacto Normalizado para las categorías JCR con más
documentos de la Univ. Navarra

38. % Docs en el 1º Cuartil
Ejemplo: Producción de las universidades españolas según área de conocimiento y %
de documentos en el 1º Cuartil.

39. El ‘Scimago Journal Rank’
Sobre el indicador SJR
● Trata de medir el prestigio científico y visibilidad de las
revistas científicas. SCImago lo ha desarrollado tomando
como base el algoritmo ideado por Google para ordenar
sus resultados de búsqueda (más conocido como Google
PageRank).
● SJR: expresa el número de enlaces que una revista
recibe a través de la citación ponderada de sus
documentos en relación con el número de documentos
publicados en el año por cada publicación. La ponderación
de las citas se hace en función de las que recibe la
publicación citante.

40. Altmetrics
El contexto tecnológico e internet han
evolucionado enormemente en los
últimos años
Han surgido cientos de plataformas que permiten
compartir libremente todo tipo de información y
conectarnos a través de redes (web 2.0)
También se ha visto reflejado en la
actividad académica y científica:
•
•
•
•
•
Redes sociales académicas
Repositorios de acceso abierto
Gestores de referencias on-line
Data Sharing
etc…

41. Altmetrics
Surgen múltiples herramientas de gestión,
almacenamiento o networking en ciencia
Medios
Sociales
Gestores de
referencias
Blogs
Científicos
Repositorios
acceso abierto
• Twitter, Facebook, youtube…
• Connotea, Mendeley, Zotero..
• Researchblogging, etc..
• Artículos (Arxiv), revistas
(PLoS), datos (Dryad)..

42. Altmetrics
Qué generan estadísticas de la actividad de la
actividad e interacciones entre sus usuarios
Medios
Sociales
Gestores de
referencias
Blogs
Científicos
Repositorios
• Retweet, Like, menciones
conversaciones
• Lecturas, incorporación a
bibliografías de los usuarios
• Comentarios, enlaces
recibidos por la entrada, …
• Consultas, vistas del artículo,
descargas

43. Altmetrics
Ejemplo de indicadores obtenidos con
ImpactStory para una conferencia

44. Consejos muy básicos
Si queremos de verdad que estas métricas
funcionen con nuestros trabajos y aportaciones
académicas debemos ser activos en la web:
IMPLICA PLUS DE TIEMPO QUE
NOS SERÁ POCO RECONOCIDO
• Tendremos por ejemplo que tener cuenta/pefil en las
redes sociales habituales (Twitter o Facebook)
• Subir los trabajos a un repositorio en acceso abierto
profesional o institucional.
• Utilizar aquellas plataformas sobre las que se
construyen las métricas (slideshare, mendeley, etc..)

45. Grupo EC3
EC3metrics
3. LOS ÍNDICES DE CITAS
(WEB OF SCIENCE,
SCOPUS, GOOGLE
SCHOLAR) -PRÁCTICUM-

46. Web of Science: SCI, SSCI y AHCI
• Es la base de datos de referencia internacional para estudios
bibliométricos. Cubre las mejores revistas de todas las áreas
• La selección de las revistas se basa en la ley de Bradford y la empresa
selecciona según un protocolo muy conocido en el que las citas y el
prestigio juegan un papel esencial
• La cobertura de las revistas es cover to cover y recoge las citas de
todas las publicaciones indizadas así como los resúmenes de las
mismas aunque no en toda la extensión temporal de la base de
datos que llega a 1900
• Ofrece un variado conjunto de indicadores bibliométricos como
puede es el caso de todos aquellos incluidos en los Essential Science
Indicators (investigadores altamente citas, hot papers, indicadores
por países, …)

47. Web of Science: SCI, SSCI y AHCI
• El concepto de un índice fue desarrollado por el
doctor Eugene Garfield. El publicó su concepto
en un artículo en la revista “Science” en 1955.
• Con el apoyo del ‘National Science Foundation’
y el ‘National Institutes of Health’ el doctor
Garfield creó el Índice de Genética en 1961.
• El doctor Garfield se dio cuenta que para
investigar completamente un tema se necesitaba
una vista más global/ multidisciplinaria y creó el
Índice de Ciencias (SCI) en 1963.
SCI Print

48. Web of Science: SCI, SSCI y AHCI
La Web of Science contiene 7 bases de
datos diferentes de citas. Sin embargo para
nosotros son de interés los índices de citas
de revistas: SCI, SSCI y A&HCI
REVISTAS
● Science Citation Index Expanded
● Social Sciences Citation Index
● Arts & Humanities Citation Index
SCI-EXPANDED
SSCI
A&HCI
CONFERENCIAS
● Conference Proceedings Citation Index- Science
● Conference Proceedings Citation Index- Social Science &
Humanities
CPCI-S
CPCI-SSH
LIBROS
● Book Citation Index– Science
● Book Citation Index– Social Sciences & Humanities
BKCI-S
BKCI-SSSH

49. Web of Science: Interfaz
Interfaz que nos encontramos una vez estamos
dentro de la Web of Science

50. Web of Science: Interfaz
Campo de Búsqueda. Nos permiten seleccionar el
campo de búsqueda. Hay que controlar el campo
“Author” que nos permite buscar la producción
científica de un investigador introduciendo su
nombre (firma científica).
También nos interesa el campo ‘Topic’ y ‘Title’ que
nos permite lanzar búsquedas de temás y es
especialmente útil a la de buscar un artículo
concreto de un investigador

51. Campos sobre los que podemos hacer los filtros
Web of Science
Categories
Document Types
Subject Areas
Authors
Group Authors
Editors
Source Titles
Book Series Titles
Conference Titles
Publication Years
Institutions
Funding Agencies
Languages
Countries/Territories

52. Cited Reference Search
• Encuentra las citas a un artículo, libro, … (incluso si no
está recogido en WoS) pero ha sido citado desde las
revistas indizadas en WoS
• Ejemplo: citas recibidas por
los artículos publicados en
2007 en la revista NO ISI
Anales de Documentación

53. Cómo localizar las revistas indexadas en la WoS
• Thomson cuenta con un listado maestro (master list)
donde aparecen las revistas recogidas en sus índices
de citas http://science.thomsonreuters.com/mjl/
¡Ojo! No confundir con JCR: No todas
las revistas incluidas en WoS tienen
factor de impacto JCR

54. Web of Science: Caso práctico
CASO PRÁCTICO 1.
Buscando las citas a un trabajo científico
Human adult stem cells derived from adipose tissue protect against expe
rimental colitis and sepsis
Gonzalez-Rey, E.; Anderson, P.; Gonzalez, M. A.; et al.
GUT Vol: 58 Nº: 7 PP: 929-939
Debemos por tanto hacer una búsqueda por el
campo ‘Title’ en la Web of Science

55. Web of Science: Caso práctico
CASO PRÁCTICO 1.
Buscando las citas a un trabajo científico
2. Introducimos
título del artículo
1. Seleccionamos la
Web of Science
3. No olvidar
seleccionar campo
‘Title’
4. Pulsa
Search

56. Web of Science: Caso práctico
CASO PRÁCTICO 1.
Buscando las citas a un trabajo científico
Después de Search este sería el resultado
Si pinchamos
podríamos ver la cita
completa
NÚMERO DE CITAS
RECIBIDAS POR EL
ARTÍCUO

57. Web of Science: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science
El profesor Francisco Gónzalez Lodeiro quiere que le
busquemos su producción científica (quiere saber el
número de artículo en la base de datos) y quiere
conocer el número de citas de cada artículo
Para buscar por autor en la Web of Science tienes que buscar por
Apellidos y la Inicial del Nombre. Además tendrás que probar
varias combinaciones. Por ejemplo, en el caso de nuestro
investigador podría estar firmando con las siguiente
combinaciones:
1. Gonzalez-Lodeiro F
2. Lodeiro FG

58. Web of Science: Caso práctico
• Prueba diferentes opciones de consulta
• Por ejemplo para Daniel Torres Salinas
• Torres-Salinas D | Salinas DT | Torres D
• Limita siempre por su institución
• Por ejemplo para Daniel Torres Salinas
• Author: Torres-Salinas D AND
Adress: Univ Navarra
• Limita por años de su carrera
• Por ejemplo para Daniel Torres Salinas
• Author: Torres-Salinas D AND
Adress: Univ Navarra AND
Publication date: 2007-2012

59. Web of Science: Caso práctico
CASO PRÁCTICO 2
Buscando y analizando la producción científica de
un investigador en la Web of Science
1. Nombre del
investigador
3. Buscamos
2. Seleccionamos
Campo de
autor

60. Web of Science: Caso práctico
CASO PRÁCTICO 2
Buscando y analizando la producción científica de
un investigador en la Web of Science
2. Que automáticamente
podemos analizar si
pinchamos en la opción
Create Citation Report
1. Hemos obtenido 31
resultados/trabajos

61. Web of Science: Caso práctico
CASO PRÁCTICO 2
Buscando y analizando la producción científica de
un investigador en la Web of Science
Al pinchar en Citation Report el sistema nos genera un
informe con diversos indicadores como por ejemplo: Total
Trabajos (results found), Suma de citas (Sum of the Time
Cited) o el Promedio de citas (Average Citations per Item).

62. Precauciones generales en las búsquedas
•
•
•
•
•
Cuidado con la búsqueda por fechas
Cuidado con la sintaxis de WoS
Cuidado con los autores con dos apellidos
Cuidado con los homónimos
Cuidado con nombre regionales, abreviaturas o
“nombres artísticos”
• Cuidado con los errores de indización
• Extremo cuidado al limitar por los campos
afiliación o categoría JCR

63. SCOPUS
● La base de dato Scopus cuenta con casi 50 millones
de registros. Es una base de datos de datos mayor que
la Web of Science. Aunque solo cubre información
desde el año 1996. Incluye 17.500 revistas científicas,
que cuentan con revisión por expertos
● No solo incluye revistas científicas también podemos
encontrar otras tipologías (al igual que ocurre en la
Web of Science) como Congresos o Libros. Por ejemplo
incluye 300 series de libros y 4.4 millones de sus
registros son conferencias a congresos

64. SCOPUS
Ésta es la cobertura de la base de datos
Scopus según el número de revistas que tiene
indexada en cada una de la áreas científicas
Ciencias
Exactas y
Naturales
Ciencias de la
salud y
Biomedicina
Ciencias
Sociales y
Humanidades
Ciencias de la
Vida
6350
REVISTAS
6200
REVISTAS
5900
REVISTAS
3950
REVISTAS
Química
Oncología
Psicología
Neurociencias
Física
Enfermería
Economía
Biología
Ingeniería
Odontología
Humanidades
Bioquímica
etc
etc
etc
etc

65. SCOPUS
Ésta es la cobertura por área geográfica
comparada con la Web of Science. Vemos como
para todas las zonas tiene más revistas
EUROPA
NORTEAMÉRICA
RESTO DEL MUNDO

66. Scopus: Interfaz

67. Scopus: Interfaz
El interfaz de consulta de Scopus es muy
similar al de la Web of Science. Aunque
incluye campos de consulta diferentes
los campos son esenciales algunos
como ‘Autores’ y “Article, Title, Abstract,
Kewords’ son equivalente a la búsqueda
de autores y temas.

68. Scopus: Caso práctico
CASO PRÁCTICO 1.
Buscando las citas a un trabajo científico
Un investigador llega a la biblioteca y nos solicita
el número de citas recibidas por este trabajo
Human adult stem cells derived from adipose tissue protect against expe
rimental colitis and sepsis
Gonzalez-Rey, E.; Anderson, P.; Gonzalez, M. A.; et al.
GUT Vol: 58 Nº: 7 PP: 929-939
Debemos por tanto hacer una búsqueda por el
campo ‘Title’ en la Web of Science

69. Scopus: Caso práctico
CASO PRÁCTICO 2.
Buscando las citas a un trabajo científico
1. Nos situamos en la pestaña Document Search
2. Introducimos el título
del trabajo
3. Seleccionamos el
campo ‘Article,…
4. Pulsamos Search

70. Scopus: Caso práctico
CASO PRÁCTICO 2.
Buscando las citas a un trabajo científico
Si pinchamos
podríamos ver la cita
completa
NÚMERO DE CITAS
RECIBIDAS POR EL
ARTÍCUO

71. Scopus: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science
El profesor Evaristo Jiménez Contreras quiere que le
busquemos su producción científica (quiere saber el
número de artículo en la base de datos) y quiere
conocer el número de citas de cada artículo
Para buscar por autor en Scopus existe la
misma problemática que con el nombre de los
autores a la de la Web of Science. En este caso
nuestro hombre firma como:
Jiménez-Contreras E

72. Scopus: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science
Introducimos el nombre
del investigador
Seleccionamos el
campo Authors

73. Scopus: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science
Con la opción de View
Citation Overview
rápidamente obtenemos
un informe
La base de datos nos
devuelve los
documentos

74. Scopus: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science
Resultados del información de citación del
profesor Jiménez Contreras.

75. SCOPUS. Author evaluator

76. SCOPUS. Author evaluator

77. Google Scholar
Subproducto de Google nacido en 2004
especializado en buscar e identificar material
bibliográfico publicado de carácter científico y
académico
¿Qué podemos encontrar en Google Scholar?
1) Referencias bibliográficas con resúmenes
2) Textos completos en formato PDF o HTML
3) Citas a los trabajos científicos

78. ¿Qué tipologías documentales cubre?
Cubre
● Artículos de revistas científicas y libros
● Comunicaciones y ponencias a congresos
● Informes científico-técnicos
● Tesis, tesinas o memorias de grado
● Trabajos depositados en repositorios
● Páginas web personales o institucionales
● Cualquier publicación con resumen
No cubre
● Reseñas de libros y editoriales
● Libros de texto y monografías
● Periódicos y revistas comerciales

79. Diapositiva 78
em2
emilio delgado; 22/08/2008

80. ¿Cuáles son sus fuentes de información?
● Webs académicas, universidades y centros de I+D:
> harvard.edu 2.240.000 ; ugr.es: 17.400 docs
● Repositorios institucionales o temáticos:
> arxiv.org: 352000 ; ssrn.com: 247.000
● Editoriales comerciales:
> Elsevier - sciencedirect.com: 7.200.000
● Bibliotecas
> dialnet.unirioja.es: 2.190.000
● Servicios de distribución o almacenaje
> Ingenta - ingentaconnect.com: 640.000
● Bases de datos bibliográficas:
> Pubmed: nlm.nih.gov: 6.050.000

81. Cómo se ordenan los resultados
Cómo se ordenan los resultados?
• El número de citas es fundamental para determinar
la posición de un documento en los resultados
• EL título o el resumen del documento contiene las
palabras por las que el usuario esta buscando
• Agrupación de versiones permite recopilar todas las
citas, lo cual puede mejorar la posición

82. Fortalezas y debilidades (I)
Fortalezas
● Localiza toda la literatura especialmente la
no anglosajona que es la peor controlada por
los sistemas de información
● Especialmente útil en disciplinas que no
emplean preferentemente las revistas como
medio de comunicación: Humanidades,
Ciencias Sociales, Ingenierías…
● Encuentra CITAS a libros y a trabajos
publicados en revistas secundarias no
incorporadas a la llamada “corriente principal
de la ciencia”

83. Fortalezas y debilidades (II)
Debilidades
● No existe control de calidad de las fuentes
procesadas. Errores en el procesamiento de la
información: errores tipográficos, algoritmos
automáticos, errores en la referencias
● Falta de transparencia en el contenido de la
base de datos. Google no nos informa
exactamente de las fuentes que indexa
● Muy costosa la recuperación y el
tratamiento de los resultados de las
búsquedas. Hay que dedicar mucho tiempo a
la depuración de resultados

84. Cómo puedo conseguir que GS indexe mis trabajos
Si quiero que mi producción aparezca entre los
resultados de Google Scholar y podamos
utilizarlos para el perfil hay cuatro métodos:
1. Subir los trabajos a un repositorio
2. Subirlos a la web de la universidad
3. Indicar en el perfil de G. Scholar nuestra
web
4. Escribir a Google indicando web

85. Grupo EC3
EC3metrics
4. LOS PRODUCTOS
DOCUMENTALES QUE
OFRECEN INDICIOS DE
CALIDAD

86. Grupo EC3
EC3metrics
Productos de evaluación de
revistas

87. El ‘Journal Citation Reports’
Descripción básica
El ‘Journal Citation Reports’ es un producto
creado por el Institute for Scientific
Information. Actualmente está gestionado por la
empresa Thomson Reuters.
Abarca una cobertura internacional, tiene
registradas revistas científicas de todo el
mundo, la mayoría anglosajonas.
Actualmente podemos encontrar unas12.000
revistas científicas, distribuidas en dos
ediciones diferentes: Ciencias (SCI) y Ciencias
Sociales (SSCI) y éstas se distribuyen en 220
categorías científicas diferentes

88. El ‘Journal Citation Reports’
Para acceder tenemos
que ir a Additional Resources
1

89. El ‘Journal Citation Reports’
En la versión web solo encontramos
impactos desde el año 1997 hasta el año
2011 que es el último evaluado.
Si queremos impactos a anteriores a 1997
tenemos que consultar las antiguas ediciones
impresas del JCR

90. El ‘Journal Citation Reports’
Los indicadores que podemos encontrar
Aunque en el Journal Citation Reports podemos
encontrar muchos indicadores de citación para
las revistas científicas como por ejemplo:
-
La vida media de las revistas
Eigen Score
Cited Half Life
Otros…
A nosotros desde el punto de vista de la
evaluación de las carreras científicas lo que
nos solicitan las agencias es el Impact Factor

91. El ‘Journal Citation Reports’
Ejemplo de cálculo del Impact Factor para el
año 2011. Se trata de una simple división
Citas recibidas en 2011 por los artículos publicados en 2010 y 2009
Citas recibidas por los artículos publicados en 2010 = 297
Citas recibidas por los artículos publicados en 2009 = 493
Total Citas = 793
Número de artículos publicados en 2010 y 2009
Número de artículos publicados en 2010 = 178
Número de artículos publicados en 2009 = 203
Total Artículos = 381
IMPACT FACTOR = Citas (793) / Artículos (381) = 2.081

92. El ‘Journal Citation Reports’
Ejemplo del Ranking
1
3
Posición revista
Consulta
Categoría
2
Nos devuelve este
ranking de revistas
ordenadas por
Impact Factor

93. El ‘Journal Citation Reports’
Ejemplo de búsqueda revista
1. Seleccionar edición y opción ‘Search for a especific journal’
2. Seleccionar opción de búsqueda
3. Resultados. Pinchar y accederemos al informe de la revista
1
2
3

94. El ‘Journal Citation Reports’
Dentro de la ficha seleccionar Journal
Ranking y obtendremos todos los datos que
nos piden las agencias

95. Essential Science Indicators
Para acceder tenemos
que ir a Additional Resources
1

96. Essential Science Indicators
ESI ofrece un archivo rodante de diez años, actualizado cada dos
meses, que permite a los usuarios buscar en 22 campos específicos
de investigación:
Clasificaciones de científicos
Clasificaciones de trabajos
Clasificaciones institucionales de laboratorios de investigación
universitarios, privados y gubernamentales
Clasificaciones nacionales

97. Essential Science Indicators
• Indicadores a nivel macro de producción y citación
• Nos proporciona un marco comparativo; podemos
confrontar los registros de un investigador o institución
con áreas / países, etc
• Podemos también obtener información sobre los papers
más citados o sobre los científicos con mayor impacto

98. Essential Science Indicators

99. Essential Science Indicators
BASELINES
INTERPRETACIÓN: Un artículo publicado en 2003 en una revista de Computer
Science debe obtener al menos 12 citas para situarse entre el 10% más citado de
su disciplina y año

100. El ‘Scimago Journal Rank’
● El SCImago Journal & Country Rank es un
producto desarrollado por el grupo SCImago que
tiene en cuenta las publicaciones científicas
listadas en la base de datos SCOPUS desde 1996
● En lo que a revistas se refiere, se establece una
clasificación de acuerdo a uno o varios
parámetros: área de conocimiento, categoría
(dependiente directamente del área elegida), y
país

101. El ‘Scimago Journal Rank’
Acceso al producto, gratis desde su web
http://www.scimagojr.com/journalrank.php

102. El ‘Scimago Journal Rank’
● Aunque ofrecen
varios indicadores
nos interesa sobre
todo el SJR que es
su propuesta frente
al Impact Factor de
Thomson Reuters
● Como vemos,
también nos ofrece
directamente el dato
sobre el cuartil en
que se posiciona
cada revista

103. El ‘Scimago Journal Rank’
Ejemplo del Ranking. Opciones de consulta.
Claramente vemos como se puede hacer
rankings por Área y Tema que son los que
nos interesan en términos de evaluación

104. El ‘Scimago Journal Rank’
Ejemplo del Ranking. Resultado de la
consulta anterior ordenada según el ‘SJR’

105. El ‘Scimago Journal Rank’
Sobre el indicador SJR
● Trata de medir el prestigio científico y visibilidad de las
revistas científicas. SCImago lo ha desarrollado tomando
como base el algoritmo ideado por Google para ordenar
sus resultados de búsqueda (más conocido como Google
PageRank).
● SJR: expresa el número de enlaces que una revista
recibe a través de la citación ponderada de sus
documentos en relación con el número de documentos
publicados en el año por cada publicación. La ponderación
de las citas se hace en función de las que recibe la
publicación citante.

106. El ‘Scimago Journal Rank’
Ejemplo Práctico
Un profesor ha publicado el siguiente artículo y
necesita conocer su SJR (Scimago Journal Rank)
R. Alcalá, Y. Nojima, F. Herrera, H. Ishibuchi. Multiobjective
Genetic Fuzzy Rule Selection of Single Granularity-Based
Fuzzy Classification Rules and its Interaction with the
Lateral Tuning of Membership Functions. Foundations and
Trends in Machine Learning 15:12 (2011) 2303-2318.
Vemos como el artículo está publicado en
Foundations and Trends in Machine Learning
en el año 2011

107. El ‘Scimago Journal Rank’
Ejemplo Práctico
1. Nos vamos a la página de SJR y
seleccionamos ‘Journal Search’
2. Introducimos título y seleccionamos ‘Search’
1
2

108. El ‘Scimago Journal Rank’
Ejemplo Práctico
3. Obtenemos resultado y pinchamos
4. A continuación pinchamos en una de las
disciplinas donde se encuentra la revista
3
4

109. El ‘Scimago Journal Rank’
Ejemplo Práctico
5. podemos ver como la revista ocupa la posición
número 3 en Artificial Intelligence con un SJR de
5,601 y está situada en el primer cuartil
5

110. Google Scholar Metrics
Producto de Google que proporciona el índice h de las
revistas científicas
Nacido en 2012, elabora además rankings de revistas
científicas:
por idioma (las 100 primeras)
por disciplina (sólo para las revistas en inglés, en
este caso muestra las 20 primeras)

111. Publicaciones Top en Inglés en GSM

112. Indicadores en GSM
Ofrece el índice h de las revistas científicas, tomando en
cuenta los trabajos publicados en los últimos 5 años (en la
actualidad periodo 2007-2011), de ahí que Google lo
denomine h5
Además ofrece otro indicador, que es la mediana de las citas
recibidas por los trabajos que cuentan para el índice h. Este
indicador sirve para “desempatar” a las revistas con mismo
índice h
El indicador elegido por Google es muy dependiente del
tamaño de las revistas, por ello, las que publican mayor
número de artículos tienen más posibilidades de ocupar
lugares altos que las revistas con menor número de trabajos

113. Qué revistas indiza GSM
DEBEN CUMPLIR
2 REQUISITOS
1. Que hayan publicado al menos 100 trabajos en los 5 años
de análisis (se descartan así muchas revistas de pequeño
tamaño, en general de los campos de Humanidades y
Sociales
2. Que hayan recibido al menos una cita en el periodo de
análisis (es decir, su índice h debe ser al menos de 1)

114. Ventajas de GSM frente a WoS y Scopus
•Indiza más revistas
•Indiza más tipos documentales
•Indiza revistas de un mayor número de
países e idiomas
•Proporciona indicadores más elevados que
40.000
WOS y Scopus
•Su cobertura crece más rápidamente
19.708
•Es gratuito y de libre acceso
10.617

115. Desventajas
•No hay apenas normalización por lo que se
detectan errores en la asignación de citas
•No se pueden acceder más que al ranking
de las 20 revistas top en inglés por
disciplinas
•El indicador elegido, el índice h es un
El
indicador discutido
•Falta de transparencia acerca de las fechas
de actualización del producto
•Posibilidad de manipular los datos con
poco esfuerzo

116. Latindex
- Latindex es producto de la cooperación de una
red de instituciones que funcionan de manera
coordinada para reunir y diseminar información
bibliográfica sobre las publicaciones científicas
seriadas producidas latinoamerica. Es útil en las
áreas de Ciencias Sociales y Humanidades.
- Desde el punto de vista de la evaluación nos
interesa porque tienen un subproducto llamado
Catálogo Latindex. Es un subconjunto de las
revistas incluidas en el Directorio. Forman parte
del Catálogo solamente aquellas revistas que
cumplen con un umbral de características
editoriales establecidas por el Sistema mediante
la aplicación de criterios de calidad editorial.

117. Latindex
EL CATÁLOGO LATINDEX
Las revistas se evalúan según el cumplimento de 33 (36
en revistas electrónicas) características que se agrupan
en los siguientes grupos:
1)Características Básicas
2)Características de Presentación de las Revistas
3) Características de Gestión y Política Editorial
4) Características del contenido
Para ingresar al Catálogo la revista debe cumplir las ocho
características obligatorias y al menos 17 de las restantes
características, para un mínimo de 25 cumplidas. Si una
publicación incumple algunas de las características básicas
no ingresa al Catálogo, aún cuando la suma total de
criterios cumplidos rebase los 25

118. Latindex
Búsqueda
Hay que seleccionar el catálogo para identificar
aquellas revistas que nos interesan desde el
punto de vista de la evaluación
Cobertura por
disciplinas

119. Latindex
Cuando buscamos una
revistas nos indica
cuantos criterios cumple
y el detalle de cuales son

120. ERIH: European Index for the…
ERIH
- ‘European Reference Index for the Humanities’
es una clasificación de revistas a nivel europeo
desarrollada por la European Science
Foundation
- Detecta mediante una consulta a paneles de
expertos las mejores revistas, intentando
superar el sesgo anglosajón de otros productos
- Está orientada a las Humanidades y clasifica las
revistas científicas en tres grupos diferentes
- Ha logrado clasificar un total de 5610 revista
diferentes

121. ERIH: European Index for the…
Grupos
- Este es un indicio que se puede aportar en las
diferentes agencias de evaluación. Los grupos
en los que clasifica ERIH las revistas científicas
son los siguientes:
- NACIONAL (NAT): Son publicaciones
europeas con reconocimiento en una
determinada zona, especialmente lingüística
- INTERNACIONAL (INT): revistas europeas y
no europeas con reconocimiento y visibilidad
entre la comunidad científica. Tiene dos
subclasificaciones:
- INT1: con reconocimiento mundial
- INT2: concentrado en zona europea

122. ERIH: European Index for the…
WEB: https://www2.esf.org/asp/ERIH/Foreword/index.asp
El interfaz de
búsqueda es
bastante simple así
como los
resultados que nos
devuelve

123. ULRICHS Global Serials Directory
Ulrichsweb es una fuente de información detallada, y fácil de
usar, sobre más de 300.000 publicaciones periódicas
(también denominadas publicaciones en serie) de todo tipo:
publicaciones académicas y de investigación, revistas
electrónicas, títulos revisados por pares, revistas de gran
popularidad, periódicos, boletines informativos, etc.
A nivel de evaluación nos interesa sobre todo ya
que nos ofrece las bases de datos donde puede
estar indexada la revista científica donde ha
aparecido publicada la aportación.
Por tanto podemos ver si una revista está o no
está en una determinada base de datos.
Se puede acceder a través de la biblioteca

124. ULRICHS Global Serials Directory
Menú de búsqueda. texto libre
Resultado

125. ULRICHS Global Serials Directory
Una vez dentro
de la ficha
debemos
seleccionar la
sección
Abstracting &
Indexing. Allí
encontremos las
bases de datos.
Este dato o
indicio será útil
especialmente en
las áreas de
ciencias sociales
y humanidades

126. La Familia INREC*
ÍNDICES DE IMPACTO DE REVISTAS
ESPAÑOLAS EN CIENCIAS SOCIALES,
JURÍDICAS Y HUMANAS

127. La Familia INREC*
Índices de impacto de revistas españolas elaborados
por el grupo de investigación EC3 desde el año 2003
Índices
estadísticos
basados
en recuentos
de
referencias bibliográficas citadas en revistas científicas
españolas a fin de medir el impacto de revistas, artículos,
autores e instituciones españolas
Empleados en los procesos de promoción profesional en
la universidad española
Cubren la laguna de la evaluación de la ciencia en los
ámbitos
poco
o
al
cubiertos
por
los
índices
internacionales
http://ec3.ugr.es/in-recs/
http://ec3.ugr.es/in-recj/
http://ec3.ugr.es/in-rech/

128. Clasificación CIRC
CIRC toma las diferentes plataformas de evaluación
de revistas para crear una única clasificación de
revistas en cuatro grupos: A, B, C y D
Los principios de CIRC,
en qué se basa para su construcción
-Respeto de los criterios de evaluación de agencias
-Qué se puedan obtener indicadores bibliométricos
-Qué sea consensuado la comunidad científica bibliométrica
-Qué siga un modelo similar a los JCR

129. Clasificación CIRC: GRUPOS
A
C
Integrado por las revistas científicas
de mayor nivel. Pertenecerían al
mismo las revistas internacionales
de mayor prestigio que han
superado procesos de evaluación
muy exigentes para el ingreso en
diferentes bases de datos.
Se incluirían en este grupo las
revistas científicas españolas de
segundo orden que, o bien son
poco citadas, o bien no cumplen
con los estándares de publicación
científica. También se incluyen las
revistas internacionales de menor
relevancia.
Revistas científicas españolas de
calidad pero que no alcanzan un
alto nivel de internacionalización
aunque son revistas que reciben
cierto grado de citación y que
respetan los estándares. Asimismo
forman parte revistas científicas
internacionales con un menor
grado de prestigio
Este
último
grupo
estaría
conformado por todas aquellas
publicaciones no incluidas en
ninguna de las categorías anteriores
y, por tanto, con un dudoso status
científico.
B
D

130. Clasificación CIRC: GRUPOS
A
-SCI, SSCI O A&HCI según
los master list de 2010
-Listas ERIH con un
calificación de A
C
- 2ºC, 3ºC, 4ºC (2004-2008)
del INRECS O INRECJ
- DICE sin evaluación con
expertos
- Catálogo Latindex
- 1ºC (2004-2008) del
INRECS O INRECJ
- DICE con Peer Review e
incluidas en Latindex
-Scopus en Social y
Humanities
- ERIH como B y C
Cualquier revista que no
forma parte de todos los
productos anteriores
Revistas no científicas??
B
D

131. DICE
Producto auspiciado por ANECA y elaborado por grupo
EPUC del CSIC
Mide la difusión y calidad editorial de revistas españolas de
Ciencias Sociales, Humanas y Jurídicas

132. RESH
Producto elaborado por grupo EPUC del CSIC y EC3 de la
Universidad de Granada
Similar a DICE, además proporciona números de criterios de
calidad según Aneca y Cneai cumplidos por las revistas,
ranking según opinión de expertos e impacto acumulado
2005-2009 (tomado de INREC*)

133. Grupo EC3
EC3metrics
Productos de evaluación de libros

134. Iniciativas en la evaluación de libros y editoriales
1. Están apareciendo los primeros rankings
de editoriales basados en encuestas a
miembros de la comunidad científica
2. Los índices de citas cada vez tiene
mejor cobertura de los libros y su impacto,
nos permitirán análisis de citas globales

135. Iniciativas en la evaluación de libros y editoriales
Elaborado por el GRUPO EPUC de Elea Giménez Toledo
Encuesta 11.647 a científicos (Tasa respuesta 26%)
Indicador de Calidad de Editoriales según los Expertos (ICEE)

136. Scholarly Publishers Indicators (SPI)
● Es una ranking de editoriales construido a partir de la
opinión de más de 3000 investigadores españoles
● Por tanto se evalúa la calidad de las editoriales según
Prestigio de las editoriales según expertos españoles
● Solo se presenta para los ámbitos de Ciencias Sociales y
Humanidades
● Se presenta a nivel general un ranking de editoriales
españolas (201 editoriales) y otro internacional (208
editoriales)

137. Scholarly Publishers Indicators (SPI)
El top de las editoriales españolas según SPI
● La posición que
ocupa la editorial
se podría aportar
como indicio de
calidad de la
editorial en las
diferentes agencias
de evaluación.

138. Scholarly Publishers Indicators (SPI)
Bellas Artes
Antropología
Arqueología y Prehistoria
Documentación
Comunicación
Economía
Educación
Estudios árabes y hebraicos
Derecho
Filosofía
Geografía
Historia
Lingüística, Literatura …
Ciencias Políticas
Psicología
Sociología
● Además de los
ranking generales
contamos con
rankings específicos
por disciplinas
científicas
● En total se han
analizado 16
disciplinas científicas
diferentes

139. Book Citation Index (BKCI)
• Índice de citas de Web of Science enfocado a
libros y capítulos
• Indización selectiva. Se aspira a seleccionar
los libros de las editoriales más relevantes
del mundo
• Producto actualmente en desarrollo y
expansión
• De momento más errores y limitaciones que
aciertos

140. Distribución por áreas de libros y sus citas
Libros indexados en el BKCI y
las citas que han recibido

141. Idiomas
Oh!
96%

142. Principales editoriales del BKCI
Ranking de
editoriales del
BKCI en Ciencias
Sociales y
Humanas según
el número de
libros publicados

143. Limitaciones actuales del BKCI
• Orientación total anglosajona (lengua y
editoriales)
• Gran concentración editorial
• Ausencia de editores reputados
• Tan solo 18 editoriales construyen la base
• Poca presencia de editoriales universitarias
• Problemas agravados en Sociales &
Humanidades
• Inclusión de revistas (Annual Reviews) como
libros

144. Dicho todo esto…
si fuera editor haría todo lo posible por estar en
el BKCI
si fuera autor me gustaría publicar en editoriales
indexadas en el BKCI
si fuera una agencia empezaría a tener en
cuenta el indicio de calidad BKCI

145. Grupo EC3
EC3metrics
¡MUCHAS GRACIAS!
Calidad de la Investigación y
métodos de medición en el actual
contexto nacional e internacional
ÁLVARO CABEZAS CLAVIJO
alvaro@ec3metrics.com