Herramientas bibliográficas e indicadores bibliométricos para evaluar la investiagación

Manu Ruiz de Luzuriaga
Oficina de Referencia
Biblioteca
Universidad Pública de Navarra
manuel.ruiz@unavarra.es
9745

Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 2

Conocer el valor de la
investigación de la unidad
de análisis (país,
universidad,
departamento) y ver su
evolución en el tiempo
Comparar la investigación
en la unidad de análisis
con otras unidades y
tender a emular las
mejores prácticas
(benchmarking)
Sirve de apoyo para una
mejor asignación de los
recursos en los sistemas
de ciencia y tecnología
Sirve de base a decisiones
políticas tendentes a
mejorar la investigación
La evaluación de la investigación hace necesarios unos
indicadores para

1930
• Se realizan en la Unión Soviética los primeros intentos de medir la investigación
1940
• Comienza la recopilación de datos estadísticos sobre la investigación en Estados Unidos
1941-1945.
• El Proyecto Manhattan que sirvió para desarrollar la bomba atómica sirve para que se tome conciencia de la
importancia de la investigación científica.
1942
• Merton publica The Normative Structure of Science. Formula el llamado Efecto Mateo para la ciencia. Define el
conocimiento científico como comunal, universal, desinteresado y escéptico.
1945
• Vannervar Bush realiza el informe Science, Endless Frontier, donde indica que la investigación es fundalmental
para la supervivencia nacional, por razones económicas y militares. Recomienda la creación del futuro NSF.
1947
• John R. Steelman realiza lo que se conoce por Steelman Report, titulado Science and public policy : a report to
the President que sienta las bases de la política científica de los Estados Unidos.
1950
• Se crea la National Science Foundation (NSF) de Estados Unidos, que comienza a enviar periódicamente una
encuesta a las empresas para recopilar datos de la investigación desarrollada

Decada
de los 50
• La mayoría de las economías de libre mercado recogen datos sobre la investigación, generalmente por medio de encuestas.
La diversidad de estas encuestas hacía difícil la comparación de datos entre los diferentes países.
Decada
de los 50-
60
• Guerra Fría y Carrera Espacial. Impulso a la ciencia, consideración de la importancia de la investigación, estudios teóricos e
intentos de modelización de la ciencia.
1960
• Se funda la OCDE (Organización para la cooperación y el Desarrollo Económico).
1962
• Khun publica The Structure of Scientific Revolutions, define el paradigma y otra forma de entender la ciencia.
1963
• La OCDE toma a su cargo la normalización de las estadísticas referidas a I+D. En Frascati se reunen expertos en estadísticas
de los países de la OCDE, y de esa reunión surge el documento Metodología normalizada propuesta para las encuestas sobre
investigación y desarrollo experimental. Este documento se conoce como Manual de Frascati, cuya sexta edición es de 2002.
1984.
• La OCDE comienza a publicar la serie Science and Technology: Indicators Reports, sustituidos en 1988 por los Main Science
and Technology Indicators, a los que sigue un amplio número de publicaciones sobre I+D.

1989
•Suplemento del Manual de Frascati. Estadísticas de I+D y medida de los resultados en enseñanza superior. Se añadirá al Manual de
Frascati en las siguientes ediciones.
1990
•TBP Manual. Proposed Standard Method of Compiling and Interpreting Technology Balance of Payments Data. Manual de Balanza
de Pagos Tecnológicos.
1992
•Manual de Oslo publicado por la OCDE. Guía para la recogida e interpretación de datos sobre innovación tecnológica.
1993
•La UNESCO comienza a publicar el World Science Report. Más adelante, en 1999, se completará con el World Social Science
Report, que ahora lo hace con el International Social Science Council.
1994
•Manual de estadísticas de patentes publicado por la OCDE. Utilización de los datos de las patentes como indicadores de ciencia y
tecnología.
1994
•EUROSTAT presenta el European Report on S&T Indicators. Posteriormente aumentara la cobertura de ciencia y tecnología. Como
novedad, en 2008, ha publicado Science, technology and innovation in Europe en formato guía de bolsillo.
1995
•Manual de Canberra publicado por la OCDE. Manual sobre la medida de recursos humanos en ciencia y tecnología.
1996
•La UNESCO comienza a publicar The State of Science and Technology in the World, que se mantiene hasta 2001. Pasa a convertirse
en el Informe de la UNESCO sobre la Ciencia, con edición en español.
2000
•Casi todos los países occidentales desarrollan su propio observatorio de Ciencia y Tecnología. En España FECYT en 2001. Publica
regularmente Análisis sobre ciencia e innovación en España, y Indicadores bibliométricos de la actividad científica española.

7Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación
Unidad de análisis / Sistema de investigación
Entorno
Población
PIB
Presupuesto
Input
Recursos
humanos
Recursos
económicos
Output
Patentes
Impacto
Innovación

Indicadores de financiación /
inversión
Porcentaje del presupuesto
dedicado a I+D
Gasto de I+D en la industria
Gasto de I+D en la
administración
Gasto de I+D en la enseñanza
superior
Indicadores de recursos
humanos
Personal dedicado a I+D
Proporción de mujeres sobre
el total de investigadores
Proporción de investigadores
de otros países
Investigadores jóvenes

Es un análisis
fundamentalmente
económico y contable.
Sólo mide los outputs y el
impacto industrial y
económico.
No aparecen outputs e
impacto social y científico.
Aplicable a países, grupos
de países y regiones.
Si se extrapola a
universidades es poco
relevante.
Aplicable a ciertos campos
de ciencia y tecnología.
No es relevante para
ciencias sociales y
humasnidades
Sigue un modelo lineal, que
presupone que la
investigación adoptada por
el mercado es siempre
positiva para la sociedad.

1
Unidad de análisis / Sistema de investigación
Entorno
Población
PIB
Presupuesto
Input
Recursos
humanos
Recursos
económicos
Output
Patentes
Publicaciones
científicas
Impacto
Innovación
Impacto
social
Impacto
científico

1896
• Trabajo de Campbell, que usa métodos estadísticos para medir la dispersión de
las publicaciones
1917
• Trabajo de Cole & Eales, que estudia el crecimiento de la literatura en anatomía
comparada.
1923
• Trabajo de Hulme, que usa la cuenta de documentos para explicar la historia de
la ciencia y la tecnología. Usa el término ‘Statistical bibliography’
1926
• Lotka formula la Ley de Lotka. La primera ley bibliométrica.
1934
• Bradford formula la Ley de Bradford, segunda ley de la bibliometría.
1934
• Paul Otlet propone el término 'bibliometrie' para la "medición de los libros".

1948
• Ranganathan propone el termino 'librametry' como aplicación de técnicas estadísticas y
matemáticas a la gestión de los servicios bibliotecarios. (Citado por Sengupta 1992)
1949
• Zipf formula la Ley de Zipf, la tercera ley de la bibliometría.
1955
• Eugene Garfield publica su artículo A Citation Index for Science, artículo seminal del ISI, y
de los Citation Index.
1961
• Se publica Little Science, Big Science, por Derek J. de Solla Price. Formula la teoría del
crecimiento exponencial de la ciencia. Posteriormente describirá los colegios invisibles y
la Ley de Price. Es el padre de la expresión ‘Publish or Perish’
1966
• Dobrov publica Nauka o Nauke. Literalmente ‘Ciencia de la Ciencia’, que propone el
estudio científico de la ciencia
1969
• Nalimov y Mulchenko publican su obra Naukometriya, el equivalente ruso a
'scientometrics'

1969
•Pritchard, en su artículo Statistical bibliography or bibliometrics? propone el término 'bibliometrics' para
sustituir a 'statistical bibliography'.
1970
•LISA, la principal base de datos (entonces servicio de resúmenes) sobre bibliotecas, información y
documentación, incluye ‘bibliometrics' como encabezamiento.
1972
•Eugene Garfield publica su artículo Citation analysis as a tool in journal evaluation, que será el origen de los
Journal Citation Reports, también producidos por el ISI.
1978
•Se funda la revista 'Scientometrics‘ por Tibor Braun. Nalimov es el ‘Consulting Editor'. La revista pone en su
cabecera que mide 'all quantitative aspects of the science of the science, communication in science, and
science policy'.
1979
•Nacke propone el término 'informetrics', que englobaría grandes partes de scientometrics y bibliometrics, y
algunas nuevas como los usos y usuarios de la información, y la recuperación de la información.
1980
•El término 'bibliometrics' aparece en la Library of Congress Subject Heading.
2007
•Surge la revista 'Journal of Informetrics'. De su Editorial Board se infiere que pretende abarcar toda la
bibliometría (incluida la librametry) y la mayor parte de la cienciometría. Pretende abarcar investigaciones
‘duras’, de tal modo que en SCIMAGO no se incluye en la Library Science, sino en Mathematics  Statistics
and Probability.

Publicación
científica
Scientometrics
Bibliometrics Informetrics
Librametrics

BIS
(Publicación
científica)
Bibliometrics
Scientometrics
Informetrics
Librametrics
 Recuperación de la información
 Almacenamiento de la información
 Sistemas de información
 Publicación no académica
 Medios de comunicación
 Web
 Protocolos OCDE
 Recursos económicos
 Recursos humanos
 Tecnología
 Estudios de usuarios
 Rendimiento de servicios

«Hay que indicar que todos estos conceptos [bibliometría,
informetría, cienciometría, bibliotecometría] son suplementarios y
complementarios los unos de los otros. Un análisis cuidadoso de los
términos nos revelará que la principal distinción entre ellos radica
en lo que acompaña a «-metría», es decir, a la técnica de medición.
Por ejemplo, si aplicamos técnicas estadístico-matemáticas a la
organización y servicios bibliográficos, obtenemos bibliometría. Si
aplicamos esas ténicas para organizar una biblioteca y sus servicios,
generamos bibliotecometría (librametrics). Asimismo, cuando el
análisis estadístico-matemático es aplicado a los sistemas de
información y sus servicios, obtenemos infometría. Por otra parte,
cuando estas técnicas de medida son usadas en la organización de
la ciencia, obtenemos cienciometría.»
(Sengupta 1992)

• Library Science
• (Biblioteconomía)
• Bibliography
• (Bibliografía)
• Information
Science
• (Documentación)
• Science of Science
• (Historia, filososfía
y economía de la
ciencia)
Scientometrics Informetrics
LibrametricsBibliometrics

•El número de autores, An, que publican n trabajos sobre una materia es inversamente
porporcional al cuadrado de n.
Ley de Lotka (1926)
•Si las revistas científicas se ordenan en secuencia decreciente de productividad de artículos
sobre un tema dado, éstas pueden dividirse en un núcleo de revistas dedicadas más en
particular al tema y varios grupos o zonas conteniendo el mismo número de artículos que el
núcleo, donde el número de revistas en el núcleo y las zonas sucesivas estará en la relación
de 1 : n : n2:n3
Ley de Bradford (1934)
•En un texto en cualquier lengua, la frecuencia de aparición de las distintas palabras sigue una
distribución similar, de tal manera que la segunda palabra más frecuente aparecerá la mitad
de veces que la primera, la tercera, 1/3 de veces que la primera y así sucesivamente.
Ley de Zipf (1949)
•Crecimiento exponencial de la ciencia. La información científica experimenta un crecimiento
exponencial, de tal manera que se duplica en un plazo aproximado de 10-15 años.
Ley de Price (1961)

Ley de Lotka
• El número de autores, An, que publican n trabajos
sobre una materia es inversamente proporcional al
cuadrado de n.
Se formula:
• An = A1/n2
Explicación
•An es el número de autores que corresponden a determinado número
de artículos aplicando la Ley de Lotka (autores esperados)
•A1 son el número de autores con un solo trabajo.
• n es el número de artículos para el que queremos calcular los autores
esperados (An).

0
20
40
60
80
100
120
140
160
180
41 27 25 24 20 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1
Autore reales
Autore esperados
Artículos Autores reales Autores esperados
41 1 0
27 1 0
25 1 0
24 1 0
20 1 0
15 2 1
14 2 1
13 1 1
12 1 1
11 4 1
10 2 2
9 2 2
8 6 3
7 4 3
6 7 5
5 11 7
4 15 10
3 19 18
2 32 41
1 163 163
Artículos de investigadores de la UPNA en el área de Food Science
ISI Web of Science
y = 163/x2

•Si un conjunto de revistas se dispone en orden decreciente, de acuerdo con la cantidad de
artículos que contengan sobre un tema dado, éstas se pueden dividir en un núcleo de
publicaciones más específicamente dedicadas al tema y en varias zonas que agrupan
aproximadamente igual número de artículos que el núcleo, mientras que los conjuntos de
revistas que es necesario vaciar aumentan en progresión geométrica del tipo 1:n:n2:n3...
Ley de
Bradford
•No tiene una expresión matemática clara, y varían tanto los tamaños del núcleo como los
multiplicadores, aunque la tendencia siempre es la mismaFórmula
•Para los bibliotecarios es la ley bibliométrica más útil, pues proporciona un modelo sobre
la distribución de la literatura sobre un tema.Utilidad
•80% - 20%
•Artículos progresión aritmética; revistas progresión geométrica
Otras
formulaciones

Nº revistas Nº
Artículos
por
revista
Revistas
acumuladas,
r
Artículos
acumulados,
R(r)
1 22 1 22
1 18 2 40
1 15 3 55
2 13 5 81
2 10 7 101
1 9 8 110
3 8 11 134
3 7 14 155
1 6 15 161
7 5 22 196
2 4 24 204
13 3 37 243
25 2 62 293
102 1 164 395
Datos originales de Bradford sobre revistas de
geofísica en 1934

0
200
400
600
800
1000
1200
1400
1600
1 10 100
r, revistas
R(r),artículos
Inflexión de Groos
Núcleo
Fracción recta

Revistas Artículos % revistas % Artículos
6 6841 0,42% 9,93%
16 13714 1,11% 19,90%
32 20641 2,22% 29,95%
53 27347 3,68% 39,69%
82 34266 5,70% 49,73%
120 41049 8,34% 59,57%
182 47915 12,65% 69,53%
287 54788 19,94% 79,51%
474 61678 32,94% 89,51%
1439 68910 100,00% 100,00%
Uso de las revistas de Science Direct en la UPNA, en 2010
0
10000
20000
30000
40000
50000
60000
70000
80000
1 10 100 1000 10000
Revistas
Núcleo
Fracción recta
Inflexión de Groos
r1 r2 r3 r4

• En un texto en cualquier lengua, la frecuencia de aparición de las
distintas palabras sigue una distribución similar, de tal manera que la
segunda palabra más frecuente aparecerá la mitad de veces que la
primera, la tercera, 1/3 de veces que la primera y así sucesivamente.
Ley de Zipf
• Fn = C/n
Fórmula
• Fn es la frecuencia de un término situado en el lugar n por orden de
frecuencia
• C es una constante fijada empíricamente
• N es el orden del término
Explicación

Términos Apariciones
1 601
10 2366
100 4804
1000 7083
1605 7688
y = 1006.3ln(x) + 178.14
R² = 0.9988
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
1 10 100 1000 10000
Términos
Apariciones
Aplicación de la Ley de Zipf al artículo:
Puente Lanzarote, L., del Campo Hilario, C., & Ruiz de Luzuriaga Peña, M. Indicadores de
rendimiento para la evaluación de un servicio de bases de datos en línea, 2001. In Scire:
Representación y organización del conocimiento. Universidad de Zaragoza. pp.89-114.

Término Apariciones
de 601
el 324
la 263
en 222
que 213
los 185
del 173
y 148
se 136
servicio 101
a 100
las 96
un 93
indicador 85
por 81
indicadores 71
para 71
con 65
una 64
sabdl 56
como 53
es 53
no 49
o 49
rendimiento 49
gasto 47
evaluación 42
número 42
consultas 39
al 35
usuario 35
satisfacción 33
datos 32
lo 32
valor 31
usuarios 30
tiempo 28
registros 27
este 25
su 25
directo 24
consulta 23
entre 22
resultados 22
sobre 22
eficacia 21
son 21
coste 20
e 20
objetivos 20
servicios 20
unos 20
b 19
pertinentes 19
siendo 19
medir 18
recursos 18
año 17
modelo 17
si 16
total 16
campo 15
productos 15
aplicación: 14
bases 14
cada 14
definición: 14
interpretación: 14
método: 14
nos 14
objetivo: 14
otros 14
referencia 14
todos 14
análisis 13
calidad 13
c 12
estadísticas 12
fuentes 12
general 12
impacto 12
información 12
natural 12
nivel 12
principio 12
pueden 12

Propuso varias matizaciones:
El tiempo de duplicación depende en gran
medida del área de conocimiento de la que
se trate.
El crecimiento de la ciencia pasa por varias
etapas: una fase de crecimiento exponencial
propiamente dicha, en la que la tasa de
crecimiento es proporcional al tamaño de la
muestra, y una fase de crecimiento lineal, en
la que la tasa de crecimiento es constante o
independiente del tamaño del sistema.
No se aplica sólo a publicaciones: lo aplicó al
número de autores en una materia, número
de revistas, número de elementos químicos
conocidos…
Ley de Price
La información científica experimenta un crecimiento exponencial, de tal manera
que se duplica en un plazo aproximado de 10-15 años.

y = 1468.8e0.1212x
R² = 0.9982
0
500
1000
1500
2000
2500
3000
3500
4000
1992-2004 2005 2006 2007 2008 2009 2010
Artículos UPNA en ISI W of S
Artículos UPNA
Expon. (Artículos UPNA)

Indicadores de actividad Número de publicaciones
Distribuciones (idioma, tipo de
documento)
Indicadores de especialización Temática
Indicadores de calidad de las publicaciones Criterios de calidad
Indicadores de visibilidad Presencia en bases de datos Difusión Open Access
Indicadores de colaboración Colaboración internacional Colaboración institucional Coautoría
Indicadores de impacto Citas Factor de impacto
Indicadores de uso Usage Factor
Indicadores basados en web 2.0 Indicadores de enlaces Sistemas de recomendación
Indicadores relacionales Primera generación Segunda generación
Visibilidad web
Repositorios

Índice de productividad
Logaritmo decimal del número de publicaciones. Propuesto por Lotka Permite agrupar a los investigadores en 3 niveles: 0
(1), 1 (de 2 a 9) y >1
Índice de producción
Cantidad de autores responsables del 50% de los trabajos
Índice de transitoriedad
Número de investigadores con un solo trabajo A veces se expresa como porcentaje del total de investigadores Propuesto por Derek J. de Solla Price
Distribuciones
Por idioma Por tipo documental Nivel básico o aplicado
Porcentaje de trabajos indizados en ISI / Scopus
También podría ser un indicador de visibilidad, ya que lo que intenta medir es la «producción visible»
Número de publicaciones
Se puede poner en contexto, según la unidad de análisis, con población total, investigadores, alumnos, PIB, presupuesto…

De Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT,
2008 [PDF]

2008 [PDF]

Índice de especialización temática
Número de artículos sobre un tema
sobre el total de artículos de la unidad
de análisis. Iría de 0 a 1.
El IBACE construye el índice como
variación respecto a la media mundial.
Iría de -1 a +1

2008 [PDF]

ERIH
ERIH Lists. European Reference Index for the
Humanities.C
Clasificación de revistas europeas de los ámbitos de las
ciencias sociales y las humanidades elaborada por la
European Science Foundation.
Listados por materias y califica las revistas en las clases
A, B y C.
DICE
Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias
Sociales y Jurídicas
Describe las revistas atendiendo a criterios de calidad y visibilidad
LATINDEX
Sistema de Información sobre las revistas de investigación científica, técnico-
profesionales y de divulgación científica y cultural que se editan en los países de
América Latina, el Caribe, España y Portugal
Califica las revistas según el cumplimiento de 33 criterios para revistas impresas y
36 para revistas-e

MIAR
Matriu d’Informació per a l’Avaluació de Revistes
Clasificación de revistas según el Índice Compuesto de
Difusión Secundaria (ICDS), que mide la visibilidad de
las revistas.
Unos 28 000 títulos de revistas internacionales en
ciencias sociales y humanidades, clasificados por
categorías temáticas.
CARHUS Plus
Clasificación de revistas científicas de los ámbitos de
las ciencias sociales y humanidades que se publican a
nivel local, nacional e internacional
Califica las revistas dividiéndolas en grupos: A, B, C y
D, según grados de visibilidad. Unas 6000 revistas de
ciencias sociales y humanidades
Se clasifican las revistas atendiendo a parámetros de
alcance y visibilidad
Presencia del artículo o revista en bases de datos.
Difusión: se puede mirar la tirada para versiones
impresas, indicadores como el Page Rank para
versiones electrónicas, presencia en los catálogos de
bibliotecas universitarias…
Open Access. Es un indicador emergente, que
considera las publicaciones libremente accesibles.

Coautoría
Índice de coautoría: Número de autores por documento
Colaboración institucional
Tasa de documentos sin colaboración: %
de documentos en los que sólo participa
una institución
Tasa de colaboración nacional neta: % de
documentos firmados por más de una
institución del mismo país.
Tasa de colaboración: % de documentos
firmados por más de una institución.
Colaboración internacional
Tasa de colaboración internacional: % de documentos firmados por investigadores de más de un país.

2008 [PDF]

Citas
• Menciones que recibe el trabajo analizado de otros trabajos
posteriores
Referencias
• Menciones que se hacen en el trabajo analizado a otros trabajos
anteriores
Factor de impacto
• Razón entre las citas recibidas en un año por los artículos de la
unidad de análisis publicados en los dos años anteriores y el
número de artículos publicados en los dos años anteriores

SJR
• SCImago Journal Rank
• Es una medida del impacto, influencia o prestigio de una revista.
Expresa la razón entre el número ponderado de citas recibidas en el
año seleccionado y el número de trabajos publicados en la revista
en los tres años anteriores.
• SCImago es un grupo de investigación formado por el Consejo
Superior de Investigaciones Científicas (CSIC), las universidad de
Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares,
dedicado al estudios del análisis, representación y recuperación de
la información.
• GONZÁLEZ-PEREIRA, B., GUERRERO-BOTE, V.P. & MOYA-ANEGÓN,
F. (2009). The SJR indicator: A new indicator of journals' scientific
prestige. arXiv:0912.4141v1. [PDF]

• Al día de hoy es la mejor herramienta, sino la
única, para trabajar con la dimensión
cualitativa de la investigación
• Es un indicador númerico, fácilmente
comprensible y reproducible
• Los sesgos que pueda tener se pueden
corregir poniendo en contexto y ponderando
A favor de citas y factor de impacto

•En general, se ha transformado un método para medir el impacto de un artículo o una
revista en la comunidad científica, en un sistema de validación de la ciencia, con todo lo
que ello conlleva, por parte de editores, autores e instituciones
•Distintas disciplinas tienen distintos hábitos de citación
•Sesgo de cobertura hacia revistas anglosajonas. En 2001: SCI: USA 2200 revistas, UK
1171, FR 148, IT 69, SP 26
•Aunque pueda ser valido para disciplinas de ciencia y tecnología, cuyos estudios tienen
vocación universal y la publicación se concentra en un número abarcable de revistas, no
lo es tanto para ciencias sociales y humanidades, con una producción mucho más
dispersa y abundancia de artículos y revistas de vocación local
•Un número relativamente pequeño de artículos altamente citados da un sesgo
desproporcionado. 15% de los artículos 50% de las citas. 50% de los artículos 90% de las
citas
•FI tiene poca capacidad predictiva
•Los reviews son muy citados. Las revistas con muchos reviews son muy citadas
•El FI favorece a las investigaciones en campos con obsolescencia muy rápida
•Citation Cartels. Se cita indiscriminadamente a uno mismo y a los colegas
•Su control está en manos de empresas privadas, con fuertes intereses en el sector
editorial
En contra de citas y factor de impacto

Basados en citas
Número de citas
Promedio de citas por artículo
Impacto normalizado. Promedio
de citas por artículo de la unidad
de análisis dividido por el
promedio de citas por artículo
mundial.
Tasa de documentos citados y no
citados
Tasa de autocitación
Trabajos altamente citados (>50)
Indicadores de impacto

Basados en factor de impacto
Impacto normalizado.
FI esperado
Tasa de citación: FI esperado/FI observado
Índice de atracción: relaciona el FI en una disciplina cn el FI del resto.
FI ponderado. Toma en cuenta el FI de varias disciplinas
FI relativo. Compara el FI con una unidad mayor
Potencial investigador. FI y producción
Distribución por cuartiles o decílica
Posición normalizada. Posición que ocupa una revista en relación al total. Entre 0 y 1
Impacto potencial: C1-4 = 10%, 20%, 30% y 40%
Porcentaje de publicación en revistas TOP3
Indice H
Eigenfactor

SHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing
Journal Usage Factors. United Kingdom Serials Group [PDF]

Usage Factor
Usos durante un periodo x de
artículos publicados en un
periodo Y, partido por artículos
publicados en un período y
Desarrollado por UKSG Final Report en PDF
Todavía en desarrollo
La versión 4 de COUNTER incluirá estadísticas por
artículo

Medicine & Life Science JUFIF
0.00
500.00
1,000.00
1,500.00
2,000.00
2,500.00
0 5 10 15 20 25 30 35
Impact Factor
JournalUsageFactor
Publication 2008-09 Usage Period 1-24

Humanities JUFIF
0.00
200.00
400.00
600.00
800.00
1,000.00
1,200.00
0 0.5 1 1.5 2 2.5 3 3.5 4
Impact Factor
JournalUsageFactor
Publication 2008-09 Usage Period 1-24

Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación
56
• Se ha propuesto sistemas de medida de la investigación haciendo entrar en juego sistemas de la red social. Se
trataría tanto de utilizar la web 2.0 para medir y evaluar las publicaciones tradicionales como del surgimiento de
nuevos sistemas de comunicación científica (blogs científicos, redes sociales científicas…)
• La equivalencia de un enlace con una mención o cita provoca que algunos estudios hablen de confluencia de la
web semántica y estructurada y la posibilidades de aplicar el análisis de enlaces al análisis de la producción
científica.
Enlaces
• Por un lado se trataría de aprovechar el potencial de las redes sociales científicas, como CiteUlike, Connotea o
Mendeley.
• También se especula con la posibilidad de publicar el contenido de lo peer reviews
• Otros abogan por sistemas basados en comentarios de los lectores
• También se ha mencionado la posibilidad de crear un “Blogs Citation Index”
Sistemas de recomendación
• BANKS, M. A.; DELLAVALLE, R. (2008). Emerging alternatives to the impact factor. OCLC Systems & Services
Volume: 24 Issue: 3. [PDF]
• TARABORELLI, D. (2008). Soft peer review: social software and distributed scientific evaluation. To appear in:
Proceedings of the 8th International conference on the Design of Cooperative Systems (COOP ‘08) , Carry-Le
Rouet, May 20-23. [PDF]
Bibliografía

• Todavía en desarrollo y sin apenas implantación
• Es discutible su validez como medida de la investigación,
pero exiten estudios que tratan “de conocer la presencia,
tamaño, visibilidad e impacto de una universidad a través
de su dominio web, como indicadores de lo bien o mal que
ésta se comunica”.
• ORDUÑA-MALEA, E. ET AL. (2010). Presencia y visibilidad
web de las universidades públicas españolas. Revista
española de Documentación Científica, 33(2): 246-278 doi:
10.3989/redc.2010.2.740 [PDF]

• Todavía sin desarrollar, aunque es de esperar que en el futuro se tome en cuenta
• Ranking Web de Repositorios del Mundo
• Registry of Open Access Repositories (ROAR)
• Directory of Open Access Repositories (OpenDOAR)
• Artículo 37. Difusión en acceso abierto.
• 1. Los agentes públicos del Sistema Español de Ciencia, Tecnología e Innovación impulsarán el desarrollo de
repositorios, propios o compartidos, de acceso abierto a las publicaciones de su personal de investigación, y
establecerán sistemas que permitan conectarlos con iniciativas similares de ámbito nacional e internacional.
• 2. El personal de investigación cuya actividad investigadora esté financiada mayoritariamente con fondos de los
Presupuestos Generales del Estado hará pública una versión digital de la versión final de los contenidos que le
hayan sido aceptados para publicación en publicaciones de investigación seriadas o periódicas, tan pronto como
resulte posible, pero no más tarde de doce meses después de la fecha oficial de publicación.
• 3. La versión electrónica se hará pública en repositorios de acceso abierto reconocidos en el campo de
conocimiento en el que se ha desarrollado la investigación, o en repositorios institucionales de acceso abierto.
• 4. La versión electrónica pública podrá ser empleada por las Administraciones Públicas en sus procesos de
evaluación.
• 5. El Ministerio de Ciencia e Innovación facilitará el acceso centralizado a los repositorios, y su conexión con
iniciativas similares nacionales e internacionales.
• 6. Lo anterior se entiende sin perjuicio de los acuerdos en virtud de los cuales se hayan podido atribuir o
transferir a terceros los derechos sobre las publicaciones, y no será de aplicación cuando los derechos sobre los
resultados de la actividad de investigación, desarrollo e innovación sean susceptibles de protección.
Ley 10/2011 de 13 de mayo de 2011, de la ciencia, la tecnología y la innovación.

• Redes de coautoría (científicos, universidades, países)
• Redes de cocitación (científicos, revistas, categorías)
Indicadores relacionales de primera generación
• Palabras asociadas
• Mapas cognitivos de temas e impacto
• Mapas cognitivos de temas y autores
Indicadores relacionales de segunda generación

Redes de cocitación en España 2008-2009. Construido con SCImago Map Generator

Rankings de universidades
Son clasificaciones de universidades e instituciones de
investigación, ordenadas según una serie de criterios
Los criterios utilizados son, en su mayor parte,
bibliométricos
Pueden utilizar una conjunto de criterios que, una vez
codificados estructuran la clasificación, o pueden basarse
en un solo criterio.
No analizamos los rankings que suelen aparecen en la
prensa basados en criterios subjetivos como encuestas,
sondeos de opinión…

•Permiten una comparación rápida entre instituciones, útil, sobre todo para no
especialistas en bibliometría
•Permiten detectar puntos débiles de la institución
•Permiten detectar las mejores prácticas
A favor
•Son una abstracción de una realidad bastante compleja
•Un profano puede no interpretar de forma correcta los resultados: tendría que conocer
los indicadores en los que se basa y las instituciones que se analizan
•A veces se extrapola la clasificación a realidades distintas de lo que mide (por ejemplo, si
mide la investigación, no será válido para la docencia)
•Tienen muchos sesgos: por los indicdores utilizados y por la vocación de las instituciones
(educación-investigación; ciencias-humanidades)
•Para un conocedor de los indicadores bibliométricos no aportan gran cosa, puesto que se
basan en ellos, sólo el presentar resultados de manera conjunta
•Hay críticas porque se les está dando demasiada importancia en ámbitos de decisión y
financiación
•No parece útil para comparar unidades de investigación pequeñas
En contra

Nombre
• Ranking Web de Universidades del Mundo
Productor
• Laboratorio de Cibermetría (CSIC)
• España
Indicadores
• Tamaño: Número de páginas recuperadas desde los 4 motores de búsqueda: Google, Yahoo, Live Search y Exalead
• Visibilidad: El número total de enlaces externos únicos recibidos (inlinks) por un sitio que se pueden obtener de forma consistente desde
Yahoo Search, Live Search y Exalead
• Ficheros ricos: .PDF . PS . DOC .PPT
• Google Scholar: Los resultados obtenidos de la base de datos del Google Académico comprenden artículos, informes y otro tipo de
documentos académicos
Ambito
• Internacional
Número de instituciones
• 12 000
UPNA
• Sí
Desagregación
• No

Nombre
•Academic Ranking of World Universities (ARWU)
•Shangai Jiao Tong University Ranking
•Ranking de Shangai
Productor
•Universidad Jiao Tong de Shanghái
•China
Indicadores
•Premios Nobel o Medallas Fields que ha tenido la universidad (10%)
•Premios Nobel o Medallas Fields activos (20%)
•Número de investigadores altamente citados (20%)
•Número de artículos publicados en Science y Nature (20%)
•Número de trabajos en SCI y SSCI (20%)
•Puntuación de todos los indicadores anteriores dividida entre el número de académicos de tiempo completo (10%).
Ambito
•Internacional
•500
UPNA
•No
Desagregación
•Por áreas y materias

Nombre
• Leiden Ranking
Productor
• Centre for Science and Technology Studies (CWTS), Leiden University
• Holanda
Indicadores
• Número de publicaciones
• Impacto normalizado (crown indicator y alternative)
• Potencial investigador
• Promedio de citas por artículo
Ambito
• Internacional
• 500
UPNA
• No
Desagregación
• Por indicador

Nombre
• Scimago Institutions Rankings
Productor
• Grupo SCImago (Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y
Alcalá de Henares)
• España
Indicadores
• Número de publicaciones
• Ratio de colaboración internacional
• Impacto normalizado
• Tasa de publicaciones en Q1 de SJR
Ambito
• Internacional e Iberoamérica
• 3500
UPNA
• Sí
Desagregación
• No

Nombre
• Indicadores bibliométricos de la actividad científica española
Productor
• FECYT y Grupo SCImago (Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III
(Madrid) y Alcalá de Henares)
• España
Indicadores
• Indicadores de producción
• Indicadores de especialización
• Indicadores de impacto
Ambito
• España
• 50
UPNA
• Sí
Desagregación
• Por área científica, comunidades autónomas, universidades

Nombre
•Ranking ISI de las universidades españolas según campos científicos
Productor
•Grupo EC3: Evaluación de la Ciencia y de la Comunicación Científica ( Universidad de Granada – Universidad de Navarra)
•España
Indicadores
•Número de documentos
•Número de citas
•Índice H
•Tasa de documentos en Q1
•Promedio de citas por documento
•Tasa de documentos altamente citados (primer decil en su materia entre todas las universidades)
Ambito
•España
•52
UPNA
•Sí
Desagregación
•Por campo científico

Nombre
•QS World University Ranking
•Times Ranking
Productor
• The Times & QS Quacquarelli Symonds Limited
•United Kingdom
Indicadores
•60% a la "calidad de la investigación“
•10% a la capacidad de que un graduado obtenga empleo
•10% a la "presencia internacional"
•20% al cociente estudiantes/académicos
Ambito
•Internacional
•650
UPNA
•No
Desagregación
•Por materias
Tipología
•Ranking

Nombre
•CHE University Ranking
Productor
• Semanario Die Zeit
•Alemania
Indicadores
•Oferta académica
•Profesorado
•Equipamiento
•Orientación internacional
•Orientación al mercado de trabajo
•Opinión
•Investigación: Patentes, publicaciones, citas, Tesis, subvenciones de terceros
•Ambiente universitario de la ciudad
Ambito
•Alemania, Austria y Suiza
•250
UPNA
•No
Desagregación
•Por materias
Tipología
•Ranking

BANKS, M. A.; DELLAVALLE, R. (2008). Emerging alternatives to the impact factor. OCLC Systems & Services Volume: 24
Issue: 3. [PDF]
BRADFORD, S. C. (1934). Sources of information on specific subjects. Engineering, 137 : 85–86.
BUSH, V. (1945). Science, The Endless Frontier: A Report to the President on a Program for Postwar Scientific
Research. Reprinted by the National Science Foundation, Washington, DC, 1990. [PDF]
CALLON, M; COURTIAL, J. P.; Penan, H. (1995). Cienciometría: el estudio cuantitativo de la actividad científica:
de la bibliometría a la vigilancia tecnológica. Gijón: TREA. [Ver en catálogo BUPNA]
CAMPBELL, F. B. F. (1896). The Theory of the National and International Bibliography: with Special Reference to
the Introduction of System in the Record of Modern Literature. Library Bureau, London, England.
COLE, F. J.; EALES N. B. (1917). The history of comparative anatomy. Part I: A statistical analysis of the literature.
Science Progress (London), 11 : 578–596.
DE MOYA ANEGÓN, F. et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT, 2008
[PDF]

DOBROV, G. M. (1966). Nauka o Nauke. Kiev, Naukova.
GARFIELD, E. (1955). A citation Index for Science: A New Dimension in Documentation through
Association of Ideas. Science, 122 (3159) : 108-11 [PDF]
GARFIELD, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178 (60) : 471-479
[PDF]
GONZÁLEZ-PEREIRA, B., GUERRERO-BOTE, V.P. & MOYA-ANEGÓN, F. (2009). The SJR indicator: A
new indicator of journals' scientific prestige. arXiv:0912.4141v1. [PDF]
HULME, E. W. (1923). Statistical bibliography in relation to the growth of modern civilization. Grafton
& Co., London, pp. 29–44. [PDF]
KAROLINSKA INSTITUTET BIBLIOMETRICS PROJECT GROUP (2008). Bibliometrics: Publication Analysis as
aa tool for science mapping and research assessement. Stockholm: Karolinska Institutet. [PDF]
KUHN, T. S. (1962). The Structure of Scientific Revolutions. Chicago: University of Chicago Press. [PDF]

LOTKA, A. J. (1926). The frequency distribution of scientific productivity. Journal of the Washington Academy of Science,
16 (12) : 317–323.
MALTRÁS BARBA, B. (2003).Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia.
Gijón: TREA. [Ver en catálogo BUPNA]
MERTON, R. K. (1942). The Normative Structure of Science. In: Merton, Robert K. (1979-09-15). The Sociology
of Science: Theoretical and Empirical Investigations. Chicago, IL: University of Chicago Press [PDF]
MERTON, R: K. (1968). The Matthew Effect in Science. Science, 159 (3810) : 56-63. [PDF]
NACKE, O. (1979). Informetrie: eine neuer Name für eine neue Disziplin. Nachrichten für Documentation, 30 (6)
: 219-226
OTLET, P. (1934). Traitée de Documentation. Le Livre sur le Livre. Theorie et Pratique. Van Keerberghen, Brussels.
(BUPNA PISO 1º A 300-9-1) [Ver en catálogo BUPNA]
PRICE, D. J. de S. (1963). Little Science, Big Science. New York: Columbia University Press

PRICE, D. J. de S. (1965). Networks of Scientific Papers. Science 149 (3683) : 510-515
PRICE, D. J. de S. (1967). Nations can Publish or Perish. International Science and Technology 70 : 84-90
NALIMOV, V. V.; MULCHENKO Z. M. (1969). Measurement of Science. Study of the Development of Science as
an Information Process [PDF]
ORDUÑA-MALEA, E. ET AL. (2010). Presencia y visibilidad web de las universidades públicas españolas.
Revista española de Documentación Científica, 33(2): 246-278 doi: 10.3989/redc.2010.2.740 [PDF]
PRITCHARD, A. (1969). Statistical bibliography or bibliometrics?. Journal of Documentation, 25 : 348–349.
[PDF]
REHN, C; KRONMAN, U.; WADSKOG, D. (2007). Bibliometric indicators: definition and usage at Karolinska
Institutet. Stockholm: Karolinska Institutet. [PDF]
REHN, C; KRONMAN, U. (2008). Bibliometric habdbook for Karolinska Institutet. Stockholm: Karolinska Institutet [PDF]

SCHOLZE, F. (2007). Measuring research impact in an open access environment. LIBER 36th Annual Conference, Warsaw, 3-7 July 2007.
[PDF]
SENGUPTA, I. N. (1992). Bibliometrics, informetrics, scientometrics and librametrics: an overview. Libri, 42 : 75–98. [PDF]
SHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage
Factors. United Kingdom Serials Group [PDF]
STEELMAN J. R. (1947). Science and Public Policy. Washington, DC: Government Printing Office. [PDF]
TARABORELLI, D. (2008). Soft peer review: social software and distributed scientific evaluation. To appear in: Proceedings of
the 8th International conference on the Design of Cooperative Systems (COOP ‘08) , Carry-Le Rouet, May 20-23. [PDF]
ZIPF, G. K. (1949). Human behavior and the principle of least effort, Addison-Wesley, Reading, MA.

Herramientas bibliográficas e indicadores bibliométricos para evaluar la investiagación

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie Herramientas bibliográficas e indicadores bibliométricos para evaluar la investiagación

Ähnlich wie Herramientas bibliográficas e indicadores bibliométricos para evaluar la investiagación (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

Herramientas bibliográficas e indicadores bibliométricos para evaluar la investiagación