1. Indicadores Bibliométricos como Instrumentos de Política
Científica.
Los Retos de los Sistemas de Evaluación de la Calidad Científica en
los Países Emergentes
Dr. Evaristo Jiménez-Contreras
Facultad de Comunicación y Documentación
Universidad de Granada
Monterrey 0ctubre 2013
EC3metrics – GRUPO EC3

2. Contenidos
Una reflexión inicial
La percepción sobre las evaluaciones
Es posible la evaluación?
Las herramientas
Aplicaciones:
Proyectos
Instituciones
Rankings
Los resultados
Los retos, reflexiones y valoración final
EC3metrics

3. Una reflexión inicial
La reflexión sobre los indicadores no es meramente técnica, tiene
unas evidentes implicaciones políticas.
Su uso deben ser decidido a la luz del modelo de universidad que
busquemos (y no hay un modelo único).
La no evaluación de las actividades científicas, o su disolución entre
un conjunto más o menos amplio de objetivos o indicadores. también
es una opción política,
EC3metrics

4. La percepción de las evaluaciones
Actitud de los investigadores franceses ante los procesos evaluativos:
Actitud
Porcentaje
Totalmente en contra
15
Aceptan con reparos
85
Totalmente a favor
0
Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS
y H), Desde luego no gustan en España (en Latinoamérica?)
Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluaciones
En Alemania a día de hoy no hay un sistema constituido de evaluación institucional
EC3metrics

5. Es posible la evaluación?
EC3metrics

6. Evaluación en Ciencia
• La evaluación es inherente a la actividad científica.
– La revisión por expertos es uno de los signos distintivos del quehacer
científico, es lo que diferencia a las revistas científicas de las restantes
(por ejemplo)
• Es cualitativa/cuantitativa
• Sin embargo, evaluar la Ciencia con la pretensión de orientar su
avance, optimizar los recursos, controlar sus progresos, etc. es
algo completamente diferente y en cierto modo ajeno a la tradición
científica
EC3metrics

7. Es posible la planificación y la evaluación en Ciencia?
• El proceso de creación y aplicación de nuevo conocimiento es un fenómeno muy
complejo que implica a numerosos agentes:
– Gobiernos, instituciones científicas, empresas, la sociedad en su conjunto
•
•
•
•
Sus efectos y algunos de sus factores son en parte intangibles
Es incierta y a veces impredecible
Las herramientas analíticas están poco desarrolladas (aunque cada vez más)
Con frecuencia genera polémicas y tiene efectos contraproducentes
EC3metrics

8. A quien interesa? Y porque puede ser aconsejable
• Economía : Aprovecha los resultados, optimización de
recursos. Planificación de inversiones,
• Academia: Aporta fundamentos teóricos,
herramientas, autoevalúación, priorización
• Sociedad: beneficio, prioridades, rendición de cuentas
• Política: Desde la política se crean la herramientas
legales para su organización y se utilizan los
resultados para financiar las actividades
EC3metrics

9. El debate sobre la Política científica
Entre la Ciencia responsable.
Bernal JD, (1931) La responsabilidad social del científico
Los poderes públicos pueden y deben controlar la orientación de la
Ciencia
Y la república de la Ciencia…
La evaluación ex ante no es necesaria porque
“the results of any one particular investigation cannnot be predicted
with accuracy” (Bush, V. 1945)
Los científicos debían gozar de libertad total, nace la NSF
la práctica evaluadora se generaliza a partir de los 70-80 como
consecuencia de la crisis económica
EC3metrics

10. Fundamentos de la evaluación bibliométrica
EC3metrics

11. Dimensiones de la actividad científica y sus productos
Formación/docencia
Innovación
Nuevo conocimiento
Libros,
MOOCS…
Patentes, spin-off
Artículos
Artículos
Investigación
Subvenciones y programas
Políticas públicas
EC3metrics
Comunicación, informes,
asesorías..
Divulgación y
peritaje

12. Que es lo que producen/valoran los científicos?
EC3metrics

13. Qué leen/citan los investigadores?
EC3metrics

14. Donde prefieren publicar
Research Information Network and JISC. 2009
EC3metrics

15. Cómo prefieren los científicos ser evaluados
EC3metrics

16. • La conclusión de que se puede obtener una imagen ajustada
de un investigador a partir de su obra, de las revistas en
las que publica o del impacto que alcanza, puede
considerarse hoy en día un razonamiento correcto y en
consecuencia un punto de partida para construir políticas
evaluativas
• Pero no es el único y debe ser complementario a otros
EC3metrics

17. Herramientas
EC3metrics

18. Bases de datos; Preguntas
• Que fuente elegir?
–
–
–
–
Thomson Sci.
Scopus
Google Scholar
Otras: Redalyc, SciELO
–
–
–
–
–
–
Exhaustividad vs. Selectividad
Control en el ingreso de las fuentes frente a repositorios abiertos
Indicadores clásicos o nuevos indicadores (almetrics)
Adaptación a perfiles propios o a standards internacionales
Indicadores simples vs. complejos
Indicadores absolutos vs. relativos
EC3metrics
Bibliometría
Output científico

19. Selección vs exhaustividad
Ejemplo Psicología
TS
Revistas
Scopus
555
890
Citas
circa 300
>50%
Diferencial
9%
14000
Revistas
Diferencial
Citas
58
60entre 1 y 9
Artícuos
0
3700
La ganancia en cobertura, en contra de los que suele pensar no es necesariamente un beneficio.
Lo que nos falta desde hace años no es información sino tiempo para leerla..
EC3metrics

20. Pautas de actuación
• La elección de las fuentes determina el resultado
• La respuesta no es la misma según se trate se Ciencias
Exactas y Experimentales o Ciencias Sociales y
Humanidades.
• Aunque los criterios de fondo no deberían alterarse
• Calidad de la información
– Científica
– Accuracy
• Complementariedad y ajuste al perfil institucional
EC3metrics

21. Aplicaciones
EC3metrics

22. Ámbitos de actuación
• Valoración de proyectos
• Aplicación a la evaluación de las carreras académicas
e institucionales
• Rankings
EC3metrics

23. Valoración de proyectos
• Desde los primeros ensayos en USA la valoración de
proyectos ha incluido sistemáticamente un apartado de
valoración de los CV de los solicitantes
• Gradualmente esta valoración ha incorporado elementos
bibliométricos
– Producción, impacto, citas como parte del proceso
EC3metrics

24. Valoración de proyectos, Caso España, la ANEP
Agencia Nacional de evaluación y Prospectiva (1989)
1, Méritos científicos del investigador principal y del resto del equipo de
investigación.
1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su
capacidad de liderazgo dentro del grupo.
1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación.
Méritos científicos de cada uno de los participantes, valorando positivamente la participación
de investigadores en formación
2. Interés científico-técnico del proyecto.
3. Viabilidad de la propuesta.
Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros.
EC3metrics

25. Aplicación a la evaluación de las carreras académicas e institucionales
• Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia…
han implementado alguna forma de premio por publicar fuera.
• Se vincula la carrera académica a la publicación en los “mainstream
journals”.
• En general promueven la autoselección por parte de los autores
• Consecuencias:
• La investigación ha pasado a ser el centro de la vida universitaria
• Incremento de las cifras de publicaciones internacional
• Reacción en contra de las áreas de CCSS y Hum.
EC3metrics

26. Algunos ejemplos; Noruega
• Tipos de publicaciones “A,B,C publications that could have achieved
greater significance by expending more effort and being compiled
into a smaller number of publications”
• Tipos de investigadores: local, nacional, Internacional
• “As a general rule, publications in publication channels with local
authorship are not to be included in the statistics on academic publishing
reported to the Database for Statistics on Higher Education (DBH), and
which would therefore be included in the Ministry’s basis for setting the
research component of the budgets.”
• Se diferencia entre Thomson Sci, Norart y BibSys
EC3metrics

27. Algunos ejemplos; UK, del RAE al REF
Controvertido, calificado como muy negativo o muy positivo
Mide la calidad de los resultados (publicaciones), entorno, reputación
Flexible: cada panel establece sus reglas y umbrales.
Se valoraban los 7 años anteriores del miembros permanentes pero
se consideró a los part-time más adelante.
• Selección de las mejores publicaciones
• 15 paneles y 67 subpaneles
• Muy costoso
• Incremento de la visibilidad pero no necesariamente de la calidad
(Moed 2008)
• Ha generado una adaptación de conductas
EC3metrics
•
•
•
•

28. Algunos ejemplos; UK, del RAE al REF (2014)
• Valoración en 5 niveles.
• Astectos nuevos: Calidad 65%; Impacto 20%; Medio ambiente
15%
• 36 paneles
• Cada panel desarrolla sus propios criterios. A modo de ejemplo
en el de Medicina no se menciona el impacto científico clásico
medido en citas o similar.
• Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither
receive nor make use of citation data, or any other form of
bibliometric analysis including journal impact factors.

29. España
• CNEAI: objetivos
– Introducir un régimen retributivo para incentivar, mediante evaluaciones,
la actividad investigadora de calidad
– Fomentar que los investigadores orienten sus trabajos a lograr resultados
de amplia repercusión (internacional) científica y social
• Procedimiento:
– Evaluación sobre resultados de investigación: Las publicaciones
– Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de
objetivación forma
– Evaluación por pares: comisiones de expertos y selección de las mejores
publicaciones de cada candidato (5 en 6 años)
– Valoración bibliométrica sobre todo
EC3metrics

30. ANECA, dimensiones de evaluación
MÉRITOS
DOCENTES
ACTIVIDAD
INVESTIGADORA
•
•
•
•
•
Artículos en revistas
Libros y Capítulos
Proyectos y contratos
Transferencia
Congresos
FORMACIÓN
ACADÉMICA
•
•
•
Títulos y premios
Becas y ayudas
Estancias de
investigación
Docencia universitaria
Dirección de tesis,
tesinas, trabajos grado…
Cursos de formación
docente
•
•
•
GESTIÓN
•
•
•
Cargos Académicos
Puestos en la
administración
Liderazgo de grupos de
investigación y docentes
OTROS MÉRITOS

31. Pesos y puntuaciones para acreditación
CU
TU
Investigación
Docencia
Investigación
Docencia
Formación
Formación
Gestión
Gestión

32. Valoración de las revistas
Revistas Indexadas o con
Índice de Calidad Relativo
JCR
Revistas no
Indexadas o sin
Índice de Calidad
Relativo

33. Rankings
• Cual es la razón del éxito?
– Percepciones, metodologías, información, expectación mediática
• Los rankings han venido para quedarse por tanto…
– hay que tener un programa de actuación y debemos ser proactivos
– Conocer sus criterios internos y potenciarlos en nuestra política
científica si son razonables y es factible hacerlo, por ejemplo;
• Favorecer la publicación en revistas internacionales de alto impacto
• Contratar profesores de reconocido prestigio
• Atraen/ran visibilidad, estudiantes y recursos tanto
humanos como económicos
EC3metrics

34. Rankings
•
•
•
•
Los rankings son un arma arrojadiza
Unidimensionales o lo que es peor multidimensionales
Difieren en sus reglas por tanto son incomparables entre sí
No descansan en supuestos teóricos claros en muchos de
sus apartados

35. Desmontando los rankings
• Elementos que componen la realidad universitaria:
Investigación
Investigación
Docencia
Reconocimiento
Inserción laboral
Opinión de los expertos
Transferencia
Opiniones y éxito de los
egresados
Otras labores sociales
• Elementos que componen la realidad de los rankings
EC3metrics

36. Antes de tomar medidas…
• No existe un patrón común:
– Países con sistemas universitarios muy desarrollados: México, Chile,
Brasil y otros no tanto…
– Países con infraestructuras organizativas maduras y otros no tanto…
• También hay que considerar si nos dirigimos a:
– Universidades enfocadas a investigación o a docencia
– Si tienen orientación internacional, nacional o local
– Si los destinatarios de los indicadores son usuarios, gestores,
responsables políticos
– Públicas o privadas
• Por tanto los indicadores deben adaptarse a esos modelos y
objetivos.

37. Los retos… reflexiones y valoración final
EC3metrics

38. Pros & Cons
• Los indicadores bibliométricos miden outputs que en general son aceptados
como válidos por la comunidad científica (sobre todo en Ciencias)
• Utilizan una evaluación ex post que se basa en el principio de que los
resultados anteriores son un buen predictor del rendimiento futuro.
• Se centran principalmente (y en muchos casos únicamente) en el rendimiento
de la investigación, prestando poca atención a otros aspectos de la actividad
universitaria como la enseñanza o la innovación
• Uno de sus objetivos principales es la distribución eficiente de los fondos. Por
lo tanto el presupuesto final de las universidades (u otras instituciones de
investigación) dependerá en cierta medida, de los resultados de dicha
evaluación.
EC3metrics

39. Pros & Cons
• Se implementan sobre todo a nivel nacional. Altamente enfocados en los
detalles y las características de su sistema universitario nacional.
• A pesar de los anterior utilizan metodologías y enfoques bastante homogéneos
• Son sistemas dinámicos que se actualizan y rediseñan constantemente.
• Son económicos
• Son transparentes o deberían serlo
EC3metrics

40. Pros & Cons
• Dependen vitalmente de la calidad de las fuentes.
- (actualmente la disponibilidad de fuentes nacionales de calidad es limitado)
• Tienden a crear un escenario común con unas reglas únicas
• Favorecen la orientación hacia un modelo de universidad internacional, de
excelencia investigadora, especializada en áreas experimentales, tecnológicas
y salud
• Son parciales
Por tanto:
• Deben combinarse con otras fuentes que incorporen información sobre
recursos humanos y económicos
• Deben manejarlos expertos
EC3metrics

41. Conclusiones
• No hay una receta mágica. Todos las metodologías de evaluación tienen pros y
contras y hasta cierto punto pueden ser complementarias
• La bibliométrica es especialmente eficiente para los aspectos relacionados con
la investigación.
• Introducir la cultura de la evaluación no tanto como sistema de competencia
despiadada, sino como herramienta para optimizar los recursos y como forma
de rendición de cuentas.
• Debemos tener claro el modelo que queremos, tanto en la enseñanza
académica como en la investigación pero en ambos la necesidad de disponer de
recursos de información de calidad es imprescindible.
• Si se opta por la vía bibliométrica es necesario profesionalizar la gestión. Se
necesitan expertos que procesen, que adapten los indicadores y que generen
los informes liberando en lo posible a los investigadores y actúen cerca de los
centros de toma de decisiones, lo que en algunas universidades llamamos
unidades de bibliometría
EC3metrics

42. Recuerden
• Al final seguramente habrá que elegir entre:
• Procedimientos bibliométricos:
“groseros”, sencillos y supuestamente “fáciles de engañar”
• Procedimientos basados en paneles: cualitativos, costosos,
sensibles y finalmente subjetivos y por tanto con poca
comparabilidad

43. Muchas Gracias!
evaristo@ugr.es