Técnicas bibliométricas para la evaluación de la investigación en Ciencias de la Salud. BIBLIOSALUD 2011

1. Técnicas bibliométricas para la evaluación de la investigación en Ciencias de la Salud Emilio Delgado López-Cózar (Univ Granada) Daniel Torres Salinas (Univ Navarra) Grupo EC3 – Evaluación de la Ciencia y la Comunicación Científica

3. El grupo EC3

4. Emilio Delgado López Cózar

5. Daniel Torres Salinas

6. LOS CONTENIDOS

7. Introducción general

8. Los indicadores bibliométricos

10. Los hábitos de comunicación científica Los medios de publicación Sociales Experimentales Humanidades

11. Publicación de resultados de investigación por tipo de documento RIN 2009. Communicatingknowledge: How and why UK researcherspublish and disseminatetheirfindings.

12. Importancia de la revistas científicas como canales de publicación RIN 2009. Communicatingknowledge: How and why UK researcherspublish and disseminatetheirfindings.

13. Los hábitos informativos Porcentaje citas a revistas) Glänzel, W. and Schoepflin, U. 1999. A bibliometric study of reference literature in the sciences and social sciences. Inf. Process. Manage. 1999; 35(1): 31-44

14. Los hábitos informativos Porcentaje citas a revistas) Biomedicina Psicología Ingenierías Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

15. Los hábitos informativos Distribución edad de las citas en disciplinas

16. Las comunidades científicasEl tamaño + + + + Científicos = Publicaciones = Referencias bibliográficas = Citas Indicadores bibliométricos de mayor tamaño Mayores Impact Factor, Índice H…

17. Efectos en la productividad y la citación Nº de citas x trabajo Nº trabajos x autor Web of Science 1999-2009 Media de citas por artículo y por especialidades Producción ISI-WOS anual Investigadores Principales muy productivos proyectos Plan nacional español 2007

18. Efectos en las clasificaciones y rankings Los países y las instituciones poseen especializaciones temáticas diferentes Si un país o una institución está especializado Áreas con un ritmo de publicación bajo y lento Áreas con elevada fluidez y productividad investigadora Si la base de datos empleada para el estudio tiene diferentes grados de cobertura para cada área

19. ¿Qué es la calidad de un trabajo científico? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros. No existen medidas absolutas y directas de la calidad sino indicadores parciales Multidimensional

21. Nº citas

22. Opiniones: juicios de valorLos métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes

23. Trabajos de investigación publicados y presentados a evaluación en el RAE por investigadores biomédicos británicos RIN 2009. Communicatingknowledge: How and why UK researcherspublish and disseminatetheirfindings.

24. ¿Y si le preguntamos a los científicos españoles? * * * Muestra: 1294 Profesores TU y Catedráticos con 1 o 2 tramos Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369

25. Las agencias de evaluaciónCriterios evaluación científicos CNEAI “Se valorarán preferentemente las aportaciones que sean artículos en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el «SubjectCategoryListing» del «JournalCitationReports» del «ScienceCitationIndex» (InstituteforScientificInformation -ISI- Philadelphia, PA, USA). Las revistas electrónicas se considerarán cuando aparezcan en los listados del ISI” “Con carácter orientador se considera que para obtener una evaluación positiva en las áreas de Ciencias Biomédicas, tanto básicas como clínicas, al menos dosde dichas aportaciones deben ser artículos publicados en revistas de alto impactoentre las recogidas bajo cualquiera de los epígrafes del ScienceCitationIndex”

26. Las agencias de evaluaciónCriterios evaluación científicos ANECA “[Publicar artículos en revistas científicas] es el elemento fundamental de la evaluación y la autoría de un buen número de publicaciones en revistas de calidad permite conseguir casi todos los puntos (…) para obtener la puntuación máxima en este apartado se requiere la aportación por el solicitante de un mínimo de (…) publicaciones científicas recogidas enScience Citation Index, si la mitad de ellas pertenecen al primer tercio de la categoría”

27. 2. LOS INDICADORES BIBLIOMÉTRICOS

28. Evaluación de la actividad científica Marcando el territorio

29. Presupuestos para realizar evaluaciones basadas en indicadores bibliométricos 1Los resultados de investigación se manifiestan fundamentalmente a través de las publicaciones científicas. 2 Al contar publicaciones se asume implícitamente que todas ellas portan la misma cantidad de conocimiento científico certificado. 3 Todos los firmantes de un trabajo son responsables de la investigación expuesta y han contribuido de igual manera a la misma. 4 Las citas son una medida fiable y válida de la repercusión de los trabajos

30. Unidades de análisisNiveles de agregación Grandes números = estabilidad Pequeños números = alta variabilidad

31. Los métodos de recuento de las publicaciones Total o completo: A cada coautor se le atribuye el resultado completo. El más empleado: fácil de aplicar, prima la colaboración, genera recuentos redundantes Fraccionado: Se divide por el número de coautores que hayan producido el trabajo Se penaliza la colaboración Al primer autor: Todo para el primero nada para los restantes. Más al primero que al resto Fracción decreciente según el orden de firma

32. Ejemplo de recuentos institución en revistas Nature. Science, PNAS, NEJ, Lancet y JAMA Jiménez-Contreras, Evaristo; Torres Salinas, Daniel; Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. Investigación de excelencia en España: ¿actores protagonistas o papeles secundarios? Medicina Clinica (Barcelona); 134(2):76-81

33. Contar por contar no sirve del todo para medir la contribución real de un científico, una institución o un país. Hay que pesar: la posición en la firma puede ser una unidad de medida Los factores de impacto no se heredan como los rasgos genéticos El impacto se mide con citas reales y no atribuyéndose el Impact Factor de la revista Los métodos de recuento

34. Fuentes de datos La calidad, fiabilidad y validez de los resultados de los estudios bibliométricos son proporcionales a la calidad, fiabilidad y cobertura de las bases de datos en que estos se sustentan No son estadísticamente representativas en el sentido literal del término Muestran distribuciones sesgadas (campos, temas, países, lenguas…) El acceso a los datos es barato: La obtención de los mismos es casi instantánea Los datos deben ser previamente tratados: el trabajo de normalización es duro (nombres autores e instituciones, sobre todo) Podemos crear muchos indicadores y hacer “experimentos”

37. No incluye referencias bibliográficas citadasGoogle Scholar Mayor cobertura: total de documentos, tipo de publicaciones (libros, informes, tesis…), idiomas Falta de control: selección de fuentes, normalización, dificultades descarga y tratamiento de la información

38. Bases de datos nacionales versus internacionales Soc / Hum Biomed CyT

39. Web of Science: SCI, SSCI y AHCI Es la base de datos de referencia internacional para estudios bibliométricos Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000) La selección de las revistas se basa en la ley de Bradford y la empresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencial La cobertura de las revistas es covertocover y recoge las citas de todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llega hasta 1900. Ofrece un variado conjunto de indicadores bibliométricos “precocinados”

41. Con el apoyo del ‘National Science Foundation’y el ‘NationalInstitutes of Health’ el doctor Garfield creó el Índice de Genética en 1961.

42. El doctor Garfield se dio cuenta que para investigar completamente un tema se necesitó una vista más global/ multidisciplinaria y creó el Índice de las Ciencias (SCI) en 1963.SCI Print

43. Web of Science: SCI, SSCI y AHCI 1960 1965 1970 1975 1980 1985 1990 1995 2000 2005 2007 2008 2009 SciSearch Essential Science Indicators PC-based citation sets Custom citation projects and national indicators - mainframe PC-based Indicators Web of Science Evidence Arts & HumanitiesCitation Index Social Sciences Citation Index ISI Web of Knowledge Science Citation Index InCites

44. Scopus de Elsevier Se perfila como la competencia a WoS Multidisciplinar aunque con menos atención a las Ciencias Sociales (4%) y humanidades (1%) aunque están ampliándola a marchas forzadas. Ofrece información sobre unas 16.000 revistas y otra serie fuentes como páginas web, patentes… aunque la indización parece menos intensiva Parte de las revistas están procesadas de forma incompleta Incluye también citas pero sólo hasta 1996 Excelente software de consulta y navegación que incluye indicadores de revistas Excelente localizador de autores Menos sesgo anglosajón No se explican los criterios de selección Prima la cantidad sobre la calidad

45. Comparando WoS y ScopusBiomedicina en la Universidad de Navarra (1999-2005) Torres-Salinas, D.; Jiménez-Contreras, E.; Delgado López-Cózar, E. Rankings fordepartments and researcherswithin a universityusingtwodifferentdatabases: Web of Science versus SCOPUS. Scientometrics. 2009, 80(3): 761-774

46. Los indicadores bibliométricos

47. Indicadores de producción comunes Producción bruta Producción desagregada por fuente de información JCR / no JCR Pubmed, IME, WOS Por tipología documental: Citables: Artículos, revisiones, notas / No citables (ISI/JCR) Artículos, revisiones, notas, cartas, editoriales Libros, capítulos de libros, congresos … Por especialidades o áreas: Porcentajes: % o peso que representan respecto al marco disciplinar Índices de actividad y especialización Autoría Productividad: Número de trabajos por autor (Lotka) Índice de transitoriedad de Price: nº de autores con un sólo trabajo Orden de firma: primer autor, último, posición intermedia, responsable correspondencia Percentil productivo: posición relativa del científico, institución… Tasas de variación

48. Indicadores de producción. Ejemplo Ejemplo: Producción total y citable de la Univ. Navarra en WoS

49. Indicadores de producción. Ejemplo Ejemplo: Tasas de crecimiento por áreas en la Universidad de Granada entre los quinquenios 2000-2004 y 2005-2009

50. Indicadores de producción. Ejemplo Ejemplo: Índice de especialización de universidades españolas

51. Indicadores de colaboración comunes Autores Tasa de colaboración: % de documentos firmados por más de un autor Índice de coautoría: firmas/trabajo Redes de coautorías Instituciones Tasa de colaboración: % de documentos firmados por más de una institución Número de instituciones por trabajo Tipo de colaboración: Intrainstitucional: entre departamentos de una misma institución Local: entre las instituciones de una misma provincia Regional: entre las instituciones de una CCAA Nacional: con otras CCAA diferentes a la de la institución Internacional (países, zonas geográficas) Redes de colaboración

52. Indicadores Colaboración. Ejemplos Ejemplo: Nº de firmantes en la Univ. Navarra

53. Indicadores Colaboración. Ejemplos Ejemplo: Patrones de colaboración de la Univ. Navarra

54. Indicadores Colaboración. Ejemplos Ejemplo: Algunas instituciones colaboradoras de la Univ. Navarra

55. Indicadores de Impacto y visibilidad Impacto esperado (Impact Factor y sucedáneos) Es el impacto de la revista: promedio de citas de los trabajos publicados Fácil de aplicar: El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos Impacto observado: Número de citas observadas, esto es, recibidas por los trabajos Difícil de aplicar : El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos

56. Indicadores de Impacto y visibilidad Impacto (esperado) ISI-JCR Impact Factor InmediacyIncdx CitedHalfLife Las alternativas: SJR, SNIPP, Eigenfactor, Articleinfluence Posiciones: TOP 3, Cuartiles… Factor impacto relativo… Impacto (Observado-Citas) Promedio de citas por trabajo % de documentos citados % de documentos muy citados Caracterización citantes: autocitas, domésticas, Índice H Une tamaño (producción) e impacto Los derivados del H: G, E, R, HC, HG, HI, HM, AW, AWCR, AWCRpA, q2, R

57. Indicadores de Impacto. Ejemplos Ejemplo: Impacto Vs Impacto Normalizado para las categorías JCR con más documentos de la Univ. Navarra

58. Indicadores de Impacto. Ejemplos Ejemplo: La producción científica de la Univ. Navarra según el cuartil de publicación

59. Indicadores de Impacto. Ejemplos Ejemplo: Producción de las universidades españolas según área de conocimiento y % de documentos en el 1º Cuartil.

60. Indicadores de Impacto. Ejemplos Ejemplo: Indicadores de impacto de las escuelas de negocios más importantes del mundo

61. Indicadores de Impacto. Ejemplos Ejemplo: Indicadores de impacto del IESE comparados con los valores medios del resto de escuelas de negocios

62. Indicadores de Impacto. Ejemplos Ejemplo: Ranking de investigadores de la Universidad de Granada en función del número de citas

63. EL Factor de Impacto y su construcción M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing

64. El Factor de Impacto

65. La fórmula mágica del Factor de Impacto 2006 Impact Factor Tiempo 2006 2005 2007 2004 2003 JCR Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005 Número de trabajos publicados en 2004 y 2005 Impact Factor = A/B

67. La distribución asimétrica de las citas de una revista hace que dicho promedio no sea representativo

68. El impacto de un artículonunca equivale al impacto de la revistaCitas trabajos publicados en 2007 International Journal of NursingStudies 8 (5%) trabajos concentran el 74% de las citas 150 (95%) trabajos concentran el 26% de las citas

70. Denominador: solo contabiliza los trabajos citables (artículos y revisiones)M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing

72. Hábitos de publicación y prácticas de citación de las comunidades científicas

75. Rapidez en la publicación (ventana de citación)

76. Tipo de trabajos publicados: revisiones, artículos metodológicos, cartas…

78. Publican artículos polémicos

81. Son un magnífico indicador de competitividad

82. Si se emplea para evaluar países, instituciones o individuos recordar que entonces es un indicador de impacto esperado y no observadoLos datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente

83. Las alternativas al Impact FactorCitas con pesos Torres-Salinas, Daniel; Jiménez-Contreras, Evaristo. Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en JournalCitationReports y Scopus. El profesional de la información, 2010, v. 19, n. 2, pp. 201-207.

84. Las alternativas al Impact FactorCitas con pesos LoetLeydesdorff. How are new citation-based journal indicators adding to the bibliometric toolbox?, Journal of the American Society for Information Science and Technology 60(7) (2009) 1327-1336

85. El índice H Un investigador tiene un índice h cuando h de sus documentos han recibido al menos h citas cada uno, y el resto tiene no más de h citas por documento.

86. El índice H 2 Posición o rango de los trabajos 1 Trabajos ordenados según número de citas 3 coinciden posición y citas o la posición > citas tenemos el H-Index 9

87. Fortalezas Combina producción e impacto en un solo indicador Simple y sencillo de calcular y entender Debilidades Valora la carrera de un investigador: No existen bases de datos que contengan todos los trabajos y las citas asociadas a las mismas- Las que existen se limitan a un número limitado de publicaciones (artículos en revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google Scholar). Inadecuado para comparar a investigadores de distintas áreas científicas Favorece a los autores senior frente a los noveles No excluye las autocitas Penaliza a los autores con estrategias de publicación muy selectivas: pocos documentos y altamente citados El índice H

88. El índice H Ejemplo: Índice H para diferentes hospitales españolas en diferentes con diferentes cortes cronológicos

89. El índice H Ejemplo: Top 20 universidades españolas según su Índice-H

90. Otros indicadores. Indicadores compuestos el IFQ2-A Index

91. Otros indicadores. Indicadores compuestos el IFQ2-A Index

92. Otros indicadores: el género Ejemplo: Participación de las mujeres en los trabajos publicados por la Universidad de Granda en revistas JCR

95. Indicadores de redes. Ejemplo EJEMPLO. Red de colaboración entre grupos de investigación del PAI de la UGR

96. Indicadores de redes. Ejemplo EJEMPLO. Red de colaboración institucional de la Univ. Navarra

97. Indicadores de redes. Ejemplo EJEMPLO. Red de Citación de las revistas fuentes de IN_RECS

98. Nuevos indicadoresEl uso • “a number of initiativeshaveattemptedtomeasurescientificimpactfromusage log data” • “derivation of metricstoassessthequality and impact of scholarlycommunicationunits” Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal ComponentAnalysis of 39 Scientific Impact Measures. PLOS One 2009 Los datos de uso tienen diferentes ventajas sobre los de citas. Inmediatos Consisten en procesar la información derivada de los ficheros log de consulta, donde que recogidos las sesiones de consulta de los usuarios – Fechas/duración – Identificador de la sesión – Identificador de los artículos – Tipo/resultados de la consulta Los indicadores de uso. – ¿Han venido para quedarse? – ¿Aportan nueva información? – ¿La información es complementaria?, ¿alternativa?, ¿mejor? ¿distinta? – ¿Son una alternativa real a las citas?

99. Nuevos indicadoresEl uso ¿Es lo mismo visitar un sitio, descargar un pdf, que citar un trabajo? Visitar ¿Sabemos qué se hace cuando se visita? Leer sumarios, resúmenes, artículos ¿Todas las visitas duran lo mismo? Descargar ¿Se leen de forma completa antes y por eso se descargan? ¿se lee un resumen y se descarga para proceder después a leerlo? ¿Todos los trabajos que se descargan después se leen? Citar El trabajo se ha leído… supuestamente Ha sido útil para el lector, por ello se cita. Existe ya un juicio de valor Ha influido en el trabajo, por ello se cita Lo que es más difícil es saber en qué sentido se emite un juicio de valor: positivo o negativo

100. Nuevos indicadoresEl uso Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal ComponentAnalysis of 39 Scientific Impact Measures. PLOS One 2009

101. Nuevos indicadoresEl uso

102. Nuevos indicadoresEl uso

103. Nuevos indicadoresEl uso Valores de diferentes indicadores en la revista PLOS ONE

104. Nuevos indicadoresEl uso

105. 3. LAS HERRAMIENTAS BIBLIOMÉTRICAS

106. Las herramientas Productos para análisis automáticos pegados a bases de datos de referencia Thomson ISI: WoS: Analyzeresults, createcitationreports Essential Science Indicators Science Watch Incites Harzing and Perish (Google Scholar) SCOPUS CitationTracker Journalanalyzer Scival (Elsevier) Productos cerrados LA FAMILIA CIENTIFICA (unav, ugr y ripper)

107. 3.1. LAS HERRAMIENTAS BIBLIOMÉTRICAS LA FAMILIA CIENTIFICA_

108. La familia CIENTIFICA_

109. Científica – Universidad Navarra

110. Científica – Universidad Navarra

111. Científica – Universidad Navarra

112. Científica – Universidad Navarra

113. Científica – Universidad Navarra

114. Científica – Universidad Navarra

115. Científica – Universidad de Granada

116. Científica – Universidad Granada 2. Seleccionamos DPT 1. Seleccionamos el nivel 3 Menú de opciones

117. Científica – Universidad Granada 2. Los tableros incluyen varias fichas 1. Tablero ejecutivo permita comparativas

119. Producción en revistas JCR

120. Publicaciones por profesor

121. Publicaciones 1º Cuartil

122. Publicaciones Top3

125. Científica – Universidad Granada

126. Científica – The ripper

127. Científica – The ripper

128. Científica – The ripper

129. Científica – The ripper

130. 3.2. LAS HERRAMIENTAS BIBLIOMÉTRICAS THOMSON REUTERS

131. Informes con la Web of Science

132. Informes con la Web of Science ° Tener en cuenta que tipologías documentales vamos a evaluar e incluir ° Acordaros de que un autor puede tener distinta firma y del author finder ° También las instituciones se indexan abreviadas y en inglés

133. Informes con la Web of Science

134. Informes con la Web of Science

135. Informes con la Web of Science torressalinas@gmail.com

136. Informes con la Web of Science torressalinas@gmail.com

137. Informes con la Web of Science torressalinas@gmail.com

138. Informes con la Web of Science • Hacer una búsqueda con el mayor grado de exhaustividad y precisión. • Recopilar información práctica sobre el autor que nos permita establecer límites. • Año en el comienza a publicar • Instituciones para las que ha trabajado • Campos científicos torressalinas@gmail.com

139. Informes con la Web of Science • Mostrar la mayor parte de información en pantalla. • Utilizar búsqueda de los navegadores • Marcar registros localizados • Buscar individualmente los que falten torressalinas@gmail.com

140. Informes con la Web of Science Exportamos los marcados Delimitados por tabulaciones para que podamos trabajar en .xls torressalinas@gmail.com

141. Informes con la Web of Science torressalinas@gmail.com

142. Los Essential Science Indicators ESI ofrece un archivo rodante de diez años, actualizado cada dos meses, que permite a los usuarios buscar en 22 campos específicos de investigación: Clasificaciones de científicos Clasificaciones de trabajos Clasificaciones institucionales de laboratorios de investigación universitarios, privados y gubernamentales Clasificaciones nacionales

143. Los Essential Science Indicators

144. Los Essential Science Indicators DISCIPLINA - PAIS

145. Los Essential Science Indicators BASELINES

146. Los Essential Science Indicators RESEARCH FRONTS

147. INCITES

148. INCITES: cuadro de mando

149. INCITES: informes específicos

150. INCITES: comparativas

151. Science Watch La investigación de más impacto a nivel mundial Ruiz Pérez, R.; Jiménez Contreras, E.; Delgado López-Cózar, E. Complementos bibliométricos de Thomsom Scientific en la Web: buenos, bonitos y gratuitos. El Profesional de la Información 2008, 17(5):

152. 3.3. LAS HERRAMIENTAS BIBLIOMÉTRICAS ELSEVIER y OTROS

153. SCOPUS. Perfil institución

154. SCOPUS. Perfil institución

155. SCOPUS. Perfil de citación

156. SCOPUS. Authorevaluator

157. SCOPUS. Authorevaluator

158. SCOPUS. Authorevaluator

159. SCOPUS. JournalAnalyzer

160. SCIVAL de Elsevier

161. SCIVAL de ELSEVIER

162. SCIVAL de ELSEVIER

163. Otros. Publish or perish

164. Técnicas bibliométricas para la evaluación de la investigación en Ciencias de la Salud ¡¡ GRACIAS A TOD@S !! Contacto: http://ec3.ugr.es