1. Indicadores de impacto e produtividade das publicações para a avaliação da atividade científica Letícia Strehl Profa. do Departamento de Ciência da Informação Faculdade de Biblioteconomia e Comunicação - UFRGS Núcleo Orientado para a Inovação na Edificação (NORIE) – UFRGS - 01/12/2010

2. Dilemas da avaliação da produção científica Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?

3. Critérios de avaliação da produção científica (1):O que é produzido? Abordagem de problemas de caráter predominantemente nacional (Produção Endógena) X Tratamento de temáticas comuns aos interesses dos países desenvolvidos – mainstream (Produção Exógena) Fonte: FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública, São Paulo, v. 30, n. 1, 1996.

4. Critérios de avaliação da produção científica (2) “Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“ "Como se pode estudar isto?" Como? Quanto? Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85

5. Critérios de avaliação da produção científica (3):Quanto é produzido? Esta é fácil: Determina-se quantas publicações foram escritas por um cientista em um dado momento! Fácil... será? A questão deixa de ser trivial quando as diferenças entre as áreas do conhecimento são examinadas.

6. Fonte: Censo 2004 do diretório dos grupos de pesquisa do CNPq. Disponível em: http://dgp.cnpq.br/censos/estratificacao/2004/index_estratificacao_2004.htm

7. Critérios de avaliação da produção científica (4):Com que qualidade é produzido? Avaliação por pares Ex.: consultoria ad hoc, Sistema Qualis Indicadores de impacto (considerando, neste caso, citação=visibilidade = qualidade?!) Ex.: Fator de impacto (Thomson Reuters) e Índice H

8. Premissa dos indicadores de impacto Trabalhos importantes são freqüentemente citados na literatura científica

9. Requisitos para o cálculo dos índices de impacto Existência de bases de dados que indexem: uma quantidade representativa de documentos; as referências citadas nas publicações. Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico

10. Todavia... Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais! 

11. Mesmo crescente, o número de periódicos nacionais nas bases é irrisório

12. Implicações da limitação do escopo dessas bases A valorização da competitividade, o impacto e a visibilidade internacionais -Produção Exógena-

13. Todas as áreas são norteadas por estes valores?

14. Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais

15. O fator de impacto (FI) Há décadas o principal indicador de visibilidade das publicações Indicador criado em 1963 por Eugene Garfield e Irving Sher Publicado anualmente no Journal Citation Reports (JCR)

16. O FI como critério de avaliação da produção científica Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.

17. Como o FI é calculado?

18. Motivos do sucesso do FI como critério de avaliação da produção científica Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais Facilidade de compreensão “Robustez” (pequena variação de um ano para outro) Rápida disponibilidade Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.

19. Todavia... a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de sub-áreas diversas de uma mesma área é impraticável

20. Comparação de valores absolutos de FI de periódicos de diferentes áreas

21. Pelo menos dois fatores contribuem para as diferenças de FI Oncologia Densidade dos artigos Idade das citações Matemática Densidade dos artigos Idade das citações

22. Densidade e idade das citações da área de Construção Densidade dos artigos Idade das citações

23. Como o FI é calculado? 5 anos 2 anos

24. Variação dos valores médios de FI por área do conhecimento AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.

26. Corruptela do FI do periódico:o FI do autor Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções

27. Surgimento do Índice H Indicador de produtividade e impacto de um cientista

28. O que é o índice H Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

29. Exemplo de índice H: Stephen Hawking Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.

30. O sentido do Índice H Legenda: I= Impacto H = Índice H Alto Baixo

31. Dificuldades do Índice H para comparação de desempenho dos cientistas Padrões de citação distintos verificados nas diversas áreas Artigos escritos em co-autoria Influência do tempo de atividade do pesquisador

32. Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H

33. O índice H calculado com a Web of Science

34. Para visualizar como é obtido o índice H Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H

35. Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)

36. Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)

37. O índice H da Scopus (1)

38. O índice H da Scopus (2)

39. O Google Acadêmico (GA) com uma alternativa? O que é: Versão especializada do Google para documentos científicos Lançado em nov. 2004 Como funciona: Robôs recompilam as informações disponíveis nos domínios institucionais, com permissão dos produtores, na filosofia dos Arquivos Abertos Não utiliza os metadados dos editores das publicações Não possui ferramenta própria para sistematização de informações das citações para cálculo dos indicadores Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5, Sep-Oct, p.501-510. 2009.

40. “Publish or Perish”: umaferramentabibliométricapara o GA

41. Indicadores calculados pelo “Publish or Perish” Formas de busca Índices principais Autores Periódicos Palavras-chave Número total: trabalhos Citações Númeromédio de: citaçõesporartigo citaçõesporautor citaçõesporano trabalhosporautor Índice H e indicadoresrelacionados

42. Problemas! Cobertura extensa, mas indenfinida Forma de coleta dos metadados acarreta muitas inconsistências nos dados Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

43. Tipos de inconsistências na forma do GA de coletar os metadados Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

44. Duplicação de artigos 1 em 4

45. Duplicação de citações 7 em 3

46. Autores? Autor fantasma: P Login ou seja PleaseLogin (2.340 artigos) Autores perdidos

47. TODAS as bases possuem inconsistências!TODO o levantamento biliométrico exige limpeza de dados!

48. Todavia, para PeterJácso as inconsistências do GA são tantas que inviabilizam por completo o uso dos dados para cálculo de índices bibliométricosMas, para a recuperação, o GA é uma excelente ferramenta Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

49. Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus) http://www.scimagojr.com/

51. O desafio em termos de indicadores A avaliação capaz de considerar as diferenças existentes entre as várias (sub-)áreas Desenvolvimento de indicadores que valorizem os periódicos de qualidade que tratam de problemas regionais

52. Muito obrigada! Mais informações estão disponíveis em: http://leticiastrehl.blogspot.com/ leticia.strehl@ufrgs.com