A sequência de slides desta apresentação foi utilizada no curso oferecido na SBPC em 2013 na UFPE. O objetivo principal desta apresentação foi humanizar um assunto relevante e emblemático para os interessados na produção de conhecimento. Buscou-se definir e desmistificar o uso de indicadores como fator de impacto (JCR, J ou FI), índice H etc.
PROGRAMA DE AÇÃO 2024 - MARIANA DA SILVA MORAES.pdf
Análise de indicadores cienciométricos e métricas de pesquisa nas ciências da saúde
1. ANÁLISE DE INDICADORES
CIENCIOMÉTRICOS NAS
CIÊNCIAS DA SAÚDE
Dr. Tony Meireles dos Santos
Prof. Adjunto do Depto. EFI – Universidade Federal de Pernambuco
4. Abordagem da Apresentação
• Fontes de informação
• Breve histórico da
cienciometria e sua
conceituação
• Indicadores
cienciométricos
• Análise crítica dos
indicadores
4
8. Abordagem da Apresentação
• Fontes de informação
• Breve histórico da
cienciometria e sua
conceituação
• Indicadores
cienciométricos
• Análise crítica dos
indicadores
8
10. Aspectos históricos
• Século XVIII
– Expansão da produção científica
• Quantificação
• Rastreamento
• Disseminação
– Primeiras bibliotecas
• Século XIX
– Lenta expansão dos bancos de dados
Santos et al. (2011/2012, dados não publicados)
11. Aspectos históricos
• Século XX
– Mídia digital
• Maior armazenamento
• Velocidade de divulgação
– Criação da NLM (década de 1980)
• Novos desafios
– “Quantificação da ciência” (cienciometria)
• Índices matemáticos
– Journal Citation Report (JCR) - 1955
Santos et al. (2011/2012, dados não publicados)
12. Cienciometria
• Conjunto de técnicas matemáticas
aplicadas à quantificação e qualificação
da produção científica.
– Derivada da bibliometria;
– Foco em periódicos e patentes:
• # de produtos (quantidade)
• # citações (utilidade, aplicação prática, relevância)
– Útil na avaliação de periódicos,
pesquisadores, instituições e países.
12
http://pt.wikipedia.org/wiki/Cienciometria
13. Reflexos da Cienciometria
• Qualificação dos periódicos científicos
– Publicação em melhores periódicos
– Visibilidade do produto científico
– Valorização da citação
• Diferenciação dos pesquisadores
• Concessão de recursos
• Progressão profissional
Santos et al. (2011/2012, dados não publicados)
14. Exemplo I: Michael Pollock x Riess (Nobel de Física
2011)
14
http://www.skopus.com
15. Exemplo II: Cenário Produtivo Brasil 2009/2010
15
http://www.scimagojr.com/mapgen.php?
country=BR&year=2009&maptype=cn&un=a&x=h&y=citasxitem&z=item&area=0
17. Abordagem da Apresentação
• Fontes de informação
• Breve histórico da
cienciometria e sua
conceituação
• Indicadores
cienciométricos
• Análise crítica dos
indicadores
17
18. JCR - Journal of Citation Report
• Métrica do Thomson Reuters
– International Science Institute
• Número de citações, estimado, para um
periódico em dois anos
• Comparação e avaliação entre diferentes
periódicos
– Desde que de uma mesma área de
conhecimento
JCR (2011)=
# Citações em (2011) das publicações (2009 e 2010)
# de Publicações (2009 e 2010)
http://thomsonreuters.com/
19. IF, Immediacy Index e Cited Half Life
19
Triaridis e Kygidis (2010). Hippokratia 14 (Suppl. 1): 5-12
21. Índice H
• Indicador de qualidade do
pesquisador
• Impacto acumulativo de um
determinado pesquisador
pela quantidade de citações
da sua produção
• X trabalhos com pelo menos
X citações
– Michael L. Pollock
• H = 17
# Artigos Citações
1 22
2 19
3 10
4 4
5 3
6 2
7 1
8 1
Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software
Research Pty, 2011. 256 p.
23. Scimago Journal Rank - SJR
• Indicador do Scimago
– Normaliza o impacto de uma
citação em uma determinada
área de conhecimento
– Citação realizada em uma área
menos provável possui maior
valor
• Migração de informação
– Tenta prever o tempo em que
um artigo impactaria uma
determinada área
http://www.scimagojr.com/help.php#rank_journals
25. Índice H contemporâneo
– Foco: tempo de atividade
– Compensação da não diminuição do índice H
• Pós aposentadoria
– Atribui pesos para cada publicação conforme
a sua “idade”
• Artigos citados precocimente (< 4 anos) valem
mais
• Artigos citados com 4 anos valem 1
• Artigos citados tardiamente (> 4 anos) valem
menos
Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software
Research Pty, 2011. 256 p.
26. Quociente – M
• Foco: tempo de atividade
• Comparar pesquisadores com tamanho
de produção e tempo de carreira
diferentes
– Corrige a vantagem do # de anos ativos de um
pesquisador antigo x pesquisador jovem
• Quociente-M = Índice H / # Anos em
produtividade
Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software
Research Pty, 2011. 256 p.
27. Variações do Índice H (HI, HInorm e hm)
• Foco: Coautoria
• Objetivo de normalizar o efeito da coautoria
• HI
– HI = Índice H / # de autores dos artigos
• Hinorm
– Hinorm = # de citações do artigo / # de autores do
artigo
• Índice H multi-autoral (hm)
– Contagem reduzida das citações para casos de
co-autoria
Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software
Research Pty, 2011. 256 p.
32. Report Software Publish or Perish
32
Papers: 97 Cites/paper: 35.72 h-index: 23 AWCR: 276.30
Citations: 3465 Cites/author: 1179.81 g-index: 58 AW-index: 16.62
Years: 16 Papers/author: 32.05 hc-index: 16 AWCRpA: 104.00
Cites/year: 216.56 Authors/paper: 3.52 hI-index: 6.78 e-index: 51.22
hI,norm: 18 hm-index: 10.85
Query date: 14/10/2011
Hirsch a=6.55, m=1.44
Contemporary ac=4.32
Cites/paper 35.72/3.0/0 (mean/median/mode)
Authors/paper 3.52/4.0/4 (mean/median/mode)
4 paper(s) with 1 author(s)
15 paper(s) with 2 author(s)
24 paper(s) with 3 author(s)
35 paper(s) with 4 author(s)
19 paper(s) with 5 author(s)
Índices do desempenho e estratégias
do pesquisador
Contagens absolutas das informações
do pesquisador
Indicadores derivados do índice HÍndices ajustados pela “vida” de cada
produção
Alguns índices contemporâneos, com
correções diversas
Distribuição da estratégia de
colaboração
http://www.harzing.com/pop.htm
33. Abordagem da Apresentação
• Fontes de informação
• Breve histórico da
cienciometria e sua
conceituação
• Indicadores
cienciométricos
• Análise crítica dos
indicadores
33
34. Interferências nos critérios
• JCR - principal indicador
– Auto citações do periódico
• Periódicos
• Pesquisadores
– Artigos com grande potencial de citação
• Textos metodológicos (novos procedimentos)
• Textos de revisão
– Redes de relacionamento
• Ghost writers
35. Motivos para Auto Citações
• Tradição entre os pesquisadores
– Valorização do próprio trabalho
– Continuidade e evolução de projetos
– Prática espúria
– Isso é monitorado!
• Indicação de algumas revistas
– Textos metodológicos
• Rhea MR. Determining the magnitude of treatment effects in
strength training research through the use of the effect size. J
Strength Cond Res. 2004 Nov;18(4):918-20.
– Sugestões declaradas
• “Be sure to include appropriate articles from the Journal to
which the article is submitted.”
35
37. Exclusão pelo JCR da Revista Brasileira de
Farmacognosia
37
http://www.scielo.org/php/index.php
38. Babado Recente...
• Suspensão para 2012 do JCR
– Acta Ortopedica Brasileira
– Clinics
– Jornal Brasileira de Pneumologia
– Revista da Associação Médica Brasileira
38
39. Comparação do JCR Entre as Áreas
39
Rose Olthof . How to Get Published. Apresentação Fio Cruz, Rio de Janeiro, 2011
40. Comparação do JCR Entre as Áreas: CS x
MED
40
0
2
4
6
8
10
Medicina
Ciências Sociais
Fator de Impacto (JCR)
http://www.scimagojr.com
41. JCR - Estratégia para aumento do JCR
• Aumento do numerador
– Auto citações
– Relevância dos estudos
– Relevância dos pesquisadores
– Número de pesquisadores
• Ameaça da auto citação
• Diminuir o denominador
– Baixa quantidade de artigos aceitos por revista
• Estratégia da revista x benefício da ciência
– Impacto sobre os PPG
JCR (2011)=
# Citações em (2011) das publicações (2009 e 2010)
# de Publicações (2009 e 2010)
43. Considerações Sobre o Índice H
• Vantagem
– Sensível à produção x impacto
– Múltiplas aplicações
• Pesquisadores, países, instituições etc.
• Limitações
– Sensível à idade do pesquisador
– Não regride
– Influenciado pela auto citação
– Influenciado pela multi-autoria
43
Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software
Research Pty, 2011. 256 p.
44. Utilidades do Índice H - Países
44
Brasil Argentina Portugal EUA
Índice H 253 183 191 1190
Documentos 325549 93075 99351 5285514
Documentos citáveis 315102 90135 95994 4934052
Citações 2203616 814586 873105 94410591
Auto citações 716178 185945 183305 43892266
(%) 33% 23% 21% 46%
Citações por documento 6,77 8,75 8,79 17,86
1996-2010
Indicadores
http://www.scimagojr.com
51. SJR x IF - Scimago 2010: Orthopedics and Sports Medicine
51
http://www.scimagojr.com/journalrank.php?
area=2700&category=2732&country=all&year=2010&order=sjr&min=0&min_type=
52. Indexação
• PubMed
– Escopo e cobertura
– Qualidade do conteúdo
– Qualidade do trabalho e corpo editorial
– Qualidade da produção
– Audiência
– Tipos de conteúdo
– Periódicos de língua estrangeira (inglês)
– Cobertura geográfica
http://www.pubmed.com
53. Revisão por pares
• Qualidade do manuscrito
• Entretanto...
– Histórico e prestígio dos autores
– Instituição de origem
– Proteção à ideologias pessoais
– Tendência à aprovação dos estudos com
“significância estatística” (2/3)
– Circuito extremamente fechado
• Muitas vezes independente da qualidade do
manuscrito
• Periódicos em plataforma aberta
– Revisão metodológica
– Adequação à revista
55. Impacto direto sobre os PPG nacionais
• CAPES
– Quantidade de produção
• Nº de produtos
– Qualidade da produção (Área
21, 2007-2009)
• A1
– JCR ≥ 1,85
– H ≥ 70
• A2
– JCR ≥ 1,35
– H ≥ 25
• B1
– JCR < 1,35
– H < 25
• Desvalorização dos livros
– Sem julgamento prévio
– Incertezas sobre a pontuação
56. Considerações Finais
• Informações fundamentais para
pesquisadores e alunos
• Interpretação crítica do JCR
• Necessidade de adequação dos critérios
brasileiros
– Área 21 trabalhando nesta proposta
– Minha sugestão (se é que posso...):
• Se for utilizar o JCR
– Normatização dos impactos pelo pico das subáreas
• Investigar outras opções
– SJR
– Variações do H
56