O documento analisa os aspectos normativos relacionados à avaliação das ciências, com foco na pesquisa em História das Ciências e da Saúde desenvolvida na Casa de Oswaldo Cruz. Discute os principais métodos de avaliação como revisão por pares, análises bibliométricas e seus benefícios e críticas. Também examina os sistemas de avaliação da Casa de Oswaldo Cruz, Fiocruz e área de História da Capes.

1. Aspectosnormativosdaavaliaçãodas
ciências:reflexõesparaapesquisaemHistória
dasCiênciasedaSaúdedaCasadeOswaldo
Cruz
MarcusVinícius Pereira da Silva - PPGCI/UFF; COC/Fiocruz
Lídia Silva de Freitas - PPGCI/UFF
Jacqueline Ribeiro Cabral – GCI/IACS/UFF
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

2. Introdução
 Objetivo: Analisar os aspectos normativos relacionados à
avaliação das ciências, na qual se insere a pesquisa em História das
Ciências e da Saúde (HCS) desenvolvida naCOC/Fiocruz.
 Projeto de doutorado em Ciência da Informação (UFF).
 Desdobramento de uma ação desenvolvida naCOC com
abordagem quantitativa.
 Pergunta: quais são os contextos normativos nos quais a pesquisa
em História das Ciências e da Saúde na COC está inserida?
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

3. Métodos de
avaliação das
ciências
 Ponto de partida: estudos desenvolvidos pelo Grupo de Pesquisa
“Estudos em Epistemologia, Ética e Política de Informação”
(Infoética).
 Michèle Lamont (2012): estudos em sociologia comparativa da
valoração.
 PaulW.Taylor (1961): composição dos discursos normativos e os
julgamentos de valor.
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

4. Métodos de
avaliação das
ciências
Julgamentos de valor Revisão por pares
(Peer Review)
Avaliação indireta ou ex-post
(Ex: Análises bibliométricas)
Julgamento qualificativo
(Valor de graduação) –
TAYLOR; Estima – LAMONT
Julgamento comparativo a
partir de padrões, matrizes
epistêmicas, paradigmas
Julgamento hierárquico
(Valor de ordenamento) –
TAYLOR; Ranking –
LAMONT
Julgamento comparativo
entre os membros de uma
mesma classe (ou agregado),
visando ao ordenamento
hierárquico dos
componentes
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY
QUADRO 1 - Tecnologias do conhecimento: modelos de
avaliação científica
Fonte: Gonzalez de Gomez, 2014.

5. Métodos de
avaliação das
ciências
 Revisão por pares:
 Críticas:
 avaliações diferentes acerca de um mesmo item;
 critérios não científicos;
 pouca ligação entre a avaliação e a qualidade dos
trabalhos.
 Benefícios:
 realizada por especialistas qualificados;
 discordâncias entres os revisores são bem vindas
(confiabilidade diminui, mas a validade do processo
aumenta);
 Motivo por ser uma das tecnologias do conhecimento mais
utilizada: ausência de uma alternativa melhor
(Bornmann, 2008; 2011)
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

6. Métodos de
avaliação das
ciências
 Análises bibliométricas:
 Benefícios:
 Forma de tornar os processos de avaliação mais objetivos
e confiáveis;
 Recomendação de conjugar com métodos qualitativos;
 Menor custo e processo mais ágil;
 Reprodutibilidade;
 Acessibilidade internacional;
 Facilidade de interpretação
 Críticas:
 Lógica produtivista (salami science);
 Fortalecimento das grandes empresas internacionais que
gerenciam as bases de dados;
 Exclusão de processos importantes da pesquisa
(Freitas, 2017; Mugnaini, Digiampietri, Mena-Chalco, 2014;
Vanti, 2000;Young, 2003)
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

7. Métodos de
avaliação das
ciências
 Esforços
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

8. Métodos de
avaliação das
ciências
 Alternativas:
 Altmetria
 Ciência aberta
 Ausência de consenso entre os pesquisadores e gestores quanto
ao melhor método para avaliar a ciência;
 Indagação: é possível alcançá-lo?
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

9. Campo da HCS
daCOC
 Principais sistemas de avaliação:
 Casa de Oswaldo Cruz;
 Fiocruz;
 Área de História da Capes.
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

10. Avaliação na
área de
História da
Capes
 Criação do Programa de Pós-Graduação em História das Ciências e
da Saúde (PPGHCS);
 Divergência sobre a intencionalidade da criação do PPGHCS
 Impacto nos processos de produção e divulgação do
conhecimento;
 Critica aos modelos de avaliação das agências reguladoras:
 Cerceiamento da criatividade e da produção em outras áreas
do conhecimento
(Castro, 2016)
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

11. Avaliação na
área de
História da
Capes
 Alteração dos critérios de avaliação dos periódicos ao longo dos
anos:
 Até 2006: classificação de acordo com a circulação do
periódico (internacional, nacional ou local);
 2007-2009: presença dos periódicos nas bases de dados e
indexadores para a classificação como o SciELO, Scopus,
PsycInfo e ISI, porém não considerava o fator de impacto.
 2010-2012: não utilizou o fator de impacto e a inserção dos
periódicos em bases de dados.
 2013-2016: voltou a usar a inserção dos periódicos nas bases
de dados como critério para classificá-los nos estratos
superiores e passou a usar os indicadores bibliométricos de
modo suplementar.
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-
BY

12. Avaliação na
Fiocruz
 Indicadores globais 2016:
 privilegiaram os métodos quantitativos;
 número de artigos publicados em periódicos indexados.
 Indicadores intermediários 2016:
 não há padrão acerca dos tipos de publicação contabilizados como
metas de produtividade em pesquisa;
 Metade considera somente artigos publicados em periódicos
indexados. IOC e INI estipulam metas relacionadas ao fator de
impacto;
 COC e outras 6 unidades consideram outros tipos de publicação
como produtividade em pesquisa.
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-
BY

13. Avaliação na
Fiocruz
 Iniciativas Fiocruz:
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-
BY

14. Considerações
finais
 Pesquisa ainda em desenvolvimento;
 Não existe um modelo ideal de avaliação das ciências e pergunta-
se é possível existir;
 Pesquisa em HCS está inserida em diferentes quadros normativos
relacionados entre si;
 Diversidade das áreas de atuação da Fiocruz, dificultando a
avaliação da pesquisa como um todo;
 Criação do Observatório e instituição da Política de Acesso Aberto;
 Divergências dentro da própria área de História sobre qual o
melhor critério.
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-
BY

15. Referências
 Bornmann L. Scientific peer review: an analysis of the peer review
process from the perspective of Sociology of Science theories. Human
Architecture. 2008;6(2):23-38.
 Bornmann L. Scientific peer review. Annual review of information
science and technology. 2011;45(1):197-245.
 Castro EL. Conhecimento e memória na Casa de Oswaldo
Cruz/Fiocruz: reflexões e elementos para a construção de iniciativas
de memória organizacional [dissertação]. Rio de Janeiro: Instituto
Brasileiro de Informação em Ciência eTecnológica; 2016. 190 f.
 Freitas LS. Bases de dados e indicadores na produção científica:
articulando informação, conhecimento e ética. In: González de Gómez
MM, Cianconi RB, organizadoras. Ética da informação: desafios e
perspectivas. Rio de Janeiro: Garamond; 2017. p. 110-29.
 González de Gómez MM. Da questão da validade ao julgamento de
valor: mediação informacional da avaliação científica. In: Freire IM, et
al., organizadores. Além das nuvens: expandindo as fronteiras da
ciência da informação. Anais do XV Encontro Nacional de Pesquisa em
Ciência da Informação; 2014; Belo Horizonte. Belo Horizonte: UFMG;
2014. p. 216-36.
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

16. Referências
 Lamont M.Toward a comparative sociology of valuation and
evaluation. Annual Review of Sociolog. 2012;38(1): 201-21.
 Mugnaini R, Digiampietri LA, Mena-Chalco J. Comunicação científica
no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão.
Transinformação. 2014;26(3):239-52.
 Taylor PW. Normative Discourse. NewYork: Prentice-Hall; 1961.
 Vanti N. Métodos cuantitativos de evaluación de la ciencia.
Investigación Bibliotecológica. 2000;14(29):9-23.
 Young SN. Peer review of manuscripts: theory and practice. Journal of
Psychiatry & Neuroscience. 2003;28(5):327-30.
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY

17. Obrigado,
MarcusVinícius Pereira da Silva
E-mail: marcus.silva@fiocruz.br
8º ConfOA, Rio de Janeiro, 4-6 outubro de 2017 | Silva MVP, Freitas LS, Cabral JR | Licença CC-NC-BY