O documento discute o processo de avaliação de artigos científicos, incluindo as boas práticas dos avaliadores, tipos de artigos e tendências emergentes. Aborda tópicos como os níveis de anonimato, compensações para avaliadores, grelhas de avaliação e relatórios de revisão.

1. Avaliação
de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011
Seninários de Investigação em Didáctica
Programa Doutoral em Didáctica e Formação!
2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!

2. 2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
1. O PROCESSO DA AVALIAÇÃO!
revisor
editor
revisor revisor
ed. assoc.
editor
revisor revisor revisor
ed. assoc.
revisor revisor revisor
Esta é a terminologia para revistas (journals).
No caso das conferências, o papel do editor
é exercido pelo presidente da comissão
de programa (ou comissão científica).
Os restantes membros da comissão de
programa actuam como editores associados
revisor = avaliador = árbitro
(reviewer = referee)

3. 1. O PROCESSO DA AVALIAÇÃO!
NÍVEIS DE ANONIMATO:
Revisão duplamente anónima
(double-blind review) –
Revisores não sabem quem
são os autores e autores não
sabem quem são os revisores.
Revisão anónima (single-
blind review) – Revisores
sabem quem são os autores,
mas autores não sabem quem
são os revisores.
Revisão aberta. Vários níveis de
anonimato:
•! As identidades das duas partes
são conhecidas.
•! As avaliações, assinadas, são
enviadas aos autores.
•! São colocadas on-line versões
preliminares dos artigos e
pedem-se revisões e
comentários.
1. O PROCESSO DA AVALIAÇÃO!
COMPENSAÇÕES:
•! Tipicamente, o esforço de
revisão não é remunerado.
•! A principal “remuneração” é o
prestígio, quer seja reconhecido em
privado, quer seja tornado público
em listas de revisores.
•! Nas revistas, pode oferecer-se uma
assinatura ou uma autorização de
acesso gratuito por tempo limitado.
•! Nas conferências, oferece-se às
vezes a participação na
conferência ou no programa social.
•! Apesar de não haver pagamentos,
o custo estimado da revisão de
artigos de revista é da ordem de
25% dos custos totais de
publicação e disseminação.
•! Nas conferências, por vezes
convidam-se os revisores para as
comissões de programa, para que o
destaque possa ser mais evidente.

4. 2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! A avaliação de artigos científicos deve ser encarada como
uma actividade cívica do cientista na sua contribuição para
melhorar o eco-sistema de produção científica
•! O revisor deve auxiliar o editor a defender os interesses do leitor na
obtenção de trabalhos de melhor qualidade e utilidade, mas respeitar o
autor, ajudando-o a melhorar o seu trabalho e a progredir como autor
•! Nesse sentido, um avaliador que se limite a preencher
grelhas, sem comentar nem justificar os seus julgamentos,
deve ser excluído e remetido para lista negra
•! A decisão de aceitar ou rejeitar um artigo cabe ao editor. O papel do revisor
é fornecer ao editor elementos que sustentem a sua decisão, bem como
propor recomendações que ajudem o autor a melhorar o seu trabalho

5. 2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! As avaliações devem ser sempre justificadas, eventualmente
com referências que as apoiem (o revisor deve abster-se de
sugerir referências da sua própria autoria, que poderão
denunciar arrogância ou parcialidade da sua parte)
•! Na maior parte dos casos, a contribuição do revisor é
importante, por representar experiência e competência
no domínio, mas por vezes é útil que, como advogado
do diabo, assuma um papel exterior ao domínio
•! O papel do revisor não é dar largas à sua vaidade e
mostrar como é competente e superior, mas sim
oferecer, discretamente, uma avaliação útil e objectiva
2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! Um revisor que não seja suficientemente crítico está a prestar um mau
serviço à comunidade, encorajando investigação de má qualidade,
iludindo autores inexperientes, incentivando a progressão de autores
incompetentes, degradando a qualidade do conhecimento tornado
público, incentivando a proliferação de trabalhos que tornam os
processos de revisão insustentáveis. Poderá estar, assim, a contribuir
para um mundo mais ignorante do que aquele em que vivemos
•! Um revisor que seja demasiado crítico pode bloquear o progresso
da investigação, matar à nascença ideias promissoras, prejudicar
carreiras, deixar as revistas e conferências sem nada que publicar.
Em particular, não deverá rejeitar, sem boas razões, trabalhos que
se oponham às ideias correntes e que, por esse motivo, poderão
vir a ser embriões de novos e valiosos desenvolvimentos

6. 2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! Deve-se usar um tom civilizado e não insultuoso nas avaliações.
As críticas devem ser dirigidas ao artigo e não ao autor
•! Um revisor deverá evitar, em absoluto, actuar em situação
de conflito de interesses, nomeadamente se for parte
interessada na aprovação ou rejeição de um artigo
•! Um artigo submetido a avaliação é confidencial, pelo que, uma vez
avaliado, deverá ser esquecido. Não poderá ser copiado nem
divulgado. A apropriação, mesmo que subconsciente, de ideias
alheias é uma falta grave, e, neste caso, um abuso de um privilégio
•! Se um revisor não estiver à vontade num tópico em avaliação,
não tiver tempo para avaliar um artigo, ou tiver conflito de
interesses, deverá comunicá-lo de imediato ao editor
2. BOAS PRÁTICAS DA AVALIAÇÃO!
•! É frequente os autores de artigos para conferências
serem convidados a actuar também como
revisores. Deverão aceitar, a bem do sucesso da
conferência, entendida como evento de partilha
•! Quando um artigo é definitivamente mau e irrecuperável,
não se deve perder tempo a dar sugestões que tentem
melhorá-lo. O papel do revisor é auxiliar o autor, mas não
escrever o artigo por ele. Nesses casos, deve apontar duas
ou três falhas graves e passar ao trabalho seguinte

7. 2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
3. GRELHAS DE AVALIAÇÃO!
Classificar artigo numa escala de 1 (fraco)
a 5 (excelente), para os sucessivos itens:
Relevância. É relevante para a conferência ou revista?
Resolve problemas efectivos? De quem? Permite que o
leitor passe a utilizar as propostas? Ou, pelo contrário,
é uma acrobacia intelectual, sem utilidade?
Significado. Altera de forma significativa a visão que temos da
realidade estudada? Ou, pelo contrário, limita-se a retomar
formulações cujo significado está mais do que esclarecido?
Originalidade. Representa um avanço sensível relativamente ao que
já existe? Abre novas perspectivas para a compreensão do tema?

8. 3. GRELHAS DE AVALIAÇÃO!
Adequação dos métodos de investigação. Em que medida é que
os métodos de investigação adoptados se adequam ao trabalho
realizado? Há inovações na exploração desses métodos?
Adequação dos processos de investigação. O processo usado para
chegar às propostas é cientificamente sólido? Fundamentou-se em teorias
e dados experimentais credíveis? Justificou essa fundamentação?
Análise e interpretação dos dados. Em que medida é que a
análise e interpretação dos dados são adequadas e rigorosas?
Classificar artigo numa escala de 1 (fraco)
a 5 (excelente), para os sucessivos itens:
3. GRELHAS DE AVALIAÇÃO!
Lógica da argumentação. Em que medida é que a lógica da
argumentação é rigorosa, fluente e acessível aos leitores?
Adequação do título, resumo, introdução e conclusões. O título é
esclarecedor? O resumo satisfaz os requisitos de um resumo? A introdução dá
o enquadramento adequado? As conclusões são objectivas e esclarecedoras?
Completude e coerência. Há aspectos importantes que deviam ter sido
incluídos? Há aspectos desnecessários que deviam ter sido omitidos?
Profundidade. Explora a temática em profundidades, ou
fica-se por generalidades? Deixa em aberto aspectos de
aplicação ou operacionalização das propostas?
Classificar artigo numa escala de 1 (fraco)
a 5 (excelente), para os sucessivos itens:

9. 2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
4. O RELATÓRIO DO REVISOR!
1.! Sumário do artigo. Uma a cinco frases. Útil para
o editor, mas também para o próprio revisor.
2.! Relevância, significado e originalidade.
3.! Qualidade do trabalho. Adequação dos métodos, processos e e
análise, lógica da argumentação, adequação do título, resumo,
introdução e conclusão, profundidade, completude e coerência
4.! Recomendação. Aprovação, rejeição, aprovação com reservas. Incluir
justificação da recomendação, para que o editor possa decidir.
5.! Sugestões de melhoramentos. Apenas em caso de aprovação
ou se a decisão de rejeição for acompanhada da sugestão de
posterior re-submissão ou de submissão noutro local.

10. 2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
5. TIPOS DE ARTIGOS!
•! Criação de teoria (empírica)
•! Verificação de teoria (empírica)
•! Estudo conceptual-analítico
•! Proposta de criação de inovação
•! Proposta de avaliação de inovação
•! Artigo de opinião
•! Levantamento do estado da arte
(Jarvinen, 2004; Smith, 1990; Wiering, 2006)
•! Tutorial

11. 2. BOAS PRÁTICAS DA AVALIAÇÃO!
3. GRELHAS DE AVALIAÇÃO!
4. O RELATÓRIO DO REVISOR!
1. O PROCESSO DA AVALIAÇÃO!
5. TIPOS DE ARTIGOS!
6. NOVAS TENDÊNCIAS!
6. NOVAS TENDÊNCIAS!
•! Introduz atrasos excessivos
•! Nem sempre detecta negligência e más condutas
(falsificação, plágio, encobrimento de conflitos de interesses)
•! É prejudicada pela parcialidade dos revisores
CRÍTICAS À AVALIAÇÃO PELOS PARES:
•! Pode ser subjectiva e incoerente
•! Incentiva conservadorismo e reprime inovação
•! Prejudica investigação interdisciplinar
•! Sobrecarrega os avaliadores (muitas
submissões de má qualidade)

12. 6. NOVAS TENDÊNCIAS!
•! Circulação dos artigos on-line, em pré-versões, antes da
publicação formal, para recolha aberta dos comentários de uma
população alargada de investigadores (Exemplo: arXiv)
EMERGÊNCIA DA “SCHOLARSHIP 2.0”:
•! Avaliações pós-publicação, eventualmente complementadas com
comentários informais em blogs, redes sociais e plataformas de
recomendação (recommender systems), quer sociais, quer algorítmicas.
•! Avaliação mista: formal, expedita mas rigorosa na pré-
publicação, seguida, na pós-publicação, por avaliações formais
ou informais com base em comentários e/ou classificações
•! Recurso a variantes de crowdsourcing e contagens de
downloads em vez de avaliações formais pelos pares.
Avaliação
de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011
Seninários de Investigação em Didáctica
Programa Doutoral em Didáctica e Formação!
FIM

13. O DESAFIO!
O DESAFIO!

14. O DESAFIO!
O DESAFIO!

15. ENCONTRO EM ESPAÇO ABERTO!
REGRA DOS DOIS PÉS
Use os dois pés para se movimentar de
acordo com a contribuição que pode dar
QUATRO PRINCÍPIOS
•! Quando começar, é o momento certo
•! Quando acabar, acabou
•! Quem estiver é quem resolve os problemas
•! O que se conseguir é à melhor solução
Owen, H. (1997). Open Space Technology: A User's Guide. Benett-Koechler Publications