Formation à destination des doctorants donnée le 14/02/2014 dans le cadre du programme "Domptez la Doc" sur la thématique des innovations en cours dans le domaine de l'édition scientifique et notamment :
- le peer-reviewing
- le contenu et la structure des articles
- les modalités d'accès
- l'évaluation de l'impact
Beaucoup de slides, beaucoup de screenshots, des redites et sans doute des oublis... désolé :)
2. Au programme…
• Introduction
•
•
•
•
Processus de contrôle de la qualité
Typologie et structure des contenus
Modalités d'accès aux publications
Evaluation de l'impact des publications
• Conclusion
Domptez la Doc - 11 février 2014
Page 2
3. Introduction
A quoi sert une publication scientifique (article,
communication, livre ou chapitre…) ?
•à communiquer entre chercheurs
Domptez la Doc - 11 février 2014
Page 3
12. Introduction
A quoi sert une publication scientifique (article,
communication, livre ou chapitre…) ?
•à communiquer entre chercheurs
•à évaluer la recherche
Domptez la Doc - 11 février 2014
Page 12
14. Evaluation individuelle (progression de carrière)
Recommandations pour l'avancement de grade,
CNU section 67 (biologie des populations et écologie)
Domptez la Doc - 11 février 2014
Page 14
15. Evaluation individuelle (obtention de financements)
Critères d'éligibilité aux bourses de l'ERC, ERC 2014
Domptez la Doc - 11 février 2014
Page 15
18. Evaluation collective (pays)
Classement par pays en fonction de la production scientifique 1996-2012
(SCImago Ranking)
Domptez la Doc - 11 février 2014
Page 18
20. Avertissements…
Traits communs entre disciplines et grande
hétérogénéité à la fois.
Nombreux exemples issus des sciences "dures"
mais évolution rapide et profonde des SHS
(digital humanities).
Les évolutions sont très… progressives !
TOUS les changements sont liés au web…
Domptez la Doc - 11 février 2014
Page 20
21. 1. Processus de contrôle de la qualité
Nick D. Kim, scienceandink.com
Domptez la Doc - 11 février 2014
Page 21
22. 1. Processus de contrôle de la qualité
Constat, situation dominante :
• le peer-reviewing "en double aveugle" est la
norme pour la plupart des sciences dures…
• … mais ce mécanisme est de plus en plus
critiqué (opacité, risques de blocages par
rivalité, fraudes non détectées…)
• évaluation a priori
Domptez la Doc - 11 février 2014
Page 22
23. Article rétracté de Hwang Woo-Suk (biotechnologie)
Domptez la Doc - 11 février 2014
Page 23
24. Publication rétractée de Diederik Stapel (psychologie sociale)
Domptez la Doc - 11 février 2014
Page 24
25. 1. Processus de contrôle de la qualité
Evolution 1 : open peer-review anonyme
Principe : tous les échanges entre referee,
editor et auteur sont rendus publics ; l'identité
du referee reste confidentielle.
Exemple : revues de l'European Geosciences
Union
Domptez la Doc - 11 février 2014
Page 25
28. 1. Processus de contrôle de la qualité
Evolution 2 : open peer-review nominatif
Principe : tous les échanges entre referee,
editor et auteur sont rendus publics ; l'identité
du referee est connue (responsabilisation).
Exemple : BMC Medicine
Domptez la Doc - 11 février 2014
Page 28
30. 1. Processus de contrôle de la qualité
Evolution 3 : public peer-review
Principe : en parallèle du circuit de peer-review
classique, les articles sont soumis à
commentaire public
Exemple : expérimentation Nature de juin à
décembre 2006.
Domptez la Doc - 11 février 2014
Page 30
32. 1. Processus de contrôle de la qualité
Retours :
• 5% des auteurs ont accepté le public PR
• sur les articles soumis à commentaires seuls
54% ont été commentés
• la plupart des commentaires portaient sur la
forme et non le fond
• 38 articles commentés sur 1369 reviewés
Domptez la Doc - 11 février 2014
Page 32
33. 1. Processus de contrôle de la qualité
Evolution 4 : les "mega-journals"
Principe : l'importance potentielle de l'article
n'est pas prise en compte mais seulement la
rigueur de la méthode et du recueil de
données
Exemple : PLoS One, PeerJ
Domptez la Doc - 11 février 2014
Page 33
35. 2. Typologie et structure des contenus
Domptez la Doc - 11 février 2014
Page 35
36. 2. Typologie et structure des contenus
Constat, situation dominante :
• on observe une très très grande stabilité dans
le forme de l'article scientifique,
Domptez la Doc - 11 février 2014
Page 36
40. 2. Typologie et structure des contenus
Constat, situation dominante :
• on observe une très très grande stabilité dans
le forme de l'article scientifique,
• or le web ouvre un nombre important de
nouvelles possibilités…
Domptez la Doc - 11 février 2014
Page 40
41. 2. Typologie et structure des contenus
Evolutions 1 : éléments basiques
En-dehors du PDF de l'article on trouve
souvent plusieurs éléments :
• liens vers les articles cités et citant,
• nombre de téléchargements de l'article,
• accès direct et distinct aux figures et tables.
Domptez la Doc - 11 février 2014
Page 41
43. 2. Typologie et structure des contenus
Evolutions 2 : l'article enrichi
•
•
•
•
•
•
navigation facilitée
un super-résumé en plus de l'abstract
interview de l'auteur
lien avec les données
impact de l'article sur les réseaux sociaux
…
Domptez la Doc - 11 février 2014
Page 43
48. 2. Typologie et structure des contenus
Evolutions 3 : le lien avec les données
Parmi les sources d'enrichissement des
publications, l'accès aux données est un
enjeu important dont s'emparent les
éditeurs...
Domptez la Doc - 11 février 2014
Page 48
53. 2. Typologie et structure des contenus
Evolutions 4 : l'article-vidéo
Principe : nouvelle forme d'article valable en
particulier pour tous les articles concernant
des expérimentations et manipulations.
Exemple : Jove
Domptez la Doc - 11 février 2014
Page 53
55. 2. Typologie et structure des contenus
Evolutions 5 : vers une nouvelle forme de revues
Principe : les "épi-journaux" sont des revues
scientifiques s'appuyant sur un réservoir
d'articles en accès libre.
Exemple : projet Episciences-Math porté par le
CNRS (CCSD) et l'Université Joseph Fourier
Domptez la Doc - 11 février 2014
Page 55
58. 3. Modalités d'accès aux publications
Constat, situation dominante :
• l'accès aux publications scientifiques suppose
de payer un abonnement.
• dans les disciplines des sciences dures on
observe une concentration des éditeurs et un
fort renchérissement du coût des revues.
Domptez la Doc - 11 février 2014
Page 58
60. Indice 1984
Indice 2005
Consumer Price Index
100
188
Higher Ed. Price Index
105
239
Revues Chimie
100
821
Revues Ingénierie
100
701
Revues Médecine
100
766
Brenda Dingley, US Periodicals Prices - 2005
Domptez la Doc - 11 février 2014
Page 60
61. Reed Elsevier 2011 results, 16 février 2012
Domptez la Doc - 11 février 2014
Page 61
62. 3. Modalités d'accès aux publications
Evolution générale : développement de l'Open
Access
Définition : libre accès, en ligne, à la production
scientifique
Historique 1 : naissance dans les années 1990 en
lien avec des communautés pionnières (phys.)
Domptez la Doc - 11 février 2014
Page 62
63. 3. Modalités d'accès aux publications
Historique 2 : forte croissance dans les années
2000 sous l'impulsion des universités et des
organismes de recherche.
Historique 3 : principe de diffusion par défaut
adopté par l'UE (Horizon 2020) et l'ERC.
Domptez la Doc - 11 février 2014
Page 63
64. 3. Modalités d'accès aux publications
Evolution 1 : développement des archives
ouvertes (green open access)
Principe : le chercheur dépose son article dans
une base visible librement sur le web
Exemple : arXiv, HAL, ORBi, Pétale - ResearchGate
Domptez la Doc - 11 février 2014
Page 64
65. Articles de Grigory Perelman résolvant la conjecture de Poincaré.
Domptez la Doc - 11 février 2014
Page 65
74. 3. Modalités d'accès aux publications
Evolution 2 : développement de revues en accès
libre (gold open access)
Principe : les coûts d'édition de la revue sont
couverts par d'autres moyens que l'abonnement
Exemples : titres PLoS, Digital Medievalist,
plateformes ScieLo, Revues.org
Domptez la Doc - 11 février 2014
Page 74
80. 3. Modalités d'accès aux publications
Evolution 2bis : émergence d'une offre d'ebooks
en accès libre (gold open access)
Principe : les coûts d'éditions sont couverts par
d'autres dispositifs que la vente (souscription,
freemium, subvention…)
Exemples : OpenEdition, OAPEN
Domptez la Doc - 11 février 2014
Page 80
84. 4. Evaluation de l'impact des publications
Domptez la Doc - 11 février 2014
Page 84
85. 4. Evaluation de l'impact des publications
Constat, situation dominante :
• le facteur d'impact (IF) de la revue comme
critère essentiel (Eugene Garfield, ISI)
• fondé sur le nombre de citations
• évaluation bibliométrique a posteriori
Domptez la Doc - 11 février 2014
Page 85
87. 4. Evaluation de l'impact des publications
Critiques et limites :
• la valeur porte sur une revue et non un article
• opacité des données
• dérives avérées (autocitations, obligations de
citation de la revue…)
• faible prise en compte des disciplines
Domptez la Doc - 11 février 2014
Page 87
89. 4. Evaluation de l'impact des publications
Evolution 1 : prise de conscience "politique"
Mise en garde envers l'évaluation bibliométrique
comme unique critère de qualité.
Souhait de voir prise en compte la seule qualité
du contenu scientifique et non de la publication.
Domptez la Doc - 11 février 2014
Page 89
92. 4. Evaluation de l'impact des publications
Evolution 2 : nouvelles métriques sur les citations
Eigenfactor et SCImago Journal Ranking
Utilisation du PageRank (Google) pour le calcul
d'indicateurs.
Domptez la Doc - 11 février 2014
Page 92
99. Conclusion
Le modèle actuel (surtout en STM) est – trop –
entre les mains des éditeurs.
Le changement est – un peu – entre les mains
des institutions (modes d'évaluation)
Le changement est – beaucoup – entre les
mains des (jeunes) chercheurs.
Domptez la Doc - 11 février 2014
Page 99
100. Merci pour votre attention !
jean-francois.lutz@univ-lorraine.fr
@jflutz
Domptez la Doc - 11 février 2014
Page 100