Formation à destination des doctorants donnée le 14/02/2014 dans le cadre du programme "Domptez la Doc" sur la thématique des innovations en cours dans le domaine de l'édition scientifique et notamment : - le peer-reviewing - le contenu et la structure des articles - les modalités d'accès - l'évaluation de l'impact Beaucoup de slides, beaucoup de screenshots, des redites et sans doute des oublis... désolé :)

1. Publications scientifiques :
changements et innovations
Domptez la Doc
11 février 2014
Page

2. Au programme…
• Introduction
•
•
•
•
Processus de contrôle de la qualité
Typologie et structure des contenus
Modalités d'accès aux publications
Evaluation de l'impact des publications
• Conclusion
Domptez la Doc - 11 février 2014
Page 2

3. Introduction
A quoi sert une publication scientifique (article,
communication, livre ou chapitre…) ?
•à communiquer entre chercheurs
Domptez la Doc - 11 février 2014
Page 3

4. S'écrire
1. Lettre d'Isaac Newton
à Edmond Halley, 1724
Domptez la Doc - 11 février 2014
Page 4

5. S'écrire
2. Lettre de Heinrich Schliemann
à Achilleas Postolakas, 187?
Domptez la Doc - 11 février 2014
Page 5

6. Se rencontrer
3. Fondation de l'Académie
des Sciences, 1666
Domptez la Doc - 11 février 2014
Page 6

7. Se rencontrer
Domptez la Doc - 11 février 2014
4. Premier congrès Solvay, 1911
Page 7

8. Publier
5. Première revue scientifique, 1665
Domptez la Doc - 11 février 2014
Page 8

9. Publier
6. Alpher (27 ans) Bethe & Gamow, 1948
Domptez la Doc - 11 février 2014
Page 9

10. Publier
7. Watson (25 ans) & Crick, 1953
Domptez la Doc - 11 février 2014
Page 10

11. Science, octobre 2013
Domptez la Doc - 11 février 2014
Page 11

12. Introduction
A quoi sert une publication scientifique (article,
communication, livre ou chapitre…) ?
•à communiquer entre chercheurs
•à évaluer la recherche
Domptez la Doc - 11 février 2014
Page 12

13. Evaluation individuelle (obtention d'un post-doc)
Domptez la Doc - 11 février 2014
Page 13

14. Evaluation individuelle (progression de carrière)
Recommandations pour l'avancement de grade,
CNU section 67 (biologie des populations et écologie)
Domptez la Doc - 11 février 2014
Page 14

15. Evaluation individuelle (obtention de financements)
Critères d'éligibilité aux bourses de l'ERC, ERC 2014
Domptez la Doc - 11 février 2014
Page 15

16. Evaluation collective (laboratoire)
Rapport d'évaluation du laboratoire HISCANT-MA, AERES 2012
Domptez la Doc - 11 février 2014
Page 16

17. Evaluation collective (établissement)
Critères d'établissement du classement mondial des universités (Shanghai Ranking)
Domptez la Doc - 11 février 2014
Page 17

18. Evaluation collective (pays)
Classement par pays en fonction de la production scientifique 1996-2012
(SCImago Ranking)
Domptez la Doc - 11 février 2014
Page 18

19. Domptez la Doc - 11 février 2014
Page 19

20. Avertissements…
Traits communs entre disciplines et grande
hétérogénéité à la fois.
Nombreux exemples issus des sciences "dures"
mais évolution rapide et profonde des SHS
(digital humanities).
Les évolutions sont très… progressives !
TOUS les changements sont liés au web…
Domptez la Doc - 11 février 2014
Page 20

21. 1. Processus de contrôle de la qualité
Nick D. Kim, scienceandink.com
Domptez la Doc - 11 février 2014
Page 21

22. 1. Processus de contrôle de la qualité
Constat, situation dominante :
• le peer-reviewing "en double aveugle" est la
norme pour la plupart des sciences dures…
• … mais ce mécanisme est de plus en plus
critiqué (opacité, risques de blocages par
rivalité, fraudes non détectées…)
• évaluation a priori
Domptez la Doc - 11 février 2014
Page 22

23. Article rétracté de Hwang Woo-Suk (biotechnologie)
Domptez la Doc - 11 février 2014
Page 23

24. Publication rétractée de Diederik Stapel (psychologie sociale)
Domptez la Doc - 11 février 2014
Page 24

25. 1. Processus de contrôle de la qualité
Evolution 1 : open peer-review anonyme
Principe : tous les échanges entre referee,
editor et auteur sont rendus publics ; l'identité
du referee reste confidentielle.
Exemple : revues de l'European Geosciences
Union
Domptez la Doc - 11 février 2014
Page 25

26. Domptez la Doc - 11 février 2014
Page 26

27. Domptez la Doc - 11 février 2014
Page 27

28. 1. Processus de contrôle de la qualité
Evolution 2 : open peer-review nominatif
Principe : tous les échanges entre referee,
editor et auteur sont rendus publics ; l'identité
du referee est connue (responsabilisation).
Exemple : BMC Medicine
Domptez la Doc - 11 février 2014
Page 28

29. Domptez la Doc - 11 février 2014
Page 29

30. 1. Processus de contrôle de la qualité
Evolution 3 : public peer-review
Principe : en parallèle du circuit de peer-review
classique, les articles sont soumis à
commentaire public
Exemple : expérimentation Nature de juin à
décembre 2006.
Domptez la Doc - 11 février 2014
Page 30

31. Domptez la Doc - 11 février 2014
Page 31

32. 1. Processus de contrôle de la qualité
Retours :
• 5% des auteurs ont accepté le public PR
• sur les articles soumis à commentaires seuls
54% ont été commentés
• la plupart des commentaires portaient sur la
forme et non le fond
• 38 articles commentés sur 1369 reviewés
Domptez la Doc - 11 février 2014
Page 32

33. 1. Processus de contrôle de la qualité
Evolution 4 : les "mega-journals"
Principe : l'importance potentielle de l'article
n'est pas prise en compte mais seulement la
rigueur de la méthode et du recueil de
données
Exemple : PLoS One, PeerJ
Domptez la Doc - 11 février 2014
Page 33

34. Domptez la Doc - 11 février 2014
Page 34

35. 2. Typologie et structure des contenus
Domptez la Doc - 11 février 2014
Page 35

36. 2. Typologie et structure des contenus
Constat, situation dominante :
• on observe une très très grande stabilité dans
le forme de l'article scientifique,
Domptez la Doc - 11 février 2014
Page 36

37. 1931
Domptez la Doc - 11 février 2014
2014
Page 37

38. 1931
Domptez la Doc - 11 février 2014
2014
Page 38

39. 1931
Domptez la Doc - 11 février 2014
2014
Page 39

40. 2. Typologie et structure des contenus
Constat, situation dominante :
• on observe une très très grande stabilité dans
le forme de l'article scientifique,
• or le web ouvre un nombre important de
nouvelles possibilités…
Domptez la Doc - 11 février 2014
Page 40

41. 2. Typologie et structure des contenus
Evolutions 1 : éléments basiques
En-dehors du PDF de l'article on trouve
souvent plusieurs éléments :
• liens vers les articles cités et citant,
• nombre de téléchargements de l'article,
• accès direct et distinct aux figures et tables.
Domptez la Doc - 11 février 2014
Page 41

42. Domptez la Doc - 11 février 2014
Page 42

43. 2. Typologie et structure des contenus
Evolutions 2 : l'article enrichi
•
•
•
•
•
•
navigation facilitée
un super-résumé en plus de l'abstract
interview de l'auteur
lien avec les données
impact de l'article sur les réseaux sociaux
…
Domptez la Doc - 11 février 2014
Page 43

44. Domptez la Doc - 11 février 2014
Page 44

45. Domptez la Doc - 11 février 2014
Page 45

46. Domptez la Doc - 11 février 2014
Page 46

47. Domptez la Doc - 11 février 2014
Page 47

48. 2. Typologie et structure des contenus
Evolutions 3 : le lien avec les données
Parmi les sources d'enrichissement des
publications, l'accès aux données est un
enjeu important dont s'emparent les
éditeurs...
Domptez la Doc - 11 février 2014
Page 48

49. Domptez la Doc - 11 février 2014
Page 49

50. Domptez la Doc - 11 février 2014
Page 50

51. Domptez la Doc - 11 février 2014
Page 51

52. Domptez la Doc - 11 février 2014
Page 52

53. 2. Typologie et structure des contenus
Evolutions 4 : l'article-vidéo
Principe : nouvelle forme d'article valable en
particulier pour tous les articles concernant
des expérimentations et manipulations.
Exemple : Jove
Domptez la Doc - 11 février 2014
Page 53

54. Domptez la Doc - 11 février 2014
Page 54

55. 2. Typologie et structure des contenus
Evolutions 5 : vers une nouvelle forme de revues
Principe : les "épi-journaux" sont des revues
scientifiques s'appuyant sur un réservoir
d'articles en accès libre.
Exemple : projet Episciences-Math porté par le
CNRS (CCSD) et l'Université Joseph Fourier
Domptez la Doc - 11 février 2014
Page 55

56. Domptez la Doc - 11 février 2014
Page 56

57. 3. Modalités d'accès aux publications
Domptez la Doc - 11 février 2014
Page 57

58. 3. Modalités d'accès aux publications
Constat, situation dominante :
• l'accès aux publications scientifiques suppose
de payer un abonnement.
• dans les disciplines des sciences dures on
observe une concentration des éditeurs et un
fort renchérissement du coût des revues.
Domptez la Doc - 11 février 2014
Page 58

59. Financement public
Recherche
Recherche
Rédaction
Rédaction
Financement privé
Peer-reviewing
Peer-reviewing
Bibliothèques
Bibliothèques
Edition
Edition
Domptez la Doc - 11 février 2014
Page 59

60. Indice 1984
Indice 2005
Consumer Price Index
100
188
Higher Ed. Price Index
105
239
Revues Chimie
100
821
Revues Ingénierie
100
701
Revues Médecine
100
766
Brenda Dingley, US Periodicals Prices - 2005
Domptez la Doc - 11 février 2014
Page 60

61. Reed Elsevier 2011 results, 16 février 2012
Domptez la Doc - 11 février 2014
Page 61

62. 3. Modalités d'accès aux publications
Evolution générale : développement de l'Open
Access
Définition : libre accès, en ligne, à la production
scientifique
Historique 1 : naissance dans les années 1990 en
lien avec des communautés pionnières (phys.)
Domptez la Doc - 11 février 2014
Page 62

63. 3. Modalités d'accès aux publications
Historique 2 : forte croissance dans les années
2000 sous l'impulsion des universités et des
organismes de recherche.
Historique 3 : principe de diffusion par défaut
adopté par l'UE (Horizon 2020) et l'ERC.
Domptez la Doc - 11 février 2014
Page 63

64. 3. Modalités d'accès aux publications
Evolution 1 : développement des archives
ouvertes (green open access)
Principe : le chercheur dépose son article dans
une base visible librement sur le web
Exemple : arXiv, HAL, ORBi, Pétale - ResearchGate
Domptez la Doc - 11 février 2014
Page 64

65. Articles de Grigory Perelman résolvant la conjecture de Poincaré.
Domptez la Doc - 11 février 2014
Page 65

66. Domptez la Doc - 11 février 2014
Page 66

67. Domptez la Doc - 11 février 2014
Page 67

68. Domptez la Doc - 11 février 2014
Page 68

69. Domptez la Doc - 11 février 2014
Page 69

70. Domptez la Doc - 11 février 2014
Page 70

71. Domptez la Doc - 11 février 2014
Page 71

72. Domptez la Doc - 11 février 2014
Page 72

73. Domptez la Doc - 11 février 2014
Page 73

74. 3. Modalités d'accès aux publications
Evolution 2 : développement de revues en accès
libre (gold open access)
Principe : les coûts d'édition de la revue sont
couverts par d'autres moyens que l'abonnement
Exemples : titres PLoS, Digital Medievalist,
plateformes ScieLo, Revues.org
Domptez la Doc - 11 février 2014
Page 74

75. Domptez la Doc - 11 février 2014
Page 75

76. Domptez la Doc - 11 février 2014
Page 76

77. Domptez la Doc - 11 février 2014
Page 77

78. Domptez la Doc - 11 février 2014
Page 78

79. Domptez la Doc - 11 février 2014
Page 79

80. 3. Modalités d'accès aux publications
Evolution 2bis : émergence d'une offre d'ebooks
en accès libre (gold open access)
Principe : les coûts d'éditions sont couverts par
d'autres dispositifs que la vente (souscription,
freemium, subvention…)
Exemples : OpenEdition, OAPEN
Domptez la Doc - 11 février 2014
Page 80

81. Domptez la Doc - 11 février 2014
Page 81

82. Domptez la Doc - 11 février 2014
Page 82

83. Domptez la Doc - 11 février 2014
Page 83

84. 4. Evaluation de l'impact des publications
Domptez la Doc - 11 février 2014
Page 84

85. 4. Evaluation de l'impact des publications
Constat, situation dominante :
• le facteur d'impact (IF) de la revue comme
critère essentiel (Eugene Garfield, ISI)
• fondé sur le nombre de citations
• évaluation bibliométrique a posteriori
Domptez la Doc - 11 février 2014
Page 85

86. Domptez la Doc - 11 février 2014
Page 86

87. 4. Evaluation de l'impact des publications
Critiques et limites :
• la valeur porte sur une revue et non un article
• opacité des données
• dérives avérées (autocitations, obligations de
citation de la revue…)
• faible prise en compte des disciplines
Domptez la Doc - 11 février 2014
Page 87

88. Domptez la Doc - 11 février 2014
Page 88

89. 4. Evaluation de l'impact des publications
Evolution 1 : prise de conscience "politique"
Mise en garde envers l'évaluation bibliométrique
comme unique critère de qualité.
Souhait de voir prise en compte la seule qualité
du contenu scientifique et non de la publication.
Domptez la Doc - 11 février 2014
Page 89

90. Domptez la Doc - 11 février 2014
Page 90

91. Domptez la Doc - 11 février 2014
Page 91

92. 4. Evaluation de l'impact des publications
Evolution 2 : nouvelles métriques sur les citations
Eigenfactor et SCImago Journal Ranking
Utilisation du PageRank (Google) pour le calcul
d'indicateurs.
Domptez la Doc - 11 février 2014
Page 92

93. Domptez la Doc - 11 février 2014
Page 93

94. Domptez la Doc - 11 février 2014
Page 94

95. 4. Evaluation de l'impact des publications
Evolution 3 : article-level metrics
Quelles données ?
- citations
- commentaires
Domptez la Doc - 11 février 2014
Page 95

96. Domptez la Doc - 11 février 2014
Page 96

97. 4. Evaluation de l'impact des publications
Evolution 3 : article-level metrics
Quelles données ?
- citations
- commentaires
- téléchargements (usage brut)
- enregistrement dans outil biblio (Zotero…)
- relais sur les réseaux sociaux
Domptez la Doc - 11 février 2014
Page 97

98. Domptez la Doc - 11 février 2014
Page 98

99. Conclusion
Le modèle actuel (surtout en STM) est – trop –
entre les mains des éditeurs.
Le changement est – un peu – entre les mains
des institutions (modes d'évaluation)
Le changement est – beaucoup – entre les
mains des (jeunes) chercheurs.
Domptez la Doc - 11 février 2014
Page 99

100. Merci pour votre attention !
jean-francois.lutz@univ-lorraine.fr
@jflutz
Domptez la Doc - 11 février 2014
Page 100