Evaluation de l’information scientifique et technique en accès libre : Quelques réflexions Sami OUESLATI (Institut Supérieur de Documentation, Université de la Manouba)

1. OUESLATI Sami
Institut Supérieur de Documentation
oueslati2001@yahoo.fr

2. Pourquoi est-il indispensable
de traiter ce sujet ?
Une nouvelle méthode de publication de l’IST
échappant au schéma classique de diffusion.
La question de l’évaluation de l’IST APPARAIT à
chaque fois lorsque la technologie de diffusion de
l’IST change.

3.  Libre
accès à l’IST, une nouvelle méthode
de publication de ce type d’information, est
une opportunité pour le chercheur mais à
quelle condition ?
Après ÉVALUATION ?

4. 1 Définition, caractéristiques de l’IST
2 Evaluation classique des publications
scientifiques
3 Les archives ouvertes :
 Définition,
 Pratiques de diffusion
 Pratiques d’utilisation
4 L’évaluation de l’IST en accès libre
 Évaluation en amont
 Évaluation en aval

5.  Ensemble
des informations destinées aux
secteurs de la recherche, de l'enseignement
et de l'industrie.
 IST :
• Essentielle à la production des savoirs,
• enjeu majeur dans la concurrence économique et
scientifique,
• se caractérise par :
 sa portée internationale,
 sa validation au sein d'un collège de spécialistes
 la mise en œuvre de techniques de médiation et d'outils
informatiques. [PANIJEL-BONVALOT, 9, 2005],

6.  L’IST
est :
• un ensemble de données testées, acceptées par
la communauté scientifique internationale
• un socle sur lequel se construisent des nouvelles
recherches.
Elle est indispensable à la production des savoirs
Un chercheur qui publie est aussi un chercheur
qui a utilisé l’IST pour avancer dans ses
recherches.

7.  On
souligne davantage encore :
le statut officiel de l’IST,
son appartenance collégiale,
son caractère d’authenticité.

1
On retient aussi :
• Le lien étroit qu’entretient l’IST avec la
technologie
les outils informatiques et la nature des
supports (ressources électroniques) jouent
un rôle considérable dans la chaîne éditoriale
et le circuit de distribution/diffusion de l’IST.
2
Archive ouverte
est un exemple

8.  Types
de communications que les
chercheurs scientifiques font de leurs
travaux en direction d'un public de
spécialistes,
 Publication
ayant subi une forme d'examen
de la rigueur de la méthode scientifique
1
employée pour ces travaux, comme
l'examen par un comité de lecture
indépendant.

9. 
Ce qui distingue une publication
scientifique d'une autre publication :
1
• elle a été approuvée par la communauté
internationale, la communauté des pairs,
• elle répond aux critères exigés par la méthode
scientifique,
• l’enregistrement permet de dater la priorité
intellectuelle d’une découverte,

10. • la certification assure la validité des résultats,
• la diffusion garantit l’accessibilité des résultats de
la recherche,
• l’archivage garantit l’intégrité des documents dans
le temps et dans l’accès [CHARTRON, 7, 1997].

11.  Deux
modes :
• L’évaluation du travail du chercheur par des pairs
(peer review),
• L’évaluation du travail du chercheur par son
institution

12. 
Le travail à publier va être examiner par un groupe
de chercheurs (expert) travaillant pour le compte
d’une institution ou d’une revue scientifique.

Le travail des experts consiste, à travers un comité
de lecture, à :
• porter un regard critique sur le travail du chercheur,
• décide le sort de l’article : accepté ou refusé

La proportion de rejet est proportionnelle au niveau
de notoriété et de sélection de la revue.

13.  Le
contrôle par les pairs porte sur des critères
qualitatifs représentatifs des valeurs
intrinsèques de la science en général :
• la nouveauté du travail : un intérêt scientifique
•
•
•
•
significatif en soi, et concordance avec la ligne
éditoriale de la revue.
la validité des processus expérimentaux
la fiabilité des résultats
la qualité rédactionnelle
la qualité et la richesse de la bibliographie.

14.  Elle
se base sur des critères qui déterminent
la carrière du chercheur, sa titularisation
éventuelle, et son avancement.
 Elle
est intimement liée à l’évaluation par les
pairs et repose en grande partie sur les
résultats de celle-ci : l’effort de recherche
étant financé par les organismes de tutelle,
l’évaluation des résultats à travers les
publications permet de justifier la somme des
montants alloués.

15. 2

Un réservoir où sont déposées plus au moins
volontairement des données issues de la
recherche scientifique et de l’enseignement : C’est
l’IST

L’ accès au réservoir se veut ouvert c’est-à-dire
sans barrière
Nouvelle forme et pratique de diffusion de l’IST
Nouvelles pratiques d’utilisation de l’IST

16.  Trois
nouvelles pratiques de diffusion de
l’IST (alimentation de la réservoir) :
• Dépôt spontané : auto-archivage (voie verte du
libre accès).
• Recommandation de dépôt (Inra 2010, Cnrs et
Inria 2005)
• Obligation de dépôt (ANR : pour les SHS 2006,
IFREMER 2010)

17. 
Trois pratiques d’utilisation sont apparues
• Accessibilité : l'accès à un maximum de documents
scientifiques à un plus grand nombre de chercheurs :
augmenter l’accessibilité et la visibilité.
• Pérennité : Accès sur une longue durée : Les
documents restent consultables sans limite dans le
temps.
• Gratuité : Accès gratuit et sans restriction. (Toutefois,
les documents restent entièrement la propriété
intellectuelle de leurs auteurs et les droits
d’auteurs doivent être respectés).

18. Auteur
Travail
scientifique
Evaluation
par les pairs
A
Validation /
Publication
Utilisation

19. A
1
Pré-publication
2
Publication :
Archive
ouverte
Auteur
Cours
Utilisation
Documents
non-publiés
etc…

20. Le contenu d’une archive ouverte est-il
approuvé par un comité d’expert et évalué en
utilisant les critères qualitatifs représentatifs
des valeurs intrinsèque de la science ?
L’évaluation de l’ist en amant ?
 1
Si non, est-il indispensable que l’utilisateur
évalue l’IST des archives ouvertes ?
L’évaluation de l’ist en aval ?
 2

21. Les archives ouvertes sont des véritables réservoirs de
pré-publications.
Quelques chiffres :
• Preprint, Working Paper, Document sans référence : le
¼ du dépôt en texte intégral sur HAL (statistiques du 27-05-2011),
9,19%, environ 21 600 documents (statistiques début 2013).
• 589 Cours (0,25%) (statistiques début 2013).
• 2191 Articles dans des revues sans comité de lecture
(0,93%) (statistiques début 2013).

22.  L’archive
ouverte impose des conditions pour
l’auto-archivage :
• Vérification technique et scientifique pour le
documents non publiés avant sa mise en ligne.
• La mise en ligne est assujettie à une modération : des
modérateurs aident à valider un document ainsi que
son adéquation aux thèmes des archives ouvertes.
• Les modérateurs se réservent le droit de refuser les
articles ne correspondant pas aux critères de
l’archivage.

23.  Principe
de l’auto-archivage : exemple Hal
«Un texte déposé sur Hal doit décrire un
travail de recherche solide, conforme aux
règles en usage dans la discipline,
comparable aux manuscrits que les
chercheurs soumettent pour publication aux
comités de lecture de revues scientifiques,
d’actes de colloque, etc…».
Source : Mode d’emploi de HAL
(http://www.ccsd.cnrs.fr/support/content/PDF/docHAL.pdf)

24. 
Vérification-modération mais pas une évaluation
selon des critères qualitatifs.

Nombre de modérateurs par domaine et par
spécialité est trop limité par rapport au nombre
d’un comité de lecture : un seul modérateur pour
SIC sur HAL.
Evaluateurs « double-aveugle » pour
l’impartialité de l’évaluation de la publication ?!

La proportion de rejet est-elle proportionnelle au
niveau de la « notoriété » de l’archive ouverte ?

25.  L’archives
ouverte « donne la main » à un
auteur pour modifier son article autoarchivé.
Y a-t-il une évaluation/modération des
modifications apportées à un article ?

26.  Archives
disciplinaires, archives centrales
et archives institutionnelles, les dernières
sont les «champions» de l’évaluation.
Recommandation de dépôt et
obligation de dépôt s’imposent.
Qu’on est-il des archives centrales où
le dépôt spontané réserve une bonne
place ?

27. 
Utilité : Compensation pour la vérification et la
modération appliquées en amant sur une publication
qui alimentera une archive ouverte.

Acteur : l’utilisateur d’une archive ouverte

Principe :
• savoir s’il faut ou non sélectionner, exploiter et s’approprier
l’information en question.
attribuer une valeur, i.e. une signification à l’information au moyen
d’un jugement.
• Utiliser des critères d’évaluation appropriés

28. du type de l’archive ouverte
utilisé : centrale ou disciplinaire ou
institutionnelle ?
 Vérification

Identification du type de document : une
pré-publication ou une post-publication ou
un acte de conférences ou un cours ou un
document non publié etc. ?

29.  Identification
de l’auteur : ses
compétences ? Connu ? Appartenance à
une instance de recherche ? Nombre de
ses publications sur l’archive ouverte ?
Mentionne t-il les publications qu’il a faites
? Etc.
des valeurs d’impact
scientifique de la publication.
 Evaluation

30.  Plusieurs
types de publications existent
dans les réservoirs des archives ouvertes.
 Nous pensons que :
• L’évaluation en aval est indispensable ; un
manque à gagner nécessaire pour approuver
l’utilisation d’une publication.
• Cet exposé a mis le point sur quelques aspects de
l’évaluation de l’ist en accès libre. D’autres critères
sont à étudier et à prendre en considération.