Voici le support de cours n° 4 : "Savoir évaluer l'information : mesures de qualité et évaluation dans le monde de l'info-doc"

1. Séance 4 : Savoir évaluer l’information et mesures de qualité et évaluation dans le monde de l’info-doc DUT Gestion de l’Information et du Document (IUT Ponsan,Toulouse 3) Formationcontinue 2010-2011 Françoise Gouzi Quiroz frgouzi@gmail.com

2. Plan du cours I/Contexte : tout quantifier, tout mesurer II/Terminologie :qualité/information/évaluation III/Quelques outils pratiques pour évaluer l’info IV/Evaluer l’activité des bibliothèques V/Evaluer la production universitaire (du classement de Shangaï à l’ISI Web of Science-WOS) VI/Relativité de l’information (de l’Impact Factor à Wikipedia!)

3. I/Contexte : tout quantifier, tout mesurer « Evoluer d’une culture de moyens à une culture d’objectifs et de responsabilités » LOLF (loi organique relative aux lois de finances) du 1e août 2001 loi sur la LRU (loi relative aux libertés et responsabilités des universités) du 10 août 2007 et… L’AERES (l’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur), instance administrative, partie prenante d’une démarche qualité.

4. I/Contexte: tout quantifier, tout mesurer L’information : une notion centrale dans toute société enjeu de pouvoir . Exemple: censure de Google en Chine, les sites dits « sensibles » sont inaccessibles « printemps de 1989 », sites sur les droits de l’homme… Rapidité accrue de la circulation de l’information liée aux nvlles techno Internet (I-Phone, Twitter…) rend plus difficile son analyse et évaluation par les médiateurs de l’information (journalistes, documentalistes…) Disparition progressive du rôle de l’éditeur et place prépondérante de l’utilisateur, du citoyen

5. II/Terminologie :information/qualité/évaluation Des flous autour de ces termes L’information est construite : par un humain, relative à un sujet L’information est relative : sa signification va dépendre des conditions de sa réception L’information est organisée matériellement : le contenu et le contenant sont indissociables de la réception de l’information

7. Fiable (citation des sources)

8. Précise, exacte, complète

9. Accessible

10. Actualisée

13. Fiable

14. Actuelle, précise, accessible, mise à jour, ergonomiqueMais est-elle pertinente pour autant ?

15. III/Quelques outils pratiques pour évaluer l’info Les grilles pour analyser les sites web Licence Méthodologie documentaire et traitement de l’information-Univ. Paris 8: Modèle de grille d’analyse http://etudoc.files.wordpress.com/2008/11/grille-analyse_ap_2008.pdf .Cours en ligne sur le blog http://etudoc.wordpress.com/ SAPRISTI Evaluation de l’information presente sur Internet, 2007.http://docinsa.insa-lyon.fr/sapristi/index.php?rub=1004 EDUCNET Rechercher sur internet : méthodologie et outils 2010 http://www.educnet.education.fr/dossier/rechercher/default.htm CERISE, guide méthodologique de l’URFIST Paris – Evaluer des sites Internet, 2007 http://urfist.enc.sorbonne.fr/anciensite/cerise/p361.htm Chercher pour trouver École de bibliothéconomie et des sciences de l'information (EBSI), Université de Montréal. http://www.ebsi.umontreal.ca/jetrouve/internet/evalsite.htm

16. Des exemples de grilles thématiques Netscoring (critères de qualité de l'info. de santé sur l'Internet) 2005 http://www.chu-rouen.fr/netscoring/ Université de Montréal : conseils et stratégies de recherche par disciplines http://guides.bib.umontreal.ca/disciplines

18. Les collections et les acquisitions

20. Répertoire des adresses des Bibliothèques publiques/Ministère de la culture et de la communication. http://www.culture.gouv.fr/documentation/bibrep/pres.htm

22. 2 STA= nb de professeurs de l’institution ayant reçu 1 prix Nobel ou 1 médaille Fields

23. 3 HiCi= nb de chercheurs les plus cités tel que calculé par Thomson Scientific

24. 4 N&S= nb d’articles publiés dans les revues Nature et Science

25. 5 PUB= nb d’articles indexés par Thomson Scientific

26. 6 PROD= score total des 5 premiers indicateurs divisé par la taille du corps professoral (tps plein) Pour chaque institution on calcule 1somme pondérée de ces 6 scores normalisés. Les poids attribués axu critères st = à 20% sauf pr ALU et PROD (poids de 10%).

27. L’Observatoire des Sciences et des techniques (fournit les définitions des normes sur les impacts de citation et autres indicateurs)

29. S Sociales

30. SHSDépend du bon adressage ou non publications (normes du PRES de Toulouse,normes CNRS ou de l’OST, écriture monoligne ?) débat!! Pb d’homonymie !!

32. Pb des autocitations (d’excellence, de complaisance)Facteur G d’Egghe(D-Space) Eigenfactor de Bergstrom (notion de rang/cartographie, mesure de l’influence d’1 revue) L’impact factor (IF) = nb de citation / nb d’articles publiés Le ranking des revues (rang) JCR (Journal Citation reports) = évaluation des sources/revues tous les 2 ans (comme l’OST). Il y a 6000 revues pluridisciplinaires analysées. L’AERES tente d’imposer les mêmes critères d’évaluation aux SHS (débat, monographies échappent à l’analyse or en SHS ce type de publi prévaut sur la revue!!!) Hal-Life = Année à partir de laquelle le nb de citations vers la revue commence à décliner. Plus le HL est basrevues brûlantes Plus le HL est haut revues bonne assise internationale

33. VI/Relativité de l’information : de l’Impact Factor à Wikipedia! Photo : Joseph R. Smyth http://ruby.colorado.eduLa pancarte additionne l’année, l’altitude et le nombre d’habitants.Le lien avec le classement de Shanghaï n’aura échappé à personne. Source « Arabesques », Ed. ABES, n°57, 2010.

34. Les limites du classement de Shanghaï En 2009 sur les 20 meilleures universités mondiales : 17 univ. US, 2 britanniques et 1 japonaise. Pertinence. Un classement pourquoi et pour qui ? (question qui n’a jamais été posée !) que cherche-t-on à évaluer ? Question de la définition d’1 université (différence entre grande école, institut de recherche, université..) cas du Collège de France (aucun diplôme et aucun étudiant !) Question du public : est-il adressé aux étudiants, aux pdts d’université, aux recruteurs de haut niveau, aux politiques ? Critères discutables : choisis sur la base de la seule disponibilité des info. sur Internet (paramètres arbitraires, pas de transparence sur les données initiales) ex. Prix Nobel ! Méthode de calcul: poids adoptés dans 1 somme pondérée sont liés à la normalisation des échelles. Si celle-ci change on doit changer les poids, sinon résultats absurdes. Cherpa-Network  Réaliser 1 classement européen des universités ( 1 Appel d’Offres de la CE) Source: J.-C. Billaut, D. Bouyssou, Ph. Vincke « Arabesques » n° 57, 2010, pp. 14-15

36. 3/Le tout collaboratif 1 Internet participatif où l’internaute devient producteur de contenus (wikis, Twitter, Blogs, réseaux sociaux…)Partager des contenus, collaborer en ligne Un web modifiable, dynamique et fluctuant WIKIPEDIA = l’ancêtre du Web 2.0 (le 1 er wiki).Le contenu de Wikipedia est mis en ligne sans garantie. Loi du 1% (1% rédigent, 19 % commentent, 80 % lisent !) Risque d’utilisation frauduleuse des données personnelles (réseaux sociaux) Absence de vérification des adresses IP, des identités… Spam, spyware, faux site… Hal = entière responsabilité des auteurs

37. Biblio-webographie Arabesques, « Mesures et évaluation », n° 57 janvier - février mars 2010 (en ligne http://www.abes.fr/abes/DocumentsWebAbes/abes/arabesques/Arabesques57.pdf ) Liens utilessur les notions de facteursd‘impact et citations: http://www.scd.ups-tlse.fr/barthez/liens_citat.htm Observatoire des Sciences et des Techniques : http://www.obs-ost.fr/ Mars 2011. Charte de signature des publications scientifiques de l'université Paris Diderot. Lien Qualité en bibliothèques : L'application statistique interactive des Bibliothèques universitaires (Ministère de l’Enseignement Supérieur et de la recherche) https://www.sup.adc.education.fr/asibu/ « Faut-il classer les revues en sciences humaines et sociales ? Dix années de controverses françaises (1999-2009) », Gabriel Galvez-Behar, http://halshs.archives-ouvertes.fr/halshs-00548183/fr/ Evaluer la productionscientifique en SHS-Outilsbibliométriques (CNRS-INSHS INstitut des SciencesHumaines et Socialeshttp://www.cnrs.fr/inshs/recherche/evaluation-production-scientifique/outils-bibliometriques.htm Michèle Dassa, Christine Kosmopoulos et Denise Pumain,. « JournalBase. Comparer les bases de données scientifiques internationales en sciences humaines et sociales (SHS) » , 2010, http://cybergeo.revues.org/22864