Conférence présentée le 20 novembre 2015 dans le cadre du 1er Colloque sur les médias sociaux en enseignement de la Faculté de médecine de l'Université de Montréal.
Conférencière:
Natalie Clairoux (Bibliothèque de la santé, Université de Montréal)
Objectifs de cette conférence:
- comprendre le concept d’indicateurs alternatifs d’impact ;
- identifier les sources de données ;
- se familiariser avec les principaux outils de mesure ;
- comparer les avantages et les limites des indicateurs alternatifs.
Visionnez cette conférence sur YouTube : https://www.youtube.com/watch?v=rls21wraSdA
2. DÉCLARATION DE CONFLITS D’INTÉRÊT
RÉELS OU POTENTIELS
JE N’AI AUCUN CONFLIT D’INTÉRÊT RÉEL OU
POTENTIEL EN LIEN AVEC LE CONTENU DE CETTE
PRÉSENTATION
3. INFLUENCE DES MESURES D’IMPACT
TRADITIONNELLES
3
Facteur d’impact
des revues
savantes
h-index
# citations Titularisation
Promotion
Allocations de fonds
Embauche
Classement des
établissements
4. 4
LE MONDE DE LA PUBLICATION SCIENTIFIQUE
TRADITIONNELLE EST BOULEVERSÉ
• Publications disponibles en libre accès (OA)
• Mentions des articles sur les réseaux sociaux: par les
professionnels, mais aussi par le public (motivations
différentes)
• Nouvelles manipulations des articles: pages vues,
téléchargement, référencement
• Partage de la “science brute”: ensemble de données,
code source, design expérimental
CONSÉQUENCES DE L’ESSOR DU NUMÉRIQUE
5. 5
DES INDICATEURS ALTERNATIFS D’IMPACT
• Mesure de l’impact potentiel et immédiat d’un article en
analysant sa dissémination et sa discussion, notamment
sur les réseaux sociaux.
• Peuvent fournir un aperçu des interactions du public avec
votre recherche – exploration des conversations autour
de votre contenu.
• Permettent de détecter l’impact « caché » des articles –
exemple d’un article cité seulement 11 fois (WoS), mais
très diffusé dans la communauté scientifique.
• « Examen par les pairs » spontané?! Important de bien
distinguer l’activité savante de l’activité publique.
• Utilisés en complément des outils bibliométriques
traditionnels.
CARACTÉRISTIQUES DES ALTMETRICS
6. SOURCES DE DONNÉES POUR ALTMETRICS
6
Utilisation
(visite, téléchargement)
Saisies
(signet, partage)
Mentions
(blogue, Wikipédia, nouvelle)
Médias sociaux
(Facebook, Twitter, Pinterest, G+)
Citations
(Scopus, WoS, Google Scholar)
DOI
API
Source: King & Tuna, 2013
8. 8
MODULE COMPLÉMENTAIRE (EXTENSION)
DISPONIBLE POUR CHROME, FIREFOX ET SAFARI
• À télécharger
• Permet d’obtenir des données altmetrics pour un article.
Ne fonctionne pas chez certains éditeurs.
• Altmetric est aussi intégré chez plusieurs éditeurs. Voir un
exemple d’article (Nature) qui a suscité beaucoup de
réactions.
• Possibilité d’intégrer un badge Altmetric à votre page
Web de laboratoire.
• Autres produits ($): Explorer, Altmetric for Institutions
ALTMETRIC BOOKMARKLET
9. 9
DONNÉES FOURNIES PAR L’ÉDITEUR DE LA
REVUE, PARFOIS EN COLLABORATION AVEC UN
SERVICE D’API
• PLoS ONE
• BioMedCentral
CHEZ CERTAINS ÉDITEURS, COLLECTIONS
D’ARTICLES LES PLUS PARTAGÉS ET LES PLUS
TÉLÉCHARGÉS
• NeuroStars (Springer)
ARTICLE-LEVEL METRICS
10. 10
LA REPRODUCTIBILITÉ DES RÉSULTATS EST
CONTESTÉE
• Volatilité des sites de réseaux sociaux
• Besoin d’un lien direct vers l’article pour la collecte de
données
• Plusieurs versions d’un même article disponibles sur le
Web
• Couverture possiblement incomplète si un problème de
serveur survient
• Établissement de normes: en cours (NISO)
LIMITES DES ALTMETRICS
Source: Haustein et al., 2013
Hinweis der Redaktion
Indicateurs au niveau de l’article, de la revue et de l’auteur
H-index: reflète à la fois le nombre de publications et le nombre de citations par publication. Un chercheur avec un indice de h a publié h articles qui ont été cités au moins h fois. Par exemple, LE Trudeau a un h-index de 26 dans WoS.
DOI: Digital Object Identifier
API=Interface de programme d’application
Selon Altmetric:
Each day, scholarly articles receive ~15,000 new mentions across social media, news, and blogs. That’s 1 mention every 7 seconds!
Each week, ~20,000 unique articles are shared.
National Information Standards Organization: Phase 2 Projects
Development of specific definitions for alternative assessment metrics – This working group will come up with specific definitions for the terms commonly used in alternative assessment metrics, enabling different stakeholders to talk about the same thing. This work will also lay the groundwork for the other working groups.
Definitions for appropriate metrics and calculation methodologies for specific output types – Research outputs that are currently underrepresented in research evaluation will be the focus of this working group. This includes research data, software, and performances, but also research outputs commonly found in the social sciences. The working group will come up with recommendations for appropriate metrics for these research outputs and will develop guidelines for their use.
Development of strategies to improve data quality through source data providers – Data quality is essential before any alternative assessment metrics can be used for research evaluation. This working group will look at issues of data quality and will recommend strategies to overcome these issues, or to clarify the limitations of particular assessment metrics.
Promotion and facilitation of use of persistent identifiers in scholarly communications – Persistent identifiers are needed to clearly identify research outputs for which collection of metrics is desired, but also to describe their relationships to other research outputs, to contributors, institutions, and funders. This working group will work closely with other initiatives in the space of identifiers.
Descriptions of how the main use cases apply to and are valuable to the different stakeholder groups – Alternative assessment metrics can be used for a variety of use cases from research evaluation to discovery. This working group will try to identify the main use cases, the stakeholder groups to which they are most relevant, and will also develop a statement about the role of alternative assessment metrics in research evaluation.