350 ans après sa création, la revue savante demeure le principal moyen de diffusion des connaissances savantes, et les citations reçues par les articles constituent la mesure principale de leur impact scientifique. Les médias sociaux et leur introduction dans un contexte académique ont généré de nouvelles opportunités pour capturer l’impact sur un public potentiellement plus large—pas simplement les auteurs qui citent—et plus rapide, compte tenu de la vitesse avec laquelle l’activité dans les médias sociaux peut être mesurée. Le nombre de tweets, de publications Facebook, de lecteurs sur Mendeley, d’évaluations d’experts sur F1000, et de vues sur Slideshare sont des exemples d’indicateurs considérés comme des «altmetrics». De nombreuses revues fournissent également les «altmetrics» associées à chacun de leurs articles, certains chercheurs les présentent sur leurs CVs, et certains organismes subventionnaires commencent à envisager leur utilisation. Même s’il est devenu évident que ces nouvelles mesures sont très hétérogènes et ne peuvent remplacer les citations, on sait encore peu de choses sur leur signification et le type d’impact qu’ils reflètent. Cette communication fera un tour d’horizon des opportunités et des défis associés à l’utilisation de médias sociaux dans la communication savante.
SIGMET Panel at ASIST: Altmetrics - Present and Future
Altmetrics: opportunités et défis associés à l’usage des médias sociaux dans la communication savante
1. Altmetrics
Opportunités et défis associés à l’usage des
médias sociaux dans la communication savante
Stefanie Haustein
stefanie.haustein@umontreal.ca
@stefhaustein
crc.ebsi.umontreal.ca/sloan
2. Communication savante : revues savantes
Évaluation de la recherche : altmetrics
Opportunités et défis : communautés diverses
3. Communication savante
Revues savantes
• Remplacent la lettre comme moyen de
communication 1665
Journal de Sçavans
Philosophical Transactions
• Fonctions des revues :
• Enregistrement
• Certification
• Dissémination
• Archivage
5. Communication savante
Ère numérique
• Amélioration de l’accès
• Accélération du processus
• Diversification des canaux
• Libre accès
• Science ouverte
• Open Data
• Open Source
• Open Methodology
• Open Access
• Open Peer Review
6. Critiques de l’évaluation de la recherche
• Les articles révisés par les pairs comme seule mesure
de productivité
• Les citations comme seule mesure d’impact.
Formes alternatives de « produits » scientifiques
Sources et usages alternatifs de ces produits
• Influence des technologies
Altmetrics
…
…
7. Haustein, S., Larivière, V., Thelwall, M., Amyot, D., & Peters, I. (2014). Tweets vs. Mendeley readers: How do these two social media metrics differ? It - Information Technology, 56(5), 207–215.
(for Mendeley reader counts only: 2010-2012 PubMed/WoS papers)
Haustein, S., Costas, R. & Larivière, V. (2015) Characterizing social media metrics of scholarly papers: The effect of document properties and collaboration patterns. PLoS ONE, 10(5), e0127830.
(for all metrics except Mendeley reader counts: 2012 WoS papers with a DOI)
Altmetrics
Que savons-nous?
%
8. Altmetrics
Que savons-nous?
Haustein, S., Larivière, V., Thelwall, M., Amyot, D., & Peters, I. (2014). Tweets vs. Mendeley readers: How do these two social media metrics differ? It - Information Technology, 56(5), 207–215.
(for Mendeley reader counts only: 2010-2012 PubMed/WoS papers)
Haustein, S., Costas, R. & Larivière, V. (2015) Characterizing social media metrics of scholarly papers: The effect of document properties and collaboration patterns. PLoS ONE, 10(5), e0127830.
(for all metrics except Mendeley reader counts: 2012 WoS papers with a DOI)
%
9. Altmetrics
Que savons-nous?
Haustein, S., Larivière, V., Thelwall, M., Amyot, D., & Peters, I. (2014). Tweets vs. Mendeley readers: How do these two social media metrics differ? It - Information Technology, 56(5), 207–215.
(for Mendeley reader counts only: 2010-2012 PubMed/WoS papers)
Haustein, S., Costas, R. & Larivière, V. (2015) Characterizing social media metrics of scholarly papers: The effect of document properties and collaboration patterns. PLoS ONE, 10(5), e0127830.
(for all metrics except Mendeley reader counts: 2012 WoS papers with a DOI)
%
10. Haustein, S., Costas, R. & Larivière, V. (2015) Characterizing social media metrics of scholarly papers: The effect of document properties and collaboration patterns. PLoS ONE, 10(5), e0127830.
Altmetrics
Que savons-nous?
Sciences biomédicales
Sciences sociales et humaines
Sciences de la vie et de la terre
Sciences naturelles et ingénierie
Mathématique et informatique
Pourcentage des articles sur Twitter
11. Haustein, S., Costas, R. & Larivière, V. (2015) Characterizing social media metrics of scholarly papers: The effect of document properties and collaboration patterns. PLoS ONE, 10(5), e0127830.
Altmetrics
Que savons-nous?
Nombre moyen de tweets et de citations par type de document
18. Niveau d’engagement sur Twitter
Communautés diverses
Engagement faible Engagement fort
Les pourcentages représentent la similarité entre le titre de l’article et le contenu du tweet
Haustein, S., Bowman, T. D., Holmberg, K., Tsou, A., Sugimoto, C. R. & Larivière, V. (in press), Tweets as impact indicators: Examining the implications of automated “bot” accounts on Twitter.
Journal of the Association for Information Science and Technology. doi: 10.1002/asi.23456
19. Communautés diverses
Visibilité
Engagement
Influenceurs« Discutant »
« Marmonneur » Diffuseur
Haustein, S., Bowman, T.D. & Costas, R. (in press), ‘Communities of attention’ around scientific publications: who is tweeting about scientific papers? Proceedings of Social Media & Society 2015,
Toronto, Canada.
20. Communautés diverses
• 708 des 125 083 utilisateurs (0,6%)
twittant des articles du WoS publiés
en 2012 (>100 articles twittés)
• Taille du nœud représente le nombre
d’articles
Réseau d’utilisateurs twittant les mêmes articles
Haustein, S., Bowman, T.D. & Costas, R. (in press), ‘Communities of attention’ around scientific publications: who is tweeting about scientific papers? Proceedings of Social Media & Society 2015,
Toronto, Canada.
21. Communautés diverses
Haustein, S., Bowman, T.D. & Costas, R. (in press), ‘Communities of attention’ around scientific publications: who is tweeting about scientific papers? Proceedings of Social Media & Society 2015,
Toronto, Canada.
22. Communautés diverses
Haustein, S., Bowman, T.D. & Costas, R. (in press), ‘Communities of attention’ around scientific publications: who is tweeting about scientific papers? Proceedings of Social Media & Society 2015,
Toronto, Canada.
23. Communautés diverses
Haustein, S., Bowman, T.D. & Costas, R. (in press), ‘Communities of attention’ around scientific publications: who is tweeting about scientific papers? Proceedings of Social Media & Society 2015,
Toronto, Canada.
24. Communautés diverses
Haustein, S., Bowman, T.D. & Costas, R. (in press), ‘Communities of attention’ around scientific publications: who is tweeting about scientific papers? Proceedings of Social Media & Society 2015,
Toronto, Canada.
25. Quelques conclusions
• Différences fondamentales entre les tweets et les
citations :
• Contrôle de la qualité
• Communauté
• Engagement
• Différences entre :
• Disciplines
• Types de document
• Année de publication
Comprendre la signification des tweets avant de les
utiliser pour l’évaluation de la recherche
26. Quelques recommandations
Si vous utilisez les altmetrics :
• Altmetrics != citations : ne pas substituer!
• Les altmetrics sont hétérogènes : ne pas mélanger!
• Niveaux d’engagement : les différencier!
• Biais lié à la date de publication : ne pas utiliser pour les
vieux articles!
• Articles sans DOI non pris en compte : attention!
• Différents types de documents : normaliser pour comparer!
• Différences disciplinaires : normaliser pour comparer!
• Motivations et facteurs de confusion inconnus: attention!
27. Stefanie Haustein
Thank you for your attention!
Questions?
stefanie.haustein@umontreal.ca
@stefhaustein
crc.ebsi.umontreal.ca/sloan
Merci beaucoup!
Thank you very much!
Vielen Dank für Ihre Aufmerksamkeit!
Special Issue in Aslib Journal of Information Management 67(3)
Stefanie Haustein, Cassidy R. Sugimoto & Vincent Larivière (Eds.)
“Social media metrics in scholarly communication:
exploring tweets, blogs, likes and other altmetrics”
http://www.emeraldinsight.com/toc/ajim/67/3/a
http://crc.ebsi.umontreal.ca/aslib/
Hinweis der Redaktion
Bonjour!
Aujourd’hui je vais parler des altmetrics, les mesures de la communication savante basé sur les médias sociaux.
Ç’est la première conférence, qui je donne en français, donc j’espère que vous me bien comprendrez quand même.
Avant de parler des altmetrics, je vais donner fournir quelques éléments relatifs au contexte, dans lequel ils existent.
Je vais parler de la communication savante, de l’invention des revues jusqu’à la science ouverte.
Je vais ensuite effectuer un survol des altmetrics et leurs usage dans l’évaluation de la recherche, et du champ de la recherche sur les altmetrics, principalement situé dans les sciences de l’information.
La troisième partie de ma présentation va mettre l’emphase sur quelques opportunités et défis des communautés diverses particulièrement sur Twitter.
Le Journal de Sçavans et les Philosophical Transactions sont les premières revues savantes.
Fondées en 1665, elles ont remplacé la correspondance épistolaire entre les chercheurs – ou les philosophes naturels, comme on les appelait à l’époque.
La revue permet d’établir la priorité des découvertes, d’effectuer la revision par les pairs, la dissemination à grande echelle ainsi que l’archivage.
Ces quatre fonctions des revues savantes – enregistrement, certification, dissémination et archivage – ont été introduites au 17e siècle.
Encore aujourd’hui, les revues ont ces mêmes fonctions.
Depuis ce temps, les revues sont le plus important moyen de communication savante, particulièrement dans les sciences naturelles et médicales.
Considérant que les revues existent depuis 350 ans cette années, on peut dire que peu de choses a changé, et que bon nombre d’aspects sont restés les mêmes.
On pensait que l’arrivée du numérique allait transformer la revue savante, mais en fait, la revue en ligne imite la revue imprimée.
Du moins, l’ère numérique a eux quelques effets bénéfiques:
L’accès à l’article est amélioré
L’internet et le courriel ont accéléré la communication entre les chercheurs et le processus de soumission, révision et publication des articles.
Le numérique a permis la diversification des canaux de diffusion et la revue a perdu de son importance.
La plupart des fonctions de la revue pourraient en effet être remplacées par les autre plateformes et ne sont plus exclusive aux revues.
Cependant, publier dans les revues renommées est encore lié à l’attribution du capital symbolique aux chercheurs.
Finalement, le numérique a aussi mené à l’apparition du libre-accès aux articles scientifiques.
La science ouverte va encore plus loin, et veux changer complètement le processus scientifique
Dans la science ouverte tout est transparent et partagé :
Les données
Les codes sources
Les méthodes
Les publications
La révision par les pair
Ça, c’est le contexte, dans lequel les altmetrics s’établissent.
L’idée des altmetrics est née des critiques envers la façon dont les chercheurs sont crédités pour leur travail.
Dans ce modèle souvent utilisé, la productivité d’un chercheur est égale au nombre d’article
La qualité des ces articles est mesurée par le nombre de citations reçues.
Les altmetrics visent à tenir compte des formes alternatives de publications commele billet de blog, les données, les codes sources, les présentations etc.
Les altmetrics tiennent aussi compte des formes alternatives d’usage et d’impact, comme les mentions sur Twitter, Facebook, Wikipedia etc, ou encore le nombre de lecteurs sur les logiciels de gestions des bibliographies comme Mendeley
C’est importante de noter que la définition des altmetrics est déterminer par la technologie, particulièrement la disponibilité des interfaces de programmation. C’est l’accès aux données, et non la valeur des données, qui détermine leur utilisation comme altmetrics.
Aussi « altmetrics » n’est pas un bon nom, parce-que la plupart des mesures héterogènes qu’elle regroupe ne sont pas une alternative des citations.
Cinq ans après leur introduction, qu’est-ce que on sait vraiment des altmetrics?
Je vais présenter un survol des études quantitatives.
Une première étape de cette études c’est suivante l’analyse du pourcentage des articles présentes sur les médias sociaux
Mendeley est le plus important avec deux tiers des articles ayant au moins un lecteur.
Twitter suit avec seulement 20% des articles sur la plateforme.
Les autres médias sociaux sont peut utiliser pour la diffusion d’articles scientifiquespar exemple, Facebook 5%, Blogs 2%, Google+ and les sites de nouvelles <1%
Un autre indicateur de leur usage est la fréquence de leur utilisation:
Pour les articles récents, le nombre de lecteurs sur Mendeley est deux fois plus élevé que le nombre de citations – donc c’est un indicateur intéressant
Par contre, chaque article reçoit en moyenne 0,8 tweets—ce qui est très faible—et l’utilisation sur les autres plateformes est encore moins fréquente.
La troisième type d’analyse pour les altmetrics c’est suivante la correlation. On compare le nombre de tweets, mentions sur Facebook etc. avec les citations, parce-que ils constituent les mesure d’impact connu.
Mendeley est le seule mesure qui montre un correlation moderrément positive, les autre correlations sont très faible.
Donc, ils ne mesurent pas la même chose comme le citation.
Discipline
Il existe d’importantes différences entre les disciplines dans la proportion d’articles tweetés
8% dans Mathematique et informatique
32% dans science biomedicale
On peut interpréter cela comme étant dû au fait que certains thèmes attirent d’avantage d’intérêt que d’autres
Les travaux sur le cancer ou sur les aspects sociaux ou psychologiques des comportements humains sont plus faciles à comprendre que la physique ou la chimie.
Les types de documents les plus cités ne sont pas les plus tweetés. Les documents qui ne sont typiquement pas cités—les nouvelles ou les éditoriaux—sont les plus visibiles sur twitter
Dans l’ensemble, plus un document est bref, plus il a de chances d’être visible sur les médias sociaux.
Quelques examples des documents plus tweeté
Triologie ordinaire de « sex, drugs and rock ‘n roll » (Cameron Neylon)4,500 tweets
Sujet complexe: physique des particules: Pour-quoi est-ce que c’est populaire sur Twitter?
L’abstract! « Probably not. » - c’est la réponse à la titre
C’est une blague des auteurs – et un jeu de mots sur l’aspect probabiliste de la physique quantique
Presque 7,000 tweets
Sujet a l’air scientifique aussi, mais le raison pour son succes sur Twitter n’est pas le contribution scientique
C’est cette note dans le texte, que les auteurs ont oubliés: Should we cite the crappy Gabor paper here?
C’était très embarassant pour les auteurs, la revue… et pour M. Gabor lui-même.
Ils ont finalement décidé de le citer!!!
Twitter n’est pas juste le « buzz »
Il y a définitivement des discussions scientifiques sur Twitter. Et certains articles sont discutés par le « grand » public.
MAIS: les articles les plus twittés ne sont pas ceux qui ont leur plus grand mérite scientifique
Entretemps, les altmerics sont en croissance, et sont déjà utilisés par de nombreuses plateformes et revues.
Malgré le fait que leur signification ne sont pas comprise, et qu’ils souffrent de nombreux biais
La richesse des données nous permet d’identifier plusieurs types d’usages
On peut mesurer les lecteurs de Zotero et Mendeley,incorporer l’opinion d’experts et de blogueuret la visibilité sur Twitter et Facebook.
Ce qui nous mène au rêve de mesurer l’impact de la science sur la société qui, dans la majeure partie des recherches, finance les travaux.
MAIS: L’impact (ou la visiblité) sur les médias sociaux n’est PAS l’impact social
Le défi est de trouver une façon de mesurer le niveau d’engagement des usagers sur les médias sociaux.
Chaque tweet est différent, et tous n’ont pas la même valeur. MAIS TOUS ONT UNE VALEUR DE « 1 » avec les outils actuels.
Sur la gauche: seulement le titre de l’article
Sur la Droite: recommendation et discussion de l’article.
Le niveau d’engagement est donc plus élevé à droite qu’à gauche
Dans les tweets de gauche, on a trouvé beaucoup de cas de comptes automatiques—des robots—qui tweetent automatiquement sans qu’il n’y ait un humain associé.Donc, aucun engagement du tout.
Nous croyons que le niveau d’engagement et l’audience potentielle devrait être considérer dans l’usage des tweets comme indicateurs de l’impact.
4 groupes en fonction de
Visibilité de leurs tweets (quelques uns ou beaucoup de abonnés) et
Le niveau d’engagement, tel que mesuré par la différence entre le texte du tweet et le titre de l’article
Nous avons trouvé que le comportement des utilisateurs se différencient, et que les tweets ont une fonction différente pour chacun des groupes d’utilisateurs
Bots: cadran jaune
Revues: cadran bleu
Chercheurs: cadran vert
Vulgarisateurs savants: cadran rouge
Couplage bibliographique
Reseau d’utilisateur de Twitter, qui ont twitté la même article de WoS
Le taille de nœud est le nombre d’article
Le majorité d’utilisateurs plus active sont bleu
La revue Science
Presque 500,000 abonnés
C’est un bot, qui tweet tout le soumission sur arXiv physique de haute energie experimentale
Elle est une chercheuse
Tweet beaucoup des articles scientifiques
Mais juste 300 abonnés
Physiciens et expert sur l’allergies
Il a un blogue
Ces quatre exemples reflètent différents types d’utilisateurs qui ont, à leur tour, différents lecteurs potentiels, et, enfin, pour lesquels les tweets ont une signification différente.