présentation des concepts de base des learning analytics et quelsques usages

1. Learning analytics
Vanda.luengo@upmc.fr
Laboratoire LIP6, équipe MOCAH
Université Pierre et Marie Curie
1
http://hubblelearn.imag.fr

2. Educational
Data Mining
Learning Analytics
Teaching Analytics
Academic Analytics
2

3. Learning Analytic, définitions
• Analytic
Techniques informatiques, mathématiques et statistiquespour révéler une
information pertinente à partir de larges ensembles de données.
• Marketing
• Biologie
• …
• Collecte, analyse, évaluation et communicationdes données relatives aux
apprenants, leur contexted’apprentissage, dans la perspective d’une
compréhensionet d’une optimisation de l’apprentissage et de son
environnement
Traductionà partir de SIEMENS, 2011

4. EDM et LA
EDM LA
International Educational Data Mining Society Society for LearningAnalytics Research
http://www.educationaldatamining.org/ http://www.solaresearch.org/
2007 2011
“discipline, concerned with developing methods for
exploring theunique types of data that come from
educational settings, and using those methods to better
understand students, and the settings which they learn in”.
[Baker, Yacef 2007]
“themeasurement, collection, analysisand reporting of
data about learners and their contexts, for purposes of
understanding and optimizing learning and the
environmentsin which it occurs” [Siemens 2011]
Fouille de données automatisées : méthode de
découverteautomatisée en vue d’établir les meilleures
prédictions possibles.
Outils d’aide à la décision: méthode de découvertedes
données par les acteurs de l’apprentissage, via des
modules d’Analytics et de visualisation.
procèdeen réduisant le système d'apprentissage à ses
composantes principales, en modélisant séparément les
apprenants, les tuteurs, le domaine enseigné etc.
privilégie une approchesystémique, appréhendantla
situation d'apprentissage commeun ensemble.
Journalof Educational Data Mining
Journalof Learning Analytics
URL : http://learning-analytics.info/
International Educational Data Mining Conferences Conferenceon LearningAnalytics and Knowledge(LAK)
4

5. Academic et Learning analytics
Academic Analytics Learning Analytics
A process for providing education
institutions with the data necessary to
support operational and financial
decision making*
The use of analytic techniques to help
target instructional, curricular, and
support resources to support the
achievement of specific learning goals*
Focused on the
business of the institution
Focused on the student and
their learning behaviors
Management/executivesare
the primary audience
Learners and instructors are
the primary audience
* - Analyticsin Higher Education:Establishing a Common Language
PrésentationJosh Baron, Apereo 2015 5

6. Learning Analytics, quoi?
• données collectées à partir des actions explicites ou implicites des
étudiants et eu enseignants
d'après A. Boyer, 12/2015

7. Learning Analytics, quand ?

8. Learning Analytics, comment ?
Prédictives
Classification
Régressions
Latent
Knowledge
estimation
Découvertede
structures
Clustering
Analyse
Factorielle
Outler
detection
Découverte
structure
domaine
Social
network
analysis
Analyse de relations
Règles
d’association
Corrélations
Patterns
séquentiels
Causalité
Autres méthodes
Process
minning
Analyse du
discours
Approches
multimodaux
Traductionlibre à partirdu projet européen FP7 LEA’sBOX
Types d’algorithmes

9. Learning Analytics, comment ?
• Visualisation
• facilitant la compréhensiondes analyses
=> Essentielle pour l’intervention Humaine
• Différentes usages
• Outil réflectifs, Pour la prise de décisions
• Associations de plusieurs visualisations
• Dashboard.
9

10. LA, en résume
Utilisateurs ciblés par
l’analyse
Motivation ou objectifs de
l’analyse
Greller & Drachsler, 2012
Types de données
collectées,
managées et
utilisées pour
l’analyse
techniques et outils pour
produire l’analyse des
données collectées
10
Limitations internes :
relatives aux facteurs humains, comme la compétence (interprétation,
pensée critique) et l’acceptation des conflits et complications avec les LA.
Limitations externes : Conventions (éthiques, personnels, ..) et les normes
(légales et contraintes organisationnels)

11. 11
http://hubblelearn.imag.fr

12. Une vision du projet Hubble
12

13. Quelques concepts clés initiaux
• Cas d’étude : sont les matériaux de production et de tests des
scénarios d’analyse.
• Situation d’apprentissage, pédagogie, plateforme informatique, utilisateurs,..
• Scénarios d’analyse : description des analyses qui seront mises en
œuvre sur les plateformes de traitements
• Scénarios chercheurs => avec l’objectif d’accompagner la production de
connaissances
• Scénarios décideur => avec l’objectif d’accompagner la décision
• Utilisation d’un scénario : mise en ouvre dans un cas d’étude pour un
type d’utilisateur
13

14. Un équilibre entre application et recherche
14
TinanB., LAK 2015

15. Applications, quelques questions
• Comment rendre les étudiants conscients des
efforts qu’ils doivent fournir pour réussir leurs
études ?
• Comment aider les enseignants à personnaliser
leur enseignement ?
• Comment les universités peuvent aider les
étudiants à profiter des ressources mises à leur
disposition?
Exemples repris de de présentationd’Anne Boyer, décembre 2015
http://education-enseignement.over-blog.com/
https://didapro.me
http://upmc.fr
15

16. Recherche EIAH: méthodes, modèles, outils
• Comprendre
• phénomènes d’interaction entre apprenants
• comportements de l’apprenant face au système informatique d’apprentissage
• comportements de l’enseignant dans son activité de suivi, de conception de
scénarios, …
• Modéliser
• l’activité d’apprentissage
• l’activité d’enseignement
• la rétroactions qui favorisent l’apprentissage
• Concevoir
• méthodes et algorithmes de diagnostic
• méthodes et algorithmes de rétroaction qui favorisent l’apprentissage
• méthodes et algorithmes pour gérer l’interactions entre apprenants
• interfaces permettant de comprendre l’activité de l’apprenant
• Analyser des usages pour l’évaluations des environnements informatiques
• …
16

17. Exemples
• Cas d’étude PACES
• Cas d’étude Chirurgie orthopédique
• Cas d’étude Superviseur
17

18. Exemple 1, La chirurgie orthopédique
18

19. Exemple 1, la chirurgie orthopédique
19
Problème : L’enseignement de gestes a
un effet chapelle
Question: Comment évaluer
objectivement les connaissances
perceptivo gestuelles ?
Analyse des connaissances
perceptivo gestuelles

20. Exemple 1, la chirurgie orthopédique
Découverte de structures et analyse de relations
Montrer la pertinence de la prise en
compte de ce type de séquence
Trouver des séquences significatives
pour la rétroaction
20
 Un algorithme pour la recherchede patterns perceptivo gestuels
Travail dethèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015

21. Exemple 1, la chirurgie orthopédique
Ethique
• Manipulation des données patient
21

22. L’éthique, le monopole des données ?
• Un discours trop centrée sur l’anonymisation des données.
• Et les analyses ?
• Modèle prédictif pour estimer la probabilité d’échec d’un enfant en
maternelle…
22

23. Interventions
• Interventions Humaines
• Proposer des rétroactions adaptés lors des séances de SEPI
• Travail projet Hubble…
• Interventions machine
• Diagnostiquer les connaissances perceptivo gestuelles
• Evaluations formatives
23

24. Exemple 2, Superviseur
24
PhilippeDessus, OlivierCosnefroy, VandaLuengo, EC-TEL 2016
http://superviseur.lip6.fr/

25. Exemple 2, Superviseur
25
Problème : surcharge
cognitive pour la gestion
d’un classe hétérogène.
Question : Comment aider
l’enseignant à améliorer la
qualitéde l’interaction
dans une classe
Conscience de la classe
Groupe de référence

26. Exemple 2, Superviseur,
données et analyses
26
https://undertracks.imag.fr/
PhilippeDessus, Olivier Cosnefroy, VandaLuengo, EC-TEL 2016

27. Exemple 2, Superviseur
éthique et intervention
27
file:///C:/Users/luengov/Documents/projets/SuperViseur/siteSuperviseur/gazeBehaviourWholeSessionByStudentMatLevel.htm
l
file:///C:/Users/luengov/Documents/projets/SuperViseur/siteSuperviseur/index.html

28. Learning Analytics 2025
28

29. Learning analytics, en 2025
=> “Visions of the Future “, Horizon Report D3.2 29

30. Learning analytics, en 2025
• Method Delphi
• Experts
• Écoles, apprentissage au travail, enseignement supérieur
• 103 avis à propos d’une ou plusieurs visions proposés (8 visions).
30
“Marty, you are going to fail Introduction to Physics during your sophomoreyear, make sure
you see a tutor after the first week of class and you’ll ace the final exam!”

31. Learning analytics, en 2025
• Vision 1: In 2025, classrooms monitor the physical environmentto
support learning and teaching
• Vision2: In 2025, personal data tracking supports learning
• Vision3: In 2025, analytics are rarely used in education
• Vision4: In 2025, individualscontrol their own data
• Vision5: In 2025, open systems for learning analytics are widely adopted
• Vision 6: In 2025, learning analytics systems are essential tools of
educationalmanagement
• Vision7: In 2025, most teaching is delegatedto computers
• Vision8: In 2025, analytics support self-directedautonomouslearning
http://www.laceproject.eu/ 31

32. Vision 1: In 2025, classrooms monitor the physical
environment to support learning and teaching
• Cahiers, crayons, tablettes,…. auront des capteurs.
• Cameras à reconnaissance facial traceront
l’apprenant.
• Ces informations seront utilisés pour suivre le progrès
de l’apprenant.
• Prise en charge de l'apprentissaged'un large éventail
de compétences physiques.
• Les enseignants seront alertés des signes d’ennui,
confusion ou éloignement de la tâche attendue.
• Les enseignants suivront les interactions sociales
numériques et pourront identifier où ils devront
favoriser la socialisation et le comportement
collaboratif.
Copyright © 2016 Nicolas-Denis.net
http://www.laceproject.eu/

33. Vision 2: In 2025, personal data tracking
supports learning
• Des capteurs sophistiqués livreront des informations
personnels tels que la posture, le stress, l’attention, le niveau
de sucre dans le sang…
• Les personnes collectent leurs informations et l’utilisent dans
leurs programmes pour avoir des recommandations sur leurs
apprentissages.
• Les apprenants récupèrent les statistiques et les données
associées aux facteurs de réussite des apprentissages dans un
domaine particulier.
• Des institutions d’enseignement connues vendent des
programmes, à partir de ces informations, pour optimiser
l’apprentissage en fonction des âges et des cours.
• Des entreprises font la même chose pour certains domaines.
• Certains étudiants partagent leur savoir faire.
• La plus part des institutions d’apprentissage suivent les
programme d’auto-supervision.
http://soocurious.com/fr/intelligence-artificielle-homme/
http://www.laceproject.eu/

34. Vision 3: In 2025, analytics are rarely used in
education
• Les cours que sont automatisés, utilisant
les LA, sont méprisés.
• Les apprenants ont compris qu’ils
peuvent « jouer » avec le système.
• Il y aura un grand vide sur la gestion des
données sensibles et des usages abusifs.
• L’usage des données d’apprentissage
devra être approuvé par l’apprenant et
par des nouveaux inspecteurs.
• Un consensus a émergé dans la politique
éducative: l'abandon des LA
Source : présentationde David Griffiths,
Lyon, mars 2016
http://www.laceproject.eu/

35. Vision 4: In 2025, individuals control their
own data
• Les apprenant contrôlent
• le type et la quantitédes données qu’ils
souhaitentpartager.
• Avec qui ces données sont partagées (personnes,
institutions,entreprises,…)
• La durée de la disponibilitéde ces données.
• Des outils pour permettre ces contrôles
sont clairement énoncés et facile
d’usage
• Les institutions sont engagés dans la
prise de conscience et reconnaissent les
problèmes
https://lejournal.cnrs.fr/billets/reprenons-le-
controle-de-nos-donnees
http://www.laceproject.eu/

36. Vision 5: In 2025, open systems for learning
analytics are widely adopted
• Les institutions éducatives demandent le
contrôle des outils des LA
• Comment les outils fonctionnent?
• Pourquoi sont-ils utilisés ?
=> Conçoivent avec des fournisseursdes outils
accompagnantleurs visions stratégique.
• Plusieurs fournisseurs. Tous utilisent des
algorithmes ouverts et partagent les
données suivant des standards qui facilitent
la transparence et une validation
indépendante.
• Des visualisations, largement testées et
accessibles, sont utilisées.
• Les apprenants et enseignants peuvent
utiliser en toute confiance une gamme
d’outils.
Image http://www.resourcespace.org/
http://w utilisés ww.laceproject.eu/

37. Vision 6: In 2025, learning analytics systems are
essential tools of educational management
• Les systèmes de recommandationdes ressources
sont largement utilisés.
• Un grand nombre de données d’apprenant est
utilisé pour générer des prédictions, de qualité
et en temps réel, sur la probabilité de réussite.
• Les apprenants et les enseignants planifient leur
travail sur la base d'outils fiables qui
recommandent et personnalisent sur ce qui doit
être fait pour obtenir le meilleur résultat
d'apprentissage.
• Une industrie croissante offre de services
institutionnels et individuels pour accompagner
cette activité.
• L’information prédictive est précise et permet
aux gestionnaires et aux décideurs d’agrandir ou
réduire leur offre de formation
http://www.laceproject.eu/

38. Vision 7: In 2025, learning is guided by
technology
• Développement d’un énorme corpus des
données contenantl’information des
millions d’apprenants.
• Recommandations automatique fiables,
basées sur l’expérience de ces corpus,
sur le meilleur chemin à prendre pour
réussir l’apprentissage.
• Les recommandationssont mieux
informées et plus fiables que celles des
meilleurs formateurs humains.
Source : présentationde David Griffiths,
Lyon, mars 2016
http://www.laceproject.eu/

39. Vision 8: In 2025, analytics support self-
directed autonomous learning
• Disparition des curriculum.
• Les étudiants créent leurs groupes et
décident leurs objectifs d’apprentissage
et les moyens pour les attendre.
• Les analytiques accompagnent les
échanges d’information et la
collaboration entre les groupes.
• Les enseignants deviennent des
mentors.
• Le suivi formatif est utilisé pour guider
les progrès vers les objectifs fixés .
Source : présentationde David Griffiths, Lyon, mars
2016http://www.laceproject.eu/

40. Vision 2025, quelques résultats
http://www.laceproject.eu/

41. Vision 2025, quelques résultats, souhaitable
http://www.laceproject.eu/

42. Vision 2025, quelques résultats, faisable
http://www.laceproject.eu/

43. Vision 2025, quelques résultats
http://www.laceproject.eu/
Thèmes émergeants dans les réponses textuelles

44. Quelques points de réflexion, à consulter
• Finding 1: A question mark over the prospects for learning analytics
achieving its potential
• Finding 2: Policies and infrastructure
• Finding 3: A consensus on pedagogy
• Finding 4: Power, ethics, and data ownership
• Finding 5: Disagreement between sectors, and between different
groups of respondents
• Finding 6: Technology
http://www.laceproject.eu/

45. Rapport learning analytic,
octobre 2016
http://eduscol.education.fr/cid93919/la-mission-incubation-dne.html
45