Learning analytics, projet Hubble, exemples réalisés par Vanda Luengo

1. Learning Analytics
Vanda Luengo, vanda.luengo@lip6.fr
Actuellement : Université Joseph Fourier, MeTAH, LIG Grenoble
En septembre 2015 : Université Pierre et Marie Curie, MOCAH, LIP6, Paris
1

2. Une opportunité pour rapprocher les
recherches et les pratiques à l’université ?

(𝑝𝑟𝑜𝑏𝑙è𝑚𝑒𝑠+𝑞𝑢𝑒𝑠𝑡𝑖𝑜𝑛𝑠) ∗(𝑑𝑜𝑛𝑛é𝑒𝑠+𝑎𝑛𝑎𝑙𝑦𝑠𝑒𝑠)
é𝑡ℎ𝑖𝑞𝑢𝑒 ∗𝑖𝑛𝑡𝑒𝑟𝑣𝑒𝑛𝑡𝑖𝑜𝑛
Belinda Tynan, LAK 2015
=> Une vision stakeholders
2

3. Des exemples,
collaboration avec le CHU de Grenoble
 PACES
 ECN
 L’apprentissage des connaissances perceptivo gestuelles en chirurgie
orthopédique
3

4. Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 …
CoursDVD FLQ SEPI Tutorat
Etude des cours sur DVD
Formulation en Ligne des Questions (FLQ)
Séances d'Enseignement Présentiel
Interactif (SEPI)
Séances de Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ
CoursDVD FLQ SEPI
1 séquence
d’apprentissage=
PACES, Grenoble4

5. Le cas de la chirurgie orthopédique
Action
Perception
action
Perception
Prise
d’information
pour agir
Prise d’information
pour Valider
5
 Développement d’une plateforme Modèle d’analyse

6. Problèmes + Questions
 Problème d’enseignement, apprentissage, administration plateforme TICE,
politique universitaire, ….
 Question précise dont l’analyse des données peut apporter une partie de
la réponse
Des vraies questions
associés à des vrais
problèmes ?
Taux d’abandon
dans les MOOCS
6

7. PACES Grenoble
 Contexte pédagogique : Pédagogie inversée en première année de
médecine
 Contexte d’analyse : situation de concours.
 Problème : Nombre d’apprenants trop important.
 Question1 : comment rattraper certains étudiants qui risquent de
raccrocher ?
Crédit : PIERRE ANDRIEU / AFP
7

8. Le cas de la chirurgie orthopédique,
CHU Grenoble
8
 Modèle d’analyse
Contexte pédagogique : apprentissage au bloc
opératoire et avec le simulateur
Problème : L’enseignement des gestes a un effet
chapelle
Question : Comment évaluer objectivement les
connaissances perceptivo gestuelles ?
Luengo et al. 2011

9. Data + Analysis9

10. Les données, considérations pour une
analyse de qualité
 Données
 Type
 Centralisées : log data des interactions
 Comme par exemple les LMS : accès aux ressources d’apprentissage, lecture, écriture,…
 Distribuées : multiples logs de sources formelles et informelles
 Wiki, google drive, … => Intégration
 Extensive : grand nombre de participants, nombre limité de variables
 MOOCs : QCM,…
 Intensive : nombre relativement petit de participants mais des observations ou traces
détaillées
 Décider le type de données collectées et l’information à extraire ce sont des étapes clés
sur le processus d’analyse.
 Le choix des données utilisées comme prédicteurs et indicateurs auront une influence
directe sur le type, la qualité et la précision de l’analyse.
(Homer, 2013) (Chatti et al., 2012):
10

11. Données PACES, distribuées, extensives
2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle
Année universitaire
Inscription
en PACES
Concours
Septembre Janvier Mai
Semestre
1
Semestre
2
Résultats de chaque séance de tutorat
Concours
Résultats
finaux
Inscriptions.xl
s
Données QCM par discipline
Concordance.
ResFinaux.xls
Numéro anonyme
N lignes par
étudiant
Numéro UJF
1 ligne par
étudiant
Numéro UJF
1 ligne par
étudiantNuméro
anonym
Numéro
UJF
1 ligne par étudiant Travail Laura Dupuis, 2014
11

12. Données PACES, problèmes
 Production :
 Données produites pour les enseignants : suivre les étudiants
 changement d’utilisateurs
 changement de besoins
 Données :
 Quelques données anonymes
 Fragments de données
 reconstitution (volume + données incomplètes)
 PEU de contrôle au niveau de la production des notes QCM
 Aucun impact sur le résultat administratif (ne participent pas à l’admission)
12

13. Données PACES, garantir la qualité
=> Cohérence
Outils : la fusion + indicateurs de qualité
n fichiers issus des séances du tutorat
…
résultats des QCM
pour une discipline,
un cycle et un
semestre donné
1 fichier unique :
DonnéesQCM.xls
Variables :
- Semestre
- Cycle
- Discipline
13

14. Données Chirurgie orthopédique
Intensives, distribuées
Trouver les bonnes
transformations
 Réutilisables
 Efficaces (temps)
 Sans perte =>
backtracking
Trouver les bonnes
architectures
 Génériques
Algorithmes de
clustering classique
(K-means, ..)
Algorithmes de
Discrétisation
Algorithme de
clustering
oculométrique
(I-DT)
Algorithme
d’association et
discretisation
dynamique
 Méthode d’annotation sémantique
 Algorithme d’association
dynamique
Traces hétérogènes de type perceptivo gestuel
14

15. Données Chirurgie orthopédique
Processus pour production de séquences
 Séquence perceptivo-gestuelle
 S = < (Actions; | Gestes); (Perceptions)>
15
Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015

16. Données Chirurgie orthopédique
Une séquence perceptivo gestuelle
16
Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015

17. Analyses
FP7 619762 LEA’s BOX
17

18. Analyses, la visualisation
 Essentielle pour l’intervention Humaine
 Différentes usages
 Outil réflectifs, Pour la prise de décisions
 Travaille pluridisciplinaire
 Cartographes
 Infographistes
 Informaticiens
 Statisticiens
 Psychologues
 Associations de plusieurs visualisations
 Dashboard.
18
Duval, E., 2011.

19. Analyses, PACES, découverte de
structures
 Étudier les évolutions des apprenants
 Comprendre les résultats concours en fonction des résultats obtenus aux QCM
 Outils : Statistiques Descriptives & Visualisations
 Création de typologies
 Outils :
 ACM : Structurer les données en fonction des variables initiales : 3 axes
 CAH : Représentation simplifiée des données en formant des classes : 4 classes
1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3
2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3
3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4
4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1
19

20. Visualisations, PACES20
Travail Laura Dupuis, 2014

21. Visualisations PACES
Année universitaire
S1 –C1 S2-C6
21
Visualisation plateforme Undertracks

22. PACES, une itération
 Analyse peu utilisable pour l’intervention
 2014-2015 : Analyse qualitative des séances SEPI
 Préciser le problèmes et questions vis-à-vis des Utilisateurs finaux
 Utiliser les données textuelles (Questions FLQ)
22

23. Analyses, Chirurgie
Découverte de structures et analyse de relations
Montrer la pertinence de la prise
en compte de ce type de
séquence
Trouver des séquences
significatives pour la
rétroaction
23
 Un processus d’analyse (PETRA) capitalisable dans la plateforme
 Un algorithme de création de séquences perceptivo gestuelles
 Un algorithme pour la recherche de patterns perceptivo gestuels
Thèse Ben-Masson Toussaint,
AIME 2015Nouveau Algorithme => données intensives

24. Ethique + Interventions24

25. L’éthique, le monopole des données ?
 Un discours trop centrée sur l’anonymisation des données.
 Et les analyses ?
 Modèle prédictif pour estimer la probabilité d’échec d’un enfant en
maternelle…
25

26. Ethique, PACES
 Situations de concours
 Equité
 Transparence
26

27. Ethique, Chirurgie
 Manipulation des données patient
27

28. Interventions
 Interventions Humaines
 Proposer des rétroactions adaptés lors des séances de SEPI
 Interventions machine
 Diagnostiquer les connaissances perceptivo gestuelles
 Evaluations formative
28

29. Peut être commencer par
ces deux points…29

30. L’analyse des traces d’enseignement et
d’apprentissage
Un équilibre entre application et recherche
30

31. LA à l’international
 Rapport US, défis bien identifiés
 Rapport UK, on peut voir une grande diversité
 Institutions and drivers
 Stage of development
 Ethics and legal issues
 Data Sorces
 Analytic systems
ACCOUNTABILITY
31

32. Et en France ???
 DERNIER appel E-LEARNING Pédagogie universitaire numérique
 Augmenter le % du numérique.
 On va passer de 20% à 50%...
 Mais
 Quels sont les vrais problèmes et questions de ce passage au numérique ?
 comment mesure-t-on ce passage ?
 Quelles indicateur allons nous mettre en place ?
 Comment analyser leur pertinence ?
 Comment analyser l’impact ?
32

33.  Observatoire de processus d’analyse des traces e-
learning massives
 MOOCS
 Serious Games
 Pédagogies innovantes
 Pédagogie inversée (Médecine CHU Grenoble)
 Pour la prise de décision des acteurs
 Processus utilisables et redéployés dans leurs
environnements
33
Prise en
compte de
l’utilisateur

34. Partenaires
• LIP6 (UPMC)
• LIG (UJF)
• IFE (ENS LYON)
• STEF (ENS Cachan)
• LIRIS Lyon 1
• Télécom Bretagne
• Université du Maine
• OpenClassrooms
• LINA 34

35. Cas d’étude
• Données
• Scénarios
• Modèles
pédagogiques
Collecte
• Outils
• Traces
Analyse
• Processus
• Langages
• Patterns
Exploitation
• Tableaux de
bord pluri-
acteurs
Ethique
35

36. Premier cycle du projet :
travail sur des cas pratiques
Cas d’étude
• MOOC
• Jeux sérieux
• Plateformes
d’exercice
• Formalisation
des cas et
scénarios
Collecte
• Test d’outils
Analyse
• Qualité QCM
• Types
d’apprenants
• Évolution
activité
• Parcours
d’apprenants
Exploitation
Ethique
36

37. Références
 Chatti, M.A., Dyckhoff, A.L., Schroeder, U., & Thüs, H. “A reference model for learning analytics.” International
Journal of Technology Enhanced Learning, 5, 318-331, 2012
 Duval, E., “Attention please! learning analytics for visualization and recommendation”. In Proceedings of the
International Conference on Learning Analytics and Knowledge (9-17). New York: ACM, 2011.
 Greller, W. & Drachsler, H., “Translating learning into numbers: A generic framework for learning analytics”.
Educational Technology & Society, 15, 42-57, 2012.
 Homer, B.D., “Introductory Talk to the Learning Analytics and Educational Data Mining Workshop”, CREATE Lab,
New York University, April 2013.
 D3.1 Review article about LA and EDM. FP7 619762 LEA’s BOX
 Niall Sclater, Learning analytics in the UK, JISC, 2014
 NMC Horizon repport 2013, US.
 Learing Analytics, rapport Unesco 2012
 V. Luengo, L. Vadcard, J. Tonetti, and M. Dubois. Diagnostic des connaissances et rétroaction épistémique
adaptative en chirurgie. Revue d'Intelligence Artificielle, 25(4):499-- 524, 2011.
 B. Toussaint, V. Luengo., F. Jambon, J ; Tonnetti. From Heterogeneous Multisource Traces to Perceptual-Gestural
Sequences: the PeTra Treatment Approach. 17th International Conference on Artificial Intelligence in Education.
IOS press, Juin 2015.
 B. Toussaint, V. Luengo. Mining Surgery Phase-Related Sequential Rules from Vertebroplasty Simulations Traces.
Artificial Intelligence in Medicine. Juillet 2015
 Undertracks.imag.fr
37

38. 38