présentation Journée UTICE Bretagne Loire

1. Learning analytics et Hubble
Vanda.luengo@upmc.fr
Laboratoire LIP6, équipe MOCAH
Université Pierre et Marie Curie
1
http://hubblelearn.imag.fr

2. Academic et Learning analytics
Academic Analytics Learning Analytics
A process for providing education
institutions with the data necessary to
support operational and financial
decision making*
The use of analytic techniques to help
target instructional, curricular, and
support resources to support the
achievement of specific learning goals*
Focused on the
business of the institution
Focused on the student and
their learning behaviors
Management/executives are
the primary audience
Learners and instructors are
the primary audience
* - Analytics in Higher Education: Establishing a Common Language
Présentation Josh Baron, Apereo 2015 2

3. Learning Analytics, Objectifs
• Monitoring et analyse
• Prédiction et intervention
• Tutorat et mentorat (coaching)
• Suivi et feedback
• Adaptation
• Personnalisation et recommandation
• Réflexion
Traduction à partir de Chatti et al. (2012)
3

4. Learning Analytics, pour qui ?
• Apprenants
• Enseignants
• tuteurs
• responsables pédagogiques
• Institutions

5. Learning Analytics, quoi?
• données collectées à partir des actions explicites ou implicites des
étudiants et eu enseignants
d'après A. Boyer, 12/2015

6. Learning Analytics, quand ?
Passé Présent Future
Information
Que s’est-il
passé ?
(reporting)
Que se passe-t-il
actuellement ?
(Alertes)
Qu'est-ce qui va se
passer?
(Extrapolation)
Idée
Comment et
pourquoi est-ce
arrivé ?
(modélisation,
conception
expérimentale)
Quelle est la
meilleure prochaine
action ?
(Recommandation)
Qu'est-ce qui peut se
passer de pire/mieux ?
(Prédiction,
optimisation,
simulation)
Adapté et traduit de Van Hamelen & Workman 2012 et Danvenport et al. 2010
http://www.gartner.com/

7. Learning Analytics, comment ?
Prédictives
Classification
Régressions
Latent
Knowledge
estimation
Découverte de
structures
Clustering
Analyse
Factorielle
Outler
detection
Découverte
structure
domaine
Social
network
analysis
Analyse de relations
Règles
d’association
Corrélations
Patterns
séquentiels
Causalité
Autres méthodes
Process
minning
Analyse du
discours
Approches
multimodaux
Traduction libre à partir du projet européen FP7 LEA’sBOX
Types d’algorithmes

8. Types d’applications des LA aux USA
Adaptive Learning Systems
Data VisualizationAcademic Early Alert Systems
Student Advising & Interventions
Josh Baron, Marist

9. Academic Early Alert Systems
• Summary: Systems that identify students
who are “at-risk” to not complete a
course or degree program.
• Results are provided to the instructor or
student
• Research has shown improved course
completion and graduation rates
• Among most common usage of learning
analytics, will become mainstream in next 2-3
years
Josh Baron, Marist

10. Advising and Intervention Systems
• Summary: Systems that use
analytics to support and improve the
academic advising process as means
to improve overall student success.
• Often “receive” alerts from other
systems that advisors can then act on
• Uses “recommendation engines” to
match student academic profile with:
• Suggested courses
• Academic supports
• Local services (e.g. child care, etc.)
• Becoming common in Community
Colleges, starting to be used more
broadly
Josh Baron, Marist

11. Data Visualization
• Summary: Systems which provide the ability
to visualize complex data as means to easily
gain new insights into the teaching and
learning process
• Generally gets displayed via “dashboards”
• Visualizations can be challenging to generate
• Can save time and provide new insights into
the teaching and learning process
Josh Baron, Marist

12. Social Network Analysis & Pedagogical
Practices (SNAPP)
SNAPP is a software tool that allows
users to visualize the network of
interactions resulting from discussion
forum posts and replies
Josh Baron, Marist

13. Adaptive Learning Systems
• Summary: Systems which adjust to the
individual students’ instructional needs
as they engage in the learning process.
• Rely on “knowledge maps” of disciplines
• Tend to be best suited for use in basic
skills
• In early stage deployments today,
projected to become mainstream in next
4-5 years
Josh Baron, Marist

14. Applications, quelques questions en France
• Comment rendre les étudiants conscients des
efforts qu’ils doivent fournir pour réussir leurs
études ?
• Comment aider les enseignants à personnaliser
ou adapter leur enseignement ?
• Comment les universités peuvent aider les
étudiants à profiter des ressources mises à leur
disposition ?
Exemples repris de de présentation d’Anne Boyer, décembre 2015
http://education-enseignement.over-blog.com/
https://didapro.me
http://upmc.fr
14

15. 15
http://hubblelearn.imag.fr

16. • LIP6 (UPMC)
• LIG (UJF)
+ Associés : TICE-UJF, ThEMAS (TIMC), SUP
• IFE (ENS LYON)
• STEF (ENS Cachan)
• LIRIS (UCL)
• LabSTICC (Télécom Bretagne)
• LIUM (Université du Maine)
• OpenClassrooms
• LINA (U Nantes)
16
Hubble : réunir des acteurs EIAH
Pour créer une dynamique
nationale

17. Une vision du projet Hubble
17

18. Quelques concepts clés initiaux
• Cas d’étude : sont les matériaux de production et de tests des
scénarios d’analyse.
• Situation d’apprentissage, pédagogie, plateforme informatique, utilisateurs,..
• Scénarios d’analyse : description des analyses qui seront mises en
œuvre sur les plateformes de traitements
• Scénarios chercheurs => avec l’objectif d’accompagner la production de
connaissances
• Scénarios décideur => avec l’objectif d’accompagner la décision
• Utilisation d’un scénario : mise en ouvre dans un cas d’étude pour un
type d’utilisateur
18

19. 19
Cas
d’étude
• Données
• Scénarios
• Modèles
pédagogiques
Collecte
•Outils :
plateformes,
algorithmes
•Traces
Analyse
•Processus
•Langages
•Patterns
Exploitat
ion
•Tableaux de
bord pluri-
acteurs
•Publications
3 itérations
Méthode DBR
Ethique et Déontologie

20. Projet HUBBLE
travail sur des cas pratiques
Cas d’étude
• MOOCs
• Jeux sérieux
• Plateformes
d’exercice
• Formalisation
des cas et
scénarios
Collecte
• Test d’outils
Analyse
• Qualité QCM
• Types
d’apprenants
• Évolution
activité
• Parcours
d’apprenants
Exploitation
Ethique et Déontologie
20
Une première année exploratoire
• Quelques
visualisations
• Début de
publications

21. Première itération : scénarios
d’analyses
• Scénario 1 : qualité des questions de
type QCM
• Scénario 2 : identifier des types
d’apprenants
• Scénario 3 : évolution des apprenants
au cours du temps
• Scénario 4 : découvrir le parcours des
apprenants sous forme de pattern
Qualité
Personnalisat
ion
Discriminatio
n
Evaluation
21

22. Exemples
• Cas d’étude PACES, Grenoble
• Cas d’étude Superviseur
22

23. PACES Grenoble
• Problème : Nombre d’apprenants trop important.
• Type d’intervention : humaine
• Considérations éthique: situation de concours.
Question : comment rattraper certains étudiants qui risquent de raccrocher
?
=> Evolution apprenant
Question : comment aider l’enseignant à améliorer les QCM ?
=> Qualité du QCM
Question : Comment aider l’enseignant à adapter son cours ?
=> Analyse questions et typologie apprenants
Crédit : PIERRE ANDRIEU / AFP
23

24. Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 …
CoursDVD FLQ SEPI Tutorat
Etude des cours sur DVD
Formulation en Ligne des Questions (FLQ)
Séances d'Enseignement Présentiel Interactif (SEPI)
Séances de Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ
CoursDVD FLQ SEPI
1 séquence
d’apprentissage=
PACES, Grenoble
24

25. Données PACES, distribuées, extensives
2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle
Année universitaire
Inscription en
PACES
Concours
Septembre Janvier Mai
Semestre 1 Semestre 2
Résultats de chaque séance de tutorat
Concours
Résultats
finaux
Inscriptions.xls Données QCM par discipline
Concordance.xls
ResFinaux.xls
Numéro anonyme
N lignes par étudiantNuméro UJF
1 ligne par étudiant
Numéro UJF
1 ligne par
étudiantNuméro
anonyme
Numéro
UJF
1 ligne par étudiant Travail Laura Dupuis, 2014
25

26. Analyses, PACES, découverte de structures
• Étudier les évolutions des apprenants
• Comprendre les résultats concours en fonction des résultats obtenus aux
QCM
• Outils : Statistiques Descriptives & Visualisations
• Création de typologies
• Outils :
• ACM : Structurer les données en fonction des variables initiales : 3 axes
• CAH : Représentation simplifiée des données en formant des classes : 4
classes
1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3
2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3
3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4
4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1
26
Travail Laura Dupuis, 2014

27. Visualisations, PACES
27
Travail Laura Dupuis, 2014

28. Visualisations PACES
Année universitaire
S1 –C1 S2-C6
28
Visualisation plateforme Undertracks

29. Paces, qualité des QCM
• Data
• 10 years (2006-2015) with 16.731 MCQs and 15.915.916 answers to both
tutorials and final examination
• Analysis
• Descriptive statistics
• Classical Test Theory (CTT),
• Cronbach's alpha, are used to evaluate tests and Item Response Theory (IRT) to analyze
MCQs.
• Scripts R
29Marie Fourcot, 2016

30. PACES, qualité des QCM, visualisations pour
les enseignants
30Marie Fourcot, 2016

31. PACES, qualité des QCM, visualisations pour
les apprenants
31Marie Fourcot, 2016

32. Paces, Adaptation des SEPI par typologie de
questions
• Données
• 2 years
• 1700 students/year which are distributed in 8 promotions (divided into 56
sub-groups) of about 200 students.
• 6457 questions distributed on 13 course
• Analysis
• Descriptive statistics
• Text annotation
• Questions clustering
• Automatic label
• Scripts R
32Fatima Harrack

33. PACES, Classification des questions
Dim1 Type questions Description
1 Re-explain/redefine Ask for explanation already
done in course.
2 Deepen a concept Broaden a knowledge, clarify
ambiguity or better
understand
3 Validation/verification Verify or validate an
hypothesis.
Dim2 Modality explanation Description
0 Other Not attribute
1 Example Example application
(course/exercise)
2 Schema schema application or an
explanation about it.
4 Correction Correction of an exercise in
course/exam
Dim3 Type of explanation Description
0 Other Not attribute
1 Define Define a concept or term
2 Manner (how ?) The manner how to proceed
3 Reason (why ?) Ask for the reason
4 Roles (utility ?) What’s its use/ function
5 Link between concepts Verify a link between two
concepts, define it.
Dim4 Optional : if question is
verification
Description
1 Mistake/ contradiction Detect mistake/contradiction
in course or in explanation of
teacher.
2 Knowledge in course Verify knowledge
3 Exam Verify information about an
exam
33
401
366
144
143
83
90 UE1:BCH(1)
UE1:BCH(2)
UE1:BCH(3)
UE1:BCH(4)
UE1:BCH(5)
UE1:BCH(6)

34. Exemple, Superviseur
34
Philippe Dessus, Olivier Cosnefroy, Vanda Luengo, EC-TEL 2016
http://superviseur.lip6.fr/

35. Exemple, Superviseur
• Questions de recherche :
• Problématique : analyse de la gestion de l’interaction par les enseignants
• Hypothèse : Les enseignants utilisent un groupe de référence pour gérer les
interactions
• Mais dans le contexte applicatifs
Problème : surcharge cognitive pour la gestion d’une classe hétérogène
• Question : Comment aider l’apprenant à améliorer la qualité de l’interaction
dans une classe ?
• Type d’intervention : Formation des enseignants
• Considérations éthiques: données apprenants, type d’analyse (formatif et
non évaluatif)
35

36. Exemple, Superviseur,
données et analyses
36
https://undertracks.imag.fr/
Philippe Dessus, Olivier Cosnefroy, Vanda Luengo, EC-TEL 2016

37. Première itération Hubble : cas étudiés
• Tactileomap, ENS Lyon
• Met-toi-à-table !, ENS Lyon
• LIF3, Lyon 1
• PACES, UJF
• TESTL1, UJF
• Tamagocours, ENS Lyon
• MooCAZ, ENS Cachan
• Comprendre le WEB, OpenClassrooms
• ClassCraft
Collège
Lycée
Université
Tout au long de
la vie
37