L’analyse de l’apprentissage (learning analytics): une revue de littérature

1. L’analyse de l’apprentissage (learning analytics): une revue de littérature Audrey Bistodeau, CPA, CA, M.B.A. Étudiante au doctorat en technologie éducative Université Laval
2. Plan de la présentation • Contexte – La formation en ligne (FEL) – La persévérance et la réussite en FEL • L’analyse de l’apprentissage – Définitions – Cadre générique – Fonctionnement et processus – Exemples de tableaux de bord – Résultats empiriques en contexte universitaire • Projet de recherche
3. Formation en ligne Croissance de la formation en ligne (FEL) (Martel, 2015; CSE, 2015) : • 29% des étudiants inscrits à au moins 1 cours en ligne; • Inscriptions ont doublé au Québec entre 2001 et 2012; • Croissance annuelle de 8,75% par année. Perspectives de développement (CSE, 2015) : • 4 universités ont inscrit le développement de la FEL dans leur plan stratégique (Laval, Concordia, UQTR, UQAR); • 4 universités démontrent une volonté de développer la FEL (Montréal, Sherbrooke, UQAT, UQAC); • 8 universités qui ont un usage modeste de la FEL (UQAM, McGill, ETS, Bishop, HEC, Polytechnique, UQO).
4. Persévérance et réussite en formation en ligne • Taux d’abandon en deux fois plus nombreux en FEL : entre 20% et 40%, comparativement à 10% à 20% sur campus. (Levy, 2007) • ULAVAL: 9,5% comparativement à 5,3% (Paquelin, 2016) Persévérance • Taux d’échec de 10% à 20% plus élevé en FAD (Marchand et al., 2012). • ULAVAL: 5,4%, comparativement à 4,0% (Paquelin, 2016) • 35% plus élevés Réussite
5. Analyse de l’apprentissage • Contexte – Implantation des ENA = traces de données numériques • Les données d'utilisation de l’environnement numérique d’apprentissage (ENA) prédisent fortement la réussite (Macfadyen & Dawson, 2010) – Influence du Big Data et Business Intelligence • Communauté scientifique – Society for Learning Analytics Research (SOLAR)  2011 – International Conference on Learning Analytics and Knowledge  2011 – Journal of Learning Analytics  2014 – Learning Analytics Community Exchange (LACE)  2014
6. Définitions Exploration de données éducationnelles (Educational data mining) Analyse académique (Academic analytics) Analyse de l’apprentissage (Learning analytics) Application de l’informatique décisionnelle (business intelligence) à l’éducation. À un niveau institutionnel, régional ou national Mesure, collecte, analyse et communication de données sur les apprenants et leurs contextes, afin de comprendre et d'optimiser l'apprentissage et son environnement Extraction et analyse des données pertinentes dans les mégadonnées (big data) pour développer des modèles prédictifs Bienkowski et al. (2012), Long & Siemens (2011), Van Barneveld et al. (2012) Tableau de bord de l’apprentissage (learning analytics dashboard)
7. Cadre générique Établissement Enseignants Autres Compétences Étudiants Acceptation Éthique et confidentialité Lois EDE Visualisation Statistiques Autres Réflexion Prédiction Libres Protégées Limites internes Contraintes externes Objectifs Données Partiesprenantes Techniques Greller & Draschler (2012) [Traduction libre]
8. Fonctionnement et processus Cycle de l’analyse de l’apprentissage Processus réflexif du tableau de bord Étudiants Données Analyses Interventions Clow (2012) Verbert et al. (2013)
9. Exemples de tableau de bord Course Signals (Purdue University) https://news.uns.purdue.edu/images/+2009/signals-screen.jpg Algorithme basé sur • Résultats d’évaluations • Activité dans l’ENA • Antécédents scolaires • Profil démographique
10. Exemples de tableau de bord OU Analyse (Open University) https://analyse.kmi.open.ac.uk/
11. Exemples de tableau de bord Ma réussite à l’Université Laval https://www.enseigner.ulaval.ca/system/files/appui_reussite_-_fonctionnalites_offertes_aux_enseignants_vf_2016.pdf Vue de l’étudiant
12. Exemples de tableau de bord Ma réussite à l’Université Laval https://www.enseigner.ulaval.ca/system/files/appui_reussite_-_fonctionnalites_offertes_aux_enseignants_vf_2016.pdf Vue de l’enseignant
13. Études empiriques en contexte universitaire 1 2 1 6 5 3 6 22 14 0 5 10 15 20 25 30 Est utilisée de façon éthique Est déployée à grande échelle Améliore le soutien à l'apprentissage et à l'enseignement Améliore les résultats d'apprentissage Nombres d’études qui soutiennent que l’analyse de l’apprentissage… Négatif Neutre Positif Ferguson & Clow (2017)
14. Effets sur la réussite • Les étudiants exposés au tableau de bord obtiennent de meilleures notes finales que ceux qui n’y sont pas exposés (Arnold & Pistilli, 2012; Baron, 2013; Chen et al., 2008; Fritz, 2011; Kim, Jo & Park, 2016). Augmentation de 10% Diminution de 6% A et B D et E C ou + • Certaines études n’ont cependant relevé aucune différence significative dans les notes (Kobsa et al. 2005; Park & Jo, 2015; Ott et al. 2015).
15. Effets sur la persévérance • Taux de rétention plus élevés pour les cohortes exposées à Course Signals comparativement aux autres (Arnold & Pistilli, 2012). 83% 73% 70% 69% 97% 95% 91% 87% 98% 99% 97% 93% ANNÉE 1 ANNÉE 2 ANNÉE 3 ANNÉE 4 TAUX DE RÉTENTION SELON LE NOMBRE DE COURS UTILISANT CS Aucun Au moins 1 2 ou plus • Nombre d’abandons plus élevé dans les groupes ayant été exposés au tableau de bord que dans le groupe contrôle (Baron, 2013; Herodotou et al., 2017).
16. Autres effets indirects Satisfaction envers le cours plus élevés (Kim et al., 2016). Demandes d’aide plus tôt et plus souvent (Arnold & Pistilli, 2012). Améliore l’auto-évaluation, la réflexion et l’autorégulation (Grann & Bushway, 2014; Kerly, Ellis, & Bull, 2007; Scheuer & Zinn, 2007). Amélioration des relations entre les étudiants et les enseignants (Sclater, 2016). Augmentation de l’utilisation de l’ENA et du nombre d’activités d’apprentissage complétées par les étudiants (Chen et al. 2008).
17. Projet de recherche • « Ma réussite » à l’Université Laval – Implantation à l’hiver 2015, sur base volontaire (1er cycle); – Automne 2016: 973 cours, 791 enseignants, 23 377 étudiants. • Objectifs: 1. Permettre aux étudiants de prendre conscience de leur niveau de participation et de leurs résultats dans leurs cours; 2. Orienter les étudiants vers des ressources d’aide appropriées; 3. Permettre aux intervenants d’être proactifs auprès des étudiants. https://www.enseigner.ulaval.ca/appui-a-l-innovation/appui-la-reussite-et-depistage-des-etudiants-en-difficulte
18. Projet de recherche Questions de recherche • Quelle est l’utilisation et la perception des étudiants et enseignants de cours en ligne de premier cycle de l’outil d’analyse de l’apprentissage Ma réussite à l’Université Laval? • Le modèle UTAUT peut-il expliquer l’acceptation et l’utilisation de cet outil? Objectifs de recherche : outil Ma réussite 1. Décrire le profil des étudiants et enseignants qui l’utilisent ou non; 2. Décrire l’utilisation par les étudiants et les enseignants; 3. Décrire les perceptions des étudiants et enseignants quant à sa facilité d’utilisation; 4. Décrire les perceptions des étudiants et enseignants quant à son utilité globale et à l’utilité de chacune des données rapportées; 5. Vérifier le modèle UTAUT pour expliquer son acceptation et son utilisation; 6. Explorer les relations entre l’utilisation des étudiants et la persévérance/réussite.
19. Bibliographie Arnold, K. E., & Pistilli, M. D. (2012). Course signals at Purdue: using learning analytics to increase student success. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 267-270). ACM. Baron, J. (2013). Open Academic Analytics Initiative : Final progress report. Récupéré de https://confluence.sakaiproject.org/download/attachments/75671025/OAAI Final Progress Report.pdf?version=1&modificationDate=1391705397000&api=v2 Bienkowski, M., Feng, M., & Means, B. (2012). Enhancing teaching and learning through educational data mining and learning analytics: An issue brief. US Department of Education, Office of Educational Technology. https://doi.org/10.2991/icaiees-13.2013.22 Chen, G. D., Chang, C. K., & Wang, C. Y. (2008). Ubiquitous learning website: Scaffold learners by mobile devices with information-aware techniques. Computers & Education, 50(1), 77–90. https://doi.org/10.1016/j.compedu.2006.03.004 Clow, D. (2012). The Learning Analytics Cycle: Closing the loop effectively. In ACM (Ed.), Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (pp. 134–137). https://doi.org/10.1145/2330601.2330636 Conseil supérieur de l’education (CSE). (2015). La formation à distance dans les universités québécoises : un potentiel à optimiser de l'éducation. Récupéré de https://www.cse.gouv.qc.ca/fichiers/documents/publications/Avis/50-0486.pdf Dorais, S. (2001). L’atteinte des objectifs liés au rendement des élèves et à leur cheminement sur les plans scolaire et professionnel au Centre collégial de formation à distance (Critère 3.1). Document interne du Collège de Rosemont, 15 p. Ferguson, R., & Clow, D. (2017). Where is the evidence? A call to action for learning analytics. In Proceedings of the Seventh International Learning Analytics & Knowledge Conference (pp. 56–65). ACM. https://doi.org/10.1145/3027385.3027396
20. Bibliographie Fritz, J. (2011). Classroom walls that talk: Using online course activity data of successful students to raise self-Greller, W., & Drachsler, H. (2012). Translating Learning into Numbers : A Generic Framework for Learning Analytics. Educational Technology & Society, 15(3), 42 – 57. https://doi.org/http://hdl.handle.net/1820/4506awareness of underperforming peers. The Internet and Higher Education, 14(2), 89-97. Grann, J., & Bushway, D. (2014). Competency Map: Visualizing Student Learning to Promote Student Success. In Proceedings of the Fourth International Conference on Learning Analytics and Knowledge (pp. 168–172). ACM. https://doi.org/10.1145/2567574.2567622 Herodotou, C., Zdrahal, Z., Rienties, B., Hlosta, M., Boroowa, A., & Naydenova, G. (2017). Implementing Predictive Learning Analytics on a Large Scale: The Teacher’s Perspective. In Proceedings of the 7th International Conference on Learning Analytics and Knowledge. ACM. https://doi.org/10.1145/3027385.3027397 Kerly, A., Ellis, R., & Bull, S. (2007). CALMsystem: A Conversational Agent for Learner Modelling. Knowledge-Based Systems, 21(1), 238–246. https://doi.org/10.1016/j.knosys.2007.11.015 Kim, J., Jo, I.-H., & Park, Y. (2016). Effects of learning analytics dashboard: analyzing the relations among dashboard utilization, satisfaction, and learning achievement. Asia Pacific Education Review, 17(1), 13–24. https://doi.org/10.1007/s12564-015-9403-8 Kobsa, E., Dimitrova, V., & Boyle, R. (2005). Using Student and Group Models to Support Teachers in Web-Based Distance Education. In Proceedings of the 10th international conference on user modeling (pp. 124–133). Springer. Long, P., & Siemens, G. (2011). Penetrating the Penetrating the Fog: Analytics in Learning and Education. EDUCAUSE Review, 46(5), 31–40. Récupéré de https://net.educause.edu/ir/library/pdf/ERM1151.pdf Macfadyen, L. P., & Dawson, S. (2010). Mining LMS data to develop an “early warning system” for educators: A proof of concept. Computers &Education, 54(2), 588−599.
21. Bibliographie Marchand, L., Loisier, J., Paul-Armand Bernatchez, coordonnateur, Bourret, S., Huneault, M., Doucet, C., & Bernatchez, P.-A. (2002). Guide des pratiques d’apprentissage en ligne auprès de la francophonie pancanadienne. Récupéré de http://archives.refad.ca/pdf/Guide_pratiques_apprentissage.pdf Martel, C. (2015). Online and distance education capacity of Canadian universities. Montreal, QC Ott, C., Robins, A., Haden, P., & Shephard, K. (2015). Illustrating performance indicators and course characteristics to support students’ self-regulated learning in CS1. Computer Science Education, 25(2), 174–198. https://doi.org/10.1080/08993408.2015.1033129 Park, Y., & Jo, I.-H. (2015). Development of the Learning Analytics Dashboard to Support Students’ Learning Performance. Journal of Universal Computer Science, 21(1). Paquelin, D. (2016). D’une université campus à une université multi-modale: Analyse d’une dynamique québécoise, le cas de l’Université Laval. Distances et Médiations Des Savoirs, 16(Décembre 2016). Sclater, N., Peasgood, A., & Mullan, J. (2016). Learning Analytics in Higher Education: A Review of UK and International Practice. Récupéré de https://www.jisc.ac.uk/reports/learning-analytics-in-higher-education Scheuer, O., & Zinn, C. (2007). How did the e-learning session go? The Student Inspector. Frontiers in Artificial Intelligence and Applications, 158. Van Barneveld, A., Arnold, K. E., & Campbell, J. P. (2012). Analytics in higher education: Establishing a common language. EDUCAUSE Learning Initiative, 1(1), 1–11. https://doi.org/10.1111/j.1468-2273.2009.00438.x Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning Analytics Dashboard Applications Background. American Behavioral Scientist, 57(10), 1500–1509. https://doi.org/10.1177/0002764213479363

Hinweis der Redaktion

Bonjour,
Je m’apelle Audrey Bistodeau et je suis étudiante au doctorat en technologie éducative à l’Université Laval. Je suis encore au début de mon doctorat, je ferai mon examen de synthèse cet été. J’ai pensé venir vous parler de mon objet de recherche que je trouve fascinant: l’analyse de l’apprentissage, qui fait l’objet de peu d’écrits dans la communauté scientifique francophone.
Donc je vais vous parler du contexte d’émergence de l’analyse de l’apprentissage, soit la croissance de la formation en ligne et les préoccupations liées à la persévérance et à la réussite dans ce contexte. Ensuite on va définir ce qu’est l’analyse de l’apprentissage et voir ce qui le compose à travers un cadre générique. JE vais vous présenter son fonctionnement et processus et quelques exemples de tableaux de bord développés par des universités, et les résultats des quelques études empiriques qui ont évalué leur efficacité.

Finalement je vais vous présenter très brièvement mon projet de recherche préliminaire. Il est au stade embryonnaires, donc vos commentaires sont évidemment les bienvenus.
Alors l’accessibilité d’Internet et des nouvelles technologies a contribué à l’essor de la formation à distance, plus particulièrement de la formation en ligne, qui est une forme de FAD. La formation en ligne prend encore une modeste place dans le portait universitaire canadien: 29% des étudiants suivraient au moins 1 cours en ligne durant leurs études (40% aux États-Unis), et les inscriptions à des cours en ligne représenteraient entre 10%-15% des inscriptions canadiennes. Au Québec les proportions sont moindre selon le conseil supérieur de l’éducation seulement 11,6% des étudiants étaient inscrit à au moins 1 cours en ligne (asynchrone), mais on peut voir que les inscriptions ont doublé en dix ans entre 2001-2012. L’Université Laval est l’université canadienne qui a la plus grande offre de cours en ligne au Canada (1753 cours sur les 12 000 au Canada donc près de 14% de tous les cours canadiens!). On observe donc une croissance importante de la FEL au Québec et au Canada (+8,75%/an), mais aussi partout dans le monde.

Selon moi cette croissance va continuer de s’accentuer à moyen terme car plusieurs universités y portent une attention de plus en plus importante. Certaines universités ont inclus le développement de la FEL dans leurs plans stratégiques (Laval, Concordia, UQTR, UQAR); D’autres universités, sans inclure la FEL dans leur plan stratégique, montrent de façon plus informelle leur volonté de la développer (UDM, Sherbrooke, UQAT, UQAC). Finalement, plusieurs universités font actuellement un usage modeste de la FEL: UQAM, McGill, ETS, Bishop, HEC, Polytechnique,UQO), on peut penser qu’elles pourraient emboîter le pas d’ici quelques années et donc accroître davantage la place de la FEL au Québec.
Malgré sa popularité grandissante. La formation en ligne fait par conte face à un problème important et bien documenté dans la littérature, soit l’abandon. Donc avec l’augmentation exponentielle des cours en ligne en enseignement supérieur, la persévérance des étudiants dans les cours en ligne devient un enjeu important. Peu de statistiques sont disponibles sur le sujet, surtout en contexte canadien. Levy (2007) a synthétisé que les taux d’abandon en FAD aux États-Unis se situent entre 25%-40% comparativement à 10%-20% sur campus. Ici au Québec, Dorais (2001), évoquait que les échecs par abandon seraient 4 à 5 fois plus nombreux que les échecs en général chez Cegep@distance.

La réussite en formation en ligne est aussi en enjeu, quoi que moins problématique que la persévérance. Le taux d’échec serait selon Marchand 10% à 20% plus élevé en FAD. Certains chercheurs croient que les données d’utilisation de l’environnement numérique d’apprentissage (ENA) prédisent fortement la réussite. Par exemple, une étude réalisée à l’Université du Maryland a démontré que les les étudiants qui ont obtenu une note finale de D et F utilisent l’ENA en moyenne 39% moins que les étudiants ayant obtenu une note de C ou plus.
Avec l’avènement des environnements numériques d’apprentissage comme Moodle ou Blackoboard, ou un ENA développé maison, les étudiants en ligne produisent désormais une grande quantité de traces de données numériques. Des intervenants et des chercheurs du domaine éducatif ont donc commencé à explorer comment on pourrait tirer profit de ces mégadonnées (big data) pour aider à la prise de décision et à l’amélioration des processus comme le fait le business intelligence (informatique décisionnelle en français) dans les entreprises. Mais ici dans le but de mieux comprendre les activités des étudiants en ligne.

Les données d'utilisation de l’environnement numérique d’apprentissage (ENA) prédisent fortement la réussite (Macfadyen & Dawson, 2010).
Ex: à l’Université du Maryland, les étudiants qui ont obtenu une note finale de D et F utilisent l’ENA en moyenne 39% moins que les étudiants ayant obtenu une note de C ou plus. (Fritzz, 2011)

L’analyse de l’apprentissage est un domaine encore jeune. LA communauté sicentifique a commencé à s’organiser en 2011 avec la création de la SOLAR et de la conférence LAK.
On remarque la présence de 3 concepts importants dans la littérature, qui se chevauchent mais qui poursuivent des objectifs différents. L’analyse de l’apprentissage est un concept dérivé de l’exploration de données éducationnelle (ou educational data mining) qu’on retrouve au centre.

Tout d’abord le concept central est l’exploration de données éducationnelle qui est selon l’OQLF une technique de recherche et d'analyse de données qui permet de dénicher des tendances ou des corrélations cachées parmi des masses de données, ou encore de détecter des informations stratégiques ou de découvrir de nouvelles connaissances, en s'appuyant sur des méthodes de traitement statistique. Elle s’intéresse principalement aux méthodes d’exploration et à l’extraction des données, et au développement d’outils et d’algorithmes pour découvrir des tendances ou des modèles dans les données.

Ensuite Le concept d’analyse académique à droite. Il s’agit de la transposition de l’informatique décisionnelle aux établissement d’éducation. C’est un processus qui leur permet de disposer des données nécessaires pour appuyer la prise de décision opérationnelle et financière. Elle utilise donc l’EDE pour obtenir ces données. Elle s’adresse aux établissement, aux organismes régionaux ou aux gouvernements.

Et le concept qui nous intéresse davantage ici est l’analyse de l’apprentissage. La définition la plus citée et reconnue par le SOLAR (society of learning analytics research) est la suivante: la mesure, la collecte, l'analyse et la communication de données sur les apprenants et leurs contextes, afin de comprendre et d'optimiser l'apprentissage et les environnements dans lesquels il se produit. Elle se base donc aussi sur l’EDE pour obtenir les données, mais dans l’objectif de comprendre et améliorer l’apprentissage plutôt que la bonne gestion de l’établissement. Elle se situe donc davantage au niveau de l’étudiant et de l’enseignant.

Aujourd'hui on va se concentrer sur un outil dérivé de l’analyse de l’apprentissage est le tableau de bord de l’apprentissage (learning analytics dashboard). Un tableau de bord d'apprentissage est un affichage unique qui regroupe différents indicateurs concernant les apprenants, les processus d'apprentissage et / ou le (s) contexte (s) d'apprentissage en une ou plusieurs visualisations. Dérivés des résultats de l’analyse de l’apprentissage afin de soutenir l’amélioration de l’apprentissage des étudiants.
Alors ici je vous présente les éléments qui composent le cadre générique de l’analyse de l’apprentissage proposé par Grellet & Draschler qui est composé de 6 éléments.
Parties prenantes: les étudiants ont ceux qui fournissent les données. Les bénéficiaires sont plus souvent les enseignants, la majorité des tableaux de bord développés à ce jour s’adresse à eux afin de leur permettre de suivre les activités des étudiants et identifier ceux à risque. mais certains sont également disponibles pour visualisation aux étudiants. Grâce au tableau de bord, ils peuvent améliorer leur connaissance de soi en visualisant leur historique et leur statut d’apprentissage, ce qui pourrait les amener à modifier leurs comportements. Les autres parties prenantes comprennent l’établissement, et les organismes gouvernementaux.
Objectifs: Le premier est la réflexion, qui consiste en l’auto-évaluation critique de l’étudiant ou de l’enseignant par rapport aux données afin de prendre conscience de l’état d’une situation. Du côté de l’enseignant, elle peut l’informer et le sensibiliser à l’activité des étudiants dans l’ENA, et peut l’amener à réfléchir à ses pratiques d’enseignement et à les ajuster. Si les données sont aussi disponibles aux étudiants, cela peut les sensibiliser à leur niveau d’activité et les amener à réfléchir à leurs pratiques d’études. Le deuxième objectif principal est la prédiction. En plus de favoriser la pratique réflective, l’analyse de l’apprentissage peut être utilisée pour prédire et modéliser les comportements des étudiants. On peut chercher à modéliser les comportements afin de prédire l’abandon ou encore la note finale. Ces prédictions et modélisations peuvent conduire à une intervention en temps opportun (par exemple pour prévenir l’abandon), ou encore à une adaptation des services et des parcours des étudiants.
Données: L’analyse de l’apprentissage s’appuie fortement sur les données des étudiants, qui sont la plupart du temps protégées par les établissements d’enseignement. La grande majorité des tableaux de bord existants utilisent comme source de données les traces laissées par l’étudiant dans l’ENA : l’utilisation des ressources, le temps, les interactions sociales, les artéfacts créés et les résultats à des exercices ou des éléments d’évaluation. Très peu de tableaux de bord utilisent des données provenant d’une autre source que l’ENA, par exemple des données provenant de capteurs biométriques, des données de localisation, des données d’utilisation des services de l’université (bibliothèque, installations sportives), ou encore des données auto-rapportées par les utilisateurs. Actuellement, les données qui sont utilisées dans les tableaux de bord sont les données qui sont disponibles. Cependant, ce n’est pas nécessairement parce qu’elles sont disponibles qu’elles sont pertinentes pour l’enseignant ou l’étudiant .
Technologies: . Ces données brutes doivent être traduites en informations compréhensibles pour les utilisateurs. Pour ce faire, l’analyse de l’apprentissage utilise des techniques d’analyse liées à l’exploration de données éducationnelles, à la visualisation de données et différents outils tels que les tableaux de bord, les indicateurs prédictifs, l’analyse de réseaux sociaux, l’analyse de discours et les outils de personnalisation de l’apprentissage. On a recours à des analyses statistiques telles que les analyses de corrélation, les analyses de régression, etc.
Contraintes: Enjeux éthiques et légaux liés à la confidentialité des données, la protection de la vie privée, la gestion des données. Ce mouvement prends de plus en plus de place dans la littérature: À partir du moment où l’établissement a les données sur les étudiants, quelles est son obligation d’agir?
Limites internes: LA est du domaine multidisciplinaire. La conception des algorithmes et des outils nécessitent des compétences variées en statistiques, informatique, éducation. De plus les utilisateurs doivent avoir des compétences en littératie numérique, éthique, interprétation des données et pensée critique. L’acceptation par les utilisateurs est également en enjeu: à quoi bon développer cela si les parties prenantes ne l’utilisent pas?
L’analyse de l’apprentissage n’est pas une chose, mais bien un processuss. Clow (2012) a schématisé le cycle de l’analyse de l’apprentissage. Le cycle débute avec l’étudiant, qui génère des données par son utilisation de l’ENA, des données liées à ses activités d’évaluation ou encore des données démographiques (étape de la collecte). Ensuite, ces données sont analysées et transformées en indicateurs, qui peuvent être présentés sous forme de progression des apprentissages, de comparaison des résultats avec un groupe de référence, ou encore par une image visuelle indiquant le statut de l’étudiant (étapes du rapport et de la prédiction). Ces indicateurs permettent à l’utilisateur de générer une intervention, par exemple, l’étudiant peut modifier son comportement suite à l’exercice de comparaison avec ses pairs, ou l’enseignant peut contacter les élèves identifiés comme étant en difficultés par le système afin de leur offrir de l’aide (étape de l’intervention). Ces interventions affectent ainsi les étudiants, ce qui ferme la boucle, qui recommence ensuite avec de nouvelles données provenant des étudiants.

Verbert et al. (2013) ont développé un modèle en quatre phases centré sur l’utilisateur des tableaux de bord plutôt que sur le processus comme Clow. La première phase est celle de la sensibilisation ou de la prise de conscience de l’utilisateur de la situation grâce à la visualisions de données d’étudiants ou de groupe d’étudiants. Dans la deuxième phase, celle de la réflexion, l’utilisateur se pose des questions sur les données visualisées et évalue leur pertinence et leur utilité. Ensuite la troisième phase est la construction de sens, où l’utilisateur tente de trouver des réponses aux questions qu’il s’est posées à l’étape de réflexion. Ceci le mène finalement à la phase d’impact, soit à prendre ou non une action, en fonction des réponses créées dans la phase de construction de sens. L’utilisateur peut ainsi modifier ses comportements ou à donner un nouveau sens ou de nouveaux objectifs à ses activités
Voici un exemple de tableau de bord d’analyse de l’apprentissage développé à l’université de Purdue (États-Unis) en 2007. comme un algorithme sophistiqué, généré sur demande par l’enseignant, qui prédit le succès des étudiants en se basant sur quatre éléments : le pointage accumulé dans les évaluations, l’activité dans l’ENA comparativement aux pairs, les antécédents académiques tels que les résultats antérieurs et aux tests d’admission, et les caractéristiques personnelles de l’étudiant telles que l’âge, la nationalité ou encore le nombre de crédits obtenus. Les résultats produits par l’algorithme produisent un indicateur ponctuel ayant la forme d’un feu de signalisation, qui sera rouge pour les étudiants à risque élevé d’échec ou d’abandon, jaune pour les étudiants qui peuvent potentiellement avoir des problèmes à compléter le cours, et vert pour ceux qui ont de grandes chances de réussir le cours..
Ici on a un exemple de tableau de bord destiné à l’enseignant, il s’agit de OU Analyse développé à l’Open University (UK) en 2014. Le système utilise les données démographiques et l’activité de l’étudiant dans l’ENA pour produire une modèle prédictif pour classer les étudiants selon qu’ils sont à risque ou non. On y voit une vue d’ensemble de l’activité des étudiants dans l’ENA et un teableau qui indique les résultats individuels des étudiants ainsi que la prédiction à remettre le prochain devoir ou de réussir le cours. La page affiche aussi des statistiques générales comme le taux de soumission des devoirs ou le nombre d’étudiants actifs dans l’ENA dans le semaine.
On peut voir ici un exemple de vue d’un étudiant, il doit cliquer sur l’onglet Ma réussite pour avoir accès à ses informations. On voit en haut que son indicateur sommaire pour le cours de fiscalité est rouge. La première section détaille son indicateur de participation: le nombre d’accès au site, le nombre de pages consultées, le nombre de fichiers téléchargés, le nombre d’éléments multimédias consultés, le nombre de message rédigés et consultés dans le forum et le nombre de tentatives aux questionnaires. La couleur de l’indicateur dépend de la performance par rapport à la médiane du groupe. Par exemple, cet étudiant a accédé au site de cours 139 fois, alors que la médiane du groupe est de 91, son indicateur est donc vert.

La deuxième section dans le bas présente l’indicateur de résultats, qui prend en compte les résultats cumulés à date et qui indique la cote projetée en fonction de ces résultats actuels.
Ici on voit la vue de l’enseignant, il peut voir la liste des étudiants inscrits dans le cours et leur indicateur sommaire. On y voit les points cumulés à ce jour et la cote finale projetée calculée par l’algorithme. Il y a un lien direct pour envoyer un courriel à l’étudiant.

lorsqu’il clique sur un étudiant de sa liste. Il voit l’indicateur sommaire (jaune dans ce cas-ci) et un graphique de tendance. Il voit aussi la même information que l’étudiant sur ses indicateurs de participation et de résultats.
Maintenant qu’on a vu des exemples de tableau de bord, je vais vous parler des résultats des quelques études qui ont tenté d’évaluer leurs effets. Peu de tableaux de bord ont été évaliés quant à leurs effets, la majorité ont été évalués quant à leur convivialité et à l’utilité perçue de l’application, de même qu’à la satisfaction des utilisateurs.

Un projet de développement d’un outil qui centralise les preuves empiriques concernant l’analyse de l’apprentissage a été initié par la Learning Analytics Community Exchange en 2015. Il s’agit de la couverture systématique la plus complète à ce jours des preuves empiriques à savoir si les propositions adoptées par la LACE sont vraies ou fausses. La LACE avance 4 propositions à vérifier:

Cette proposition porte sur l'amélioration des résultats d'apprentissage: y compris les gains cognitifs, les notes d'évaluation améliorées, les meilleurs résultats sur les tests et les résultats obtenus.
Les analyses d'apprentissage améliorent le soutien à l'apprentissage et l'enseignement, y compris la rétention, l'achèvement et la progression. Cette proposition porte sur l'amélioration de l'enseignement et de l'apprentissage qui ne sont pas des acquis directs de l'apprenant.
Les analyses d'apprentissage sont reprises et largement utilisées, y compris le déploiement à l'échelle. Cette proposition se concentre sur le niveau d'utilisation de l'analyse d'apprentissage et s'intéresse aux perspectives institutionnelles et politiques.
Les analyses d'apprentissage sont utilisées de manière éthique. Cette proposition porte sur les questions «devrions-nous», plutôt que les «nous pouvons», abordés par les autres propositions.

Malgré que la 7e conférence LAK a eu lieu en mars dernier, il existe très peu de preuves tangibles sur l’analyse de l’apprentissage. De plus les preuves à ce jour sont davantage orientées sur le positif. Cependant il fait faire attention au biais de publication qui tend à présenter davantage les résultats positifs.
En ce qui concerne les effets sur la réussite, plusieurs études ont démontré que les étudiants exposés au tableau de bord obtiennent de meilleures notes finales que ceux qui n’y sont pas exposés
Les cours utilisant Course Signals on augmenté de 10% les notes A et B et diminué de 6% les notes D et E par rapport aux sessions antérieures où l’outil n’était pas utilisé (Arnold & Pistilli, 2012)
Les étudiant qui utilisent le tableau de bord pour comparer leur activité avec leurs pairs sont presque 2 fois plus susceptibles d’obtenir une note de C ou plus que ceux qui ne l’utilisent pas (Fritz, 2011)
Certaines études n’ont cependant relevé aucune différence significative dans les notes (Kobsa et al. 2005, Park & Jo, 2015, Ott et al. 2015)
Seules deux études dans l'Evidence Hub soutiennent que l'analyse de l’apprentissage a entraîné des changements dans l'enseignement et le soutien qui ont eu un impact sur les apprenants. (Course Signals et Maris College)

Course Signals
À l’Université de Purdue, les taux de rétention sur 3 ans pour les cohortes ayant été exposées à Course Signals varient entre 85% et 91%%, comparativement à 70% à 73% pour celles qui n’y ont pas été exposées (Arnold & Pistilli, 2012).

Ces résultats sont cependant controversés dans la communauté puisqu’il semble que les taux de rétention aient augmenté pour l’ensemble de l’université durant les périodes visées par l’étude. Il est donc possible que cela soit du à d,autres mesures mises en place par l’université.

Marist College
Au contraire, au Marist College, le nombre d’abandons est plus élevé dans les groupes ayant été exposés au tableau de bord que dans le groupe contrôle (Baron, 2013).

Les étudiants qui reçoivent des interventions abandonnent plus tôt dans le cours (par opposition à rester inscrit et échouer) que ceux qui n'en ont pas. Bien qu’il est préférable que les étudiants complètent leur cours avec succès, l’abandon,, en particulier avant qui entraine des pénalités majeures, est préférable à l'échec pour l’étudiant (il n’entrâine pas d’échec au relevé de note).
D’autres études ont relevés des effets indirects comme
Les étudiants qui utilisent Course Signals demandent de l’aide plus tôt et plus fréquemment (Arnold & Pistilli, 2012)
Le tableau de bord contribue à améliorer les relations entre les étudiants et les enseignants puisqu’il a des effets sur les comportements des enseignants qui discutent davantage de l’engagement avec leurs étudiants
Le nombre de d’activités d’apprentissage complétées par les étudiants de même que l’utilisation de l’ENA ont augmenté suite à l’implantation du tableau de bord (Chen et al. 2008)
Cette fonctionnalité intégrée à monPortail poursuit les objectifs suivants :
Permettre aux étudiants de prendre rapidement conscience de leur niveau de participation et de leurs résultats dans les cours auxquels ils sont inscrits.
Orienter les étudiants vers les ressources d’aide les plus appropriées en fonction de leur situation et des difficultés rencontrées.
Permettre aux intervenants d’être proactifs auprès des étudiants présentant des signes de difficulté.

L’Université Laval a agit en tant que précurseur au Canada avec le développement de son outil Ma Réussite, avec l’implantation a débuté à l’hiver 2014 avec un projet pilote de 30 cours, pour être ensuite implanté sur base volontaire de chaque professeur (ou par politique facultaire) à l’hiver 2015. L’outil ne fonctionne actuellement que pour les cours de 1er cycle, et à l’automne 2016, donc la session en cours, 973 cours l’utilisent, donc 791 enseignants et plus de 23 000 étudiants.

Les données produites par MonPortail, telles que les accès, les messages dans les forums, les questionnaires et les résultats sont compilées. Un algorithme a été développer pour traiter les données et produire un indicateur sommaire, qui se compose d’un indicateur de participation et un indicateur de résultat. Les indicateurs prennent la forme d’un feu rouge, jaune ou vert. Comme l’outil compile la participation dans l’ENA MonPortail, il fonctionne bien dans un cours en ligne ou dans un cours en classe qui utilise beaucoup les fonctionnalités de la plateforme.

On peut remarquer que et outil a été inspiré de Signals à l’université de Purdue, mais il est différent sur plusieurs aspects: À Purdue, l’enseignant doit activer le calcul de l’algorithme et lui seul voit les résultats. Il peut ensuite décider de faire apparaître le signal sur la page personnelle de l’étudiant. L’information n’est pas en temps réel, elle se met à jour quand l’enseignant refait calculer l’algorithme. À Ulaval, l’information est disponible en temps réel autant par l’enseignant que par l’étudiant. C’est un processus automatisé, aucune intervention humaine n’est requise.
Population et échantillonnage:
Instruments de collecte:

L’analyse de l’apprentissage (learning analytics): une revue de littérature

Du liest eine Vorschau.

Hier ansehen

L’analyse de l’apprentissage (learning analytics): une revue de littérature

Weitere Verwandte Inhalte

Diashows für Sie (20)

Ähnlich wie L’analyse de l’apprentissage (learning analytics): une revue de littérature (20)

Aktuellste (20)

L’analyse de l’apprentissage (learning analytics): une revue de littérature

Hinweis der Redaktion

L’analyse de l’apprentissage (learning analytics): une revue de littérature

Du liest eine Vorschau.

L’analyse de l’apprentissage (learning analytics): une revue de littérature

Empfohlen

Weitere Verwandte Inhalte

Diashows für Sie (20)

Ähnlich wie L’analyse de l’apprentissage (learning analytics): une revue de littérature (20)

Aktuellste (20)

L’analyse de l’apprentissage (learning analytics): une revue de littérature

Hinweis der Redaktion