Learning Analytics
mit Daten mathematischer Tests
von Ingo Dahn (VCRP)
Was kommt?
• Learning Analytics
• Learning Analytics in Rheinland-Pfalz
• Das Gradebook von IMathAS
• Der Testanalyzer
• Hochschulübergreifende Datenbasis
!! Dies ist keine Einführung in Learning Analytics !!
Learning Analytics
• Auswertung von Daten über Lernprozesse zur Verbesserung
von Lehren und Lernen
• Erkennen von Problemen bei Ressourcen, Lernenden und Lehrenden
• Auswertung von Daten mit statistischen Methoden (Machine Learning)
• Ziele z.B.: Früher auf Probleme reagieren, Ressourcen verbessern und
empfehlen, Studienabbrüche vermeiden
• Technische Spezifikationen für Datenaustausch: ADL xAPI, IMS Caliper
• Zu beachten:
• Datenschutz
• Unvollständige, interpretationsbedürftige Informationen
• Qualifikation der Lehrenden
• Datenaufbereitung
• Ethische Fragen
Horizon
Report
2019
Learning Analytics in RLP
• Landesweites LMS (Open OLAT)
• Kursstatistiken: Zugriffsstatistik (Zahl der Zugriffe auf Kursressourcen),
Testergebnisse
• Landesweites Mathe-Testsystem IMathAS
• Landesweite Video-Plattform panopto
• VCRP: Webinare mit allgemeinen Informationen zu Learning Analytics
• Prioritäten:
• Nutzbare Hilfs-Informationen für Lehrende und Lernende bereitstellen
• Systemübergreifende Datensammlung in Abstimmung mit Digitalisierungsstrategie
der Hochschulen
• Nächste Schritte: Ermittlung von Möglichkeiten und Bedarf
Mathe-Besonderheit: Viele Daten durch Wiederverwendung von Online-
Tests dank Randomisierung
Das Gradebook von IMathAS
Der Testanalyzer
• Ziel: Qualitätsmanagement von Online-Tests
• Niedrigschwelliges Angebot:
• Verwendet nur Daten, die die Dozenten bereits haben (Testergebnisse)
• Alle Auswertungen im Browser – keine Datenübertragung
(Datenschutz!)
• Ergebnis: Grafiken und Empfehlungen als Klartext!
• Mehrwert: Umfangreiche Auswertung, insbesondere bei vielen
Test-Teilnehmern und/oder vielen Fragen
• Systemunabhängig – IMathAS, OpenOLAT, ILIAS
• https://dahn-research.eu/testanalyzer
Testanalyzer (Beispiel: ILIAS)
Testanalyzer (2)
Testanalyzer (3)
Testanalyzer (4)
Testanalyzer (5)
Testanalyzer (6)
Fazit
• Die erfassten Daten sind unvollständig – es fehlt der
didaktische Kontext
• Deshalb: Die Entscheidung über die Interpretation der Daten
liegt beim Nutzer (Qualifikation der Nutzer?)
• Daten müssen aufbereitet werden zu Informationen die der
Nutzer versteht und mit seinem Wissen kombinieren kann
• Mögliche Probleme können erkannt werden, Hinweise zur
Lösung sind möglich
• Mehrwert insbesondere für Standardsituationen und große N
Mögliches Vorgehen
1. Welche Probleme gibt es im Lehr/Lernprozess?
2. Welche Informationen könnten bei der Lösung helfen?
3. Aus welchen Daten könnte man diese Informationen
gewinnen?
4. Wie kann man diese Daten legal gewinnen?
5. Wie muss man diese Daten für den Benutzer aufbereiten?
6. Technische, ethische, Datenschutz- und
Qualifikationsprobleme lösen
Technische Standards für den Datenaustausch: xAPI, Caliper
Learning Analytics – Projekt?
Viele Daten, Standardsituation: Vorkurse
• Ziel: Empfehlungen für Kursgestaltung, für
Studieninteressenten und Schulen
• Mittel: Empfohlener Online-Kern-Test für Mathe-Vorkurse für
WiMINT-Fächer (z.B. Cosh-Aufgaben mit standardisierten
Surrogaten)
• Testanalyzer anonymisiert und standardisiert Daten, ermöglicht
Hochladen in hochschulübergreifenden LRS (Learning Record
Store)
• Systemneutrale einheitliche Filterung und Datenaufbereitung
Fragen? Ideen?
dahn@vcrp.de

Learning Analytics mit Daten mathematischer Tests

  • 1.
    Learning Analytics mit Datenmathematischer Tests von Ingo Dahn (VCRP)
  • 2.
    Was kommt? • LearningAnalytics • Learning Analytics in Rheinland-Pfalz • Das Gradebook von IMathAS • Der Testanalyzer • Hochschulübergreifende Datenbasis !! Dies ist keine Einführung in Learning Analytics !!
  • 3.
    Learning Analytics • Auswertungvon Daten über Lernprozesse zur Verbesserung von Lehren und Lernen • Erkennen von Problemen bei Ressourcen, Lernenden und Lehrenden • Auswertung von Daten mit statistischen Methoden (Machine Learning) • Ziele z.B.: Früher auf Probleme reagieren, Ressourcen verbessern und empfehlen, Studienabbrüche vermeiden • Technische Spezifikationen für Datenaustausch: ADL xAPI, IMS Caliper • Zu beachten: • Datenschutz • Unvollständige, interpretationsbedürftige Informationen • Qualifikation der Lehrenden • Datenaufbereitung • Ethische Fragen Horizon Report 2019
  • 4.
    Learning Analytics inRLP • Landesweites LMS (Open OLAT) • Kursstatistiken: Zugriffsstatistik (Zahl der Zugriffe auf Kursressourcen), Testergebnisse • Landesweites Mathe-Testsystem IMathAS • Landesweite Video-Plattform panopto • VCRP: Webinare mit allgemeinen Informationen zu Learning Analytics • Prioritäten: • Nutzbare Hilfs-Informationen für Lehrende und Lernende bereitstellen • Systemübergreifende Datensammlung in Abstimmung mit Digitalisierungsstrategie der Hochschulen • Nächste Schritte: Ermittlung von Möglichkeiten und Bedarf Mathe-Besonderheit: Viele Daten durch Wiederverwendung von Online- Tests dank Randomisierung
  • 5.
  • 6.
    Der Testanalyzer • Ziel:Qualitätsmanagement von Online-Tests • Niedrigschwelliges Angebot: • Verwendet nur Daten, die die Dozenten bereits haben (Testergebnisse) • Alle Auswertungen im Browser – keine Datenübertragung (Datenschutz!) • Ergebnis: Grafiken und Empfehlungen als Klartext! • Mehrwert: Umfangreiche Auswertung, insbesondere bei vielen Test-Teilnehmern und/oder vielen Fragen • Systemunabhängig – IMathAS, OpenOLAT, ILIAS • https://dahn-research.eu/testanalyzer
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
    Fazit • Die erfasstenDaten sind unvollständig – es fehlt der didaktische Kontext • Deshalb: Die Entscheidung über die Interpretation der Daten liegt beim Nutzer (Qualifikation der Nutzer?) • Daten müssen aufbereitet werden zu Informationen die der Nutzer versteht und mit seinem Wissen kombinieren kann • Mögliche Probleme können erkannt werden, Hinweise zur Lösung sind möglich • Mehrwert insbesondere für Standardsituationen und große N
  • 14.
    Mögliches Vorgehen 1. WelcheProbleme gibt es im Lehr/Lernprozess? 2. Welche Informationen könnten bei der Lösung helfen? 3. Aus welchen Daten könnte man diese Informationen gewinnen? 4. Wie kann man diese Daten legal gewinnen? 5. Wie muss man diese Daten für den Benutzer aufbereiten? 6. Technische, ethische, Datenschutz- und Qualifikationsprobleme lösen Technische Standards für den Datenaustausch: xAPI, Caliper
  • 15.
    Learning Analytics –Projekt? Viele Daten, Standardsituation: Vorkurse • Ziel: Empfehlungen für Kursgestaltung, für Studieninteressenten und Schulen • Mittel: Empfohlener Online-Kern-Test für Mathe-Vorkurse für WiMINT-Fächer (z.B. Cosh-Aufgaben mit standardisierten Surrogaten) • Testanalyzer anonymisiert und standardisiert Daten, ermöglicht Hochladen in hochschulübergreifenden LRS (Learning Record Store) • Systemneutrale einheitliche Filterung und Datenaufbereitung
  • 16.