Es wird gezeigt, wie Testergebnisse datenschutzkonform zur Verbesserung der Testqualität genutzt werden können. Schlußfolgerungen für die Gestaltung von Learning-Analytics-Projekten werden abgeleitet. Vortrag vom 22.5.19

1. Learning Analytics
mit Daten mathematischer Tests
von Ingo Dahn (VCRP)

2. Was kommt?
• Learning Analytics
• Learning Analytics in Rheinland-Pfalz
• Das Gradebook von IMathAS
• Der Testanalyzer
• Hochschulübergreifende Datenbasis
!! Dies ist keine Einführung in Learning Analytics !!

3. Learning Analytics
• Auswertung von Daten über Lernprozesse zur Verbesserung
von Lehren und Lernen
• Erkennen von Problemen bei Ressourcen, Lernenden und Lehrenden
• Auswertung von Daten mit statistischen Methoden (Machine Learning)
• Ziele z.B.: Früher auf Probleme reagieren, Ressourcen verbessern und
empfehlen, Studienabbrüche vermeiden
• Technische Spezifikationen für Datenaustausch: ADL xAPI, IMS Caliper
• Zu beachten:
• Datenschutz
• Unvollständige, interpretationsbedürftige Informationen
• Qualifikation der Lehrenden
• Datenaufbereitung
• Ethische Fragen
Horizon
Report
2019

4. Learning Analytics in RLP
• Landesweites LMS (Open OLAT)
• Kursstatistiken: Zugriffsstatistik (Zahl der Zugriffe auf Kursressourcen),
Testergebnisse
• Landesweites Mathe-Testsystem IMathAS
• Landesweite Video-Plattform panopto
• VCRP: Webinare mit allgemeinen Informationen zu Learning Analytics
• Prioritäten:
• Nutzbare Hilfs-Informationen für Lehrende und Lernende bereitstellen
• Systemübergreifende Datensammlung in Abstimmung mit Digitalisierungsstrategie
der Hochschulen
• Nächste Schritte: Ermittlung von Möglichkeiten und Bedarf
Mathe-Besonderheit: Viele Daten durch Wiederverwendung von Online-
Tests dank Randomisierung

5. Das Gradebook von IMathAS

6. Der Testanalyzer
• Ziel: Qualitätsmanagement von Online-Tests
• Niedrigschwelliges Angebot:
• Verwendet nur Daten, die die Dozenten bereits haben (Testergebnisse)
• Alle Auswertungen im Browser – keine Datenübertragung
(Datenschutz!)
• Ergebnis: Grafiken und Empfehlungen als Klartext!
• Mehrwert: Umfangreiche Auswertung, insbesondere bei vielen
Test-Teilnehmern und/oder vielen Fragen
• Systemunabhängig – IMathAS, OpenOLAT, ILIAS
• https://dahn-research.eu/testanalyzer

7. Testanalyzer (Beispiel: ILIAS)

8. Testanalyzer (2)

9. Testanalyzer (3)

10. Testanalyzer (4)

11. Testanalyzer (5)

12. Testanalyzer (6)

13. Fazit
• Die erfassten Daten sind unvollständig – es fehlt der
didaktische Kontext
• Deshalb: Die Entscheidung über die Interpretation der Daten
liegt beim Nutzer (Qualifikation der Nutzer?)
• Daten müssen aufbereitet werden zu Informationen die der
Nutzer versteht und mit seinem Wissen kombinieren kann
• Mögliche Probleme können erkannt werden, Hinweise zur
Lösung sind möglich
• Mehrwert insbesondere für Standardsituationen und große N

14. Mögliches Vorgehen
1. Welche Probleme gibt es im Lehr/Lernprozess?
2. Welche Informationen könnten bei der Lösung helfen?
3. Aus welchen Daten könnte man diese Informationen
gewinnen?
4. Wie kann man diese Daten legal gewinnen?
5. Wie muss man diese Daten für den Benutzer aufbereiten?
6. Technische, ethische, Datenschutz- und
Qualifikationsprobleme lösen
Technische Standards für den Datenaustausch: xAPI, Caliper

15. Learning Analytics – Projekt?
Viele Daten, Standardsituation: Vorkurse
• Ziel: Empfehlungen für Kursgestaltung, für
Studieninteressenten und Schulen
• Mittel: Empfohlener Online-Kern-Test für Mathe-Vorkurse für
WiMINT-Fächer (z.B. Cosh-Aufgaben mit standardisierten
Surrogaten)
• Testanalyzer anonymisiert und standardisiert Daten, ermöglicht
Hochladen in hochschulübergreifenden LRS (Learning Record
Store)
• Systemneutrale einheitliche Filterung und Datenaufbereitung

16. Fragen? Ideen?
dahn@vcrp.de