SlideShare ist ein Scribd-Unternehmen logo
Learning Analytics
mit Daten mathematischer Tests
von Ingo Dahn (VCRP)
Was kommt?
• Learning Analytics
• Learning Analytics in Rheinland-Pfalz
• Das Gradebook von IMathAS
• Der Testanalyzer
• Hochschulübergreifende Datenbasis
!! Dies ist keine Einführung in Learning Analytics !!
Learning Analytics
• Auswertung von Daten über Lernprozesse zur Verbesserung
von Lehren und Lernen
• Erkennen von Problemen bei Ressourcen, Lernenden und Lehrenden
• Auswertung von Daten mit statistischen Methoden (Machine Learning)
• Ziele z.B.: Früher auf Probleme reagieren, Ressourcen verbessern und
empfehlen, Studienabbrüche vermeiden
• Technische Spezifikationen für Datenaustausch: ADL xAPI, IMS Caliper
• Zu beachten:
• Datenschutz
• Unvollständige, interpretationsbedürftige Informationen
• Qualifikation der Lehrenden
• Datenaufbereitung
• Ethische Fragen
Horizon
Report
2019
Learning Analytics in RLP
• Landesweites LMS (Open OLAT)
• Kursstatistiken: Zugriffsstatistik (Zahl der Zugriffe auf Kursressourcen),
Testergebnisse
• Landesweites Mathe-Testsystem IMathAS
• Landesweite Video-Plattform panopto
• VCRP: Webinare mit allgemeinen Informationen zu Learning Analytics
• Prioritäten:
• Nutzbare Hilfs-Informationen für Lehrende und Lernende bereitstellen
• Systemübergreifende Datensammlung in Abstimmung mit Digitalisierungsstrategie
der Hochschulen
• Nächste Schritte: Ermittlung von Möglichkeiten und Bedarf
Mathe-Besonderheit: Viele Daten durch Wiederverwendung von Online-
Tests dank Randomisierung
Das Gradebook von IMathAS
Der Testanalyzer
• Ziel: Qualitätsmanagement von Online-Tests
• Niedrigschwelliges Angebot:
• Verwendet nur Daten, die die Dozenten bereits haben (Testergebnisse)
• Alle Auswertungen im Browser – keine Datenübertragung
(Datenschutz!)
• Ergebnis: Grafiken und Empfehlungen als Klartext!
• Mehrwert: Umfangreiche Auswertung, insbesondere bei vielen
Test-Teilnehmern und/oder vielen Fragen
• Systemunabhängig – IMathAS, OpenOLAT, ILIAS
• https://dahn-research.eu/testanalyzer
Testanalyzer (Beispiel: ILIAS)
Testanalyzer (2)
Testanalyzer (3)
Testanalyzer (4)
Testanalyzer (5)
Testanalyzer (6)
Fazit
• Die erfassten Daten sind unvollständig – es fehlt der
didaktische Kontext
• Deshalb: Die Entscheidung über die Interpretation der Daten
liegt beim Nutzer (Qualifikation der Nutzer?)
• Daten müssen aufbereitet werden zu Informationen die der
Nutzer versteht und mit seinem Wissen kombinieren kann
• Mögliche Probleme können erkannt werden, Hinweise zur
Lösung sind möglich
• Mehrwert insbesondere für Standardsituationen und große N
Mögliches Vorgehen
1. Welche Probleme gibt es im Lehr/Lernprozess?
2. Welche Informationen könnten bei der Lösung helfen?
3. Aus welchen Daten könnte man diese Informationen
gewinnen?
4. Wie kann man diese Daten legal gewinnen?
5. Wie muss man diese Daten für den Benutzer aufbereiten?
6. Technische, ethische, Datenschutz- und
Qualifikationsprobleme lösen
Technische Standards für den Datenaustausch: xAPI, Caliper
Learning Analytics – Projekt?
Viele Daten, Standardsituation: Vorkurse
• Ziel: Empfehlungen für Kursgestaltung, für
Studieninteressenten und Schulen
• Mittel: Empfohlener Online-Kern-Test für Mathe-Vorkurse für
WiMINT-Fächer (z.B. Cosh-Aufgaben mit standardisierten
Surrogaten)
• Testanalyzer anonymisiert und standardisiert Daten, ermöglicht
Hochladen in hochschulübergreifenden LRS (Learning Record
Store)
• Systemneutrale einheitliche Filterung und Datenaufbereitung
Fragen? Ideen?
dahn@vcrp.de

Weitere ähnliche Inhalte

Ähnlich wie Learning Analytics mit Daten mathematischer Tests

Qualitative Trainingsdaten für Machine Learning effizient gewinnen
Qualitative Trainingsdaten für Machine Learning effizient gewinnenQualitative Trainingsdaten für Machine Learning effizient gewinnen
Qualitative Trainingsdaten für Machine Learning effizient gewinnen
VANDA - Visual Analytics Interfaces for Big Data Environments
 
Social Media Monitoring für Information Professionals
Social Media Monitoring für Information ProfessionalsSocial Media Monitoring für Information Professionals
Social Media Monitoring für Information Professionals
DIE DIGITALE GmbH
 
Suche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationSuche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur Datenintegration
Thomas Kurz
 
Wie steigere ich die Effizienz und Zufriedenheit meiner Mitarbeiter
Wie steigere ich die Effizienz und Zufriedenheit meiner MitarbeiterWie steigere ich die Effizienz und Zufriedenheit meiner Mitarbeiter
Wie steigere ich die Effizienz und Zufriedenheit meiner Mitarbeiter
Thomas Jenewein
 
Process Mining: Konzept und Anwendung
Process Mining: Konzept und AnwendungProcess Mining: Konzept und Anwendung
Process Mining: Konzept und Anwendung
Michael Groeschel
 
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Jakob .
 
Open-Source ERP und BI - Kriterien für ein effizientes Zusammenspiel -
Open-Source ERP und BI - Kriterien für ein effizientes Zusammenspiel -Open-Source ERP und BI - Kriterien für ein effizientes Zusammenspiel -
Open-Source ERP und BI - Kriterien für ein effizientes Zusammenspiel -
Falk Neubert
 
Learning Analytics meets Mathematics Teacher Education
Learning Analytics meets Mathematics Teacher EducationLearning Analytics meets Mathematics Teacher Education
Learning Analytics meets Mathematics Teacher Education
Fabian Mundt
 
Workplace Learning Support (WLS) – Design erste Ergebnisse und Diskussion der...
Workplace Learning Support (WLS) – Design erste Ergebnisse und Diskussion der...Workplace Learning Support (WLS) – Design erste Ergebnisse und Diskussion der...
Workplace Learning Support (WLS) – Design erste Ergebnisse und Diskussion der...
Thomas Jenewein
 
Evidenzbasierte Bildung mit Learning Analytics - Teil 2 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 2 FRANKFURT 2019Evidenzbasierte Bildung mit Learning Analytics - Teil 2 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 2 FRANKFURT 2019
Wolfgang Greller
 
Gesteigerte Employee Experience durch mobile Ethnographie
Gesteigerte Employee Experience durch mobile EthnographieGesteigerte Employee Experience durch mobile Ethnographie
Gesteigerte Employee Experience durch mobile Ethnographie
USECON
 
OER an Schule & Hochschule
OER an Schule & HochschuleOER an Schule & Hochschule
OER an Schule & Hochschule
e-teaching.org
 
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Dirk Lewandowski
 
Big Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsBig Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsGeorg Blum
 
Information zu Mitarbeiterbefragung
Information zu MitarbeiterbefragungInformation zu Mitarbeiterbefragung
Information zu Mitarbeiterbefragung
Verlag/Management Publishing
 
Infocamp forschung
Infocamp forschungInfocamp forschung
Infocamp forschung
Rudolf Mumenthaler
 
Data Science & Big Data, made in Switzerland
Data Science & Big Data, made in SwitzerlandData Science & Big Data, made in Switzerland
Data Science & Big Data, made in Switzerland
Thilo Stadelmann
 
Learning analytics for reflective learning
Learning analytics for reflective learningLearning analytics for reflective learning
Learning analytics for reflective learning
MOVING Project
 

Ähnlich wie Learning Analytics mit Daten mathematischer Tests (20)

Qualitative Trainingsdaten für Machine Learning effizient gewinnen
Qualitative Trainingsdaten für Machine Learning effizient gewinnenQualitative Trainingsdaten für Machine Learning effizient gewinnen
Qualitative Trainingsdaten für Machine Learning effizient gewinnen
 
Social Media Monitoring für Information Professionals
Social Media Monitoring für Information ProfessionalsSocial Media Monitoring für Information Professionals
Social Media Monitoring für Information Professionals
 
Suche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationSuche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur Datenintegration
 
Wie steigere ich die Effizienz und Zufriedenheit meiner Mitarbeiter
Wie steigere ich die Effizienz und Zufriedenheit meiner MitarbeiterWie steigere ich die Effizienz und Zufriedenheit meiner Mitarbeiter
Wie steigere ich die Effizienz und Zufriedenheit meiner Mitarbeiter
 
Process Mining: Konzept und Anwendung
Process Mining: Konzept und AnwendungProcess Mining: Konzept und Anwendung
Process Mining: Konzept und Anwendung
 
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
 
Open-Source ERP und BI - Kriterien für ein effizientes Zusammenspiel -
Open-Source ERP und BI - Kriterien für ein effizientes Zusammenspiel -Open-Source ERP und BI - Kriterien für ein effizientes Zusammenspiel -
Open-Source ERP und BI - Kriterien für ein effizientes Zusammenspiel -
 
Learning Analytics meets Mathematics Teacher Education
Learning Analytics meets Mathematics Teacher EducationLearning Analytics meets Mathematics Teacher Education
Learning Analytics meets Mathematics Teacher Education
 
Workplace Learning Support (WLS) – Design erste Ergebnisse und Diskussion der...
Workplace Learning Support (WLS) – Design erste Ergebnisse und Diskussion der...Workplace Learning Support (WLS) – Design erste Ergebnisse und Diskussion der...
Workplace Learning Support (WLS) – Design erste Ergebnisse und Diskussion der...
 
Evidenzbasierte Bildung mit Learning Analytics - Teil 2 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 2 FRANKFURT 2019Evidenzbasierte Bildung mit Learning Analytics - Teil 2 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 2 FRANKFURT 2019
 
Gesteigerte Employee Experience durch mobile Ethnographie
Gesteigerte Employee Experience durch mobile EthnographieGesteigerte Employee Experience durch mobile Ethnographie
Gesteigerte Employee Experience durch mobile Ethnographie
 
OER an Schule & Hochschule
OER an Schule & HochschuleOER an Schule & Hochschule
OER an Schule & Hochschule
 
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
 
Big Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A RelationsBig Data_und auf was es wirklich ankommt. 1A Relations
Big Data_und auf was es wirklich ankommt. 1A Relations
 
Information zu Mitarbeiterbefragung
Information zu MitarbeiterbefragungInformation zu Mitarbeiterbefragung
Information zu Mitarbeiterbefragung
 
Infocamp forschung
Infocamp forschungInfocamp forschung
Infocamp forschung
 
Infocamp forschung
Infocamp forschungInfocamp forschung
Infocamp forschung
 
Infocamp forschung
Infocamp forschungInfocamp forschung
Infocamp forschung
 
Data Science & Big Data, made in Switzerland
Data Science & Big Data, made in SwitzerlandData Science & Big Data, made in Switzerland
Data Science & Big Data, made in Switzerland
 
Learning analytics for reflective learning
Learning analytics for reflective learningLearning analytics for reflective learning
Learning analytics for reflective learning
 

Learning Analytics mit Daten mathematischer Tests

  • 1. Learning Analytics mit Daten mathematischer Tests von Ingo Dahn (VCRP)
  • 2. Was kommt? • Learning Analytics • Learning Analytics in Rheinland-Pfalz • Das Gradebook von IMathAS • Der Testanalyzer • Hochschulübergreifende Datenbasis !! Dies ist keine Einführung in Learning Analytics !!
  • 3. Learning Analytics • Auswertung von Daten über Lernprozesse zur Verbesserung von Lehren und Lernen • Erkennen von Problemen bei Ressourcen, Lernenden und Lehrenden • Auswertung von Daten mit statistischen Methoden (Machine Learning) • Ziele z.B.: Früher auf Probleme reagieren, Ressourcen verbessern und empfehlen, Studienabbrüche vermeiden • Technische Spezifikationen für Datenaustausch: ADL xAPI, IMS Caliper • Zu beachten: • Datenschutz • Unvollständige, interpretationsbedürftige Informationen • Qualifikation der Lehrenden • Datenaufbereitung • Ethische Fragen Horizon Report 2019
  • 4. Learning Analytics in RLP • Landesweites LMS (Open OLAT) • Kursstatistiken: Zugriffsstatistik (Zahl der Zugriffe auf Kursressourcen), Testergebnisse • Landesweites Mathe-Testsystem IMathAS • Landesweite Video-Plattform panopto • VCRP: Webinare mit allgemeinen Informationen zu Learning Analytics • Prioritäten: • Nutzbare Hilfs-Informationen für Lehrende und Lernende bereitstellen • Systemübergreifende Datensammlung in Abstimmung mit Digitalisierungsstrategie der Hochschulen • Nächste Schritte: Ermittlung von Möglichkeiten und Bedarf Mathe-Besonderheit: Viele Daten durch Wiederverwendung von Online- Tests dank Randomisierung
  • 6. Der Testanalyzer • Ziel: Qualitätsmanagement von Online-Tests • Niedrigschwelliges Angebot: • Verwendet nur Daten, die die Dozenten bereits haben (Testergebnisse) • Alle Auswertungen im Browser – keine Datenübertragung (Datenschutz!) • Ergebnis: Grafiken und Empfehlungen als Klartext! • Mehrwert: Umfangreiche Auswertung, insbesondere bei vielen Test-Teilnehmern und/oder vielen Fragen • Systemunabhängig – IMathAS, OpenOLAT, ILIAS • https://dahn-research.eu/testanalyzer
  • 13. Fazit • Die erfassten Daten sind unvollständig – es fehlt der didaktische Kontext • Deshalb: Die Entscheidung über die Interpretation der Daten liegt beim Nutzer (Qualifikation der Nutzer?) • Daten müssen aufbereitet werden zu Informationen die der Nutzer versteht und mit seinem Wissen kombinieren kann • Mögliche Probleme können erkannt werden, Hinweise zur Lösung sind möglich • Mehrwert insbesondere für Standardsituationen und große N
  • 14. Mögliches Vorgehen 1. Welche Probleme gibt es im Lehr/Lernprozess? 2. Welche Informationen könnten bei der Lösung helfen? 3. Aus welchen Daten könnte man diese Informationen gewinnen? 4. Wie kann man diese Daten legal gewinnen? 5. Wie muss man diese Daten für den Benutzer aufbereiten? 6. Technische, ethische, Datenschutz- und Qualifikationsprobleme lösen Technische Standards für den Datenaustausch: xAPI, Caliper
  • 15. Learning Analytics – Projekt? Viele Daten, Standardsituation: Vorkurse • Ziel: Empfehlungen für Kursgestaltung, für Studieninteressenten und Schulen • Mittel: Empfohlener Online-Kern-Test für Mathe-Vorkurse für WiMINT-Fächer (z.B. Cosh-Aufgaben mit standardisierten Surrogaten) • Testanalyzer anonymisiert und standardisiert Daten, ermöglicht Hochladen in hochschulübergreifenden LRS (Learning Record Store) • Systemneutrale einheitliche Filterung und Datenaufbereitung