Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment?
•Als KEY, PDF herunterladen•
1 gefällt mir•784 views
In this presentation I discuss several new approaches for e-Assessment involving peer tutoring and semantic analysis techniques like LSA.
Empfohlen
Weitere ähnliche Inhalte
Andere mochten auch
Andere mochten auch (18)
Ähnlich wie Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment?
Ähnlich wie Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment? (19)
Mehr von Marco Kalz
Mehr von Marco Kalz (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (7)
Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment?
- 1. Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment? Dr. Marco Kalz Centre for Learning Sciences and Technologies (CELSTEC) Open University of the Netherlands marco.kalz@ou.nl
- 2. Struktur Hintergrund Latent Semantische Analyse (LSA) Methode Anwendungsbeispiele CELSTEC Prototypen Placement Support Service Advanced (Peer) Tutor Locator Zusammenfassung Erkenntnisse Ein Essay Scoring System für Edumedia Tutoring der Zukunft?
- 3. Forschungsfokus eAssessment Lösungen für die Geistes-, Sozial- und Erziehungswissenschaften Fokus: Kurse mit vielen Teilnehmern (x>200) Fokus: Non-formale Lernzenarien
- 5. Offene vs. geschlossen Hartig & Klieme 2007
- 6. Latent Semantische Analyse Entwickelt von Deerwester, Dumais, Furnas, Landauer, & Harshman 1990) bei der Firma Bellcore Labs Statistisches Verfahren für die Berechnung der Ähnlichkeit von Texten auf der Basis von Ko-Okurrenzen Rein semantischer Ansatz, keine Syntax Mehrstufiges Verfahren: TDM - SVD - Query Vektobasiertes Verfahren: Ähnlichkeit durch Winkel zwischen 2 Vektoren Vorteil gegenüber Keyword-Verfahren: Latente Ähnlichkeit
- 7. LSA Beispiel (Gorrell 2005) 1.) Textinput (Meist Dokumente/Paragraphen) "The man walked the dog" "The man took the dog to the park" "The dog went to the park" 2.) Term-Dokumenten-Matrix (TDM)
- 8. LSA Beispiel 3.) Ergebnis der Eigenwertzerlegung (SVD) 4.) Latent Semantischer Raum: Suche/Vergleich
- 9. eAssessment mit LSA Essay Scoring Systems Question Answering Systems Automated Tutoring Systems Selection of Educational Material Matching employees profiles with tasks Automated Summarization
- 10. Placement Support Service Similarity of documents as signal for prior knowledge
- 13. Peer Tutor Locator (van Rosmalen) 1! 2! 3! 4!
- 15. Zusammenfassung Beide Prototypen sind im Rahmen von PhD Projekten evaluiert worden Beide Prototypen konnten effizient die Arbeit von Tutoren unterstützen Probabilistisches Verfahren, keine Garantie für richtiges Feedback (aber hohe Trefferquoten von über 80% im Vergleich mit einem menschlichen Urteil) Nur anwendbar in textbasierten Disziplinen
- 16. Erkenntnisse Hoher Erstellungsaufwand am Anfang Einige kontextuelle Faktoren, die Übertragbarkeit einschränken Lokalisierungsbedarf Noch wenige Erfahrungen außerhalb der englischen Sprache Perspektive: Selbst-optimierende Systeme Perspektive: Kombination von LSA mit klassischen Data Mining Methoden
- 17. Ein Essay-Scoring Scenario Edumedia: Einzelaufgaben (Freitext) Benotete Referenzbeispiele Cluster Sehr gut - gut Cluster befriedigend - ausreichend Neues ubekanntes Dokument Cluster mangelhaft
- 18. Future Tutoring Scenarios Andrew Olney, University of Memphis
- 19. Future Tutoring Scenarios Andrew Olney, University of Memphis
- 20. Fragen? Feedback? http://celstec.org
Hinweis der Redaktion
- Sehr geehrte Damen und Herren, vielen Dank für die Einladung zum Forschungskolloquium hier in Duisburg. Ich werde mich heute mit dem Thema der computergestützten Analyse von Freitextantworten im E-Assessment beschäftigen. Der Vortrag basiert zum Teil auf einem Vortrag, den ich Anfang Januar auf der OnlinEduca in Berlin gehalten habe.
- Zunächst werde ich Ihnen kurz etwas zur Motivation erläutern, die uns dazu geführt hat, uns mit Freitextantworten zu beschäftigen. Anschließend werde ich kurz etwas zu einer Methode sagen, die wir in verschiedenen Projekten eingesetzt haben. Anschließend werde ich 2 Prototypen vorstellen, die wir in den letzten Jahren entwickelt und evaluiert haben. Diese Erfahrungen aus den beiden Projekten werde ich zusammenfassen und ein Beispiel für ein mögliches Essay Scoring System für Edumedia zu geben. Am Ende werde ich Ihnen in einem ca. 2-minütigen Video einen Ausblick in die Zukunft der computergestützten Unterstützung von Lernern geben.
- Der Grund, warum wir uns mit der computergestützten Auswertung von Freitextantworten beschäftigen ist, dass dieses Antwortformat in den Geistes-, Sozial- und Erziehungswissenschaften einen hohen Stellenwert hat, während reine Wissensabfragen über z.B. Multiple-Choice hier eher selten vorkommen. Ein weiterer Grund für die Untersuchung nach alternativen Auswertungsverfahren von Freitextantworten sind einige Kurse an der OUNL, die oft mit mehr als 200 TN absolviert werden. Hier kann die tutorielle Betreuung meist nicht zufriedenstellend gewährleistet werden. Zunehmende Bedeutung erhalten auch non-formale Lernangebote, bei denen die Rolle eines Tutors gar nicht vorhanden ist.
- Um zu sehen, wie Freitextantworten im eAssessment gehandhabt werden steigen wir doch direkt einmal ein mit dem Gewinner des diesjährigen Medidaprix, dem eAssessment Center der Universität Bremen ein. Auf dieser Folie sehen wir, welche Fragetypen in diesem eAssessment-Center benutzt werden können. Wie wir hier lesen können, findet die Auswertung der Texte manuell statt.
- Hartig & Klieme haben 2007 einmal offene mt geschlossenen Antwortformaten verglichen und sehen besonders die zeitaufwendige Beantwortung und aufwendige Auswertung als Nachteil. In diesem Vortrag will ich Ihnen eine Methode vorstellen, mit der bei der computertestützten Auswertung von Freitextantworten schon beachtliche Erfolge erzielt wurden.
- Entwickelt wurde das Verfahren von Mitarbeitern der Firma Bellcore, die bis zu diesem Jahr in den USA auch ein Patent darauf hatten. Generell handelt es sich bei der LSA um ein rein mathematisch-statistisches Modell, das das Vorkommen von bedetungstragenden Wörtern zusammen mit anderen bedeutungstragenden Wörtern analysiert. Dabei ist es ein rein semantisches Modell, das keinerlei Syntax oder Grammatik in Betracht zieht.
- Diese Methode wurde in den USA zur Entwicklung von unterschiedlichen Systemen verwendet.
- An der OUNL haben wir das Verfahren angewendet, um Lerner und Lehrende bei der Auswertung von Portfolios für die Annerkennung von bereits erworbenem Wissen zu unterstützen. Dabei wurde LSA benutzt, um die Ähnlichkeit zwischen von den Lernern in der Vergangenheit geschriebenen Texten und Kursinhalten in einem gewählten Studienprogramm zu berechnen.