Successfully reported this slideshow.
Alternative Methoden für die Analyse
von Freitextantworten im E-Learning.
Neue Potenziale für eAssessment?

Dr. Marco Kalz...
Struktur
 Hintergrund

 Latent Semantische Analyse (LSA)

    Methode

    Anwendungsbeispiele

 CELSTEC Prototypen

    P...
Forschungsfokus


eAssessment Lösungen für die Geistes-, Sozial- und
Erziehungswissenschaften
Fokus: Kurse mit vielen Teil...
Frage-Antwort-Typen im
eAssessment
Offene vs. geschlossen




Hartig & Klieme 2007
Latent Semantische Analyse
Entwickelt von Deerwester, Dumais, Furnas, Landauer, &
Harshman 1990) bei der Firma Bellcore La...
LSA Beispiel (Gorrell 2005)
1.) Textinput (Meist Dokumente/Paragraphen)
   "The man walked the dog"
"The man took the dog ...
LSA Beispiel
3.) Ergebnis der Eigenwertzerlegung (SVD)


4.) Latent Semantischer Raum: Suche/Vergleich
eAssessment mit LSA
Essay Scoring Systems
Question Answering Systems
Automated Tutoring Systems
Selection of Educational M...
Placement Support Service

          Similarity of
          documents as
          signal for prior
          knowledge
Placement Support Service
Placement Support Service
Peer Tutor Locator (van
Rosmalen)     1!          2!




         3!
                          4!
Peer Tutor Locator
Zusammenfassung
Beide Prototypen sind im Rahmen von PhD Projekten
evaluiert worden
Beide Prototypen konnten effizient die A...
Erkenntnisse
Hoher Erstellungsaufwand am Anfang
Einige kontextuelle Faktoren, die Übertragbarkeit
einschränken
Lokalisieru...
Ein Essay-Scoring Scenario
   Edumedia: Einzelaufgaben (Freitext)
   Benotete Referenzbeispiele

Cluster Sehr gut - gut


...
Future Tutoring Scenarios




  Andrew Olney, University of Memphis
Future Tutoring Scenarios




  Andrew Olney, University of Memphis
Fragen? Feedback?


               http://celstec.org
Nächste SlideShare
Wird geladen in …5
×

Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment?

1.391 Aufrufe

Veröffentlicht am

In this presentation I discuss several new approaches for e-Assessment involving peer tutoring and semantic analysis techniques like LSA.

Veröffentlicht in: Bildung
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment?

  1. 1. Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment? Dr. Marco Kalz Centre for Learning Sciences and Technologies (CELSTEC) Open University of the Netherlands marco.kalz@ou.nl
  2. 2. Struktur Hintergrund Latent Semantische Analyse (LSA) Methode Anwendungsbeispiele CELSTEC Prototypen Placement Support Service Advanced (Peer) Tutor Locator Zusammenfassung Erkenntnisse Ein Essay Scoring System für Edumedia Tutoring der Zukunft?
  3. 3. Forschungsfokus eAssessment Lösungen für die Geistes-, Sozial- und Erziehungswissenschaften Fokus: Kurse mit vielen Teilnehmern (x>200) Fokus: Non-formale Lernzenarien
  4. 4. Frage-Antwort-Typen im eAssessment
  5. 5. Offene vs. geschlossen Hartig & Klieme 2007
  6. 6. Latent Semantische Analyse Entwickelt von Deerwester, Dumais, Furnas, Landauer, & Harshman 1990) bei der Firma Bellcore Labs Statistisches Verfahren für die Berechnung der Ähnlichkeit von Texten auf der Basis von Ko-Okurrenzen Rein semantischer Ansatz, keine Syntax Mehrstufiges Verfahren: TDM - SVD - Query Vektobasiertes Verfahren: Ähnlichkeit durch Winkel zwischen 2 Vektoren Vorteil gegenüber Keyword-Verfahren: Latente Ähnlichkeit
  7. 7. LSA Beispiel (Gorrell 2005) 1.) Textinput (Meist Dokumente/Paragraphen) "The man walked the dog" "The man took the dog to the park" "The dog went to the park" 2.) Term-Dokumenten-Matrix (TDM)
  8. 8. LSA Beispiel 3.) Ergebnis der Eigenwertzerlegung (SVD) 4.) Latent Semantischer Raum: Suche/Vergleich
  9. 9. eAssessment mit LSA Essay Scoring Systems Question Answering Systems Automated Tutoring Systems Selection of Educational Material Matching employees profiles with tasks Automated Summarization
  10. 10. Placement Support Service Similarity of documents as signal for prior knowledge
  11. 11. Placement Support Service
  12. 12. Placement Support Service
  13. 13. Peer Tutor Locator (van Rosmalen) 1! 2! 3! 4!
  14. 14. Peer Tutor Locator
  15. 15. Zusammenfassung Beide Prototypen sind im Rahmen von PhD Projekten evaluiert worden Beide Prototypen konnten effizient die Arbeit von Tutoren unterstützen Probabilistisches Verfahren, keine Garantie für richtiges Feedback (aber hohe Trefferquoten von über 80% im Vergleich mit einem menschlichen Urteil) Nur anwendbar in textbasierten Disziplinen
  16. 16. Erkenntnisse Hoher Erstellungsaufwand am Anfang Einige kontextuelle Faktoren, die Übertragbarkeit einschränken Lokalisierungsbedarf Noch wenige Erfahrungen außerhalb der englischen Sprache Perspektive: Selbst-optimierende Systeme Perspektive: Kombination von LSA mit klassischen Data Mining Methoden
  17. 17. Ein Essay-Scoring Scenario Edumedia: Einzelaufgaben (Freitext) Benotete Referenzbeispiele Cluster Sehr gut - gut Cluster befriedigend - ausreichend Neues ubekanntes Dokument Cluster mangelhaft
  18. 18. Future Tutoring Scenarios Andrew Olney, University of Memphis
  19. 19. Future Tutoring Scenarios Andrew Olney, University of Memphis
  20. 20. Fragen? Feedback? http://celstec.org

×