Lernerfolg und Lernmotivation fördern       mit E-Assessment?       Karsten D. Wolf       Fachbereich 12       Didaktische...
Agenda           Washback Effekt von EAssessment +           wie kann man Studierende durch gute EAssessments           zu...
Washback Effekt:       Prüfungen bestimmen das Lernverhalten!                                            cc Karsten D. Wol...
Washback Effekt:   Schwierigkeit einer Klausur über Menge an Wissen   zu regulieren führt zu flachem Bulemie Lernen   … Ebb...
Ausgangsfrage:    Ist es möglich, auch höhere Taxonomiestufen    mit geschlossenen Aufgabenformaten zu testen?            ...
1. Erinnern       • Wiedererkennen / Identifizieren       • Abrufen / Wiederfinden                                          ...
Überarbeitete Bloom‘sche Taxonomie der Lernziele                                       Anderson, L. W., & Krathwohl, D. R....
2. Verstehen       •        Interpretieren / Klären / Darstellen       •        Exemplifizieren / Beispiele geben       •  ...
Problem:    Aufgabenschwierigkeiten über    Wissensmenge regulieren                                                     An...
Problem:    Aufgabenschwierigkeiten über    Wissensmenge regulieren                                                    sel...
Problem:    Aufgabenschwierigkeiten über    Wissensmenge regulieren                                       äußerst selten g...
Problem:    Aufgabenschwierigkeiten über    Wissensmenge regulieren         äußerst selten gebrauchtes, irrelevantes Wisse...
Problem:    Aufgabenschwierigkeiten über    Wissensmenge regulieren                                                       ...
Konkret:    Geschlossen auf hohen Taxonomiestufen prüfen?                                                                 ...
3. Anwenden       • Ausführen / Durchführen       • Anwendung / Gebrauch                                   cc Karsten D. W...
4. Analysieren       • Differenzieren / Unterscheiden       • Organisieren / Strukturieren       • Zuordnen / Zerlegen    ...
© Karsten D. WolfMittwoch, 20. April 2011
© Karsten D. WolfMittwoch, 20. April 2011
5. Evaluieren       • Überprüfen / Kontrollieren       • Kritisieren / Urteilen                                      cc Ka...
© Karsten D. WolfMittwoch, 20. April 2011
© Karsten D. WolfMittwoch, 20. April 2011
6. Erzeugen       • Generieren / Hypothesen bilden       • Planen / Entwerfen       • Produzieren / Konstruieren          ...
© Karsten D. WolfMittwoch, 20. April 2011
© Karsten D. WolfMittwoch, 20. April 2011
Dimensionen des Wissens       • Faktenwissen       • Konzeptuelles Wissen       • Prozedurales Wissen       • Meta-Kogniti...
Konkret:     Geschlossen auf hohen Taxonomiestufen prüfen?     •     Analyse der realen Tätigkeitsfelder in Wissenschaft u...
3. Semester Bachelor                           Produktionstechnik +                           WiIng                       ...
Konzeptwissen A (Organisatorisch)                                      reproduzieren                           Hofmeister ...
Konzeptwissen A (Organisatorisch)                                      reproduzieren                           Hofmeister ...
Konzeptwissen A (Organisatorisch)                                      reproduzieren                           Hofmeister ...
Konzeptwissen A (Organisatorisch)                                      reproduzieren                           Hofmeister ...
Konzeptwissen A (Organisatorisch)                                    reproduzieren                           Prof. Dr. Lut...
Konzeptwissen A (Organisatorisch)                                  anwenden/verstehen                           Hofmeister...
Prof. Dr. Lutz Mädler | Uni Bremen                                                                © Karsten D. WolfMittwoc...
Konzeptwissen B (Verallgemeinern)                anwenden/verstehen                           Prof. Dr. Lutz Mädler | Uni ...
Prozedurwissen (Techniken und Methoden)               anwenden und verstehen                           Prof. Dr. Lutz Mädl...
Fazit Prof. Dr. Lutz Mädler          ✓ Abstimmen der Lernziele mit den                     Prüfungsfragen          ✓ Frage...
Vorteile E-Assessment (Prof. Dr. Lutz Mädler)                                                        © Karsten D. WolfMitt...
Nachteile E-Assessment (Prof. Dr. Lutz Mädler)                                                       © Karsten D. WolfMitt...
Motivierend prüfen:       Verständnisorientiertes Lernen belohnen       • Höhere Taxonomiestufen       • Authentische Aufg...
Fehler vermeiden:       nicht die Test Wiseness messen!                                         cc Karsten D. WolfMittwoch...
Test Wiseness Test                           The answer of this one refers to an                           (a) overture   ...
Test Wiseness Test: Grammatikalische Hinweise                           The answer of this one refers to an               ...
Test Wiseness Test                           In which pifflerock did zorkrans inkle?                           (a) gi hien ...
Test Wiseness Test: Wiederholung aus Wortstamm                           In which pifflerock did zorkrans inkle?           ...
Test Wiseness Test                           If there where a question here,                           which could be the ...
Test Wiseness Test:       sinngleiche Antworten falsch                           Wenn hier eine Frage stände,             ...
Test Wiseness Test                           Hixek norfolken piffle?                           (a) Hiku nippon ibitus      ...
Test Wiseness Test: Längste Alternative                           Hixek norfolken piffle?                           (a) Hik...
Test Wiseness Test                           Dome ukerland dimmel?                           (a) Nepal                    ...
Test Wiseness Test: Odd one out                           Dome ukerland dimmel?                           (a) Nepal       ...
Test Wiseness Test                           Die richtige Antwort ist?                           (a) Parrallele           ...
Test Wiseness Test: Rechtschreibung                           Die richtige Antwort ist?                           (a) Parr...
Test Wiseness Test                           Zarfarkle, en Ko day?                           (a) Henkledorf               ...
Test Wiseness Test: Alternative 3                           Zarfarkle, en Ko day?                           (a) Henkledorf...
Test Wiseness                                     Gegenmaßnahmen            Cheat Sheet                                   ...
Gegenmaßnahmen       • Schulung der Autoren / Autorinnen              • Bessere Distraktoren              • Höhere Taxonom...
Prof. Dr. Kathleen Scalise (University Oregon)                           http://pages.uoregon.edu/kscalise/taxonomy/taxono...
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Motivierend prüfen:       Authentisch und abwechslungsreich prüfen                                            cc Karsten D...
John Seely Brown                                                                    Xerox Parc                            ...
Motivierend mit MC prüfen           1.Offenheit des Antwortformats: geschlossen bis moderat geöffnet           2.	Auswertu...
SimulationMittwoch, 20. April 2011
SimulationMittwoch, 20. April 2011
Simulation                                        © Karsten D. Wolf 2007Mittwoch, 20. April 2011
Authentic AssessmentMittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Collegiate Learning Assessment       (Klein / Benjamin / Shavelson / Bolus 2007)                           http://www.cae....
1                       2   3   4                       5   6   7                       8   9Mittwoch, 20. April 2011
http://www.elearning2null.de/   http://www.ifeb.uni-bremen.de/thetawelle/                                                 ...
cc by Karsten D. WolfMittwoch, 20. April 2011
Weitere Beispiele       • Analyse / Debuggen von Sourcecode       • Bewertung von Schülerlösungen       • Analyse von Unte...
Schätzung für Universität Bremen       • 12 Fachbereiche mit ca. 20.000 Studenten       • Mindestens 70K - 115K Prüfungen ...
Quelle: Bücking 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
Aktuell mögliche Itemformate                                     © Karsten D. Wolf 2007Mittwoch, 20. April 2011
Statistiken Testcenter Universität Bremen                                                        © Karsten D. Wolf 2007Mit...
Statistiken Testcenter Universität Bremen                                                        © Karsten D. Wolf 2007Mit...
Statistiken Testcenter Universität Bremen                                                        © Karsten D. Wolf 2007Mit...
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
Quelle: Schwedes 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011
Zusammenfassung: Wann ist das sinnvoll?       • Mehr als 300 Kandidaten pro Prüfung       • Mehr als 50 Rechner pro Raum  ...
E-Assessment - Was nun?           Schritt 0: Prüfer/innen unterstützen           Schritt 1: Fehler vermeiden           Sch...
FB 12 Erziehungs- und Bildungswissenschaften                                                              Didaktische Gest...
© Karsten D. Wolf 2007Mittwoch, 20. April 2011
Nächste SlideShare
Wird geladen in …5
×

Lernerfolg und Lernmotivation fördern mit E-Assessment

1.797 Aufrufe

Veröffentlicht am

Präsentation anlässlich des 7. E-Learning Tages "Assessment drives learning" an der TU Wien am 8. April 2011.
Info und Dokumentation unter http://teachingsupport.tuwien.ac.at/Artikel/ELT_2011

Veröffentlicht in: Bildung, Technologie
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.797
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
2
Aktionen
Geteilt
0
Downloads
15
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Lernerfolg und Lernmotivation fördern mit E-Assessment

  1. 1. Lernerfolg und Lernmotivation fördern mit E-Assessment? Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen Universität Bremen Assessment drives learning • ELT TU Wien 8.04.2011 cc Karsten D. WolfMittwoch, 20. April 2011
  2. 2. Agenda Washback Effekt von EAssessment + wie kann man Studierende durch gute EAssessments zum Lernen motivieren? Kompetenzmodelle und ihre Umsetzung per EAssessment Fehler bei EAssessments vermeiden Good Practice bei EAssessment Items Erstellung Akzeptanz von EAssessments Implementation an der Uni Bremen - Kosten und Benefits cc Karsten D. WolfMittwoch, 20. April 2011
  3. 3. Washback Effekt: Prüfungen bestimmen das Lernverhalten! cc Karsten D. WolfMittwoch, 20. April 2011
  4. 4. Washback Effekt: Schwierigkeit einer Klausur über Menge an Wissen zu regulieren führt zu flachem Bulemie Lernen … Ebbinghaus Reine Wissenstests können die eigene Lehrver- anstaltung unterminieren …positive Washback Effekte sind ebenfalls möglich Verständnisorientiertes Lernen belohnen cc Karsten D. WolfMittwoch, 20. April 2011
  5. 5. Ausgangsfrage: Ist es möglich, auch höhere Taxonomiestufen mit geschlossenen Aufgabenformaten zu testen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  6. 6. 1. Erinnern • Wiedererkennen / Identifizieren • Abrufen / Wiederfinden cc Karsten D. WolfMittwoch, 20. April 2011
  7. 7. Überarbeitete Bloom‘sche Taxonomie der Lernziele Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching and assessing: A revision of Blooms Taxonomy of educational objectives: Abridged edition, New York : Longman. cc by Karsten D. WolfMittwoch, 20. April 2011
  8. 8. 2. Verstehen • Interpretieren / Klären / Darstellen • Exemplifizieren / Beispiele geben • Klassifizieren / Kategorisieren • Zusammenfassen / Generalisieren • Ableiten / Folgern / Prognostizieren • Vergleichen / Zuordnen / Kontrastieren • Erklären / Modelle konstruieren cc Karsten D. WolfMittwoch, 20. April 2011
  9. 9. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  10. 10. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  11. 11. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  12. 12. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren äußerst selten gebrauchtes, irrelevantes Wissen äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  13. 13. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren obskures Wissen äußerst selten gebrauchtes, irrelevantes Wissen äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  14. 14. Konkret: Geschlossen auf hohen Taxonomiestufen prüfen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  15. 15. 3. Anwenden • Ausführen / Durchführen • Anwendung / Gebrauch cc Karsten D. WolfMittwoch, 20. April 2011
  16. 16. 4. Analysieren • Differenzieren / Unterscheiden • Organisieren / Strukturieren • Zuordnen / Zerlegen cc Karsten D. WolfMittwoch, 20. April 2011
  17. 17. © Karsten D. WolfMittwoch, 20. April 2011
  18. 18. © Karsten D. WolfMittwoch, 20. April 2011
  19. 19. 5. Evaluieren • Überprüfen / Kontrollieren • Kritisieren / Urteilen cc Karsten D. WolfMittwoch, 20. April 2011
  20. 20. © Karsten D. WolfMittwoch, 20. April 2011
  21. 21. © Karsten D. WolfMittwoch, 20. April 2011
  22. 22. 6. Erzeugen • Generieren / Hypothesen bilden • Planen / Entwerfen • Produzieren / Konstruieren cc Karsten D. WolfMittwoch, 20. April 2011
  23. 23. © Karsten D. WolfMittwoch, 20. April 2011
  24. 24. © Karsten D. WolfMittwoch, 20. April 2011
  25. 25. Dimensionen des Wissens • Faktenwissen • Konzeptuelles Wissen • Prozedurales Wissen • Meta-Kognitives Wissen cc Karsten D. WolfMittwoch, 20. April 2011
  26. 26. Konkret: Geschlossen auf hohen Taxonomiestufen prüfen? • Analyse der realen Tätigkeitsfelder in Wissenschaft und Praxis • authentische Materialsammlung • Einsatz von Softwareumgebungen (z.B. R, Mathcad) • ggf. teilautomatisierte Auswertung von Kurztexten Erinnern cc by Karsten D. WolfMittwoch, 20. April 2011
  27. 27. 3. Semester Bachelor Produktionstechnik + WiIng 2 SWS (keine Übung) 2CP Modul mit Fertigungstechnik und Arbeits- und Betriebswissenschaft WS 2010/2011: 350 Studierende © Karsten D. WolfMittwoch, 20. April 2011
  28. 28. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011
  29. 29. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011
  30. 30. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011
  31. 31. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011
  32. 32. Konzeptwissen A (Organisatorisch) reproduzieren Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011
  33. 33. Konzeptwissen A (Organisatorisch) anwenden/verstehen Hofmeister 2005: Klassifikationsmatrix zum Ulme Kompetenzstufenmodell © Karsten D. WolfMittwoch, 20. April 2011
  34. 34. Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011
  35. 35. Konzeptwissen B (Verallgemeinern) anwenden/verstehen Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011
  36. 36. Prozedurwissen (Techniken und Methoden) anwenden und verstehen Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011
  37. 37. Fazit Prof. Dr. Lutz Mädler ✓ Abstimmen der Lernziele mit den Prüfungsfragen ✓ Frage nach dem „wie“ und nicht dem „was“ ✓ nicht „was ist korrekt?“ sondern „warum ist die Antwort richtig?“ ✓ Abbildungen nicht aus den Vorlesungen © Karsten D. WolfMittwoch, 20. April 2011
  38. 38. Vorteile E-Assessment (Prof. Dr. Lutz Mädler) © Karsten D. WolfMittwoch, 20. April 2011
  39. 39. Nachteile E-Assessment (Prof. Dr. Lutz Mädler) © Karsten D. WolfMittwoch, 20. April 2011
  40. 40. Motivierend prüfen: Verständnisorientiertes Lernen belohnen • Höhere Taxonomiestufen • Authentische Aufgaben • Confidence Based Marking cc Karsten D. WolfMittwoch, 20. April 2011
  41. 41. Fehler vermeiden: nicht die Test Wiseness messen! cc Karsten D. WolfMittwoch, 20. April 2011
  42. 42. Test Wiseness Test The answer of this one refers to an (a) overture (b) mountain (c) building (d) misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  43. 43. Test Wiseness Test: Grammatikalische Hinweise The answer of this one refers to an (a) an overture (b) a mountain (c) a building (d) a misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  44. 44. Test Wiseness Test In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  45. 45. Test Wiseness Test: Wiederholung aus Wortstamm In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  46. 46. Test Wiseness Test If there where a question here, which could be the correct answer? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  47. 47. Test Wiseness Test: sinngleiche Antworten falsch Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  48. 48. Test Wiseness Test Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  49. 49. Test Wiseness Test: Längste Alternative Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  50. 50. Test Wiseness Test Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  51. 51. Test Wiseness Test: Odd one out Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  52. 52. Test Wiseness Test Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  53. 53. Test Wiseness Test: Rechtschreibung Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  54. 54. Test Wiseness Test Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (c) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  55. 55. Test Wiseness Test: Alternative 3 Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (3) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  56. 56. Test Wiseness Gegenmaßnahmen Cheat Sheet ❖ Übersaturierte Multiple • Kategorische Formulierungen (immer, nie, …) -> Falsch Choice Auswahl • Phrase-Repeat -> Richtig • Absurde / unlogische Antwort -> Falsch ❖ „Gute“ Distraktoren • Präzision / Spezifizierung -> Richtig • Länge einer Antwort -> länger = Richtig • Grammatik -> Fehler = Falsch ❖ Distraktoren aus Fehlern in • Hinweis -> Hinweis auf die richtige Antwort in der Fragestellung offenen Durchläufen • Reihenfolge der Antworten -> keine Muster • Krumme Finger raus -> bei vielen ähnlichen Antworten ist die vollkommen andere ❖ Confidence Based Marking Lösung die richtige • Rechtschreibung / Grammatik -> Fehler häufiger in den Distraktoren • … © Karsten D. WolfMittwoch, 20. April 2011
  57. 57. Gegenmaßnahmen • Schulung der Autoren / Autorinnen • Bessere Distraktoren • Höhere Taxonomiestufen • Confidence-Based Marking (Gardner-Medwin 2006) • Übersaturierte Antwortauswahl per Drop-Down • Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten © Karsten D. WolfMittwoch, 20. April 2011
  58. 58. Prof. Dr. Kathleen Scalise (University Oregon) http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.htmlMittwoch, 20. April 2011
  59. 59. Mittwoch, 20. April 2011
  60. 60. Mittwoch, 20. April 2011
  61. 61. Mittwoch, 20. April 2011
  62. 62. Mittwoch, 20. April 2011
  63. 63. Mittwoch, 20. April 2011
  64. 64. Mittwoch, 20. April 2011
  65. 65. Mittwoch, 20. April 2011
  66. 66. Mittwoch, 20. April 2011
  67. 67. Mittwoch, 20. April 2011
  68. 68. Mittwoch, 20. April 2011
  69. 69. Motivierend prüfen: Authentisch und abwechslungsreich prüfen cc Karsten D. WolfMittwoch, 20. April 2011
  70. 70. John Seely Brown Xerox Parc Cognitive Apprenticeship learning about ➙ learning to be http://mitworld.mit.edu/video/419/ cc by Karsten D. WolfMittwoch, 20. April 2011
  71. 71. Motivierend mit MC prüfen 1.Offenheit des Antwortformats: geschlossen bis moderat geöffnet 2. Auswertungsalgorithmus: automatisch 3.Authentizität 4. Medienanreicherung 5.Interaktivität [aufwendig/teuer] Gestaltungsdimensionen von Rich E-Assessment: Wolf/Koppel/Schwedes 2011 cc Karsten D. WolfMittwoch, 20. April 2011
  72. 72. SimulationMittwoch, 20. April 2011
  73. 73. SimulationMittwoch, 20. April 2011
  74. 74. Simulation © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  75. 75. Authentic AssessmentMittwoch, 20. April 2011
  76. 76. Mittwoch, 20. April 2011
  77. 77. Mittwoch, 20. April 2011
  78. 78. Mittwoch, 20. April 2011
  79. 79. Mittwoch, 20. April 2011
  80. 80. Mittwoch, 20. April 2011
  81. 81. Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. WolfMittwoch, 20. April 2011
  82. 82. 1 2 3 4 5 6 7 8 9Mittwoch, 20. April 2011
  83. 83. http://www.elearning2null.de/ http://www.ifeb.uni-bremen.de/thetawelle/ cc by Karsten D. WolfMittwoch, 20. April 2011
  84. 84. cc by Karsten D. WolfMittwoch, 20. April 2011
  85. 85. Weitere Beispiele • Analyse / Debuggen von Sourcecode • Bewertung von Schülerlösungen • Analyse von Unternehmenskennzahlen • Bewertung von Unterrichtsentwürfen • Schreiben eines Analyseskriptes zur Auswertung von Daten • Interpretation von Laborwerten • Komplexe Fallstudien mit linearer Fragenabfolge •… © Karsten D. WolfMittwoch, 20. April 2011
  86. 86. Schätzung für Universität Bremen • 12 Fachbereiche mit ca. 20.000 Studenten • Mindestens 70K - 115K Prüfungen / Semester • Tendenz steigend durch Umstieg auf BA/MA • MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis) • BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck) • Eigene Auswahlverfahren für Studienanfänger • Reduktion von 280 auf 230 Professor(inn)en • ca. 500 Prüfungsleistungen pro Semester pro Professor © Karsten D. WolfMittwoch, 20. April 2011
  87. 87. Quelle: Bücking 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011
  88. 88. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  89. 89. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  90. 90. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  91. 91. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  92. 92. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  93. 93. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  94. 94. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  95. 95. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  96. 96. Aktuell mögliche Itemformate © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  97. 97. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  98. 98. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  99. 99. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  100. 100. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  101. 101. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  102. 102. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  103. 103. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  104. 104. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  105. 105. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  106. 106. Quelle: Schwedes 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011
  107. 107. Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • Alternative offene Formate: Lesbarkeit + Vorkorrekturen • Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. WolfMittwoch, 20. April 2011
  108. 108. E-Assessment - Was nun? Schritt 0: Prüfer/innen unterstützen Schritt 1: Fehler vermeiden Schritt 2: Anspruchsvoll prüfen Schritt 3: Motivierend prüfen Schritt 4: Verstetigen cc Karsten D. WolfMittwoch, 20. April 2011
  109. 109. FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.fb12.uni-bremen.de/de/ Medienpaedagogik.htmlMittwoch, 20. April 2011
  110. 110. © Karsten D. Wolf 2007Mittwoch, 20. April 2011

×