Lernerfolg und Lernmotivation fördern mit E-Assessment

1.865 Aufrufe

Veröffentlicht am

Präsentation anlässlich des 7. E-Learning Tages "Assessment drives learning" an der TU Wien am 8. April 2011.
Info und Dokumentation unter http://teachingsupport.tuwien.ac.at/Artikel/ELT_2011

Veröffentlicht in: Bildung, Technologie
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.865
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
2
Aktionen
Geteilt
0
Downloads
15
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Lernerfolg und Lernmotivation fördern mit E-Assessment

  1. 1. Lernerfolg und Lernmotivation fördern mit E-Assessment? Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen Universität Bremen Assessment drives learning • ELT TU Wien 8.04.2011 cc Karsten D. WolfMittwoch, 20. April 2011
  2. 2. Agenda Washback Effekt von EAssessment + wie kann man Studierende durch gute EAssessments zum Lernen motivieren? Kompetenzmodelle und ihre Umsetzung per EAssessment Fehler bei EAssessments vermeiden Good Practice bei EAssessment Items Erstellung Akzeptanz von EAssessments Implementation an der Uni Bremen - Kosten und Benefits cc Karsten D. WolfMittwoch, 20. April 2011
  3. 3. Washback Effekt: Prüfungen bestimmen das Lernverhalten! cc Karsten D. WolfMittwoch, 20. April 2011
  4. 4. Washback Effekt: Schwierigkeit einer Klausur über Menge an Wissen zu regulieren führt zu flachem Bulemie Lernen … Ebbinghaus Reine Wissenstests können die eigene Lehrver- anstaltung unterminieren …positive Washback Effekte sind ebenfalls möglich Verständnisorientiertes Lernen belohnen cc Karsten D. WolfMittwoch, 20. April 2011
  5. 5. Ausgangsfrage: Ist es möglich, auch höhere Taxonomiestufen mit geschlossenen Aufgabenformaten zu testen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  6. 6. 1. Erinnern • Wiedererkennen / Identifizieren • Abrufen / Wiederfinden cc Karsten D. WolfMittwoch, 20. April 2011
  7. 7. Überarbeitete Bloom‘sche Taxonomie der Lernziele Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching and assessing: A revision of Blooms Taxonomy of educational objectives: Abridged edition, New York : Longman. cc by Karsten D. WolfMittwoch, 20. April 2011
  8. 8. 2. Verstehen • Interpretieren / Klären / Darstellen • Exemplifizieren / Beispiele geben • Klassifizieren / Kategorisieren • Zusammenfassen / Generalisieren • Ableiten / Folgern / Prognostizieren • Vergleichen / Zuordnen / Kontrastieren • Erklären / Modelle konstruieren cc Karsten D. WolfMittwoch, 20. April 2011
  9. 9. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  10. 10. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  11. 11. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  12. 12. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren äußerst selten gebrauchtes, irrelevantes Wissen äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  13. 13. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren obskures Wissen äußerst selten gebrauchtes, irrelevantes Wissen äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  14. 14. Konkret: Geschlossen auf hohen Taxonomiestufen prüfen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011
  15. 15. 3. Anwenden • Ausführen / Durchführen • Anwendung / Gebrauch cc Karsten D. WolfMittwoch, 20. April 2011
  16. 16. 4. Analysieren • Differenzieren / Unterscheiden • Organisieren / Strukturieren • Zuordnen / Zerlegen cc Karsten D. WolfMittwoch, 20. April 2011
  17. 17. © Karsten D. WolfMittwoch, 20. April 2011
  18. 18. © Karsten D. WolfMittwoch, 20. April 2011
  19. 19. 5. Evaluieren • Überprüfen / Kontrollieren • Kritisieren / Urteilen cc Karsten D. WolfMittwoch, 20. April 2011
  20. 20. © Karsten D. WolfMittwoch, 20. April 2011
  21. 21. © Karsten D. WolfMittwoch, 20. April 2011
  22. 22. 6. Erzeugen • Generieren / Hypothesen bilden • Planen / Entwerfen • Produzieren / Konstruieren cc Karsten D. WolfMittwoch, 20. April 2011
  23. 23. © Karsten D. WolfMittwoch, 20. April 2011
  24. 24. © Karsten D. WolfMittwoch, 20. April 2011
  25. 25. Dimensionen des Wissens • Faktenwissen • Konzeptuelles Wissen • Prozedurales Wissen • Meta-Kognitives Wissen cc Karsten D. WolfMittwoch, 20. April 2011
  26. 26. Konkret: Geschlossen auf hohen Taxonomiestufen prüfen? • Analyse der realen Tätigkeitsfelder in Wissenschaft und Praxis • authentische Materialsammlung • Einsatz von Softwareumgebungen (z.B. R, Mathcad) • ggf. teilautomatisierte Auswertung von Kurztexten Erinnern cc by Karsten D. WolfMittwoch, 20. April 2011
  27. 27. 3. Semester Bachelor Produktionstechnik + WiIng 2 SWS (keine Übung) 2CP Modul mit Fertigungstechnik und Arbeits- und Betriebswissenschaft WS 2010/2011: 350 Studierende © Karsten D. WolfMittwoch, 20. April 2011
  28. 28. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011
  29. 29. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011
  30. 30. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011
  31. 31. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011
  32. 32. Konzeptwissen A (Organisatorisch) reproduzieren Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011
  33. 33. Konzeptwissen A (Organisatorisch) anwenden/verstehen Hofmeister 2005: Klassifikationsmatrix zum Ulme Kompetenzstufenmodell © Karsten D. WolfMittwoch, 20. April 2011
  34. 34. Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011
  35. 35. Konzeptwissen B (Verallgemeinern) anwenden/verstehen Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011
  36. 36. Prozedurwissen (Techniken und Methoden) anwenden und verstehen Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011
  37. 37. Fazit Prof. Dr. Lutz Mädler ✓ Abstimmen der Lernziele mit den Prüfungsfragen ✓ Frage nach dem „wie“ und nicht dem „was“ ✓ nicht „was ist korrekt?“ sondern „warum ist die Antwort richtig?“ ✓ Abbildungen nicht aus den Vorlesungen © Karsten D. WolfMittwoch, 20. April 2011
  38. 38. Vorteile E-Assessment (Prof. Dr. Lutz Mädler) © Karsten D. WolfMittwoch, 20. April 2011
  39. 39. Nachteile E-Assessment (Prof. Dr. Lutz Mädler) © Karsten D. WolfMittwoch, 20. April 2011
  40. 40. Motivierend prüfen: Verständnisorientiertes Lernen belohnen • Höhere Taxonomiestufen • Authentische Aufgaben • Confidence Based Marking cc Karsten D. WolfMittwoch, 20. April 2011
  41. 41. Fehler vermeiden: nicht die Test Wiseness messen! cc Karsten D. WolfMittwoch, 20. April 2011
  42. 42. Test Wiseness Test The answer of this one refers to an (a) overture (b) mountain (c) building (d) misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  43. 43. Test Wiseness Test: Grammatikalische Hinweise The answer of this one refers to an (a) an overture (b) a mountain (c) a building (d) a misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  44. 44. Test Wiseness Test In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  45. 45. Test Wiseness Test: Wiederholung aus Wortstamm In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  46. 46. Test Wiseness Test If there where a question here, which could be the correct answer? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  47. 47. Test Wiseness Test: sinngleiche Antworten falsch Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  48. 48. Test Wiseness Test Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  49. 49. Test Wiseness Test: Längste Alternative Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  50. 50. Test Wiseness Test Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  51. 51. Test Wiseness Test: Odd one out Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  52. 52. Test Wiseness Test Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  53. 53. Test Wiseness Test: Rechtschreibung Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  54. 54. Test Wiseness Test Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (c) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  55. 55. Test Wiseness Test: Alternative 3 Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (3) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011
  56. 56. Test Wiseness Gegenmaßnahmen Cheat Sheet ❖ Übersaturierte Multiple • Kategorische Formulierungen (immer, nie, …) -> Falsch Choice Auswahl • Phrase-Repeat -> Richtig • Absurde / unlogische Antwort -> Falsch ❖ „Gute“ Distraktoren • Präzision / Spezifizierung -> Richtig • Länge einer Antwort -> länger = Richtig • Grammatik -> Fehler = Falsch ❖ Distraktoren aus Fehlern in • Hinweis -> Hinweis auf die richtige Antwort in der Fragestellung offenen Durchläufen • Reihenfolge der Antworten -> keine Muster • Krumme Finger raus -> bei vielen ähnlichen Antworten ist die vollkommen andere ❖ Confidence Based Marking Lösung die richtige • Rechtschreibung / Grammatik -> Fehler häufiger in den Distraktoren • … © Karsten D. WolfMittwoch, 20. April 2011
  57. 57. Gegenmaßnahmen • Schulung der Autoren / Autorinnen • Bessere Distraktoren • Höhere Taxonomiestufen • Confidence-Based Marking (Gardner-Medwin 2006) • Übersaturierte Antwortauswahl per Drop-Down • Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten © Karsten D. WolfMittwoch, 20. April 2011
  58. 58. Prof. Dr. Kathleen Scalise (University Oregon) http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.htmlMittwoch, 20. April 2011
  59. 59. Mittwoch, 20. April 2011
  60. 60. Mittwoch, 20. April 2011
  61. 61. Mittwoch, 20. April 2011
  62. 62. Mittwoch, 20. April 2011
  63. 63. Mittwoch, 20. April 2011
  64. 64. Mittwoch, 20. April 2011
  65. 65. Mittwoch, 20. April 2011
  66. 66. Mittwoch, 20. April 2011
  67. 67. Mittwoch, 20. April 2011
  68. 68. Mittwoch, 20. April 2011
  69. 69. Motivierend prüfen: Authentisch und abwechslungsreich prüfen cc Karsten D. WolfMittwoch, 20. April 2011
  70. 70. John Seely Brown Xerox Parc Cognitive Apprenticeship learning about ➙ learning to be http://mitworld.mit.edu/video/419/ cc by Karsten D. WolfMittwoch, 20. April 2011
  71. 71. Motivierend mit MC prüfen 1.Offenheit des Antwortformats: geschlossen bis moderat geöffnet 2. Auswertungsalgorithmus: automatisch 3.Authentizität 4. Medienanreicherung 5.Interaktivität [aufwendig/teuer] Gestaltungsdimensionen von Rich E-Assessment: Wolf/Koppel/Schwedes 2011 cc Karsten D. WolfMittwoch, 20. April 2011
  72. 72. SimulationMittwoch, 20. April 2011
  73. 73. SimulationMittwoch, 20. April 2011
  74. 74. Simulation © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  75. 75. Authentic AssessmentMittwoch, 20. April 2011
  76. 76. Mittwoch, 20. April 2011
  77. 77. Mittwoch, 20. April 2011
  78. 78. Mittwoch, 20. April 2011
  79. 79. Mittwoch, 20. April 2011
  80. 80. Mittwoch, 20. April 2011
  81. 81. Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. WolfMittwoch, 20. April 2011
  82. 82. 1 2 3 4 5 6 7 8 9Mittwoch, 20. April 2011
  83. 83. http://www.elearning2null.de/ http://www.ifeb.uni-bremen.de/thetawelle/ cc by Karsten D. WolfMittwoch, 20. April 2011
  84. 84. cc by Karsten D. WolfMittwoch, 20. April 2011
  85. 85. Weitere Beispiele • Analyse / Debuggen von Sourcecode • Bewertung von Schülerlösungen • Analyse von Unternehmenskennzahlen • Bewertung von Unterrichtsentwürfen • Schreiben eines Analyseskriptes zur Auswertung von Daten • Interpretation von Laborwerten • Komplexe Fallstudien mit linearer Fragenabfolge •… © Karsten D. WolfMittwoch, 20. April 2011
  86. 86. Schätzung für Universität Bremen • 12 Fachbereiche mit ca. 20.000 Studenten • Mindestens 70K - 115K Prüfungen / Semester • Tendenz steigend durch Umstieg auf BA/MA • MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis) • BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck) • Eigene Auswahlverfahren für Studienanfänger • Reduktion von 280 auf 230 Professor(inn)en • ca. 500 Prüfungsleistungen pro Semester pro Professor © Karsten D. WolfMittwoch, 20. April 2011
  87. 87. Quelle: Bücking 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011
  88. 88. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  89. 89. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  90. 90. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  91. 91. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  92. 92. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  93. 93. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  94. 94. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  95. 95. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  96. 96. Aktuell mögliche Itemformate © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  97. 97. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  98. 98. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  99. 99. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  100. 100. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  101. 101. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  102. 102. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  103. 103. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  104. 104. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  105. 105. © Karsten D. Wolf 2007Mittwoch, 20. April 2011
  106. 106. Quelle: Schwedes 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011
  107. 107. Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • Alternative offene Formate: Lesbarkeit + Vorkorrekturen • Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. WolfMittwoch, 20. April 2011
  108. 108. E-Assessment - Was nun? Schritt 0: Prüfer/innen unterstützen Schritt 1: Fehler vermeiden Schritt 2: Anspruchsvoll prüfen Schritt 3: Motivierend prüfen Schritt 4: Verstetigen cc Karsten D. WolfMittwoch, 20. April 2011
  109. 109. FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.fb12.uni-bremen.de/de/ Medienpaedagogik.htmlMittwoch, 20. April 2011
  110. 110. © Karsten D. Wolf 2007Mittwoch, 20. April 2011

×