Weitere ähnliche Inhalte Mehr von Karsten D. Wolf (20) E-Assessments und Online Prüfungen3. Schätzung für Universität Bremen
• 12 Fachbereiche mit ca. 20.000 Studenten
• Mindestens 70K - 115K Prüfungen / Semester
• Tendenz steigend durch Umstieg auf BA/MA
• MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis)
• BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend,
Zeitdruck)
• Eigene Auswahlverfahren für Studienanfänger
• Reduktion von 280 auf 230 Professor(inn)en
• ca. 500 Prüfungsleistungen pro Semester pro Professor
© Karsten D. Wolf
4. E-Selection, E-Recruitment & Self-Assessment
• Elektronisch unterstützte Auswahlverfahren für BA und MA
• Uni Bremen WiSe 2006: 2355 Studienanfänger
❖ wachsende Anzahl von Master-Studiengänge
© Karsten D. Wolf
6. Der Weg zum Testcenter an der Uni Bremen
Quelle: Schwedes 2008 (ZMML Uni Bremen)
© Karsten D. Wolf
26. Zusammenfassung: Wann ist das sinnvoll?
• Mehr als 300 Kandidaten pro Prüfung
• Mehr als 50 Rechner pro Raum
• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)
• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen
• Alternative offene Formate: Lesbarkeit + Vorkorrekturen
• Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung
• Alternativen: Kooperation von Autorinnen und Autoren
• Alternativen: (Vor-)Erstellung von Items durch Studierende
© Karsten D. Wolf
30. Pro und contra: Studenten
• Sofortige Bereitstellung des • Benachteiligung von Personen mit
Prüfungsergebnisses geringerer Computerkompetenz
(digital literacy, 10-Finger-
Schreiben)
• Objektive, transparente und
fehlerfreie Klausurbewertung
• Benachteiligung von Personen mit
negativer Einstellung zu
• differenziertes Feedback
Computern
• vereinfachte Vorbereitung durch
• Probleme bei der Konzentration
online-Training unter Verwendung
(Computermonitor, Lüfterlärm,
der gleichen Fragenkataloge
Tastaturgeklapper…) ➙ Stress?
• Datenschutz?
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
31. Pro und contra: Lehrende / Prüfungsautor(inn)en
• Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur
automatische Auswertungsverfahren Digitalisierung vorhandener Fragen
& Verwaltung und Aufbau eines hinreichend
großen Fragenkataloges
• Effiziente Unterstützung bei
Freitextfragen-Korrektur • Prüfungsdesign wird durch
Technik beschränkt
• Wiederverwendbare und
„kollaborative“ Fragenkataloge • technische
Manipulationsmöglichkeiten
(während und vor der Prüfung)
• Qualitätssicherung und -
verbesserung
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
32. Pro und contra: Allgemein
• Kosteneinsparung • Stabilität & Zuverlässigkeit
• Mögliche Erstellung komplexer • Qualitätsverlust des Studiums
und interaktiver Fragen durch durch reine Wissenstests
Multimediaelemente
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
34. Definition Kompetenzen (Weinert)
“Die bei Individuen verfügbaren oder durch sie
erlernbaren kognitiven Fähigkeiten und
Fertigkeiten, um bestimmte Probleme zu lösen,
sowie die damit verbundenen motivationalen,
volitionalen und sozialen Bereitschaften und
Fähigkeiten um die Problemlösungen in variablen
Situationen erfolgreich und verantwortungsvoll
nutzen zu können”
(Weinert 2002, S.27f)
© Karsten D. Wolf 2008
35. Prinzipielles Problem
• Operationalisierung
• Messung
• Bewertung
Je komplexer eine Kompetenz ist,
desto weniger validierte Instrumente
sind vorhanden!
© Karsten D. Wolf 2008
49. Kurve der Itemcharakteristik (ICC)
p(x)
60kg Gewicht
100%
80kg Gewicht
50% Aufgabe (Item)
ist schwerer
0%
Θ
40 60 80 100
© Karsten D. Wolf
50. Kurve der Itemcharakteristik (ICC)
p(x)
60kg Gewicht
100%
80kg Gewicht
50% Aufgabe (Item)
ist schwerer
0%
Θ
40 60 80 100
© Karsten D. Wolf
53. Frage:
Auf welchen Taxonomiestufen können
E-Assessments messen?
Erzeugen
Evaluieren
Analysieren
Anwenden
Verstehen
Erinnern
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf 2008
57. Test Wiseness Test
In which pifflerock did zorkrans inkle?
(a) gi hien
(b) gis inkle
(c) gish frankel
(d) gishen fronk
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
58. Test Wiseness Test: Wiederholung aus Wortstamm
In which pifflerock did zorkrans inkle?
(a) gi hien
(b) gis inkle
(c) gish frankel
(d) gishen fronk
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
59. Test Wiseness Test
Wenn hier eine Frage stände,
was wäre die richtige Antwort?
(a) besiegt
(b) siegreich
(c) niedergeschlagen
(d) unterworfen
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
60. Test Wiseness Test: odd one out
Wenn hier eine Frage stände,
was wäre die richtige Antwort?
(a) besiegt
(b) siegreich
(c) niedergeschlagen
(d) unterworfen
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
61. Test Wiseness Test
Hixek norfolken piffle?
(a) Hiku nippon ibitus
(b) Efil Yadlan Ruoj
(c) Yokon Gnithol
(d) Ikkek zippo unkerzotz notiaplan
hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
62. Test Wiseness Test: Längste Alternative
Hixek norfolken piffle?
(a) Hiku nippon ibitus
(b) Efil Yadlan Ruoj
(c) Yokon Gnithol
(d) Ikkek zippo unkerzotz notiaplan
hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
63. Umstellung Kompetenzen
Bachelor-/Master-
Struktur
Wissen
verstärkter Massenbetrieb
Bildungskanon ➙ Kompetenze
schlechtes
Assessment
n
by: CarbonNYC © Karsten D. Wolf 2007
64. Gegenmaßnahmen
• Schulung der Autoren / Autorinnen
• Bessere Distraktoren
• Höhere Taxonomiestufen
• Confidence-Based Marking (Gardner-Medwin 2006)
• Übersaturierte Antwortauswahl per Drop-Down
• Automatisierte oder halb-automatisierte Auswertung von offenen
Frageformaten
© Karsten D. Wolf
66. Testformen (angelsächsisch)
Aufsatz
Lernjournale
Klausuren mit kurzen Fragen
Seminarbeiträge
Präsentationen
Perceptions of Assessment (MacLellan 2002)
© Karsten D. Wolf
67. Testverfahren
standardisiert nicht-standardisiert
Alternative
Psychometrisch Holistisch Traditionell
Assessment
(z.B. PISA) (z.B. CLA) (z.B. Klausuren)
(z.B. Portfolio)
formativ
79. „Neue“ Methoden / alternative assessment
• Portfolio
• Lernkontrakte
• Beobachtungen im Prozess
• Selbstbewertung, wechselseitige Bewertung & beauftragte Bewertung
© Karsten D. Wolf 2008
80. T T T
ST ST ST ST ST ST
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
Phase 1 Phase 2 Phase 3
© Prof. Dr. Karsten D. Wolf
81. „Neue“ Methoden / alternative assessment
• Lerntagebücher
• Leistungspräsentation
• Rückmeldebögen (Rubrics)
• Bewertungskonferenzen
• Zertifikate
© Karsten D. Wolf 2008
84. Portfolio
• Leistungen sowie Lern- und Arbeitsprozesse von Schülern / Studenten
werden dokumentiert (inkl. Beschreibung und Reflexion der Schüler)
• Betrifft alle Dimensionen
• Auch “Leistungsmappe” (Vierlinger) in den 70ern
• USA: hohe Verbreitung, die Alternative
© Karsten D. Wolf 2008
85. Kurs-Portfolio
• Sammlung aller möglichen Kurzprodukte reicht nicht
Kurshefter, Arbeitsjournal, Arbeitsheft
• Es bedarf zusätzlich
• reflexiver Praxis
• Auswahl zur Dokumentation der Leistung bzw. Leistungsentwicklung
• Unterschiedliche Auswahl
(Beste + schlechteste, besten, unterschiedlichsten etc.)
© Karsten D. Wolf 2008
86. Auswirkung auf Didaktik und Methodik
• Umgestaltung des Unterrichts
• offene, aktive Formen
• Lehrende als Lernbegleitende und Lernberatende
• differenzierte und individualisierte Arbeit
• Interessen der Schüler_innen können besser entsprochen werden
• angepasstes Arbeitstempo
© Karsten D. Wolf 2008
87. ePortfolio
• webbasiertes Portfolio
• Sammlung von Einlagen in digitalisierter Form
• Unterstützung bei Verwaltung der Einlagen
• Unterstützung bei der Reflektion (Vorlagen für Deckblätter etc.) und ggf. auch
bei der Bewertung (Bewertungsbögen)
• Unterschiedliche Zugangsrechte
• Pädagogische Ziele entsprechen den klassischen Portfolios
© Karsten D. Wolf 2008
90. Innovationsbereiche beim E-Assessment
• Simulation
• Realitätsnähe
• Feedbackkomponenten
• Explorationsmöglichkeiten
• Automatisierte Bewertung von Essays
• Verbesserung der Messmodelle (Rasch Skalierung)
• Verkürzte Prüfungen (adaptives Testen)
• Data Mining der Lösungsprozesse von Experten zur Erstellung von
K.modellen / -profilen.
• Autorenwerkzeuge für fachspezifische Tests/Sims
© Karsten D. Wolf
91. Innovationsbereiche beim E-Assessment
• Summative Tests werden in den Lehr-Lern-Prozess integriert
• Einbindung in E-Portfolios
• Kompetenzmessung in Gruppen
• Transfer wird durch authentische Aufgaben erleichtert
• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht
werden
• Keine speziellen Prüfungen mehr notwendig
• Durch Testbänke keine festen Prüfungstermine mehr
• Kombination in Form von Blended Assessment
© Karsten D. Wolf
92. Ausgangsfrage:
E-Assessments können auf
allen Taxonomiestufen eingesetzt werden
• Formative Bewertungsverfahren
• Alternative Verfahren werden praktikabel
Erzeugen
• Unterstützung auch bei offenen Formate
• Dialog über Prüfungsqualität Evaluieren
Analysieren
Anwenden
Verstehen
Erinnern
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf 2008
94. FB 12 Erziehungs- und Bildungswissenschaften
Didaktische Gestaltung
multimedialer Lernumgebungen
http://www.ifeb.uni-bremen.de/wolf
wolf@uni-bremen.de
http://www.ifeb.uni-bremen.de/assessment/