Weitere ähnliche Inhalte Mehr von Karsten D. Wolf (20) Chancen Fallstricke E Assessment1. Chancen und Fallstricke bei der Einführung von E-
Assessments an der Universität
Karsten D. Wolf
Fachbereich 12
Didaktische Gestaltung multimedialer Lernumgebungen
eBologna – eStrategien an den Fakultäten
Friday Lectures, WiSe 2007/08 14.12.2007
Universität Wien
© Karsten D. Wolf 2007
2. Agenda
• Notwendigkeiten & Trends
• Haken & Ösen
• Chancen & Ausblicke
• Implementation
• Organisation
• TestCenter
• Gender Mainstreaming
• Empfehlungen
Karsten D. Wolf ©2007
8. mündliche
und „alternative“
Prüfungsformate?
http://tinyurl.com/2esxkd
Martin Ripley 2006
© Karsten D. Wolf 2007
9. mündliche
und „alternative“
Prüfungsformate?
http://tinyurl.com/2esxkd
Martin Ripley 2006
© Karsten D. Wolf 2007
10. +
© Karsten D. Wolf 2007
11. Pro und contra: Studenten
• Sofortige Bereitstellung des • Benachteiligung von Personen mit
Prüfungsergebnisses geringerer Computerkompetenz
(digital literacy, 10-Finger-
Schreiben)
• Objektive, transparente und
fehlerfreie Klausurbewertung
• Benachteiligung von Personen mit
negativer Einstellung zu
• differenziertes Feedback
Computern
• vereinfachte Vorbereitung durch
• Probleme bei der Konzentration
online-Training unter Verwendung
(Computermonitor, Lüfterlärm,
der gleichen Fragenkataloge
Tastaturgeklapper…) ➙ Stress?
• Datenschutz?
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
14. Akzeptanz durch Studierende: Rückmeldung
35,5% Generelle
Zustimmung
4% Totalablehnung
Achtung: FB WiWi
Bücking / Schwedes (2005)
© Karsten D. Wolf
15. Pro und contra: Lehrende / Prüfungsautor(inn)en
• Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur
automatische Auswertungsverfahren Digitalisierung vorhandener Fragen
& Verwaltung und Aufbau eines hinreichend
großen Fragenkataloges
• Effiziente Unterstützung bei
Freitextfragen-Korrektur • Prüfungsdesign wird durch
Technik beschränkt
• Wiederverwendbare und
„kollaborative“ Fragenkataloge • technische
Manipulationsmöglichkeiten
(während und vor der Prüfung)
• Qualitätssicherung und -
verbesserung
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
16. Pro und contra: Prüfungsverwaltung
• Vereinfachte • Initiale Zusatzbelastung durch
Organisationsabläufe durch Im- Umstellung auf neue Arbeitsabläufe
und Export von
• Rechtliche Absicherung
• Teilnehmer(innen)listen und
• Durchführungsorganisation
• Ergebnissen
• Datenschutz & -sicherheit
zwischen
Prüfungsverwaltungssoftware
(FlexNow!) und Prüfungssoftware
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
17. Pro und contra: Allgemein
• Kosteneinsparung • Stabilität & Zuverlässigkeit
• Mögliche Erstellung komplexer • Qualitätsverlust des Studiums
und interaktiver Fragen durch durch reine Wissenstests
Multimediaelemente
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
24. Vergleich der drei Szenarien: Break-Even
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf
25. Durchführung: Wer ist beteiligt?
• Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter)
• Aufsichtskräfte (Lehrstühle)
• Verwaltung (Prüfungsamt)
• Editoren für E-Aufgaben (Lehrstühle ↔ zentrale Einrichtung)
• E-Assessment Beauftragte (Fachbereiche)
• E-Learning Support (zentrale Einrichtung)
© Karsten D. Wolf
26. Lehrkräfte / Autor(inn)en
• Entwicklung
• Fragen
• Antworten
• Distraktoren
• Beurteilungsschema
• Qualitätskontrolle
• Fragen
• Umsetzung der Fragen
• Endgültige Abnahme des Fragenkataloges
• Analyse und Überarbeiten der Fragen nach Klausuren
© Karsten D. Wolf
27. Lehrkräfte / Autor(inn)en
• Entwicklung
• Fragen Woh
• Antworten diese er ko
• Distraktoren
Qual mmt
• Beurteilungsschema
ifika
• Qualitätskontrolle
• Fragen
tion?
• Umsetzung der Fragen
• Finales Absegnen des Fragenkataloges
• Analyse und Überarbeiten nach Klausuren
© Karsten D. Wolf
40. Innovationsbereiche beim E-Assessment
• Simulation
• Realitätsnähe
• Feedbackkomponenten
• Explorationsmöglichkeiten
• Automatisierte Bewertung von Essays
• Data Mining der Lösungsprozesse von Experten zur Erstellung von
K.modellen / -profilen.
• Autorenwerkzeuge für fachspezifische Tests/Sims
• Einbindung in E-Portfolios
• Kompetenzmessung in Gruppen
© Karsten D. Wolf
41. Innovationsbereiche beim E-Assessment
• Verbesserung der Messmodelle (Rasch Skalierung)
• Tests werden in den Lehr-Lern-Prozess integriert
• Transfer wird durch authentische Aufgaben erleichtert
• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht
werden
• Keine speziellen Prüfungen mehr notwendig
• Durch Testbänke keine festen Prüfungstermine mehr
• Kombination in Form von Blended Assessment
© Karsten D. Wolf
44. E-Selection / E-Recruitment & Recrutainment
• Auswahlverfahren für BA und MA
• Uni Bremen WiSe 2006: 2355 Studienanfänger
❖ wachsende Anzahl von Master-Studiengänge
© Karsten D. Wolf
47. Neue Personen
• Editoren
• Entwicklung Fragevorlagen
• Umsetzung der Fragen in Editor
• Qualitätskontrolle
• Fragekatalog pflegen
• E-Assessment Beauftragte
• Projektmanagement (120 Tage Vorlauf!)
• Administration des E-Assessment-Servers (mandantenfähig)
• Einweisung Autoren, Editoren und Aufsichtspersonal
• Testläufe organisieren
© Karsten D. Wolf
48. Änderungen für bestehende Rollen
• Verwaltung (Prüfungsamt)
• Administration der Prüfungen im System (Buchungen, Termine)
• Anpassung des Materials für die Durchführung von Examen
• Archivierung der Examensdaten
• Resultate
• Protokolle
• Logfiles
• Aufsichtspersonal
• Vorbereitung der PC-Pools
• Technische Assistenz und Problembehebung
© Karsten D. Wolf
52. Beispiel: eExaminations an der Uni Bremen
• Dezember 2004 - April 2006
• 14 E-Examen (11 in BWL/WiWi)
• 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962)
• ø 20 PCs pro Raum (10–54)
• ø 24 Wiederholungen / Examen (5–64)
• Max. 7 Räume / Tag und 6 „Slots“ pro Tag
• Hoher Organisations-Overhead
Quelle: ZMML Uni Bremen
© Karsten D. Wolf
54. 30 30
30 30
ZMML Uni Bremen - Realisierung WiSe 2007
© Karsten D. Wolf 2007
55. PC-Pool oder E-Testcenter?
• Starke Reduzierung der Aufsichtsstunden
• Höhere Sicherheit
• Autonome LANs
• Arbeitsabläufe können optimiert werden
• Leichtere Unterstützung z.B. von Simulationen als Testumgebung
• Ggf. Nutzung für Forschungsfragen
• Rückkehr zum „alten“ CIP-Pool?
• Nutzung außerhalb der Prüfungszeiten?
© Karsten D. Wolf
64. E-Learning Support: ZMML Uni Bremen
• E-Assessment als Dienst einführen und anbieten
• Beratung und Training der beteiligten Personen
• Technische Vorbereitung der PC-Pools
• Anbindung an andere IT-Dienste
• Zusammenarbeit mit Softwarefirma (Anpassung)
• Notfallteam für die Dauer der Prüfungsperiode zusammenstellen
• Implementation zunächst nur mit einem Fachbereich
• Kooperation mit einer Softwarefirma
© Karsten D. Wolf
75. Zusammenfassung: Wann ist das sinnvoll?
• Mehr als 300 Kandidaten pro Prüfung
• Mehr als 50 Rechner pro Raum
• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)
• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen
• mögliche Alternative: Scanlösung Paper&Pencil MC Test
• Alternativen: Kooperation von Autorinnen und Autoren
• Alternativen: (Vor-)Erstellung von Items durch Studierende
© Karsten D. Wolf
83. PISA 2003 - Gender Differences
Mädchen Jungen
Computerspiele 35% 70%
Software runterladen 25% 51%
Musik runterladen 40% 56%
Informationen suchen 50% 59%
Zusammenarbeit 27% 36%
Kommunikation 55% 56%
Programmieren 16% 30%
Graphikprogramme 26% 34%
Tabellenkalkulation 18% 24%
Textverarbeitung 49% 48%
86. Keine Unterschiede der Internet Expertise
computer expertise computer usage
internet expertise internet usage
n=108 (Wolf 2007)
89. So wie das Internet eine Alltagstechnologie wird…
Pew Institute 2005
90. Gender-sensitive Sprache und Lernmaterial
(Auszug aus Pravda 2003)
• Sexistische Sprache vermeiden / austauschen
• In Beispielen Gender und deren Reihenfolge abwechseln
• Möglichst Gender-neutrale Begriffe verwenden
• Inhalte aus mehreren Perspektiven beschreiben
• Lebenserfahrung beider Gender integrieren
• Gender Hierarchien und Stereotype entfernen
• Neue Rollenmodelle für beide Gender anbieten
91. Zusammenfassung: Erfahrungen bisher
• Entlastung und Verbesserung
• Uni Bremen als Vorreiterin
• Dauerhaftes Thema an Hochschulen (Trend)
• Technische und organisatorische Professionalisierung
• Verstetigung statt Pilotprojekte
• Hohes Innovationspotenzial für Hochschullehre
• Aktuelles Forschungsthema
• TestCenter bietet ideale Voraussetzungen
© Karsten D. Wolf
92. FB 12 Erziehungs- und Bildungswissenschaften
Didaktische Gestaltung
multimedialer Lernumgebungen
http://www.ifeb.uni-bremen.de/wolf
wolf@uni-bremen.de
http://www.zmml.uni-bremen.de/
93. Literaturempfehlungen
Thomas M. Haladyna (2004).
Developing and Validating Multiple-
Choice Test Items. Lawrence
Erlbaum Associates.
Steven M. Downing & Thomas M.
Haladyna (2006). Handbook of Test
Developing. Lawrence Erlbaum
Associates.
Jürgen Rost (2004). Lehrbuch
Testtheorie – Testkonstruktion.
Huber.
© Karsten D. Wolf
94. Literaturempfehlungen
Trevor G. Bond & Christine M. Fox
(2007) Applying The Rasch Model.
Lawrence Erlbaum Associates.
Mark Wilson (2005). Constructing
Measures. Lawrence Erlbaum
Associates.
Albert Maydeu-Olivares & John J.
McArdle (2005). Contemporary
Psychometrics. Lawrence Erlbaum
Associates.
© Karsten D. Wolf