Das Dokument behandelt die Grundlagen von Online-Prüfungen im Rahmen des E-Assessment, definiert diese als computergestützte Prüfungen, die automatisch ausgewertet werden, und erläutert verschiedene Prüfungsformen sowie Herausforderungen bei der Erstellung von Prüfungsfragen. Es wird auf die hohe Akzeptanz der Online-Prüfungen hingewiesen, sowie auf die Notwendigkeit, Prüfungsordnungen und technische Voraussetzungen für die Durchführung zu berücksichtigen. Zudem werden Perspektiven und zukünftige Trends im Bereich der Online-Prüfungen, insbesondere in der beruflichen Weiterbildung, thematisiert.

1. Grundlagen des E-Assessment Teil 2: Online-Prüfungen (automatische Auswertung, „Tests“) 11: Grundlagen des E-Assessment Lehrgang eCompetence 2008/2009 5. März 2009, Universität Wien Dr. Sandra Schaffert, Salzburg Research, Weblog E-Assessment – http://pruefung.net Sandra Schaffert 2009 http://creativecommons.org/licenses/by/3.0/de/

2. Online-Prüfungen

3. Definition Online-Prüfung Online-Prüfung ist die Bezeichnung für eine Prüfung, die über ein Computernetz zur Verfügung gestellt und automatisch ausgewertet wird (Schaffert 2004).

4. Beispiele Zunächst ein Beispiel aus der allgemeinen Bildung: Schon seit 1998 werden in Österreich die theoretischen Führerscheinprüfungen am Computer abgelegt. Bei den Schweizer Bundesbahnen werden die Lehrabschlussprüfungen seit 1972 mit Hilfe von spezielen Markierungskarten, die durch ein Computerprogramm ausgewertet wurden durchgeführt und werden inzwischen (natürlich) computergestützt durchgeführt. Auch der US-amerikanische Educational Testing Service (ETS) hat schon jahrelange Erfahrung in der Durchführung der vielen computergestützten Prüfungen, z.B. den Aufnahmetests der Universitäten. Die Firma Thomson Prometric hat sich auf die Verteilung sowie Administration von Prüfungen im Bildungsbereich spezialisiert, dort werden jährlich weltweit tausende Prüfungen, insbesondere im Bereich der Informationstechnologie computergestützt abgelegt.

5. Aufgabenarten von Online-Prüfungen Multiple Choice Grafische Auswahl Zuordnung (Drag & Drop) Kurzantwort/Lückentext Und andere!

6. Multiple Choice (Mehrfachauswahl) http://www.flickr.com/photos/stevekeys/2711191763/sizes/o/

7. Graphische Auswahl Riedel (2003). Integration studentenzentrierter fallbasierter Lehr- und Lernsysteme in reformierten Medizinstudiengängen, S. 105 http://galaxy.mi.hs-heilbronn.de/medicase/common/pdf/dissertation_riedel.pdf

8. Graphische Auswahl Screenshot aus einem ECDL-Test

9. Zuordnung (Drag & Drop) Aus: http://www.questionwriterblog.com/archives/matchingdnd.jpg

10. Zuordnung (Drag & Drop) Aus: http://www.knowledgepresenter.com/kpuniversity/v7/whitepapers/DragAndDropQuestions.pdf

11. Kurzantwort/ Lückentext http://clp.arizona.edu/cls/por/images/cloze.png

12. Prüfungsformen von Online-Prüfungen Variation: Aufgaben und Antwortalternativen (-anordnung) variabel; Aufgaben aus Datenbanken Adaption (passt sich den Fähigkeiten des Kandidaten an) Simulation (Fülle von Handlungsoptionen, z. B. Flugzeugsimulator)

13. Bewertung der Prüfungsmethode Beurteilungsobjektivität ist hoch Praxisnähe ist unterschiedlich hoch Der Aufwand und die Kosten für die Entwicklung sind sehr stark davon abhängig, wie die Prüfung gestaltet ist. Für aufwändigere Entwicklungen, die die Regel sein sollten, sind die Kosten vergleichsweise hoch. Der Aufwand für die Durchführung hängt von den Möglichkeiten der Einrichtung ab Der Aufwand für die Auswertung ist denkbar gering Der Entwicklungsgrad von Online-Prüfungen ist insgesamt als unterdurchschnittlich zu betrachten In allen Mitteilungen zur Einführung von Online-Prüfungen wird auf die hohe Akzeptanz der Kandidaten hingewiesen Verglichen mit mündlichen Prüfungen ist die Dokumentation des Prüfungsverlaufs und der Ergebnisse einfach zu realisieren. Die Nachhaltigkeit von Online-Prüfungen ist ein Aspekt, der häufig übersehen wird: Online-Prüfungen lassen sich vergleichsweise gut wieder verwenden siehe Schaffert 2004, 76f

14. Gruppen-/Partnerarbeit: Nehmen Sie sich ein Lernziel vor und entwickeln Sie dazu eine Aufgabe für Online-Tests (bitte keine klassische Mehrfachauswahlfrage!) http://www.flickr.com/photos/dhammza/577671123/sizes/o/

15. Schlechte Fragen, gute Fragen

16. Gute Frage ...? Mehr: http://pruefung.net/?p=153 Aus einem Test zur Basiskompetenz Lesen & Schreiben (Projekt „SkillSum“ der Open University UK)

17. Erstellung von einfachen Multiple-Choice-Aufgaben nach Gronlund (in Jacobs 2000) Die folgenden Richtlinien zur Erstellung von einfachen MC-Aufgaben basieren überwiegend auf dem Kapitel "Writing Selection Items" von Norman E. Gronlund aus: Gronlund, N.E. 1998. Assessment of Students Achievement. 6th. edition: Allyn & Bacon. Boston und sind entnommen aus: Bernhard Jacobs (2000): Übungsaufgaben stellen mit JavaScript. http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/aufgaben.html

18. Multiple-Choice-Aufgabe http:// www.phil.uni-sb.de /FR/Medienzentrum/verweise/ psych /aufgaben/ mcguideline.html

19. Multiple-Choice-Aufgaben ... Zwei Möglichkeiten der Abgrenzung der korrekten Antwort von den Distraktoren Die zutreffende Antwort ist wahr. Alle Distraktoren sind falsch (true answer form) [häufig bei Faktenwissen] Die zutreffende Antwort ist die beste Auswahl unter allen Alternativen. (best answer form) [häufiger bei Verständniswissen, Handlungswissen] Anzahl der Antwortoptionen Die Wahl guter Distraktoren ist das schwierigste Problem bei der Konstruktion von MC-Aufgaben. 4 Antwortoptionen haben sich in der Praxis als recht brauchbar erwiesen. Es besteht aber keine Notwendigkeit, für jede Aufgabe 4 Antwortoptionen festzulegen. Es ist günstiger, nur 3 Alternativen zu verwenden, wenn man nicht mehr als 2 gute Distraktoren findet. Es mag sinnvoll sein, 5 Alternativen zu entwickeln, wenn man 4 brauchbare Distraktoren konstruieren kann.

20. Schlechte Distraktoren (Känguruh) Von welchem Insekt wird die afrikanische Schlafkrankheit übertragen ? 1.) Moskito 2.) Termite 3.) Tsetsefliege 4.) Känguruh (übernommen aus: Rütter 1973, S.166).

21. Schlechte Distraktoren Schlechte Distraktoren sind problematisch, weil sie die Erfolgsquote für das Raten erhöhen und aus keinen diagnostischen Wert haben (=wenn es niemand ankreuzt, kein Fehlkonzept dahinter steht) !

22. Gute Distraktoren Häufige Fehler könnten als plausible Distraktoren dienen. Der erfahrene Lehrer kennt typische Fehler seiner Studenten oder kann sie sich zumindest theoretisch vorstellen. Formuliere die Alternativen in der Sprache des Studenten Verwende gut klingende Worte (genau, wichtig, bedeutsam) in Distraktoren und korrekter Antwort. Distraktoren und korrekte Antwort sollten sich nicht in Komplexität und Satzlänge unterscheiden. Die Textlänge einer Alternative sollte keine Prognose auf ihre Richtigkeit zulassen. Verwende äußere Hinweise in den Distraktoren (z.B. ähnliche Worte wie im Aufgabenstamm, wissenschaftlich beeindruckende Aussagen, wohlklingende Passagen aus dem Lehrbuch usw. )

23. Regeln für gute Distraktoren… Präsentiere im Aufgabenstamm ein einziges klar formuliertes Problem ! Formuliere den Aufgabenstamm in einer einfachen und klaren Sprache ! Packe so viele Wörter wie möglich in den Aufgabenstamm, wenn dadurch Wörter in den Antwortoptionen eingespart werden können ! Formuliere den Aufgabenstamm positiv ! Wenn eine negative Formulierung des Aufgabenstamms unvermeidlich ist, dann stelle die Negation unübersehbar heraus! Sorge dafür, daß die als korrekt bezeichnete Antwort auch tatsächlich die korrekte Antwort (=eindeutig richtige) ist ! Vermeide eine Formulierung der korrekten Antwort "aus dem Lehrbuch" oder in stereotyper Phraseologie! Vermeide absolute Begriffe wie "immer, niemals, alle, kein, nur" in den Distraktoren! Vermeide die Beziehung der Antwortoptionen untereinander

24. Gruppen-/Partnerarbeit: Entwickeln Sie Multiple-Choice-Fragen für eine Prüfung zu diesem Workshop Im Anspruch ggf. Kritik durch andere Gruppen http://www.flickr.com/photos/dhammza/577671123/sizes/o/

25. Wir haben uns dazu entschieden, die vorhandenen Fragen des „Einstufungstests“ zu diskutieren … Frage 1. Die E-Portfolio-Methode ist besonders geeignet um objektiv zu bewerten schnell und effizient zu prüfen als alternatives Assessmentkonzept eingesetzt zu werden das Prüfen attraktiver zu machen Frage 2. Online-Prüfungen werden in der Regel verstanden als eine Konsequenz aus dem Web-2.0-Hype Prüfungen via Video-Konferenz automatisch auswertbare, webbasierte Prüfungen Softwareprüfungen im Internet Frage 3. I m Bezug auf Abschlussprüfungen darf man nicht unterschätzen, dass sie nur schwer objektiv zu bewerten sind. manipuliert werden können. fehlerfrei sind. als heimlichen Lehrplan das Lernen und Lehren beeinflussen

26. Ergebnis: Auffallend ist, dass die richtigen Antworten immer die längsten sind. Bei der 3. Aufgabe ist der Aufgabenstamm negativ formuliert Eine Antwortalternative bei der 3. Aufgabe ergibt sprachlich keinen Sinn (wohl ein „Känguruh“) Alle 3 Fragen erscheinen weniger als Wissenstest für die Einstufung geeignet, weil Teilnehmer keine Möglichkeit haben, einfach „ich weiss es nicht“ anzukreuzen. Kommentar: Alle 3 Fragen prüfen eher Faktenwissen, als z. B. Handlungswissen.

27. Die richtigen Fragen stellen … für das Lernen! http:// www.sqasolar.org.uk /mini/ files / Hot_Research_Questions.wmv

28. E-Klausuren an Hochschulen

29. Tücken von papierbasierten Prüfungen … http://www.youtube.com/watch?gl=DE&hl=de&v=_CqgnZhb--Q

30. Probleme mit herkömmlichen Prüfungen an Universitäten Aus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie4 http://www.his.de/publikation/seminar/Workshop_E-Pruefung/TOP15.pdf

31. E-Assessment an Hochschulen: Spielwiesen Aus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie10 http://www.his.de/publikation/seminar/Workshop_E-Pruefung/TOP15.pdf

32. Rahmenbedingungen für E-Klausuren Vorbereitung Anpassung der Prüfungsordnungen Einbringung der Problematik in die zuständigen Gremien zentrale Installation Vorbereitung für konkrete Prüfung Online-Einschreibung und Erstellung von Prüflingsgruppen Bereitstellung von Probetests Erstellung und Verteilung eines Merkblatts Reservierung von PC-Übungsräumen im ZDV Testphase für jede Prüfung Aufsicht und technische Hilfestellung Auswertung mit Korrektur von Freitextaufgaben Bearbeitung von Reklamationen Prüfungsverwaltung Nach Wolf Lustig (o.J.). Online-Prüfungen in der Fremdsprachenausbildung http://www.e-learning.uni-mainz.de/Dateien/online-pruefung-fremdsprache.pdf

33. Rechtliches zu E-Klausuren Ziel: potentielle Angriffsflächen so klein wie möglich zu gestalten, das betrifft: Sicherstellung der Prüfungsvoraussetzung Quittung für die Anmeldung Anlegen der Nutzer im E-Klausur System Authentifizierung und Unterschrift (Anmeldung, Prüfungsantritt, Prüfungsverlauf) Täuschung verhindern Anfechtungsgründe ausschließen Ähnlichkeit zu traditioneller Prüfung erhalten Dokumentation der Klausur (siehe E-Klausur Wiki http://wiki.uni-giessen.de/eklausur/ )

34. Zukunft von Online-Prüfungen

35. Zukunft von (Online-) Prüfungen Martin Ripley (2006). The four changing faces of e-assessment 2006-2016. http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/articles/e_assessment/eassessment2.htm

36. Trends bei Online-Prüfungen Martin Ripley (2006). The four changing faces of e-assessment 2006-2016. http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/articles/e_assessment/eassessment2.htm

37. Online-Prüfungen in der beruflichen Weiterbildung Besonders hohe Zunahmen wurden im Jahr 2000 für das Jahr 2010 für folgendes vorhergesehen: In Bereichen, in denen der Umgang mit Computern zum beruflichen Alltag gehört Zur Lernerfolgskontrolle Als Ersatz für formalisierte Prüfungsteile Als Ergänzung traditioneller Seminare zur Lernerfolgskontrolle, Gruppenbildung, Optimierung des Unterrichts Forschungsaktivitäten zu computergestützten Prüfungen und Online-Prüfungen Einsatz von computergestützten Prüfungen in der beruflichen Weiterbildung allgemein Schaffert (2004)

38. Kontakt Dr. Sandra Schaffert Salzburg Research Jakob-Haringer-Str. 5/III A-5020 Salzburg Phone: +43-662-2288-429 Fax: +43-662-2288-222 [email_address] http://edumedia.salzburgresearch.at (Anwendungsfeld) http:// sandra.schaffert.ws (Weblog mit allen Aktivitäten) http:// pruefung.net (Weblog zu E-Assessment)