Wie kann man pragmatische und effiziente Prüfungen für die Online-Lehre entwickeln?

Wie kann man pragmatische und efﬁziente
Prüfungen für die Online-Lehre entwickeln?
Mathias Magdowski
Lehrstuhl für Elektromagnetische Verträglichkeit
Institut für Medizintechnik
Otto-von-Guericke-Universität, Magdeburg
25. Mai 2020
Lizenz: cba CC BY-SA 3.0 (Namensnennung, Weitergabe unter gleichen Bedingungen)

Online Proctoring Take Home Exams Alternative Formate Ofﬂine-Prüfungen
Die gute alte Zeit . . .
Quelle: https://twitter.com/LehrstuhlEMV/status/1157209267926999041
Pragmatische und efﬁziente Prüfungen 2

Mündliche Prüfungen – einfach digitalisierbar
Quelle: https://twitter.com/MMagdowski/status/1242060825030000641

Herausforderungen bei Online-Prüfungen
Passung zur Lernmethode und den Lernzielen
(Constructive Alignment)

Korrekturaufwand/Skalierbarkeit

Authentizität

Authentizität
Datenschutz

Authentizität
Datenschutz
Rechtssicherheit

Authentizität
Datenschutz
Rechtssicherheit
Transparenz

Authentizität
Datenschutz
Rechtssicherheit
Transparenz
Verfügbarkeit & Integrität

Traditionelle Prüfungsformen vs. reale Arbeitswelt
Source: https://pixabay.com/de/photos/
taschenrechner-notizblock-1687962/

Traditionelle Prüfungsformen vs. reale Arbeitswelt
Source: https://pixabay.com/de/photos/
taschenrechner-notizblock-1687962/
Source: https://pixabay.com/de/
arbeitsplatz-team-gesch%C3%
A4ftstreffen-1245776/

Übersicht
Online Proctoring
Take Home Exams bzw. Open-Book-Prüfungen
Alternative Prüfungsformate
Ofﬂine-Prüfungen

Online Proctoring – Was ist das?
Proctor = Prüfungsaufseher*in
Quelle: John Samuel Agar (1773–1858) „History of the University of Cambridge“ (1815), Public Domain,
https://commons.wikimedia.org/w/index.php?curid=26564294

Wie sieht das dann in der Praxis aus?
Quelle: Juerg Widrig, „Sicheres Prüfen im Fernunterricht mit isTest2 und Zoom in drei Schritten“,
https://www.linkedin.com/posts/juerg-widrig-a66006125_
praesfen-fernunterricht-istest2-activity-6650033482833641473-Vlcr/

Anbieter
(a) https://examity.com (b) https://proctoru.com
(c) https://proctortrack.com (d) https://proctorio.com

Quelle: Ordnung zur Bewältigung der durch die Coronavirus SARS-CoV-2-Epidemie an den Betrieb der Bergischen
Universität Wuppertal gestellten Herausforderungen in Studium, Lehre und Prüfungen, „Sicheres Prüfen im
Fernunterricht mit isTest2 und Zoom in drei Schritten“,
https://www.qsl.uni-wuppertal.de/fileadmin/qsl/7_Newsletter/am20061.pdf

Diskussion der Vor- und Nachteile
Leitbild Lehre:
„Die Basis unserer Informations- und Kommunikati-
onskultur sind Vertrauen und Transparenz.“

Diskussion der Vor- und Nachteile
Leitbild Lehre:
„Die Basis unserer Informations- und Kommunikati-
onskultur sind Vertrauen und Transparenz.“
Offene Fragen:
Warum per Post? (aufwendig, teuer, internationale
Studierende, Papierkrieg, Verlust von Briefen, . . . )
dritte Personen im Raum, Knopf im Ohr
Einspeisen vorproduzierter Videobilder und Töne
Toilettenbesuch
Bandbreite, Umgang mit Verbindungsabbrüchen
Aufwand für die aufsichtsführende Person & Hotline

Lösungsideen und studentische Meinungen
Lösungsideen:
Aufgaben als zertiﬁziertes PDF-Dokument mit Hashwert
Abfotograﬁeren der handschriftlichen Lösungsblätter
sofortige Einreichung der Hashwerte
nachträgliches Hochladen der Bilder und digitale Korrektur

Lösungsideen und studentische Meinungen
Lösungsideen:
Aufgaben als zertiﬁziertes PDF-Dokument mit Hashwert
Abfotograﬁeren der handschriftlichen Lösungsblätter
sofortige Einreichung der Hashwerte
nachträgliches Hochladen der Bilder und digitale Korrektur
Studentische Meinungen:
„Exam anxiety – how remote test-proctoring is creeping
students out“
„On Knuckle Scanners and Cheating – How to Bypass
Proctortrack, Examity, and the Rest“
Podcast BldgAltEntf E026

Mögliche Angriffsvektoren
Quelle: Jake Binstein, „The points of view of both of these webcams (at the top-center of the laptop) are the same.“,
https://jakebinstein.com/wp-content/uploads/2015/01/Notes-On-Laptop.jpg

Mögliche Angriffsvektoren
Bokito Kijker – Brille, um Gorillas im Zoo auszutricksen
Quelle: Robert de Bock, „ik en de bokito kijker“,
https://www.flickr.com/photos/robertdebock/658456203

Recht und Datenschutz
Handreichungen:
„Was beim digitalen Prüfen rechtlich zu beachten ist“
„Homeofﬁce, Klausuren und Videoüberwachung –
Datenschutz: 0 Punkte“
„Handreichung zu Prüfungsformen im Sommersemester
2020 der Hochschule für angewandte Wissenschaften in
München“

Take Home Exams bzw.
Open-Book-Prüfungen

Take Home Exams
eine oder mehrere komplexe Prüfungsaufgaben
praktisch alle Hilfsmittel zugelassen
knapper Zeitrahmen, aber zeitlich und örtlich ungebunden
Eigenständigkeitserklärung der Studierenden

Take Home Exams
Vorteile:
keine Aufsicht nötig, Technik-Einﬂuss minimiert
kein Auswendiglernen nötig, freie Zeiteinteilung

Take Home Exams
Vorteile:
keine Aufsicht nötig, Technik-Einﬂuss minimiert
kein Auswendiglernen nötig, freie Zeiteinteilung
Nachteile:
randomisierte Aufgaben nötig, aufwendige Korrektur
kein Auswendiglernen nötig, dafür Absprachen möglich

Take Home Exams
Mögliche Fragestellungen:
erworbenes Wissen anwenden
Sachverhalte analysieren
Situationen vergleichen
Fakten bewerten
neue Lösungswege für Probleme entwickeln
siehe: https://learn.wu.ac.at/open/distanzlehre/
remote-take-home-exam

Beispiel für randomisierte Aufgaben
C1
u1(t)
i1(t)
C2
u2(t)
L1
u3(t)
C3
u4(t)
i4(t)
L2
u5(t)
i5(t)
uq(t)
iq(t)
R1
u1(t)
i1(t)
C1
u2(t)
L1
u3(t)
i3(t)
R2
i4(t)
C2
u5(t)
i5(t)
uq(t)
iq(t)
R1
u1(t)
i1(t)
R2
u2(t)
L1
u3(t)
i3(t)
C1
u4(t)
i4(t)
R3
u5(t)
uq(t)
iq(t)
C1
u1(t)
i1(t)
C2
u2(t)
R1
u3(t)
L1
u4(t)
i4(t)
C3
u5(t)
i5(t)
uq(t)
iq(t)

Individuell zugehörige Musterlösungen
{û},î
{û} , î
î1
û1
û2
û3
û4
î4
î5
û5
ûq
{û},î
{û} , î
î1û1
û2û3
î3
î4
î5 û5
ûq
{û},î
{û} , î
û1î1
û2û3
î3
î4 û4
û5ûq
{û},î
{û} , î
û1
î1
û2
û3û4
î4
î5
û5
ûq

Abwandlungen von aufsichtslosen Online-Prüfungen
Prüfungsbogen zum Download:
vorgefertigter Prüfungsbogen, weniger Bearbeitungszeit
wenig Technikprobleme, schwieriges Aufgabendesign

Prüfungsbogen zum Download:
vorgefertigter Prüfungsbogen, weniger Bearbeitungszeit
wenig Technikprobleme, schwieriges Aufgabendesign
Schriftliche Prüfungen direkt in Moodle:
mit der Aktivität Test direkt in Moodle, online bearbeitbar
z. B. Freitextfragen, Zuordnungsfragen,
Drag-and-Drop-Fragen, Zahlenwert und Einheit
halbautomatische Auswertung, stabile Technik erforderlich

Online-Multiple-Choice-Prüfungen in Moodle:
vollautomatische Auswertung
stabile Technik erforderlich, Moodle-Überlastung möglich
benötigt großen Pool „nicht-googlebarer“ Fragen
Fragen und Antwortmöglichkeiten mischen
siehe:
https://ctl.univie.ac.at/home-learning/pruefen/

Online-Multiple-Choice-Prüfungen in Moodle:
vollautomatische Auswertung
stabile Technik erforderlich, Moodle-Überlastung möglich
benötigt großen Pool „nicht-googlebarer“ Fragen
Fragen und Antwortmöglichkeiten mischen
siehe:
https://ctl.univie.ac.at/home-learning/pruefen/
Idee für große Aufgaben- und Fragenpools:
Studierende entwickeln selbst Aufgaben
PeerWise

Alternative Prüfungsformate in digitalen
Lehr-Lern-Umgebungen
Einteilung nach
überfachlichen
Kompetenzen:
digitale Kooperation &
Kollaboration
wissenschaftliches Arbeiten
Präsentation &
Argumentation
Medienkompetenz
Quelle: Pixabay
https://pixabay.com/illustrations/job-search-interview-job-search-1845954/

Digitale Kooperation & Kollaboration
Mögliche Prüfungsformen:
quantitative und qualitative
Bewertung der Aktivität in
Online-Foren
Erstellung und gegenseitige
Begutachtung von digitalen
Projektarbeiten (inklusive der
Dokumentation des
Entstehungsprozesses)
gemeinsame Anfertigung von
digitalen Modellen,
Simulationen oder Prototypen
Quelle: Pixabay https://pixabay.com/illustrations/social-media-personal-581783/

Beispiel: Personalisierbare Aufgaben und anonymer
Peer Review
Lightning Talk (5 min):
https://www.youtube.com/watch?v=LDw_Ifmg2WM

Wissenschaftliches Arbeiten
Schreiben einer
(wissenschaftlichen)
Seminararbeit
Erstellung eines
(elektronischen) Portfolios
von Lernartefakten bzw.
eines Lerntagebuches
online-basierte
Simulationen und
Fallstudien
Quelle: Pixabay https://pixabay.com/vectors/portfolio-cv-business-job-work-2903909/

Beispiel: Sammelband studentischer Berichte
http://journals.ub.uni-magdeburg.de/ubjournals/index.php/LEGO

Präsentation & Argumentation
Online-Diskussionen
Verfassen von öffentlichen
Meinungsbeiträgen
digitale Postersessions
Videovorträge
mündliche Prüfungen per
Videokonferenz
Quelle: Pixabay
https://pixabay.com/illustrations/online-webinar-teacher-conferencing-3307293/

Beispiel: Videolösung personalisierter Aufgaben
https://twitter.com/MMagdowski/status/1264615811546824705

Medienkompetenz
studentische Erstellung von
Erklärvideos
Video-Dokumentationen
der Lösung von Aufgaben
Aufzeichnungen von
Podcasts
Wissenschaftskommunika-
tion in sozialen
Medien
Quelle: Pixabay https://pixabay.com/vectors/internet-web-page-video-article-3738875/

Beispiel: Videolösung personalisierter Aufgaben
https://www.youtube.com/watch?v=8pKgmvlZG54

Ofﬂine-Prüfungen in einem Fußballstadion
Quelle: South Korean Jobseekers Take Written Exam In Football Stadium To Avoid Coronavirus
(https://www.ladbible.com/news/
news-south-koreans-take-exam-in-football-stadium-to-avoid-coronavirus-20200405)

Ofﬂine-Prüfungen in den Universitäts-Sporthallen
Quelle: Sanierungsarbeiten an der Sporthalle 1 abgeschlossen
(https://www.ovgu.de/Universit%C3%A4t/Organisation/Verwaltung/Kanzler/Dezernate/
Technik+und+Bauplanung/Betriebstechnik+%28K42%29/Energiemanagement/News/
Sanierungsarbeiten+an+der+Sporthalle+1+abgeschlossen.html)

Einhaltung der Hygienemaßnahmen?
viele Räume oder sehr große Räume, Lüftung?
personalintensiv (Aufsicht, Einweisung, Kontrolle)
schwierige Logistik (Wartebereich, Ausgeben der
Aufgaben, Abgabe der Lösungen, Zwischenfragen)
Identiﬁkation trotz Mund-Nasen-Schutz
Ablauf & Verhalten bei Präsenzprüfungen für Studierende:
Quelle: www.iMooX.at (https://www.youtube.com/channel/UC4XmEpSP44Gi3kcfOt5GNVQ)

Arbeitsaufträge
Gruppe 1:
Welche rechtlichen und datenschutzrechtlichen
Fragestellungen gibt es?
Sind die aktuellen Studien- und Prüfungsordnungen
passend und wie müssten sie eventuell angepasst
werden?
Gruppe 2:
Welches Prüfungsformat ist für meine Lehrveranstaltung
passend?
Wie sähe die ideale Prüfung aus?
Wie sollte die Prüfung auf keinen Fall aussehen?

Fazit
weniger als 20 Prüﬂinge:
mündliche Online-Prüfungen oder alternative Formate

Fazit
zwischen 20 und 100 Prüﬂingen:
Take Home Exams mit randomisierten,
kompetenzorientierten Aufgaben

Fazit
mehr als 100 Prüﬂinge:
Online-Prüfungen mit MC-Fragen aus großen Fragenpools
Ofﬂine-Prüfungen in Sporthallen/Stadion/Messehalle

Fazit
mehr als 100 Prüﬂinge:
Online-Prüfungen mit MC-Fragen aus großen Fragenpools
Ofﬂine-Prüfungen in Sporthallen/Stadion/Messehalle
Kein aufwendiges und wenig nutzbringendes Online-Proctoring!

Vielen Dank für Eure/Ihre Aufmerksamkeit!
Gibt es weitere Fragen?

Wie kann man pragmatische und effiziente Prüfungen für die Online-Lehre entwickeln?

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Wie kann man pragmatische und effiziente Prüfungen für die Online-Lehre entwickeln?

Ähnlich wie Wie kann man pragmatische und effiziente Prüfungen für die Online-Lehre entwickeln? (16)

Mehr von Mathias Magdowski

Mehr von Mathias Magdowski (20)

Wie kann man pragmatische und effiziente Prüfungen für die Online-Lehre entwickeln?