In diesem Foliensatz werden einige Fragen zum Konzept der personalisierbaren Aufgaben mit anonymem Peer Review beantwortet, die von den TeilnehmerInnen der Summer School 2019 des Hochschulforums Digitalisierung im Rahmen der 1. Runde Lightning Talks am 29. Juli über Pigeonhole gestellt wurden.

1. Frequently Asked Questions zu Personalisierbaren
Aufgaben mit anonymem Peer Review
Mathias Magdowski
Lehrstuhl für Elektromagnetische Verträglichkeit
Institut für Medizintechnik
Otto-von-Guericke-Universität, Magdeburg
08. Juli 2019
Lizenz: cba CC BY-SA 3.0 (Namensnennung, Weitergabe unter gleichen Bedingungen)
1

2. FAQ
Woher stammen die Fragen?
Die Fragen wurden von den TeilnehmerInnen der Summer School
2019 des Hochschulforums Digitalisierung im Rahmen der 1. Runde
Lightning Talks am 29. Juli über Pigeonhole gestellt.
Da vor Ort nicht genügend Zeit für eine detaillierte Beantwortung
blieb, sind hier schriftliche Antworten.
Vielen Dank für die vielen Anregungen und Ideen.
2

3. FAQ
Wie wird der Peer Review von den Studierenden
angenommen?
Sehr gut. Nur etwa 10 % der Studierenden, die eine Lösung
eingereicht haben, beteiligen sich nicht an der gegenseitigen
Korrektur. Auf Nachfrage, warum das nicht passiert, ist die
häufigste Antwort, dass die Studierenden es schlicht vergessen
haben und sich dann meist ärgern, weil sie ohne gegenseitige
Korrektur auch keine Zusatzpunkte für ihre eigene Lösung
bekommen. Ich empfehle dann in diesem Fall immer, einen
Kalender (gern auch als Online-Kalender) zu führen, und sich
solche Abgabetermine dort einzutragen.
3

4. FAQ
Was passiert, wenn jemand die Aufgabe nicht eingereicht
hat? Was passiert, wenn Studies nicht einreichen?
Wenn jemand die Lösung zu einer Aufgabe nicht erreicht, passiert
im Grund gar nicht. Diese Personen bekommen dann auch keine
Lösungen anderer Studierender zur gegenseitigen Korrektur
zugeschickt.
4

5. FAQ
Was ist, wenn ein Studierender die Korrektur verweigert?
Wenn ein/e StudentIn keine Korrektur einreicht, bekommt er/sie
trotzdem seine/ihre korrigierte(n) Lösunge(n) sowie die eigene
Musterlösung zugesandt. Jedoch werden in dem Fall keine
Zusatzpunkte gutgeschrieben.
5

6. FAQ
Sind das Bonuspunkte für die Klausur?
Nein, es handelt sich um Bonuspunkte für die Prüfungszulassung.
6

7. FAQ
Ist die Bearbeitung/Review der Aufgaben notenrelevant?
Nein, aktuell nicht wirklich, da nur Bonuspunkte für die
Prüfungszulassung gesammelt werden. Die Prüfungszulassung ist
schlussendlich eine Ja-Nein-Entscheidung und geht nicht in die
finale Prüfungsnote mit ein.
7

8. FAQ
Wer entwickelt die Aufgaben?
Die bisher acht vorhandenen Aufgabentypen und zugehörigen
Musterlösungen mit der Auflistung typischer Fehler habe alle ich
selbst entwickelt.
8

9. FAQ
Wie könnte man wohl eine solche - wirklich
bemerkenswerte - Lerninnovation in Fächern umsetzen, in
denen eine mathematik-basierende Aufgabenerstellung
kaum möglich wäre (z. B. Germanistik)?
Man benötigt entweder einen genügend großen Aufgabenpool
(Fleißarbeit, Crowd Working oder als studentische Arbeit, z. B.
DrittsemesterInnen erarbeiten Aufgaben für ErstsemesterInnen)
oder irgendeine Möglichkeit, die Aufgaben zu algorithmieren bzw.
zu randomisieren. Außerdem sollte ein Programm (oder eine Art
von künstlicher Intelligenz, die aber (noch) nicht frei verfügbar ist
oder deren Nutzung für Studierende (noch) zu kompliziert ist)
vorhanden sein, das in der Lage ist, die dazu passenden
personalisierten Musterlösungen zu erstellen. Für die
Sprachwissenschaften habe ich leider absolut keine Idee, das mir
Beispiele für dort typische Aufgaben fehlen.
9

10. FAQ
Ist das auch in anderen Fachbereichen anwendbar?
In allen mathematiklastigen oder ingenieurwissenschaftlichen
Fachbereichen wie Mathematik, Physik, Maschinenbau,
Verfahrenstechnik, Elektrotechnik, Mechatronik, Chemie, etc.
sollte das Verfahren relativ einfach adaptierbar sein.
Der Kollege Olivier Cleynen aus Magdeburg hat bereits einige
Aufgaben für die Verfahrenstechnik entwickelt, und dabei das
Framework von MATLAB auf Python umgestellt, siehe:
https://framagit.org/olivier/peergrading/
10

11. FAQ
Stark, auch wenn ich fachfremd bin, habe ich alles
verstanden. Aber der Aufwand für das
Peer-Review-Verfahren ohne MATLAB-Kenntnisse ist doch
sehr hoch?
Ja, das ist absolut richtig. Besser wäre es, wenn das Verfahren
nahezu vollständig in einem Lernmanagementsystem wie Moodle
abgebildet werden könnte. Das Moodle bietet aktuell schon ein
Verfahren für die gegenseitige Beurteilung (siehe https:
//docs.moodle.org/37/de/Gegenseitige_Beurteilung),
jedoch ohne personalisierte Aufgaben und Musterlösungen, sondern
nur mit einer für alle Studierenden gleichen Aufgabe sowie einem
gleichen Erwartungshorizont. Ebenso gibt es ein Werkzeug der
Technischen Universität Dresden (siehe
https://passt.mz.tu-dresden.de/) für das Peer Assessment,
jedoch mit den gleichen Einschränkungen wir im Moodle.
11

12. FAQ
Fortsetzung
Die Wahl von MATLAB lag einfach dem Umstand geschuldet, dass
man als Ingenieur meist ganz gut damit umgehen kann und es z. B.
kein Problem ist, dort Tabellen einzulesen und E-Mails zu
verschicken. Der Kollege Olivier Cleynen aus Magdeburg hat das
Framework auch mal von MATLAB auf Python umgestellt, siehe:
https://framagit.org/olivier/peergrading/
12

13. FAQ
Kommen die Aufgaben aus einem Pool oder sind die
vollständig randomisiert?
Die Aufgaben sind tatsächlich vollkommen randomisiert. Für die
Aufgabe zu Ladung und Strom sowie zu Mittelwert und
Effektivwert gibt es ungefähr 4000 Möglichkeiten, für die Aufgabe
zur Knotenspannungsanalyse gibt es ungefähr 700 verschiedene
Schaltungsvarianten bei Gleichstrom und -spannung sowie etwa
15 000 verschiedene Schaltungsvarianten bei Wechselstrom und
-spannung. Bei den Aufgaben zum Ersatzwiderstand bzw.
-impedanz, Spannungs- und Stromteilerregel gibt es etwa 100 000
Schaltungsvarianten bei Gleichstrom und -spannung sowie mehrere
Mio. verschiedene Schaltungsvarianten bei Wechselstrom und
-spannung. Bei der Aufgabe zum Zeigerbild gibt es etwa 1450
verschiedene Schaltungsvarianten.
13

14. FAQ
Fortsetzung
Die Angaben beziehen sich jeweils auf den aktuellen Stand der
Aufgabe. Man könnte bei jeder Aufgabe auch problemlos noch
mehr Varianten hinzufügen, wodurch aber jeweils auch die
Komplexität bzw. der Rechenaufwand steigen würde. Momentan
gibt es meines Erachtens aber jeweils genug Aufgabenvariaten, so
dass es sinnvoller scheint, selbst eine Lösung zu entwickeln, als so
lange im Internet zu suchen, bis man eine passende Lösung genau
für diese Schaltungsvariante gefunden hat.
Hier ist auch noch eine andere Idee zu digitalen mathematischen
Aufgaben mit WeBWorK:
https://hochschulforumdigitalisierung.de/de/blog/
digitale-mathematische-aufgaben-webwork
14

15. FAQ
Welche Erfahrungen habt ihr mit dem Peer Review
gemacht?
Die Erfahrungen mit dem Peer Review sind durchweg sehr gut. Die
Studierenden führen die gegenseitige Begutachtung im Normalfall
sehr ausführlich, sehr gründlich, sehr aufmerksam und sehr
gewissenhaft durch. Man kontrolliert in den meisten Fällen so, wie
man auch selbst gern kontrolliert werden möchte. Dabei wird auf
Fairness großen Wert gelegt. Weder wird großzügig über
offensichtliche Fehler hinweggesehen, um beliebig möglichst viele
Punkte zu verteilen, noch werden haarspalterisch Fehler in
kleinsten Details gesucht, um möglichst viele Punkt abzuziehen.
Diese sehr positive Erfahrung mit dem Peer Review haben wir auch
in anderen, eher überfachlichen Lehrveranstaltungen, z. B. zum
wissenschaftlichen Schreiben gemacht.
15

16. FAQ
Gibt es auch noch eine Klausur am Ende des Semesters?
Oder ersetzt das die komplette Prüfungsleistung?
Es gibt immer noch ein Klausur am Ende der zweisemestrigen
Lehrveranstaltung. Die personalisierten Aufgaben ersetzen oder
ergänzen allein das Verfahren zur Prüfungszulassung bzw. zur
Erteilung eines Übungsscheines.
16

17. FAQ
Besteht das Peer Review demnach aus den
Musterlösungen? Eigenständiges Nachdenken nötig?
Genau, das Peer Review besteht darin, die handschriftliche
studentische Lösung stückchenweise mit der passenden,
personalisierten Musterlösung zu vergleichen. Eigenständiges
Nachdenken ist dabei in gewissem Maße nötig, da der gleiche
Ansatz oder Rechenweg auf unterschiedliche Arten bzw. in
verschiedenen Notationen aufgeschrieben sein kann und trotzdem
auf Korrektheit geprüft werden muss. Nichtsdestotrotz erfordert die
personalisierte Musterlösung nicht, die komplette Aufgabe zur
Korrektur noch mal selbst von Anfang bis Ende durchzurechnen
und nachzuvollziehen.
17

18. FAQ
Ist eine Veröffentlichung des Konzepts und der Aufgaben
als OER denkbar?
Rein prinzipiell ja, jedoch müsste man sich überlegen, wie man
verhindert, dass die Studierenden dann selbst die passenden
ausführlichen personalisierten Musterlösungen zu ihrer jeweiligen
Aufgabenstellungen erzeugen können. Das wäre aber technisch
möglich, wenn für die Studierenden unbekannt bleibt, mit welcher
Zahl man den Zufallszahlengenerator zur Erzeugung der Aufgaben
benutzt oder die Aufgaben- und Musterlösungserzeugung
überhaupt gar nicht an eine feste Nummer (z. B. die
Matrikelnummer koppelt). Im zweiten Fall können die
Musterlösungen aber z. B. nicht mehr neu erzeugt werden, während
die Studierenden schon an den Aufgaben arbeiten, weil sonst
natürlich die Zusammengehörigkeit nicht mehr gegeben ist.
18

19. FAQ
Die Studierenden werden für die Peer-Korrektur zufällig
zugeordnet?
Ja.
19

20. FAQ
Wie lange habt ihr programmiert?
Ich habe bisher pro Aufgabe ungefähr 15 h bis 20 h für die
Aufgabenkonzeption, -erstellung und -programmiert benötigt.
20