17-mal heruntergeladen
![Susanne
GruFmann
und
Claus
A.
Usener
Prüfen mit Computer und Internet
Didaktik, Methodik und Organisation von E-Assessment
Während
im
Zuge
der
zunehmenden
Verbreitung
digitaler
Lernmedien
in
der
Vergangenheit
vorwiegend
Fragen
der
computerunterstützten
VermiFlung
von
Wissen
disku*ert
wurden,
rücken
zunehmend
auch
Möglichkeiten
einer
Computerunterstützung
in
Prüfungsprozessen
in
den
Fokus.
So
genannte
E-‐As-‐
sessment-‐Systeme
stellen
auf
vielfäl*ge
Weise
Funk*onalität
für
die
elektronische
Vorbereitung,
Durch-‐
führung
und
Nachbereitung
von
LernfortschriFskontrollen
bereit.
Sie
entlasten
dadurch
nicht
nur
Leh-‐
rende
und
Lernende,
sondern
machen
einige
Prüfungsformen
überhaupt
erst
realisierbar.
Im
vorliegenden
Beitrag
wird
der
Einsatz
von
E-‐Assessment-‐Systemen
in
Prüfungen
in
Bezug
auf
didak*sche,
methodische,
organisatorische
und
technische
Aspekte
thema*siert.
Den
Lesern
wird
so
ein
Eins*eg
in
die
Thema*k
elektronisch
unterstützter
Prüfungen
geboten,
der
zur
eigenen
Auseinandersetzung
mit
den
Potenzialen
und
Fallstricken
anregen
soll.
Quelle:
Comedynose,
hFp://www.flickr.com/photos/comedynose/3571102858
[2011-‐01-‐02]
#assessment
#ver*efung
#werkzeugmethode
Version
vom
1.
Februar
2011
Für
dieses
Kapitel
wird
noch
ein
Pate
gesucht,
Jetzt Pate werden! mehr
Informa*onen
unter:
hFp://l3t.eu/patenschaI](https://image.slidesharecdn.com/l3tassessmentgruttmann-110203034510-phpapp02/75/Prufen-mit-Computer-und-Internet-Didaktik-Methodik-und-Organisation-von-E-Assessment-1-2048.jpg)
![Prüfen
mit
Computer
und
Internet.
Didak*k,
Methodik
und
Organisa*on
von
E-‐Assessment
—
9
bunden sind. Obwohl digitale Medien in vielen Be- ▸ Eilers, B.; Gruttmann, S. & Kuchen, H. (2008). Konzeption
reichen des Lehrens und Lernens bereits umfangreich eines integrierbaren Systems zur computergestützten Lernfort-
eingesetzt werden, hat sich die Computerunter- schrittskontrolle. In: H. L. Grob; J. vom Brocke & C. Bud-
stützung in Lernfortschrittskontrollen trotz des ver- dendick (Hrsg.), E-Learning-Management, München: Vahlen
hältnismäßig großen Leidensdrucks aufgrund von Verlag, 213-232.
Massenprüfungen und Kapazitätsproblemen bislang ▸ Gruttmann, S. (2010). Formatives E-Assessment in der Hoch-
kaum etabliert. Zu groß scheint die Sorge um tech- schullehre-– Computerunterstützte Lernfortschrittskontrollen
nische Komplikationen und Betrugsmöglichkeiten im Informatikstudium. Münster: Verlagshaus Monsenstein und
mit digitalen Medien zu sein. Möglichkeiten der Vannerdat.
Zeitersparnis und des reduzierten Personaleinsatzes ▸ Kleimann, B. & Wannemacher, K. (2005). E-Learning-Stra-
bei der Prüfungsabwicklung, die Aussichten auf Stan- tegien deutscher Universitäten: Fallbeispiele aus der Hoch-
dardisierung und Rationalisierung von Prüfungen, die schulpraxis. Hannover.
vereinfachte Auswertung sowie das zunehmende Prü- ▸ McAlpine, M. (2002). Principles of Assessment. In: CAA-
fungsaufkommen im Zuge einer Leistungsorien- Centre (Hrsg.), Bluepaper, Luton: University of Luton.
tierung in der Gesellschaft stellen jedoch hinrei- ▸ Meder, N. (2006). Web-Didaktik: Eine neue Didaktik webba-
chende Anreize dar, sich zukünftig noch intensiver sierten, vernetzten Lernens. Bielefeld: W. Bertelsmann.
mit dem Thema E-Assessment zu beschäftigen. ▸ Reepmeyer, J.-A. (2008). Onlineklausuren. In: H. L. Grob; J.
vom Brocke & C. Buddendick (Hrsg.), E-Learning-Mana-
Literatur
gement, München: Vahlen Verlag, 255-272.
▸ Bisovsky, G. & Schaffert, S. (2009). Learning and Teaching ▸ Reeves, T. C. (2006). How do you know they are learning? The
With E-Portfolios: Experiences in and Challenges for Adult importance of alignment in higher education. In: International
Education. In: International Journal of Emerging Technologies Journal of Learning Technology, 2 (4), 294-309.
in Learning (iJET), 4 (1), 13-15. ▸ Reinmann, G. (2007). Bologna in Zeiten des Web 2.0 - As-
▸ Chalmers, D. & McAusland, W. D. (2002). Computer-assisted sessment als Gestaltungsfaktor. Augsburg: Universität
Assessment. URL: Augsburg: Institut für Medien und Bildungstechnologie.
http://www.economicsnetwork.ac.uk/handbook/caa [2010-09- ▸ Wannemacher, K. (2007). Computergestützte Prüfungsver-
29]. fahren - Aspekte der Betriebswirtschaftslehre und Informatik.
▸ Dyckhoff, A.; Rohde, P. & Stalljohann, P. (2008). An Integrated In: M. H. Breitner; B. Bruns & F. Lehner (Hrsg.), Trends im E-
Web-based Exercise Module. In: V. Uskov (Hrsg.), Proceedings Learning, Heidelberg: Physica-Verlag, 427-440.
of the 11th IASTED International Conference on Computers ▸ Winther, E. (2006). Motivation in Lernprozessen. Wiesbaden:
and Advanced Technologies in Education, Crete: Acta Press, Deutscher Universitäts-Verlag.
244-249.](https://image.slidesharecdn.com/l3tassessmentgruttmann-110203034510-phpapp02/75/Prufen-mit-Computer-und-Internet-Didaktik-Methodik-und-Organisation-von-E-Assessment-9-2048.jpg)
Hochgeladen vonL3T - Lehrbuch für Lehren und Lernen mit Technologie
Prüfen mit Computer und Internet - Didaktik, Methodik und Organisation von E-Assessment
Susanne Grufmann und Claus A. Usener erörtern die Didaktik, Methodik und Organisation von E-Assessment im Kontext der Digitalisierung und der wachsenden Nutzung digitaler Lernressourcen. E-Assessment-Systeme ermöglichen eine effiziente Elektronifizierung von Prüfungsprozessen und betonen die Notwendigkeit, traditionelle Prüfungsansätze an die digitalen Gegebenheiten anzupassen, während sie die Qualität der Bewertung sichern. Der Beitrag bietet einen umfassenden Überblick über die verschiedenen Dimensionen des E-Assessments und regt zur kritischen Reflexion über dessen Potenziale und Herausforderungen an.
Weitere ähnliche Inhalte
Ähnlich wie Prüfen mit Computer und Internet - Didaktik, Methodik und Organisation von E-Assessment
Prüfen mit Computer und Internet - Didaktik, Methodik und Organisation von E-Assessment
- 1. Susanne GruFmann und Claus A. Usener Prüfen mit Computer und Internet Didaktik, Methodik und Organisation von E-Assessment Während im Zuge der zunehmenden Verbreitung digitaler Lernmedien in der Vergangenheit vorwiegend Fragen der computerunterstützten VermiFlung von Wissen disku*ert wurden, rücken zunehmend auch Möglichkeiten einer Computerunterstützung in Prüfungsprozessen in den Fokus. So genannte E-‐As-‐ sessment-‐Systeme stellen auf vielfäl*ge Weise Funk*onalität für die elektronische Vorbereitung, Durch-‐ führung und Nachbereitung von LernfortschriFskontrollen bereit. Sie entlasten dadurch nicht nur Leh-‐ rende und Lernende, sondern machen einige Prüfungsformen überhaupt erst realisierbar. Im vorliegenden Beitrag wird der Einsatz von E-‐Assessment-‐Systemen in Prüfungen in Bezug auf didak*sche, methodische, organisatorische und technische Aspekte thema*siert. Den Lesern wird so ein Eins*eg in die Thema*k elektronisch unterstützter Prüfungen geboten, der zur eigenen Auseinandersetzung mit den Potenzialen und Fallstricken anregen soll. Quelle: Comedynose, hFp://www.flickr.com/photos/comedynose/3571102858 [2011-‐01-‐02] #assessment #ver*efung #werkzeugmethode Version vom 1. Februar 2011 Für dieses Kapitel wird noch ein Pate gesucht, Jetzt Pate werden! mehr Informa*onen unter: hFp://l3t.eu/patenschaI
- 2. 2 — Lehrbuch für Lernen und Lehren mit Technologien (L3T) Lösungen können die Potenziale einer Computerun- 1. Hintergrund terstützung von Lernfortschrittskontrollen realisiert Eine Prüfung im Sinne einer Lernfortschrittskon- werden. trolle ist die Abfrage, Messung und Bewertung des Dabei ist jedoch zwingend zu beachten, dass der internalisierten Wissens und der Methodenbeherr- Einsatz digitaler Medien nicht zum Selbstzweck er- schung eines Lernenden. Sie soll Informationen über folgt und die Qualität der Prüfungen erhalten (oder seinen Lernstand liefern. besser noch gesteigert) werden kann. Eine unreflek- tierte Übertragung traditioneller Verfahren zu Lern- E-‐Assessment bezeichnet eine LernfortschriFskon-‐ fortschrittskontrollen auf digitale Medien ist nicht ! trolle, die mit Hilfe elektronischer Medien vorbereitet, durchgeführt und nachbereitet wird. Eine besondere zielführend. Vielmehr sind die bestehenden Ansätze hinsichtlich ihrer didaktischen, methodischen und or- Rolle spielt dabei die (teil-‐) automa*sche Durch-‐ ganisatorischen Aspekte an die neuen technischen führung von Korrekturen im Rahmen des technisch Rahmenbedingungen anzupassen. Die klassischen Möglichen (Eilers et al., 2008). qualitativen Gütekriterien für Prüfungsverfahren, also die Validität, Objektivität und Reliabilität, sollten in E-Assessments haben wie traditionelle papierba- jedem Fall erhalten bleiben (Gruttmann 2010; Wan- sierte Prüfungen besondere Anforderungen in Bezug nemacher, 2007). In den folgenden Anschnitten auf die Dimensionen Didaktik, Methodik und Orga- werden für die vier Dimensionen jeweils einzelne für nisation zu erfüllen (Gruttmann, 2010). Hinzu Prüfungsprozesse relevante Aspekte angeführt und kommt die Dimension der technischen Unter- diskutiert. Den Lesern soll so eine erste Orientierung stützung, die das infrastrukturelle Fundament für die zum Thema E-Assessment gegeben werden und Vorbereitung, Durchführung und Nachbereitung der gleichzeitig ein Prozess der kritische Reflexion ange- Prüfungen bildet (siehe Abbildung 1). stoßen werden. Denn nur wenn Prüfungen sorgfältig den Ansprüchen des Lehr-Lerngebiets angepasst werden und sich ein tatsächlicher Mehrwert für Prüf- linge und Lehrende ergibt, kann ein E-Assessment- Prozess langfristig Akzeptanz finden. 2. Didak1k: Formen und Funk1onen von Prüfungen Gemeinhin existieren verschiedene Formen von Prü- fungen, die Unterschiede in Bezug auf ihre didak- tische Ausrichtung und Zielstellung aufweisen. Auf ihre Art stellen sie jeweils eine Strategie dar, zu evalu- ieren, inwiefern die Ziele eines Lehr-Lernprozesses erreicht wurden und übernehmen dabei unterschied- liche Aufgaben: Förderung und Selektion. Abbildung 1: Dimensionen des E-‐Assessments Für Lernfortschrittskontrollen (LFK) mit selek- tivem Charakter hat sich im englischsprachigen Raum Die didaktische Dimension von E-Assessment- die Bezeichnung Assessment of Learning einge- Systemen thematisiert, welchen Einfluss unterschied- bürgert. Im Deutschen verwendet man eher die Be- liche Lehr- und Lernziele auf den Prozess der Wis- zeichnung summatives Assessment, da es sich oft sensvermittlung und damit auch auf Formen der um Prüfungen handelt, die eine Lernphase ab- Wissensüberprüfung in Lernfortschrittskontrollen schließen und das Erreichen des Lernziels über- haben. Aus methodischer Sicht sind verschiedene prüfen (siehe Abbildung 2). Summative Assessments Aufgabentypen und Prüfungsarten zu berücksich- fokussieren somit auf den Output des Lernens und tigen, die Gestaltungsanforderungen an den E-As- belegt das Erreichen eines bestimmten Kompetenzni- sessment-Einsatz stellen. Organisatorische Fragestel- veaus (Reinmann, 2007; Winther, 2006). Nur wenn lungen betreffen vor allem die Rahmenbedingungen, eine bestimmte Leistung abgeliefert wird, gilt das die für die Vorbereitung, Durchführung und Nachbe- Lernziel als erreicht und die erbrachte Leistung wird reitung eines E-Assessments in einer konkreten Ver- bescheinigt. Dabei kann die Abfrage des vermittelten anstaltung zu schaffen sind. Diese drei Dimensionen Wissens und des Verständnisses mündlich oder sind unabhängig von dem Einsatz bestimmter Tech- schriftlich erfolgen. nologien. Durch den Einsatz geeigneter technischer
- 3. Prüfen mit Computer und Internet. Didak*k, Methodik und Organisa*on von E-‐Assessment — 3 legenheiten zur Evaluation unter realistischeren Be- dingungen, wodurch ein kontinuierlicher Überblick über Lernfortschritte gewonnen werden kann. Neben summativen und formativen Assessments findet das diagnostische Assessment zunehmend Ver- breitung. Unter dem Begriff des diagnostischen As- sessments werden zwei unterschiedliche Formen zu- sammengefasst. Während bei der ersten Form des diagnostischen Assessments durch lernbegleitende, freiwillige Lernfortschrittskontrollen auf eine För- derung der Lernenden abgezielt wird, besitzt die zweite Form einen eignungsdiagnostischen und damit ggf. einen selektiven Charakter. Zum einen spricht Abbildung 2: Formen von Lernfortschrittskontrollen man also von diagnostischen Assessments, wenn Lernfortschrittskontrollen nicht zur (Fremd-) Beur- teilung des Erreichens von Lernzielen dienen. Dieser Form des diagnostischen Assessments sind zum Bei- Für Lernfortschrittskontrollen mit förderndem spiel die so genannten Self-Assessments zuzuordnen. Charakter werden analog die Bezeichnungen As- Die Teilnahme an Self-Assessments erfolgt in der sessment for Learning bzw. formatives Assessment Regel freiwillig und sind im Allgemeinen nicht an verwendet. Die Lernfortschrittskontrollen sind beim eine Bewertung oder Begutachtung durch eine Lehr- formativen Assessment in Form mehrerer kleiner person geknüpft. Zum anderen fallen eignungsdia- Prüfungen in den Lernprozess integriert und können gnostische Tests in diese Kategorie des diagnosti- die Konstruktion und Verstetigung von vermitteltem schen Assessments. Hier wird durch das Durch- Wissen unterstützen. Das regelmäßige, selbständige führen von initialen, also dem Lehr-Lernprozess vor- und oftmals freiwillige Bearbeiten von Arbeitsauf- angestellten Prüfungen beabsichtigt, ausgewogene trägen und das damit einhergehende Feedback Lerngruppen zu formen oder die Lehr-Lernprozesse können dem Lernenden helfen, eigene Fehler zu er- an die Kenntnisse und Fähigkeiten der Lernenden an- kennen und in Zusammenhang mit seinem Lernver- zupassen (Chalmers & McAusland, 2002). Die ver- halten zu bringen. Sie dienen ferner dem Lehrenden schiedenen Formen von Lernfortschrittskontrollen dazu, Lehr- und Lernprozesse zu überwachen und in- werden in Tabelle 1 zusammengefasst. Es wird struktionale Maßnahmen zur besseren Kompetenz- jedoch darauf verwiesen, dass Mischformen zwi- entwicklung einzuleiten (Winther, 2006). Beim for- schen den genannten Kriterien auftreten können. mativen Assessment gibt es demzufolge mehrere Ge- Summa1ves Assessment Forma1ves Assessment Diagnos1sches Assessment (Assessment of Learning) (Assessment for Learning) Self-‐Assessment Eignungstest Selek*ver Charakter Fördernder Charakter Fördernder Charakter Selek*ver Charakter Formale Qualifika*on über Prak*sche Anwendung von Eigendiagnos*sche Lerneva-‐ Ini*ale Diagnose von Kompe-‐ das Erreichen eines Kompe-‐ Erlerntem; Evalua*on von lua*on tenzniveaus tenzniveaus LernfortschriFen Prüfung am Ende eines Lehr-‐ Aufgaben während des Lehr-‐ Prüfungen fortwährend (insb. Prüfung zu Beginn eines Lehr-‐ Lernprozesses Lernprozesses zu Beginn) möglich Lernprozesses Teilnahme verpflichtend Teilnahme i. d. R. freiwillig Teilnahme i. d. R. freiwillig Teilnahme i. d. R. verpflich-‐ tend Bewertung und Benotung Korrektur und Bewertung i. d. R. keine Benotung und Bewertung durch Lehrenden durch Lehrenden durch Lehrenden, i. d. R. Korrektur keine Benotung Tabelle 1: Formen von Lernfortschrittskontrollen
- 4. 4 — Lehrbuch für Lernen und Lehren mit Technologien (L3T) Es existieren viele verschiedene Ansätze und Arbeitsmappen, die Dateien mit produkt- oder aufga- Systeme zur Computerunterstützung von Lern- benorientierten Leistungen des Lernenden auf einer fortschrittskontrollen. Im Regelfall basieren sie auf E-Learning-Plattform zusammenfassen (Meder, den traditionellen Formen des Assessments und sind 2006). Das so genannte E-Portfolio, das derzeit viel ihnen in Bezug auf Didaktik, Methodik und Organi- diskutiert wird, bezeichnet zum Beispiel netzbasierte sation sehr ähnlich. Studien zufolge ist es auch Sammelmappen, die verschiedene digitale Medien sinnvoll, neue elektronische Lehr- und Lernformen und Services integrieren (Bisovsky & Schaffert, zunächst äquivalent zu gängigen traditionellen Me- 2009). Lernende können ein E-Portfolio als digitalen thoden zu gestalten (Dyckhoff et al., 2008; Kleimann Speicher der Artefakte kreieren und pflegen, die sie & Wannemacher, 2005). Exemplarisch werden im im Verlauf eines Kurses oder auch während des ge- nachfolgenden Abschnitt zur Organisation von E- samten Lernprozesses erarbeiten. So kann die Kom- Assessments klassische Prozesse einer computerun- petenzentwicklung in einer bestimmten Zeitspanne terstützten Klausur beschrieben. Im Rahmen der zu- und für bestimmte Zwecke dokumentiert und veran- nehmenden Verwendung neuer Medien in Lernfort- schaulicht werden (Bisovsky & Schaffert, 2009). schrittskontrollen wird jedoch vermehrt der Einsatz Computerunterstützung in Prüfungsprozessen er- innovativer Konzepte und die Implikation einer möglicht Lehrenden bzw. Prüfern folglich eine Fülle neuen Lernkultur gefordert (Meder, 2006). neuer Varianten zur Ermittlung von Lernfort- schritten. Doch unabhängig von Ausprägung und Zwar gilt es als förderlich, neue elektronische Prü-‐ Ausgestaltung des Computereinsatzes ist festzu- halten, dass sich die elektronische Kontrolle und Be- ! fungsformen zunächst in Anlehnung an tradi*onellen Methoden zu gestalten. Mit zunehmender Nutzungs-‐ urteilung von Lernfortschritten langfristig nur dann kompetenz ist jedoch zu prüfen, inwiefern auch inno-‐ als wirklich effektiv erweist, wenn sie für die spezi- va*ve Prüfungskonzepte den Lehr-‐Lernbetrieb berei-‐ ellen Einsatzzwecke in den jeweiligen Veranstal- chern können. tungen optimal konfiguriert ist und sich gut in die be- stehende Bildungspraxis einpassen lässt (Eilers et al., So geht auch mit dem Aufkommen von E-As- 2008). Lehrende und Prüflinge müssen sich an die sessment eine Diskussion einher, ob die neuen neuen Bedingungen gewöhnen, die Methoden und Medien als technologische Impulsgeber die Eta- Konzepte müssen in angemessener Form auf elek- b l i e r u n g alternativer Prüfungsarten bewirken tronische Medien abgebildet werden und die notwen- können (Bisovsky & Schaffert, 2009; Reinmann, digen studienorganisatorischen, infrastrukturellen 2007). Web-Didaktiker entwickeln daher ständig neue oder prüfungsrechtlichen Rahmenbedingungen Formen für die medial unterstützte Leistungser- müssen geschaffen werden. bringung und -beurteilung. Exemplarisch kann hier die Anfertigung von Facharbeiten in Form von online recherchierten Kollagen weltweit verfügbaren Wissens genannt werden oder online bereitgestellte In der Praxis : Assessments in der Hochschule In der universitären Prüfungspraxis werden aktuell diverse erst in der Abschlussprüfung ein Feedback zu ihrem persön-‐ Arten von LernfortschriFskontrollen angewendet. Bei Prü-‐ lichen Lernstand. (Teil-‐)automa*sche Korrekturen entlasten fungen mit Selek*onsfunk*on kann man von einer Art „uni-‐ den Lehrenden und eröffnen so die Möglichkeit, regelmäßige versitärem Dreikampf“ sprechen: Klausuren, Referate, LernfortschriFskontrollen wie zum Beispiel wöchentliche Hausarbeiten (Reinmann, 2007). Hinzu kommen Prüfungs-‐ Übungsaufgaben anzubieten. Neben diesen organisatori-‐ arten mit dem Ziel der Förderung von Studierenden wie obli-‐ schen Vorteilen eröffnet auch die Einbindung verschiedenar-‐ gatorische oder freiwillige Übungen und Prak*ka. *ger digitaler Medien wie Sound-‐ und Filmdateien oder Zunehmend finden die verschiedenen Arten von Prüfungen Simula*onen Möglichkeiten für universitäre Prüfungen, die auch computerunterstützt staF. Auch wenn noch lange nicht bei tradi*onellen Papierverfahren nicht realisierbar wären. von einem flächendeckenden Einsatz von E-‐Assessment-‐Sys-‐ temen in der Hochschule gesprochen werden kann, so ist zu Sowohl die Freie Universität Berlin (hFp://www.e-‐examina*-‐ bemerken, dass einige Formen von LernfortschriFskontrollen ons.fu-‐berlin.de/) als auch die Universität Bremen überhaupt erst dank Computerunterstützung realisierbar (hFp://www.eassessment.uni-‐bremen.de/) sind im deutsch-‐ sind. Die Kontrolle forma*ver oder diagnos*scher Assess-‐ sprachigem Raum Vorreiter im Bereich elektronischer Klau-‐ ments zur Lernförderung kann aufgrund beschränkter perso-‐ suren und geben auf ihren Webseiten einen guten Überblick neller Ressourcen in den Hochschulen oI nicht angeboten über den aktuellen Stand der Technik in diesem Gebiet. werden. Die Studierenden erhalten damit in vielen Fällen
- 5. Prüfen mit Computer und Internet. Didak*k, Methodik und Organisa*on von E-‐Assessment — 5 Antwortwortalternativen zu treffen hat, ist die Wahr- Man unterscheidet im Allgemeinen summa*ve, for-‐ scheinlichkeit einer Lösung durch Erraten recht ? ma*ve und diagnos*sche Assessments. Sicherlich haben Sie – ob klassisch oder computerunterstützt – hoch. Werden die Antwortalternativen zudem unge- an jeder dieser Assessment-‐Formen schon einmal teil-‐ schickt gewählt (zum Beispiel offensichtlich unlo- genommen. Überlegen Sie sich zu jeder Form ein kon-‐ gische Alternativen), erhöht dieses zusätzlich die kretes Prüfungsszenario, in dem Sie eine computerun-‐ Trefferwahrscheinlichkeit. Obwohl das Ausmaß an terstützte LernfortschriFskontrolle für sinnvoll er-‐ Aktivität und Kreativität der Prüflinge bei der Bear- achten würden. beitung von Aufgaben dieses Typs verhältnismäßig 3. Methodik: Aufgabentypen in LernfortschriJkon-‐ gering ist, eignen sich qualitativ hochwertige konver- trollen gente Aufgaben insbesondere für die einfache Ab- frage von Faktenwissen. Lernfortschrittskontrollen, ob nun mit traditionellen D u r c h divergente Aufgaben können Hinter- Verfahren oder mit Computerunterstützung durchge- grundwissen, Lösungswege und Begründungen führt, bestehen im Allgemeinen aus einer oder meh- besser erfasst werden. Zur Lösung divergenter Auf- reren Prüfungsaufgaben. Prüfungsaufgaben werden gaben ist ein schöpferisches Einsetzen von Wissen in der Literatur oft in konvergente und divergente nötig. Die Lösung divergenter Aufgaben soll zu Aufgabentypen unterteilt (McAlpine, 2002). grundlegenden methodischen Überlegungen anregen, Konvergente Aufgaben haben eine genau defi- eine inhaltliche, qualitative Argumentation initiieren nierte Lösungsmenge, sind daher in der Regel ein- und damit die vertiefte Auseinandersetzung mit dem facher zu bewerten und ermöglichen ein exakteres Lehrstoff bewirken. Divergente Aufgabenformate Feedback. Multiple-Choice-Aufgaben sind vermutlich zielen darauf ab, Eigenständigkeit, Selbstvertrauen, die bekanntesten Vertreter konvergenter Aufgaben. Problembewusstsein, Kreativität und Flexibilität der Bei diesem Format wird eine Frage zusammen mit Prüflinge zu fördern. Ein vorherrschendes diver- einer vordefinierten Menge an Antworten präsentiert, gentes Aufgabenformat ist die Freitextaufgabe. Die aus der der Prüfling die richtige Antwort bzw. die Korrektur durch den Lehrenden ist sehr aufwendig richtigen Antworten wählen muss (siehe Ab- und erfolgt nur selten nach exakt definierten, objek- bildung 3). tiven Bewertungsschemen (McAlpine, 2002). Konvergente wie divergente Aufgaben haben ihren jeweiligen didaktischen Wert. Sie sind in der Aufgabenkultur auf das Profil des Prüfungsgebiets, die Lerngruppe und die methodische Zielsetzung der Prüfung abzustimmen. Denken Sie an eine oder mehrere typische offene Prü-‐ ? fungsaufgaben in Ihrem Lehr-‐Lerngebiet. Überlegen Sie sich, wie diese Prüfungsaufgaben im Aufgaben-‐ format Mul*ple-‐Choice abgebildet werden könnten. Überlegen Sie sich dafür jeweils einen geeigneten Auf-‐ gabentext (auch Stamm genannt) sowie eine ange-‐ messene Anzahl sinnvoller Antwortalterna*ven. Abbildung 3: Einfache Wissensabfrage mit Multiple-‐ Achten Sie dabei darauf, dass die Distraktoren, also Choice die falschen Antworten, nicht zu offensichtlich sind und die rich*gen Antworten nicht zu leicht zu erraten Auch Wahr-Falsch-Aufgaben, Zuordnungsauf- sind. gaben und einfache Lückentextaufgaben können den konvergenten Aufgabentypen zugeordnet werden. Insbesondere für konvergente Aufgabentypen Doch so einfach konvergente Aufgaben auszuwerten bieten E-Assessment-Systeme heutzutage schon sind, so schwierig und zeitaufwendig kann es sein, vielfältige Unterstützung. Durch innovative, compu- qualitativ hochwertige Aufgaben zu entwickeln. Die terunterstützte Aufgabentypen mit neuartigen Ant- Konstruktion von konvergenten Aufgaben erfordert wortverfahren kann die Präsentation, Durchführung vom Lehrenden ein fundiertes Wissen im betref- und Auswertung erleichtert werden. Gleichzeitig fenden Sachgebiet und setzt viel Erfahrung in der an- kann ihre Gestaltung sehr flexibel erfolgen, wodurch gemessenen Formulierung von Aufgaben voraus. Da ihre Aussagekraft im Vergleich zu papierbasierten der Prüfling oftmals eine Auswahl aus vordefinierten Prüfungen sogar erhöht werden kann (Reepmeyer,
- 6. 6 — Lehrbuch für Lernen und Lehren mit Technologien (L3T) 2008; Wannemacher, 2007). So können zum Beispiel Lernziele und -inhalte, die sie methodisch an- statt eines die Aufgabe beschreibenden Textes Gra- spruchsvoll vermitteln, doch in den Prüfungen liegt fiken, Sound-Dateien oder sogar Filme eingesetzt der Fokus letztlich oft darauf, was leicht zu über- werden. Bei grafischen Zuordnungsaufgaben löst der prüfen ist, statt sich am eigentlichen Lernziel zu ori- Prüfling die Aufgabe zum Beispiel durch geschicktes entieren (Reeves, 2006). Platzieren eines grafischen Objekts in einer grundle- genden Grafik. Befindet sich das Objekt in einer vor- Die Entscheidung, ob konvergente oder divergente definierten Zielposition, wird die Antwort als korrekt ! Aufgabentypen zum Einsatz kommen, sollte auf Basis des Prüfungsgebiets, der Lerngruppe und der metho-‐ gewertet. Im übertragenen Sinn handelt es sich hierbei um eine grafisch aufbereitete Form von Mul- dischen Zielsetzung der Prüfung getroffen werden -‐ und nicht auf Basis der technologischen Unterstüt-‐ tiple-Choice. Als Vorteile konvergenter Aufgaben- zungsmöglichkeiten. typen in computerunterstützten Lernfortschrittskon- trollen können allgemein die eindeutige Auswert- barkeit, die kurze Bearbeitungszeit, der geringe Ein- Sammeln Sie Probleme, die bei der automa*schen gabeaufwand und das Bereitstellen kontextsensitiven ? Korrektur von Freitextaufgaben wie etwa das Schreiben eines Aufsatzes auIreten können. Feedbacks gesehen werden (McAlpine, 2002). Ein of- fensichtlicher Nachteil ist, wie auch bei traditionellen Formen dieser Aufgabenkategorie, im Erraten von 4. Organisa1on: Prozesse computerunterstützter Prü-‐ Antworten und der damit verbundenen Gefahr von fungen Zufallslösungen zu sehen. Die Validität von konver- Welche organisatorischen Maßnahmen zur Vorbe- genten Aufgabentypen ist insofern nicht immer si- reitung, Durchführung und Nachbereitung compu- chergestellt. terunterstützter Lernfortschrittskontrollen notwendig Computerunterstützte Lernfortschrittskon- sind, wird im Folgenden am Beispiel einer computer- trollen mit divergenten Aufgabentypen befinden unterstützten Klausur demonstriert. Zentrale Frage- sich derzeit nur selten im praktischen Einsatz. Diese stellung ist hierbei, wie die Organisation von Lern- Ansicht wird im Folgenden anhand des konkreten fortschrittskontrollen durch Computerunterstützung Beispiels der Freitextaufgabe als gängiger Aufga- effektiv, effizient und zuverlässig gestaltet werden bentyp in vielen Prüfungen begründet. Sollen Frei- kann. Um E-Assessment im Bereich von Klausuren textaufgaben mittels Computerunterstützung be- zu etablieren, ist die Schaffung von geeigneten orga- wertet werden, kommen bei vielen E-Assessment- nisatorischen Strukturen und technologischen Kom- Systemen nur Stichwortlisten zum Einsatz. Hierzu ponenten bzw. Verfahren notwendig, mit denen com- wird vom Lehrenden eine Liste obligatorischer Stich- puterunterstützte Klausuren in zuverlässiger und jus- worte und ihrer Synonyme vorgegeben, auf deren tiziabler Form durchgeführt werden können (Reep- Vorkommen der zu bewertende Text untersucht meyer, 2008). So müssen etwa räumliche, zeitliche wird. Die Wörter und nahe gelegene Negationen und personelle Ressourcen koordiniert werden. werden optisch hervorgehoben und erlauben dem Eine Voraussetzung für die Durchführung elektroni- Korrektor und der Korrektorin eine einfachere scher Prüfungen mit größeren Teilnehmerzahlen Nachbearbeitung. Ferner unterstützen viele compu- stellen große Rechnerpools mit der entsprechenden terunterstützte Ansätze eine Überprüfung der Recht- Hard- und Software dar. Bei mangelnden Rechnerka- schreibung sowie eine Plagiarismuskontrolle. In- pazitäten in Massenprüfungen können Prüfungen si- sofern wird zwar eine hilfreiche Vorstrukturierung multan in mehreren Rechnerpools bzw. in mehreren des Freitexts vorgenommen, eine umfassende seman- aufeinanderfolgenden Zeitscheiben durchgeführt tische Analyse ist jedoch mit derzeit verfügbaren E- werden (Eilers et al., 2008; Reepmeyer, 2008; Wanne- Assessment-Methoden nicht möglich. Wie die Frei- macher, 2007) oder den Prüflingen wird die Nutzung textaufgabe sind auch andere divergente Aufgaben, eigener Laptops in der Prüfung gestattet. Diese Form die komplexe ausformulierte Antworten erwarten, in der etwaigen Ungleichbehandlung sollte allerdings der Regel nicht oder nur schwer durch Computer zuvor auf prüfungsrechtliche Zulässigkeit überprüft auszuwerten. Es ist leicht ersichtlich, dass eine Dis- werden. In jedem Fall ist eine Variation der Prüfungs- krepanz zwischen didaktischen und methodischen aufgaben für verschiedene Zeitscheiben notwendig. Ansprüchen an Aufgabentypen in Prüfungsverfahren und den real vorherrschenden Methoden bzw. tech- nisch realisierten Aufgabentypen existiert. So formu- lieren viele Lehrende zwar qualitativ hochwertige
- 7. Prüfen mit Computer und Internet. Didak*k, Methodik und Organisa*on von E-‐Assessment — 7 phasen im Vorfeld der eigentlichen Prüfungen an, in Neben der Akzeptanz durch Prüfer und Prüflinge ist denen der Prüfungsablauf am Rechner mit Probemo- ! die Akzeptanz durch das Prüfungsamt maßgeblicher Faktor bei der Ini*alisierung eines E-‐Assessment-‐ dulen bzw. Testklausuren erprobt werden kann (Wan- Systems. nemacher, 2007). Der konkrete organisatorische Ablauf computer- unterstützter Prüfungen kann stark variieren. Ta- Die computerunterstützte Prüfungsorganisation belle 2 zeigt mögliche organisatorische Prozesse birgt ferner vielfältige technische Herausforderungen: dieser Prüfungsform (Gruttmann, 2010). Die technische Zuverlässigkeit von Prüfungssys- temen zählt zu den zentralen Bedingungen für die Akzeptanz der neuen Prüfungsformen, weshalb die Beispielsysteme Entwicklung spezieller Sicherheitskonzepte erfor- ! ▸ LPLUS: kommerzielles elektronisches Prüfungs-‐ system für summa*ve Prüfungen in Hochschulen, derlich ist (Wannemacher, 2007). Der Ausfall eines Firmen und Handelskammern (LPLUS GmbH) Prüfungsrechners oder des Gesamtsystems darf nicht ▸ Ques*onmark Percep*on: ebenfalls ein kommer-‐ dazu führen, dass ein Prüfungsteilnehmer und eine zielles elektronisches Prüfungssystem für sum-‐ Prüfungsteilnehmerin seine Prüfung nicht zu Ende ma*ve Prüfungen, welches in Universitäten und in führen kann (Reepmeyer, 2008). Dem Problem tech- der freien WirtschaIs eingesetzt wird. (Ques-‐ nischer Ausfälle wird bei modernen Prüfungssys- *onmark Corpora*on) temen durch Maßnahmen wie regelmäßige Backups ▸ ILIAS: Lernmanagement-‐System, welches Prü-‐ fungsfunk*onalität insbesondere für diagnos*sche bzw. Replikationen der Aktionen eines Prüfungsteil- und forma*ve Assessments bereitstellt (www.ili-‐ nehmers oder einer Prüfungsteilnehmerin und die as.de) Möglichkeit zur Prüfungsfortsetzung an einer Ersatz- ▸ Moodle – Quiz module: Prüfungsmodul des Lern-‐ station entgegengewirkt. Um Manipulationen vorzu- management-‐System Moodle vorwiegend diagnos-‐ beugen, sind eine Einschränkung der Netzwerkfunk- *sche und forma*ve Prüfungen (www.mood-‐ tionalität und die Abkopplung des Prüfungssystems le.org) vom Internet ratsam. Der Zugriff auf (unerlaubte) Fremdanwendungen sollte gesperrt und ein Daten- Es wird deutlich, dass auch computerunterstützte austausch zwischen Rechnern verhindert werden Klausuren mit einem erheblichen organisatorischen (Reepmeyer, 2008; Wannemacher, 2007). Auch kann Aufwand verbunden sind. Sowohl im Vorfeld einer durch individuelle Aufgaben bzw. eine variierende Prüfung als auch während und nach der Prüfung sind Anordnung der Aufgaben einer Manipulation des diverse Arbeiten zu erledigen, um einen reibungs- Prüfungsergebnisses vorgebeugt werden. losen Ablauf der Prüfungen unter rechtssicheren Be- Um die Lernenden an die neue, digitale Organisa- dingungen zu gewährleisten. Computerunterstützte tionsform der Klausuren zu gewöhnen und Ängste Klausuren eignen sich aufgrund dieser Aufwände in oder Vorbehalte abzubauen, bieten sich Trainings- besonderem Maß zur Prüfung von Basis- bzw. Fak- Vorbereitung Durchführung Nachbereitung Fragenkataloge erstellen und auf Ser-‐ Systembetrieb sicherstellen Automa*sche bzw. manuelle Korrektu-‐ ver bereitstellen ren koordinieren und durchführen Anwesenheit/Iden*tät der Teilnehmerlisten erzeugen Teilnehmer/innen prüfen Rückmeldung an Teilnehmer/innen ge-‐ ben Raum-‐ und Zeitressourcen koordinie-‐ Rechner-‐ und Prüfungszugang koordi-‐ ren nieren Notenlisten generieren und an das Prü-‐ Teilnehmer-‐ und Organisa*onsdaten in fungsamt übermiFeln Prüfungssystem impor*eren Organisatorische Fragen klären Einsichtnahme koordinieren Manipula*on und Täuschung verhin-‐ dern Archivierung sichern Tabelle 2: Organisatorische Prozesse in computerunterstützten Klausuren
- 8. 8 — Lehrbuch für Lernen und Lehren mit Technologien (L3T) tenwissen großer Prüflingsgruppen. Insbesondere bei formate wie Multiple Choice oder das Abprüfen von regelmäßig wiederkehrenden Prüfungen rentiert sich Vokabeln erfordern in der Regel keinen manuellen die aufwendige Ausarbeitung einer umfassenden Auf- Eingriff. Offene Aufgabenformate, etwa Freitextauf- gabendatenbank und die mitunter kostenintensive gaben, sind mit dem heutigen Stand der Technik Einrichtung einer geeigneten Infrastruktur. häufig nur manuell korrigierbar. 5. Technik: Klassifizierung von E-‐Assessment-‐Systemen Geben Sie jeweils Beispiele aus Ihrem Umfeld für die Der Begriff E-Assessment an sich verlangt per Defi- nition zunächst nur, dass eine Lernfortschrittskon- ? vier Kategorien, in die ein Assessment-‐System aus technischer Sicht eingeordnet werden kann. trolle „mit Hilfe elektronischer Medien vorbereitet, durchgeführt und nachbereitet wird“ (Eilers et al., 2008). Das Ausmaß, mit dem Computer im As- Hinsichtlich der Dimension Anbindung des In- sessment-Prozess eingesetzt werden, wird hierdurch ternets wird zwischen den Ausprägungen online und noch nicht determiniert. Hinsichtlich des Einsatzes offline bzw. stand-alone unterschieden. Online be- lassen sich jedoch verschiedene Realisierungsformen zeichnet hierbei die Anbindung an Web-Schnittstellen unterscheiden. Sie lassen sich grob durch die zwei oder Internet-Plattformen, wohingegen Stand-alone- folgenden Dimensionen beschränken: den Grad der Anwendungen nur im lokalen Netzwerk oder sogar Korrekturunterstützung einerseits, das heißt welche nur auf einzelnen Computern installiert sind und Rolle nimmt der Computer bei der Korrektur ein, keinen Internetzugriff benötigen. Bei der Ent- und der Grad der Anbindung des Internets ande- scheidung für oder wider Internetanbindung eines rerseits. Einen Überblick über die aus dieser Klassifi- elektronischen Prüfungssystems spielen rechtliche, zierung resultierenden E-Assessment-Formen gibt didaktische, technische und organisatorische Fak- Tabelle 3. toren eine maßgebliche Rolle. So wird bei summa- tiven elektronischen Lernfortschrittskontrollen häufig bereits aufgrund von Sicherheitsaspekten in Hinblick TECHNISCHE Korrekturunterstützung auf die Ausfallsicherheit des Systems und den Schutz KLASSIFI-‐ vor Datenmanipulationen auf eine Internetan- ZIERUNG manuell automa1sch bindung verzichtet. Ein großer Vorteil der Weban- bindung ist die Zeit- und Ortsunabhängigkeit. Aus Web-‐Based Assisted Web-‐Based diesem Grund ist die Internetanbindung häufig bei online Assessment Systemen für das formative und diagnostische As- Inter-‐ Assessment (WBA) sessment zu finden. Die Ortsunabhängigkeit und der netan-‐ (WAA) bin-‐ Computer-‐ Computer-‐ Zugriff rund um die Uhr ermöglichen Lernenden dung stand-‐ Assisted Based beispielsweise die unkomplizierte Teilnahme an dia- alone Assessment Assessment gnostischen Tests einer virtuellen Lern- bzw. Studien- (CAA) (CBA) beratung. 6. Zusammenfassung Tabelle 3: Technische Klassifizierung der E-‐ Assessment-‐Systeme Potenziale, die E-Learning-Systeme für die Unter- stützung von Prozessen des Lehrens und Lernens bieten, können durch den Einsatz von E-As- Da sich das E-Assessment nicht ausschließlich auf sessment-Systemen auch in Prüfungsprozessen reali- die vollautomatische Auswertung von Aufgaben be- siert werden. E-Assessment kann dabei eine Verbes- schränkt, wird in der Dimension Korrekturunter- serung der Effektivität und Effizienz sowie eine Stei- stützung zusätzlich die manuelle Auswertung der gerung der Qualität der Assessment-Prozesse be- Aufgaben unterschieden. Unter der Kategorie „ma- wirken. Eine sinnvolle Realisierung ist allerdings nur nuelle Auswertung“ werden sowohl die teilautomati- dann möglich, wenn diverse didaktische, methodische sierte Korrekturunterstützung als auch die nicht com- und organisatorische Aspekte neben den technischen putergestützte Auswertung von Aufgaben subsu- Rahmenbedingungen berücksichtigt werden. Der miert, da in beiden Fällen eine Benutzerinteraktion vorliegende Beitrag greift eine Auswahl relevanter notwendig ist. Die Differenzierung der Korrekturun- Aspekte auf und macht auf die vielfältigen Potenziale terstützung wird maßgeblich durch die Art der Prü- und Fallstricke aufmerksam, die mit der Computer- fungsaufgaben bestimmt. Geschlossene Aufgaben- unterstützung von Lernfortschrittskontrollen ver-
- 9. Prüfen mit Computer und Internet. Didak*k, Methodik und Organisa*on von E-‐Assessment — 9 bunden sind. Obwohl digitale Medien in vielen Be- ▸ Eilers, B.; Gruttmann, S. & Kuchen, H. (2008). Konzeption reichen des Lehrens und Lernens bereits umfangreich eines integrierbaren Systems zur computergestützten Lernfort- eingesetzt werden, hat sich die Computerunter- schrittskontrolle. In: H. L. Grob; J. vom Brocke & C. Bud- stützung in Lernfortschrittskontrollen trotz des ver- dendick (Hrsg.), E-Learning-Management, München: Vahlen hältnismäßig großen Leidensdrucks aufgrund von Verlag, 213-232. Massenprüfungen und Kapazitätsproblemen bislang ▸ Gruttmann, S. (2010). Formatives E-Assessment in der Hoch- kaum etabliert. Zu groß scheint die Sorge um tech- schullehre-– Computerunterstützte Lernfortschrittskontrollen nische Komplikationen und Betrugsmöglichkeiten im Informatikstudium. Münster: Verlagshaus Monsenstein und mit digitalen Medien zu sein. Möglichkeiten der Vannerdat. Zeitersparnis und des reduzierten Personaleinsatzes ▸ Kleimann, B. & Wannemacher, K. (2005). E-Learning-Stra- bei der Prüfungsabwicklung, die Aussichten auf Stan- tegien deutscher Universitäten: Fallbeispiele aus der Hoch- dardisierung und Rationalisierung von Prüfungen, die schulpraxis. Hannover. vereinfachte Auswertung sowie das zunehmende Prü- ▸ McAlpine, M. (2002). Principles of Assessment. In: CAA- fungsaufkommen im Zuge einer Leistungsorien- Centre (Hrsg.), Bluepaper, Luton: University of Luton. tierung in der Gesellschaft stellen jedoch hinrei- ▸ Meder, N. (2006). Web-Didaktik: Eine neue Didaktik webba- chende Anreize dar, sich zukünftig noch intensiver sierten, vernetzten Lernens. Bielefeld: W. Bertelsmann. mit dem Thema E-Assessment zu beschäftigen. ▸ Reepmeyer, J.-A. (2008). Onlineklausuren. In: H. L. Grob; J. vom Brocke & C. Buddendick (Hrsg.), E-Learning-Mana- Literatur gement, München: Vahlen Verlag, 255-272. ▸ Bisovsky, G. & Schaffert, S. (2009). Learning and Teaching ▸ Reeves, T. C. (2006). How do you know they are learning? The With E-Portfolios: Experiences in and Challenges for Adult importance of alignment in higher education. In: International Education. In: International Journal of Emerging Technologies Journal of Learning Technology, 2 (4), 294-309. in Learning (iJET), 4 (1), 13-15. ▸ Reinmann, G. (2007). Bologna in Zeiten des Web 2.0 - As- ▸ Chalmers, D. & McAusland, W. D. (2002). Computer-assisted sessment als Gestaltungsfaktor. Augsburg: Universität Assessment. URL: Augsburg: Institut für Medien und Bildungstechnologie. http://www.economicsnetwork.ac.uk/handbook/caa [2010-09- ▸ Wannemacher, K. (2007). Computergestützte Prüfungsver- 29]. fahren - Aspekte der Betriebswirtschaftslehre und Informatik. ▸ Dyckhoff, A.; Rohde, P. & Stalljohann, P. (2008). An Integrated In: M. H. Breitner; B. Bruns & F. Lehner (Hrsg.), Trends im E- Web-based Exercise Module. In: V. Uskov (Hrsg.), Proceedings Learning, Heidelberg: Physica-Verlag, 427-440. of the 11th IASTED International Conference on Computers ▸ Winther, E. (2006). Motivation in Lernprozessen. Wiesbaden: and Advanced Technologies in Education, Crete: Acta Press, Deutscher Universitäts-Verlag. 244-249.