24-mal heruntergeladen
09 IBH E Assessment
- 1. E-Assessment Cornelia Ruedel E-Learning Center, Universität Zürich http://www.elc.uzh.ch
- 2. Agenda Ausgangslage Was ist E-Assessment? • Begrifflichkeiten und Zusammenhänge Problemfelder • Infrastruktur • Recht Beispiele an der Universität Zürich
- 3. Probleme mit konventionellen Prüfungen http://www.youtube.com/watch?v=_CqgnZhb--Q IBH: eLearning Community Treffen 03.09.2009 / 3
- 4. Alltag an derUniversität Aktuelle Prüfungssituation an der Universität Zürich • vermehrtes Prüfungs- aufkommen durch die Bologna Reform • Prüfungsdurchführung und -auswertung ist eine grosse Personalbelastung • Problematik: Massenfächer (Z.B. UZH: Assessmentstufe Wirtschaftswissenschaften) Universitärer Dreikampf: Prüfung, Hausarbeit, Referat IBH: eLearning Community Treffen 03.09.2009 / 4
- 5. Probleme mit konventionellen Prüfungen Schriftlich: fragliche Validität und Reliabilität, zeitaufwendige Korrektur Problem: Lesbarkeit der Handschriften Mündlich: fragliche Validität,Reliabilität und Fairness, jede/r Prüfling hat andere Bedingungen, zeitaufwendige Durchführung IBH: eLearning Community Treffen 03.09.2009 / 5
- 6. Was ist E-Assessment? IBH:eLearning Community Treffen 03.09.2009 / 6
- 7. Was ist E-Assessment? IBH:eLearning Community Treffen Ruedel et al (2007a) 03.09.2009 / 7
- 8. Was ist E-Assessment? Definition UnterE-Assessment versteht man die Benutzung von ICT bei den Arbeitschritten zur Erstellung, Präsentation, Durchführung und der Auswertung von Leistungsnachweisen. oder Der Begriff E-Assessment beschreibt im Allgemeinen das Prüfen mit „e“-lektronischen Medien. Hierbei wird bei den Arbeitschritten Erstellung, Durchführung, Auswertung und Rückmeldung auf allen Ebenen (Dozenten, Prüflinge) der Computer verwendet. kurz gesagt: ... E-Assessment = Erstellung/Durchführung/Auswertung von Assessment mit Hilfe von Computer/Netzwerk IBH: eLearning Community Treffen 03.09.2009 / 8
- 9. E-Assessment als Prozess 345'',''6,%(-$7'-.")/,'' !"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,'' -.")/,'' .")/,''
- 10. E-Assessment als Prozess 345'',''6,%(-$7'-.")/,'' !"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,'' -.")/,'' .")/,''
- 11. E-Assessment: Organisatorischer Prozess IBH: eLearningCommunity Treffen 03.09.2009 / 11
- 12. E-Assessment als Prozess 345'',''6,%(-$7'-.")/,'' !"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,'' -.")/,'' .")/,''
- 13. E-Assessment: Technische Durchführung (Teil I) Bull, J. & McKenna, C. (2004): Overview over CAA Technologies Software which has the capability to run on a stand-alone computer For example: a test which is over a network/intranet or Stand-alone posted to students on a CD- through the Internet and to ROM. Students take the test combine the use of all three and upon completion the technologies if appropriate. software accesses the Internet to upload files to a database. Closed Internet network/ Intranet For example: a test For example: an assessment completely downloaded which is delivered question by from a server onto a question from a closed network computer, which is offline server. When all results have during the test-taking and been stored, they are distributed reconnects to the network to tutors using the Internet. to upload final results. Bull & McKenna (2004) 03.09.2009 / 13 IBH: eLearning Community Treffen
- 14. E-Assessment: Technische Durchführung (Teil2) Warburton, B. & Conole, G. (2005): Different Types of CAA CAA CBA OMR Online Assessment stand- alone Port- Networked folios IBH: eLearning Community Treffen Warburton, B. & Conole, G. (2005) 03.09.2009 / 14
- 15. E-Assessment: Technische Durchführung (Teil3) Bloh, E. (2006): Differenzierung von E- / Online-Assessment Technologiebasiertes Assessment E-Assessment Online Assessment Internet basiertes Assessment Computerbasiertes Web basiertes Assessment Assessment Bloh (2006) 03.09.2009 / 15 IBH: eLearning Community Treffen
- 16. E-Assessment als Prozess 345'',''6,%(-$7'-.")/,'' !"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,'' -.")/,'' .")/,''
- 17. E-Assessment im Lernprozess Selektion Lernlenkung Bewertung diagnostisch formativ summativ Lehrveranstaltung (en) Modul Eingangs- Prüfung test In Anlehnung an Crisp (2007) IBH: eLearning Community Treffen 03.09.2009 / 17
- 18. E-Assessment als Prozess 345'',''6,%(-$7'-.")/,'' !"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,'' -.")/,'' .")/,'' E-Assessment als Leistungsnachweis =Produkt
- 19. Prüfungsformen LEISTUNGSNACHWEISE Referate Seminar- Protokolle arbeiten Schriftliche Poster- Prüfungen Präsentationen Electronic Digital Submission offene oder Storytelling geschlossene Gruppen- E-Klausur Fragen prüfungen Wikis E-Prüfungen OMR Online Diskussions- forum E-ASSESSMENTS Adaptives Testing Mündliche Prüfungen Online E-Port- Mündliche Voting Peer- folios Mitarbeit System Assess- Weblog Simu- Port- lationen ment folios Studien- Peer- Wissenschafts- tagebücher Assess- praktische Tätigkeiten ment - gleich - gibt Ähnlichkeiten
- 20. Teil 2: Problemfelder IBH: eLearning Community Treffen 03.09.2009 / 20
- 21. Was wird fürE-Assessment benötigt? Universität Prüfungs- ordnungen Computer Räume Dozierende Lehr- Prüfungs- E-Assessment Prüfungsformen veranstaltung fragen Software Hardware Studierende Netzwerk Sicherheits- Verwaltung aspekte
- 22. Rechtliche Grundlagen "In der jetzigen Experimentier! und Einführungsphase herrscht keineswegs Rechtssicherheit. An den bundesdeutschen Hochschulen verfährt man mehr nach dem Motto, offensichtliche Punkte nach den besten Kenntnissen zu klären und etwaige Klagen abzuwarten." Karsten Wolf (2007) IBH: eLearning Community Treffen 03.09.2009 / 22
- 23. Rechtliche Fragen im Prüfungsprozess Prüfungserstellung • Fragenzugang • Anmeldeverfahren • Authentifizierung Prüfungsdurchführung • Verzögerung • Systemstörungen • Täuschungsversuche Prüfungsauswertung • Bewertungsfehler Allgemein Nachvollziehbarkeit Unveränderbarkeit Datensicherheit und Datenschutz Archivierung 03.09.2009 / 23 IBH: eLearning Community Treffen
- 24. Rekurse Inhaltliche Anfechtungsgründe • Lehrstoff • Verwendung von MC Fragen • Starre Bestehungsgrenze Formale Anfechtungsgründe • Gleichbehandlung • Durchführungsprozess • Nachvollziehbarkeit • Unveränderbarkeit IBH: eLearning Community Treffen 03.09.2009 / 24
- 25. Rekurse Andere mögliche Anfechtungsgründe • Gleichbehandlung der Studierenden in den Prüfungen • Raum, Umgebung, Zeit • Gleichwertigkeit der einzelnen Prüfungen • Prüfungssystem • Vertraute Bedienung • Start, Ablauf, Ende • Einwandfreie technische Funktionen • Einwandfreie organisatorische Funktionen IBH: eLearning Community Treffen 03.09.2009 / 25
- 26. Problematik: Unveränderbarkeit der Prüfung MöglicheLösungen • Sicherung des Endprodukts • Speicherung als pdf • Digitale Signatur • Sicherung des Prozess • Logfile mit Aktionen und Eingaben IBH: eLearning Community Treffen 03.09.2009 / 26
- 27. Problematik: Nachvollziehbarkeit der Prüfung • Prüfungserstellung • Kein „Zugang“ für Unbefugte • Prüfungsdurchführung • Protokollierung der Aktionen und Eingabe (Text und/oder Bilddateien) • Prüfungsauswertung • Nachvollziehbarkeit der Punkteermittlung, • Möglichkeit zur Vergabe von Sonderpunkten • Nachkorrektur • Prüfungseinsicht IBH: eLearning Community Treffen 03.09.2009 / 27
- 28. Problematik: Täuschungsmöglichkeiten • Abschreiben • Benutzung eines Fragepools - Individuelle Prüfung • Aufsicht • Benutzung keiner weiteren elektronischen Hilfsmittel • Fernkontrolle • Aufsicht • Absichtlicher Absturz ohne Folgen • Klare Abläufe und Richtlinien • Nachvollziehbarkeit der Prüfung in den Logfiles IBH: eLearning Community Treffen 03.09.2009 / 28
- 29. E-Assessment @ UZH IBH:eLearning Community Treffen 03.09.2009 / 29
- 30. Projekt «E-Assessment» Beschluss derUniversitätsleitung vom 4. Oktober 2007 (Auszug Protokoll der Sitzung der Universitätsleitung) • Die Universitätsleitung stimmt der Variante C (Einführung eines universitätsweiten E-Assessment Prozesses) grundsätzlich zu, bringt aber folgenden Kautelen an: • Die Variante B (Supportzentrum, Medienbruch Papier/Computer) soll als mögliche Langfristlösung offen bleiben) • Das E-Assessment darf keinesfalls als Rechtfertigung für vermehrte Multiple-Choice-Prüfungen dienen. IBH: eLearning Community Treffen 03.09.2009 / 30
- 31. E-Assessment-Projekt: 3 Phasen Betriebsphase: «Überführen in den Betrieb» Umsetzungsphase (2-4 Jahre): • Aus- und Aufbau einer geeigneten IT- und Rauminfrastruktur • Implementieren und Testen der Erweiterungen bei strategischen Werkzeuge (OLAT, Modulbuchung usw.) • Bekanntmachung und Umsetzung der Dienstleistungskonzepte Entscheid der Universitätsleitung über weitere Finanzierung Entscheidungsphase (2-3 Jahre): • Durchführung von Pilotprojekten • Ausarbeitung der Spezifikationen für Werkzeuge und Schnittstellen Finanzierung • Ausarbeitung eines Konzepts für ein E-Assessment-Zentrum 2008 - 2011 • Ausarbeitung Betriebs- und Dienstleistungskonzept • Kostenschätzung für Umsetzung- und Betriebsphase Heute: • OLAT ist als Learning Management System an der UZH etabliert • Durchführung von einzelnen Pilotprojekten (mit OLAT) • Keine eLearning Community Infrastruktur (Raum, Hardware, Software, Schnittstellen) IBH: ausreichende Treffen 03.09.2009 / 31
- 32. Verschiedene Durchführungsvarianten Möglich- Räumlich- Hardware Finanzen Monitor Netzwerk keiten keiten Computer- Computer- 1 bestehend Monitor LAN räume räume Desktop Neue 2 Kauf Monitor LAN Computer Räume 3 Thin Client Kauf Monitor Hörsaal LAN Laptops / 4 Miete integriert Hörsaal WLAN Tablet PC 5 Laptops Student integriert Hörsaal LAN 6 Laptops Kauf integriert Hörsaal LAN IBH: eLearning Community Treffen 03.09.2009 / 32
- 33. Pilotprojekte @ UZH Zeitpunkt Lehrveranstaltung Ansprechpartner Anzahl Studierende SS 2005 Allgemeine Pathologie Prof. Pospischil 70 SS 2006 Mikrobiologie Dr. Hanselmann 80 Allgemeine Pathologie Prof. Pospischil 70 SS 2007 Mikrobiologie Dr. Hanselmann 80 Allgemeine Pathologie Prof. Pospischil 70 FS 2008 Mikrobiologie Dr. Hanselmann 80 Allgemeine Pathologie Prof. Pospischil 70 FS 2009 Weiterbildung Dr. Fritsch 24 Arbeitsrecht eCF Valuation Peter Lautenschlager 140 ISB Fixed Income Prof. Hens 60 Markets Allgemeine Pathologie Prof. Pospischil 70 8-%)*+-9,&(,",-.":;<%#,%-=&,-6&(-=,%->)61<(,"-=<"*+#,;:+"( 9<"=,%?-$@,"-%&*+(-/,%("$7-<%(,"'(:(/(-9<"=,%
- 34. UZH Pilot-Projekte • E-Assessment in der Veterinärmedizin seit SS 2005 • OLAT als Prüfungssoftware • Multiple-Choice Fragen • Benutzung eines Apple Mobile Classroom in einem Hörsaal • E-Assessment am Institut für schweizerisches Bankwesen • OLAT als Prüfungssoftware • MC-Fragen und MS Excel • Automatische Auswertung der Excel-Dateien mittels Makro- Programmierung um auch noch Teilpunkte vergeben zu können • 130 Laptops wurden gekauft für die Durchführung IBH: eLearning Community Treffen 03.09.2009 / 34
- 35.
- 36. Beispiel: «Allgemeine Pathologie» IBH: eLearningCommunity Treffen 03.09.2009 / 36
- 37. Beispiel: «Allgemeine Pathologie» IBH: eLearningCommunity Treffen 03.09.2009 / 37
- 38. Beispiel: «Allgemeine Pathologie» IBH: eLearningCommunity Treffen 03.09.2009 / 38
- 39. «Allgemeine Pathologie»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 39
- 40. «Allgemeine Pathologie»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 40
- 41. «Allgemeine Pathologie»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 41
- 42. «Allgemeine Pathologie»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 42
- 43.
- 44.
- 45. eCF Valuation: Räumlichkeiten FG"'$$7-6&(-HIJ-K&(/17L(/,% IBH: eLearning Community Treffen 03.09.2009 / 45
- 46. eCF Valuation: Backup Raum IBH:eLearning Community Treffen FG"'$$7-6&(-MN-K&(/17L(/,% 03.09.2009 / 46
- 47. eCF Valuation: Sichtschutz IBH: eLearningCommunity Treffen 03.09.2009 / 47
- 48. eCF Valuation: Aufbau IBH: eLearningCommunity Treffen 03.09.2009 / 48
- 49. eCF Valuation: Bereit fürdie Durchführung IBH: eLearning Community Treffen 03.09.2009 / 49
- 50. eCF Valuation: Einlasskontrolle IBH: eLearningCommunity Treffen 03.09.2009 / 50
- 51. UZH Legitimationsausweis IBH: eLearning CommunityTreffen 03.09.2009 / 51
- 52. eCF Valuation: Einlass IBH: eLearningCommunity Treffen 03.09.2009 / 52
- 53. eCF Valuation: Personalisierte Prüfungsunterlagen IBH: eLearningCommunity Treffen 03.09.2009 / 53
- 54. eCF Valuation: Durchführung IBH: eLearningCommunity Treffen 03.09.2009 / 54
- 55. eCF Valuation: Abgabe IBH: eLearningCommunity Treffen 03.09.2009 / 55
- 56. eCF Valuation: Zwei Gruppen IBH:eLearning Community Treffen 03.09.2009 / 56
- 57. «Corporate Finance»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 57
- 58. «Corporate Finance»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 58
- 59. «Corporate Finance»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 59
- 60. «Corporate Finance»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 60
- 61. «Corporate Finance»: Studierenden-Befragung IBH: eLearningCommunity Treffen 03.09.2009 / 61
- 62. E"$#,%O >)"%,7&$-P:=,7 *)"%,7&$Q"<,=,7R$**,''Q</+Q*+ A7)#B-+((1BSS;)"'*+<%#Q1"<,;<%#Q%,(S