Als PDF, PPTX herunterladen
Hochgeladen vonKarsten D. Wolf
Chancen Fallstricke E Assessment
Das Dokument von Karsten D. Wolf diskutiert die Chancen und Herausforderungen bei der Einführung von E-Assessments an Universitäten, einschließlich der Akzeptanz durch Studierende und Lehrende sowie der notwendigen organisatorischen und technischen Veränderungen. Es werden Pro- und Contra-Argumente für E-Assessments aufgeführt, wie die Verbesserung der Bewertungseffizienz und die potenziellen Herausforderungen bezüglich Datenschutz und Computerkompetenz. Die Implementierung erfordert sorgfältige Planung und Schulung, um die Vorteile des digitalen Prüfungsformats zu maximieren.
![1307 18 etude rb opérateurs et culture - vf [lecture seule] [mode de compat...](https://cdn.slidesharecdn.com/ss_thumbnails/130718-etuderboprateursetculture-vflectureseulemodedecompatibilit-130910082750-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
Chancen Fallstricke E Assessment
- 1. Chancen und Fallstrickebei der Einführung von E- Assessments an der Universität Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen eBologna – eStrategien an den Fakultäten Friday Lectures, WiSe 2007/08 14.12.2007 Universität Wien © Karsten D. Wolf 2007
- 2. Agenda • Notwendigkeiten& Trends • Haken & Ösen • Chancen & Ausblicke • Implementation • Organisation • TestCenter • Gender Mainstreaming • Empfehlungen Karsten D. Wolf ©2007
- 3. Umstellung Bachelor-/Master- Struktur by:CarbonNYC © Karsten D. Wolf 2007
- 4. We want credit points! © Karsten D. Wolf 2007
- 5. Quelle: Johannes Hartig& Nina Jude 2007, S.30 © Karsten D. Wolf 2007
- 6. © Karsten D.Wolf 2007
- 7. http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
- 8. mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
- 9. mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
- 10. + © Karsten D. Wolf 2007
- 11. Pro und contra:Studenten • Sofortige Bereitstellung des • Benachteiligung von Personen mit Prüfungsergebnisses geringerer Computerkompetenz (digital literacy, 10-Finger- Schreiben) • Objektive, transparente und fehlerfreie Klausurbewertung • Benachteiligung von Personen mit negativer Einstellung zu • differenziertes Feedback Computern • vereinfachte Vorbereitung durch • Probleme bei der Konzentration online-Training unter Verwendung (Computermonitor, Lüfterlärm, der gleichen Fragenkataloge Tastaturgeklapper…) ➙ Stress? • Datenschutz? in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
- 12. Akzeptanz durch Studierende:Benutzbarkeit Bücking / Schwedes (2005) © Karsten D. Wolf
- 13. Akzeptanz durch Studierende:Raum - Lüftung - Lautstärke - Temperatur - Platzangebot Bücking / Schwedes (2005) © Karsten D. Wolf
- 14. Akzeptanz durch Studierende:Rückmeldung 35,5% Generelle Zustimmung 4% Totalablehnung Achtung: FB WiWi Bücking / Schwedes (2005) © Karsten D. Wolf
- 15. Pro und contra:Lehrende / Prüfungsautor(inn)en • Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur automatische Auswertungsverfahren Digitalisierung vorhandener Fragen & Verwaltung und Aufbau eines hinreichend großen Fragenkataloges • Effiziente Unterstützung bei Freitextfragen-Korrektur • Prüfungsdesign wird durch Technik beschränkt • Wiederverwendbare und „kollaborative“ Fragenkataloge • technische Manipulationsmöglichkeiten (während und vor der Prüfung) • Qualitätssicherung und - verbesserung in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
- 16. Pro und contra:Prüfungsverwaltung • Vereinfachte • Initiale Zusatzbelastung durch Organisationsabläufe durch Im- Umstellung auf neue Arbeitsabläufe und Export von • Rechtliche Absicherung • Teilnehmer(innen)listen und • Durchführungsorganisation • Ergebnissen • Datenschutz & -sicherheit zwischen Prüfungsverwaltungssoftware (FlexNow!) und Prüfungssoftware in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
- 17. Pro und contra:Allgemein • Kosteneinsparung • Stabilität & Zuverlässigkeit • Mögliche Erstellung komplexer • Qualitätsverlust des Studiums und interaktiver Fragen durch durch reine Wissenstests Multimediaelemente in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
- 18. Simulationsrechnungen: Wann lohntes? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 19. Simulationsrechnungen: Wann lohntes? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 20. Simulationsrechnungen: Wann lohntes? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 21. Simulationsrechnungen: Wann lohntes? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 22. Simulationsrechnungen: Wann lohntes? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 23. Simulationsrechnungen: Wann lohntes? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 24. Vergleich der dreiSzenarien: Break-Even Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 25. Durchführung: Wer istbeteiligt? • Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter) • Aufsichtskräfte (Lehrstühle) • Verwaltung (Prüfungsamt) • Editoren für E-Aufgaben (Lehrstühle ↔ zentrale Einrichtung) • E-Assessment Beauftragte (Fachbereiche) • E-Learning Support (zentrale Einrichtung) © Karsten D. Wolf
- 26. Lehrkräfte / Autor(inn)en •Entwicklung • Fragen • Antworten • Distraktoren • Beurteilungsschema • Qualitätskontrolle • Fragen • Umsetzung der Fragen • Endgültige Abnahme des Fragenkataloges • Analyse und Überarbeiten der Fragen nach Klausuren © Karsten D. Wolf
- 27. Lehrkräfte / Autor(inn)en •Entwicklung • Fragen Woh • Antworten diese er ko • Distraktoren Qual mmt • Beurteilungsschema ifika • Qualitätskontrolle • Fragen tion? • Umsetzung der Fragen • Finales Absegnen des Fragenkataloges • Analyse und Überarbeiten nach Klausuren © Karsten D. Wolf
- 28. © Karsten D.Wolf 2007
- 29. Alternative Assessment Formative Verfahren E-Portfolio © Karsten D. Wolf 2007
- 30. © Karsten D.Wolf 2007
- 31. Alternative Assessment © Karsten D. Wolf 2007
- 32. Alternative Assessment Formative Verfahren © Karsten D. Wolf 2007
- 33. Alternative Assessment Formative Verfahren E-Portfolio © Karsten D. Wolf 2007
- 34. Alternative Assessment Formative Verfahren E-Portfolio Learningabout © Karsten D. Wolf 2007
- 35. Alternative Assessment Formative Verfahren E-Portfolio Learningabout Learning by Assessment © Karsten D. Wolf 2007
- 36. Alternative Assessment Formative Verfahren E-Portfolio Learningabout Learning by Assessment Learning by Design © Karsten D. Wolf 2007
- 37. Alternative Assessment Formative Verfahren E-Portfolio Learningabout Learning by Assessment Learning by Design Learning by Assessing © Karsten D. Wolf 2007
- 38. Alternative Assessment Formative Verfahren E-Portfolio Learningabout Learning by Assessment Learning by Design Learning by Assessing Learning to be © Karsten D. Wolf 2007
- 39. Quelle: Falko Rheinberg © Karsten D. Wolf 2007
- 40. Innovationsbereiche beim E-Assessment •Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten • Automatisierte Bewertung von Essays • Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen. • Autorenwerkzeuge für fachspezifische Tests/Sims • Einbindung in E-Portfolios • Kompetenzmessung in Gruppen © Karsten D. Wolf
- 41. Innovationsbereiche beim E-Assessment •Verbesserung der Messmodelle (Rasch Skalierung) • Tests werden in den Lehr-Lern-Prozess integriert • Transfer wird durch authentische Aufgaben erleichtert • Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden • Keine speziellen Prüfungen mehr notwendig • Durch Testbänke keine festen Prüfungstermine mehr • Kombination in Form von Blended Assessment © Karsten D. Wolf
- 42. © Karsten D.Wolf 2007
- 43. Collegiate Learning Assessment (Klein/ Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf
- 44. E-Selection / E-Recruitment& Recrutainment • Auswahlverfahren für BA und MA • Uni Bremen WiSe 2006: 2355 Studienanfänger ❖ wachsende Anzahl von Master-Studiengänge © Karsten D. Wolf
- 45. © Karsten D.Wolf 2007
- 46. Implementation © Karsten D. Wolf 2007
- 47. Neue Personen • Editoren • Entwicklung Fragevorlagen • Umsetzung der Fragen in Editor • Qualitätskontrolle • Fragekatalog pflegen • E-Assessment Beauftragte • Projektmanagement (120 Tage Vorlauf!) • Administration des E-Assessment-Servers (mandantenfähig) • Einweisung Autoren, Editoren und Aufsichtspersonal • Testläufe organisieren © Karsten D. Wolf
- 48. Änderungen für bestehendeRollen • Verwaltung (Prüfungsamt) • Administration der Prüfungen im System (Buchungen, Termine) • Anpassung des Materials für die Durchführung von Examen • Archivierung der Examensdaten • Resultate • Protokolle • Logfiles • Aufsichtspersonal • Vorbereitung der PC-Pools • Technische Assistenz und Problembehebung © Karsten D. Wolf
- 49. Fülle von Arbeitsplänen:Überblick Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 50. Arbeitsplan „Lehrstuhl“: Fragenkatalog erstellen Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 51. Arbeitsplan „Prüfungsamt“: Vorbereitung einesE-Examens Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 52. Beispiel: eExaminations ander Uni Bremen • Dezember 2004 - April 2006 • 14 E-Examen (11 in BWL/WiWi) • 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962) • ø 20 PCs pro Raum (10–54) • ø 24 Wiederholungen / Examen (5–64) • Max. 7 Räume / Tag und 6 „Slots“ pro Tag • Hoher Organisations-Overhead Quelle: ZMML Uni Bremen © Karsten D. Wolf
- 53. Beispiel: Durchführungsplan Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 54. 30 30 30 30 ZMML Uni Bremen - Realisierung WiSe 2007 © Karsten D. Wolf 2007
- 55. PC-Pool oder E-Testcenter? •Starke Reduzierung der Aufsichtsstunden • Höhere Sicherheit • Autonome LANs • Arbeitsabläufe können optimiert werden • Leichtere Unterstützung z.B. von Simulationen als Testumgebung • Ggf. Nutzung für Forschungsfragen • Rückkehr zum „alten“ CIP-Pool? • Nutzung außerhalb der Prüfungszeiten? © Karsten D. Wolf
- 56. © Karsten D.Wolf 2007
- 57. © Karsten D.Wolf 2007
- 58. © Karsten D.Wolf 2007
- 59. © Karsten D.Wolf 2007
- 60. © Karsten D.Wolf 2007
- 61. © Karsten D.Wolf 2007
- 62. © Karsten D.Wolf 2007
- 63. © Karsten D.Wolf 2007
- 64. E-Learning Support: ZMMLUni Bremen • E-Assessment als Dienst einführen und anbieten • Beratung und Training der beteiligten Personen • Technische Vorbereitung der PC-Pools • Anbindung an andere IT-Dienste • Zusammenarbeit mit Softwarefirma (Anpassung) • Notfallteam für die Dauer der Prüfungsperiode zusammenstellen • Implementation zunächst nur mit einem Fachbereich • Kooperation mit einer Softwarefirma © Karsten D. Wolf
- 65. Testumgebung L-Plus © Karsten D. Wolf 2007
- 66. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
- 67. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
- 68. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
- 69. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
- 70. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
- 71. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
- 72. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
- 73. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
- 74. Komplexere Aufgabe Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
- 75. Zusammenfassung: Wann istdas sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • mögliche Alternative: Scanlösung Paper&Pencil MC Test • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf
- 76. Gender Mainstreaming voneAssessment? © Karsten D. Wolf 2007
- 77. American Airlines, ca.April 2007
- 81. Gender spezifische Computer Einstellungenund Fertigkeiten nach Whitley 1997
- 83. PISA 2003 -Gender Differences Mädchen Jungen Computerspiele 35% 70% Software runterladen 25% 51% Musik runterladen 40% 56% Informationen suchen 50% 59% Zusammenarbeit 27% 36% Kommunikation 55% 56% Programmieren 16% 30% Graphikprogramme 26% 34% Tabellenkalkulation 18% 24% Textverarbeitung 49% 48%
- 86. Keine Unterschiede derInternet Expertise computer expertise computer usage internet expertise internet usage n=108 (Wolf 2007)
- 87. Evaluation der Lernumgebung Kompliziert Wisse wie… Schaue mehr Spaß andere Arbeiten an n=108 (Wolf 2007)
- 88. Prozessunterschiede: Kommunikation n=36 (Wolf/Prasser 2006)
- 89. So wie dasInternet eine Alltagstechnologie wird… Pew Institute 2005
- 90. Gender-sensitive Sprache undLernmaterial (Auszug aus Pravda 2003) • Sexistische Sprache vermeiden / austauschen • In Beispielen Gender und deren Reihenfolge abwechseln • Möglichst Gender-neutrale Begriffe verwenden • Inhalte aus mehreren Perspektiven beschreiben • Lebenserfahrung beider Gender integrieren • Gender Hierarchien und Stereotype entfernen • Neue Rollenmodelle für beide Gender anbieten
- 91. Zusammenfassung: Erfahrungen bisher •Entlastung und Verbesserung • Uni Bremen als Vorreiterin • Dauerhaftes Thema an Hochschulen (Trend) • Technische und organisatorische Professionalisierung • Verstetigung statt Pilotprojekte • Hohes Innovationspotenzial für Hochschullehre • Aktuelles Forschungsthema • TestCenter bietet ideale Voraussetzungen © Karsten D. Wolf
- 92. FB 12 Erziehungs-und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.zmml.uni-bremen.de/
- 93. Literaturempfehlungen Thomas M. Haladyna (2004). Developing and Validating Multiple- Choice Test Items. Lawrence Erlbaum Associates. Steven M. Downing & Thomas M. Haladyna (2006). Handbook of Test Developing. Lawrence Erlbaum Associates. Jürgen Rost (2004). Lehrbuch Testtheorie – Testkonstruktion. Huber. © Karsten D. Wolf
- 94. Literaturempfehlungen Trevor G. Bond & Christine M. Fox (2007) Applying The Rasch Model. Lawrence Erlbaum Associates. Mark Wilson (2005). Constructing Measures. Lawrence Erlbaum Associates. Albert Maydeu-Olivares & John J. McArdle (2005). Contemporary Psychometrics. Lawrence Erlbaum Associates. © Karsten D. Wolf