SlideShare ist ein Scribd-Unternehmen logo
1 von 94
Downloaden Sie, um offline zu lesen
Chancen und Fallstricke bei der Einführung von E-
Assessments an der Universität

Karsten D. Wolf
Fachbereich 12
Didaktische Gestaltung multimedialer Lernumgebungen

eBologna – eStrategien an den Fakultäten
Friday Lectures, WiSe 2007/08 14.12.2007
Universität Wien




                                                      © Karsten D. Wolf 2007
Agenda

 • Notwendigkeiten & Trends
 • Haken & Ösen
 • Chancen & Ausblicke


 • Implementation
 • Organisation
 • TestCenter


 • Gender Mainstreaming
 • Empfehlungen


                          Karsten D. Wolf ©2007
Umstellung
Bachelor-/Master-
Struktur




  by: CarbonNYC     © Karsten D. Wolf 2007
We want
credit points!




                 © Karsten D. Wolf 2007
Quelle: Johannes Hartig & Nina Jude 2007, S.30




                                                 © Karsten D. Wolf 2007
© Karsten D. Wolf 2007
http://tinyurl.com/2esxkd
   Martin Ripley 2006

                            © Karsten D. Wolf 2007
mündliche
                            und „alternative“
                            Prüfungsformate?




http://tinyurl.com/2esxkd
   Martin Ripley 2006

                                © Karsten D. Wolf 2007
mündliche
                            und „alternative“
                            Prüfungsformate?




http://tinyurl.com/2esxkd
   Martin Ripley 2006

                                © Karsten D. Wolf 2007
+



    © Karsten D. Wolf 2007
Pro und contra: Studenten

• Sofortige Bereitstellung des             • Benachteiligung von Personen mit
                                             geringerer Computerkompetenz
  Prüfungsergebnisses
                                             (digital literacy, 10-Finger-
                                             Schreiben)
• Objektive, transparente und
  fehlerfreie Klausurbewertung
                                           • Benachteiligung von Personen mit
                                             negativer Einstellung zu
• differenziertes Feedback
                                             Computern

• vereinfachte Vorbereitung durch
                                           • Probleme bei der Konzentration
  online-Training unter Verwendung
                                             (Computermonitor, Lüfterlärm,
  der gleichen Fragenkataloge
                                             Tastaturgeklapper…) ➙ Stress?


                                           • Datenschutz?
                     in Anlehnung an Bücking / Schwedes 2005
                                                                 © Karsten D. Wolf
Akzeptanz durch Studierende: Benutzbarkeit




               Bücking / Schwedes (2005)
                                           © Karsten D. Wolf
Akzeptanz durch Studierende: Raum




                                           - Lüftung
                                           - Lautstärke
                                           - Temperatur
                                           - Platzangebot



               Bücking / Schwedes (2005)
                                                 © Karsten D. Wolf
Akzeptanz durch Studierende: Rückmeldung



                                   35,5% Generelle
                                   Zustimmung

                                   4% Totalablehnung

                                   Achtung: FB WiWi


               Bücking / Schwedes (2005)
                                             © Karsten D. Wolf
Pro und contra: Lehrende / Prüfungsautor(inn)en

• Enorme Arbeitsentlastung durch           • Hoher Initialaufwand zur
  automatische Auswertungsverfahren          Digitalisierung vorhandener Fragen
  & Verwaltung                               und Aufbau eines hinreichend
                                             großen Fragenkataloges
• Effiziente Unterstützung bei
                                           • Prüfungsdesign wird durch
  Freitextfragen-Korrektur
                                             Technik beschränkt
• Wiederverwendbare und
  „kollaborative“ Fragenkataloge           • technische
                                             Manipulationsmöglichkeiten
                                             (während und vor der Prüfung)
• Qualitätssicherung und -
  verbesserung



                     in Anlehnung an Bücking / Schwedes 2005
                                                                   © Karsten D. Wolf
Pro und contra: Prüfungsverwaltung

• Vereinfachte                            • Initiale Zusatzbelastung durch
  Organisationsabläufe durch Im-            Umstellung auf neue Arbeitsabläufe
  und Export von
                                          • Rechtliche Absicherung
  • Teilnehmer(innen)listen und
                                          • Durchführungsorganisation
  • Ergebnissen
                                          • Datenschutz & -sicherheit
 zwischen
 Prüfungsverwaltungssoftware
 (FlexNow!) und Prüfungssoftware




                    in Anlehnung an Bücking / Schwedes 2005
                                                                 © Karsten D. Wolf
Pro und contra: Allgemein

• Kosteneinsparung                         • Stabilität & Zuverlässigkeit


• Mögliche Erstellung komplexer            • Qualitätsverlust des Studiums
  und interaktiver Fragen durch              durch reine Wissenstests
  Multimediaelemente




                     in Anlehnung an Bücking / Schwedes 2005
                                                                   © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Simulationsrechnungen: Wann lohnt es?




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Vergleich der drei Szenarien: Break-Even




              Bücking (2006) / ZMML Uni Bremen
                                                 © Karsten D. Wolf
Durchführung: Wer ist beteiligt?

• Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter)
• Aufsichtskräfte (Lehrstühle)
• Verwaltung (Prüfungsamt)


• Editoren für E-Aufgaben (Lehrstühle      zentrale Einrichtung)

• E-Assessment Beauftragte (Fachbereiche)
• E-Learning Support (zentrale Einrichtung)




                                                                   © Karsten D. Wolf
Lehrkräfte / Autor(inn)en

• Entwicklung
  • Fragen
  • Antworten
  • Distraktoren
  • Beurteilungsschema
• Qualitätskontrolle
  • Fragen
  • Umsetzung der Fragen
• Endgültige Abnahme des Fragenkataloges
• Analyse und Überarbeiten der Fragen nach Klausuren


                                                       © Karsten D. Wolf
Lehrkräfte / Autor(inn)en

• Entwicklung

                                Woh
  • Fragen

                            diese er ko
  • Antworten

                                          mmt
                                 Qual
  • Distraktoren

                                      ifika
  • Beurteilungsschema

                                            tion?
• Qualitätskontrolle
  • Fragen
  • Umsetzung der Fragen
• Finales Absegnen des Fragenkataloges
• Analyse und Überarbeiten nach Klausuren


                                             © Karsten D. Wolf
© Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio




               © Karsten D. Wolf 2007
© Karsten D. Wolf 2007
Alternative Assessment




               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren




               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio




               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about




                 © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about
Learning by Assessment



               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about
Learning by Assessment
Learning by Design


               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about
Learning by Assessment
Learning by Design
Learning by Assessing

               © Karsten D. Wolf 2007
Alternative Assessment
Formative Verfahren
E-Portfolio

Learning about
Learning by Assessment
Learning by Design
Learning by Assessing
Learning to be
               © Karsten D. Wolf 2007
Quelle: Falko Rheinberg


                          © Karsten D. Wolf 2007
Innovationsbereiche beim E-Assessment

• Simulation
  • Realitätsnähe
  • Feedbackkomponenten
  • Explorationsmöglichkeiten
• Automatisierte Bewertung von Essays
• Data Mining der Lösungsprozesse von Experten zur Erstellung von
  K.modellen / -profilen.
• Autorenwerkzeuge für fachspezifische Tests/Sims
• Einbindung in E-Portfolios
• Kompetenzmessung in Gruppen



                                                             © Karsten D. Wolf
Innovationsbereiche beim E-Assessment

• Verbesserung der Messmodelle (Rasch Skalierung)
• Tests werden in den Lehr-Lern-Prozess integriert
• Transfer wird durch authentische Aufgaben erleichtert
• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht
  werden
• Keine speziellen Prüfungen mehr notwendig
• Durch Testbänke keine festen Prüfungstermine mehr
• Kombination in Form von Blended Assessment




                                                              © Karsten D. Wolf
© Karsten D. Wolf 2007
Collegiate Learning Assessment
(Klein / Benjamin / Shavelson / Bolus 2007)




                 http://www.cae.org/content/pro_collegiate.htm
                                                                 © Karsten D. Wolf
E-Selection / E-Recruitment & Recrutainment

• Auswahlverfahren für BA und MA

•   Uni Bremen WiSe 2006: 2355 Studienanfänger
❖ wachsende Anzahl von Master-Studiengänge




                                                 © Karsten D. Wolf
© Karsten D. Wolf 2007
Implementation




                 © Karsten D. Wolf 2007
Neue Personen

• Editoren
  • Entwicklung Fragevorlagen
  • Umsetzung der Fragen in Editor
  • Qualitätskontrolle
  • Fragekatalog pflegen
• E-Assessment Beauftragte
  • Projektmanagement (120 Tage Vorlauf!)
  • Administration des E-Assessment-Servers (mandantenfähig)
  • Einweisung Autoren, Editoren und Aufsichtspersonal
  • Testläufe organisieren


                                                               © Karsten D. Wolf
Änderungen für bestehende Rollen

• Verwaltung (Prüfungsamt)
  • Administration der Prüfungen im System (Buchungen, Termine)
  • Anpassung des Materials für die Durchführung von Examen
  • Archivierung der Examensdaten
     • Resultate
     • Protokolle
     • Logfiles
• Aufsichtspersonal
  • Vorbereitung der PC-Pools
  • Technische Assistenz und Problembehebung


                                                              © Karsten D. Wolf
Fülle von Arbeitsplänen: Überblick




              Bücking (2006) / ZMML Uni Bremen
                                                 © Karsten D. Wolf
Arbeitsplan „Lehrstuhl“:
Fragenkatalog erstellen




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
Arbeitsplan „Prüfungsamt“:
Vorbereitung eines E-Examens




            Bücking (2006) / ZMML Uni Bremen
                                               © Karsten D. Wolf
Beispiel: eExaminations an der Uni Bremen

• Dezember 2004 - April 2006
• 14 E-Examen (11 in BWL/WiWi)
• 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962)
• ø 20 PCs pro Raum (10–54)
• ø 24 Wiederholungen / Examen (5–64)
• Max. 7 Räume / Tag und 6 „Slots“ pro Tag
• Hoher Organisations-Overhead




                          Quelle: ZMML Uni Bremen
                                                         © Karsten D. Wolf
Beispiel: Durchführungsplan




             Bücking (2006) / ZMML Uni Bremen
                                                © Karsten D. Wolf
30            30




           30            30




ZMML Uni Bremen - Realisierung WiSe 2007
                                           © Karsten D. Wolf 2007
PC-Pool oder E-Testcenter?

• Starke Reduzierung der Aufsichtsstunden
• Höhere Sicherheit
• Autonome LANs
• Arbeitsabläufe können optimiert werden
• Leichtere Unterstützung z.B. von Simulationen als Testumgebung
• Ggf. Nutzung für Forschungsfragen
• Rückkehr zum „alten“ CIP-Pool?
• Nutzung außerhalb der Prüfungszeiten?




                                                             © Karsten D. Wolf
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
E-Learning Support: ZMML Uni Bremen

• E-Assessment als Dienst einführen und anbieten
• Beratung und Training der beteiligten Personen
• Technische Vorbereitung der PC-Pools
• Anbindung an andere IT-Dienste
• Zusammenarbeit mit Softwarefirma (Anpassung)
• Notfallteam für die Dauer der Prüfungsperiode zusammenstellen


• Implementation zunächst nur mit einem Fachbereich
• Kooperation mit einer Softwarefirma




                                                              © Karsten D. Wolf
Testumgebung L-Plus




                      © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
L-Plus Demo (www.lplus.de)
                             © Karsten D. Wolf 2007
Komplexere Aufgabe




            Bücking (2006) / ZMML Uni Bremen
                                               © Karsten D. Wolf
Zusammenfassung: Wann ist das sinnvoll?

• Mehr als 300 Kandidaten pro Prüfung
• Mehr als 50 Rechner pro Raum
• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)
• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen


• mögliche Alternative: Scanlösung Paper&Pencil MC Test


• Alternativen: Kooperation von Autorinnen und Autoren
• Alternativen: (Vor-)Erstellung von Items durch Studierende




                                                               © Karsten D. Wolf
Gender Mainstreaming von eAssessment?




                                        © Karsten D. Wolf 2007
American Airlines, ca. April 2007
Gender spezifische
Computer Einstellungen und Fertigkeiten




                    nach Whitley 1997
PISA 2003 - Gender Differences


                                Mädchen   Jungen
           Computerspiele        35%       70%
         Software runterladen    25%       51%
          Musik runterladen      40%       56%
        Informationen suchen     50%       59%
           Zusammenarbeit        27%       36%
           Kommunikation         55%       56%
            Programmieren        16%       30%
         Graphikprogramme        26%       34%
          Tabellenkalkulation    18%       24%
           Textverarbeitung      49%       48%
Keine Unterschiede der Internet Expertise

      computer expertise              computer usage




     internet expertise               internet usage




                      n=108 (Wolf 2007)
Evaluation der Lernumgebung
                                        Wisse wie…
      Kompliziert




                                     Schaue mehr
        Spaß                       andere Arbeiten an




                    n=108 (Wolf 2007)
Prozessunterschiede:
Kommunikation




                n=36 (Wolf/Prasser 2006)
So wie das Internet eine Alltagstechnologie wird…




                Pew Institute 2005
Gender-sensitive Sprache und Lernmaterial
(Auszug aus Pravda 2003)

• Sexistische Sprache vermeiden / austauschen

• In Beispielen Gender und deren Reihenfolge abwechseln

• Möglichst Gender-neutrale Begriffe verwenden

• Inhalte aus mehreren Perspektiven beschreiben

• Lebenserfahrung beider Gender integrieren

• Gender Hierarchien und Stereotype entfernen

• Neue Rollenmodelle für beide Gender anbieten
Zusammenfassung: Erfahrungen bisher

• Entlastung und Verbesserung
• Uni Bremen als Vorreiterin
• Dauerhaftes Thema an Hochschulen (Trend)
• Technische und organisatorische Professionalisierung
• Verstetigung statt Pilotprojekte
• Hohes Innovationspotenzial für Hochschullehre
• Aktuelles Forschungsthema
• TestCenter bietet ideale Voraussetzungen




                                                         © Karsten D. Wolf
FB 12 Erziehungs- und Bildungswissenschaften
                                Didaktische Gestaltung
                        multimedialer Lernumgebungen


http://www.ifeb.uni-bremen.de/wolf


      wolf@uni-bremen.de


http://www.zmml.uni-bremen.de/
Literaturempfehlungen

                        Thomas M. Haladyna (2004).
                        Developing and Validating Multiple-
                        Choice Test Items. Lawrence
                        Erlbaum Associates.

                        Steven M. Downing & Thomas M.
                        Haladyna (2006). Handbook of Test
                        Developing. Lawrence Erlbaum
                        Associates.

                        Jürgen Rost (2004). Lehrbuch
                        Testtheorie – Testkonstruktion.
                        Huber.




                                               © Karsten D. Wolf
Literaturempfehlungen

                        Trevor G. Bond & Christine M. Fox
                        (2007) Applying The Rasch Model.
                        Lawrence Erlbaum Associates.



                        Mark Wilson (2005). Constructing
                        Measures. Lawrence Erlbaum
                        Associates.



                        Albert Maydeu-Olivares & John J.
                        McArdle (2005). Contemporary
                        Psychometrics. Lawrence Erlbaum
                        Associates.


                                               © Karsten D. Wolf

Weitere ähnliche Inhalte

Andere mochten auch

Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDevTemoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDevSilverDev by Experia
 
Conférence Opcalia - 6 octobre 2011
Conférence Opcalia - 6 octobre 2011Conférence Opcalia - 6 octobre 2011
Conférence Opcalia - 6 octobre 2011proetco
 
Extraits de textes Jacques Varlot
Extraits de textes Jacques VarlotExtraits de textes Jacques Varlot
Extraits de textes Jacques Varlotdel2206
 
Bremen 2008 Elternverein Weidendamm Throw Away Your Television
Bremen 2008 Elternverein Weidendamm Throw Away Your TelevisionBremen 2008 Elternverein Weidendamm Throw Away Your Television
Bremen 2008 Elternverein Weidendamm Throw Away Your TelevisionKarsten D. Wolf
 
Gruausdemallvomgotteli
GruausdemallvomgotteliGruausdemallvomgotteli
GruausdemallvomgotteliAxel Thiel
 
Swiss Cloud Conference 2014: die Folgen des Konkurses des Cloud Anbieters
Swiss Cloud Conference 2014: die Folgen des Konkurses des Cloud AnbietersSwiss Cloud Conference 2014: die Folgen des Konkurses des Cloud Anbieters
Swiss Cloud Conference 2014: die Folgen des Konkurses des Cloud Anbieterstopsoft - inspiring digital business
 
Une revolution en_marche
Une revolution en_marcheUne revolution en_marche
Une revolution en_marchedesintocx
 
Connectivity Präsentation
Connectivity PräsentationConnectivity Präsentation
Connectivity Präsentationfiebigc
 
Atélier des phrases
Atélier des phrasesAtélier des phrases
Atélier des phrasesMeBeasley
 
Présentation1
Présentation1Présentation1
Présentation1c_ozvan
 
Evolution de la prise en charge des PPC dans les apnées du sommeil
Evolution de la prise en charge des PPC dans les apnées du sommeilEvolution de la prise en charge des PPC dans les apnées du sommeil
Evolution de la prise en charge des PPC dans les apnées du sommeilRESEAU MORPHEE
 
Tome 4 : Pour aller plus loin
Tome 4 : Pour aller plus loinTome 4 : Pour aller plus loin
Tome 4 : Pour aller plus loinparoles d'élus
 
Opsd Endpraesentation
Opsd EndpraesentationOpsd Endpraesentation
Opsd Endpraesentationfiebigc
 
Erfolg Ausgabe Nr. 3 2015
Erfolg Ausgabe Nr. 3 2015Erfolg Ausgabe Nr. 3 2015
Erfolg Ausgabe Nr. 3 2015Roland Rupp
 
Wie man Negative scannt
Wie man Negative scanntWie man Negative scannt
Wie man Negative scanntScanCorner
 

Andere mochten auch (20)

Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDevTemoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
Temoignage SilverDev - Moderniser l’existant en RPG avec SilverDev
 
Conférence Opcalia - 6 octobre 2011
Conférence Opcalia - 6 octobre 2011Conférence Opcalia - 6 octobre 2011
Conférence Opcalia - 6 octobre 2011
 
Extraits de textes Jacques Varlot
Extraits de textes Jacques VarlotExtraits de textes Jacques Varlot
Extraits de textes Jacques Varlot
 
Finanzskandal in Brandenburg
Finanzskandal in BrandenburgFinanzskandal in Brandenburg
Finanzskandal in Brandenburg
 
Bremen 2008 Elternverein Weidendamm Throw Away Your Television
Bremen 2008 Elternverein Weidendamm Throw Away Your TelevisionBremen 2008 Elternverein Weidendamm Throw Away Your Television
Bremen 2008 Elternverein Weidendamm Throw Away Your Television
 
Presentation1
Presentation1Presentation1
Presentation1
 
Gruausdemallvomgotteli
GruausdemallvomgotteliGruausdemallvomgotteli
Gruausdemallvomgotteli
 
Swiss Cloud Conference 2014: die Folgen des Konkurses des Cloud Anbieters
Swiss Cloud Conference 2014: die Folgen des Konkurses des Cloud AnbietersSwiss Cloud Conference 2014: die Folgen des Konkurses des Cloud Anbieters
Swiss Cloud Conference 2014: die Folgen des Konkurses des Cloud Anbieters
 
Une revolution en_marche
Une revolution en_marcheUne revolution en_marche
Une revolution en_marche
 
Connectivity Präsentation
Connectivity PräsentationConnectivity Präsentation
Connectivity Präsentation
 
Atélier des phrases
Atélier des phrasesAtélier des phrases
Atélier des phrases
 
Présentation1
Présentation1Présentation1
Présentation1
 
Markov hidden
Markov hiddenMarkov hidden
Markov hidden
 
Evolution de la prise en charge des PPC dans les apnées du sommeil
Evolution de la prise en charge des PPC dans les apnées du sommeilEvolution de la prise en charge des PPC dans les apnées du sommeil
Evolution de la prise en charge des PPC dans les apnées du sommeil
 
Tome 4 : Pour aller plus loin
Tome 4 : Pour aller plus loinTome 4 : Pour aller plus loin
Tome 4 : Pour aller plus loin
 
Opsd Endpraesentation
Opsd EndpraesentationOpsd Endpraesentation
Opsd Endpraesentation
 
Français v partiel 3
Français v partiel 3Français v partiel 3
Français v partiel 3
 
Erfolg Ausgabe Nr. 3 2015
Erfolg Ausgabe Nr. 3 2015Erfolg Ausgabe Nr. 3 2015
Erfolg Ausgabe Nr. 3 2015
 
Wie man Negative scannt
Wie man Negative scanntWie man Negative scannt
Wie man Negative scannt
 
Lexique.hc.serre
Lexique.hc.serreLexique.hc.serre
Lexique.hc.serre
 

Mehr von Karsten D. Wolf

Forschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen MedienForschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen MedienKarsten D. Wolf
 
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im InternetWarum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im InternetKarsten D. Wolf
 
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 TalkWie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 TalkKarsten D. Wolf
 
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und JugendlicheErklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und JugendlicheKarsten D. Wolf
 
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...Karsten D. Wolf
 
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...Karsten D. Wolf
 
Virtualisierung von Bildungsprozessen
Virtualisierung von BildungsprozessenVirtualisierung von Bildungsprozessen
Virtualisierung von BildungsprozessenKarsten D. Wolf
 
Video communities and collectives for learning
Video communities and collectives for learningVideo communities and collectives for learning
Video communities and collectives for learningKarsten D. Wolf
 
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
Fun Games For Serious Learning?  F.R.O.G. 2012 KeynoteFun Games For Serious Learning?  F.R.O.G. 2012 Keynote
Fun Games For Serious Learning? F.R.O.G. 2012 KeynoteKarsten D. Wolf
 
Social media in higher education
Social media in higher education Social media in higher education
Social media in higher education Karsten D. Wolf
 
Lernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp BielefeldLernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp BielefeldKarsten D. Wolf
 
How Video Communities Transform Learning and Teaching
How Video Communities Transform Learning  and TeachingHow Video Communities Transform Learning  and Teaching
How Video Communities Transform Learning and TeachingKarsten D. Wolf
 
YouTube - das neue Bildungsfernsehen
YouTube - das neue BildungsfernsehenYouTube - das neue Bildungsfernsehen
YouTube - das neue BildungsfernsehenKarsten D. Wolf
 
Lernerfolg und Lernmotivation fördern mit E-Assessment
Lernerfolg und Lernmotivation fördern mit E-AssessmentLernerfolg und Lernmotivation fördern mit E-Assessment
Lernerfolg und Lernmotivation fördern mit E-AssessmentKarsten D. Wolf
 
MirandaMod: Learning with Video
MirandaMod: Learning with VideoMirandaMod: Learning with Video
MirandaMod: Learning with VideoKarsten D. Wolf
 
Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010Karsten D. Wolf
 
Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20Karsten D. Wolf
 

Mehr von Karsten D. Wolf (20)

Forschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen MedienForschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen Medien
 
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im InternetWarum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
 
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 TalkWie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
 
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und JugendlicheErklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
 
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
 
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
 
Virtualisierung von Bildungsprozessen
Virtualisierung von BildungsprozessenVirtualisierung von Bildungsprozessen
Virtualisierung von Bildungsprozessen
 
Video communities and collectives for learning
Video communities and collectives for learningVideo communities and collectives for learning
Video communities and collectives for learning
 
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
Fun Games For Serious Learning?  F.R.O.G. 2012 KeynoteFun Games For Serious Learning?  F.R.O.G. 2012 Keynote
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
 
The two sides of MOOCs
The two sides of MOOCsThe two sides of MOOCs
The two sides of MOOCs
 
ZMML
ZMMLZMML
ZMML
 
Social media in higher education
Social media in higher education Social media in higher education
Social media in higher education
 
Lernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp BielefeldLernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp Bielefeld
 
How Video Communities Transform Learning and Teaching
How Video Communities Transform Learning  and TeachingHow Video Communities Transform Learning  and Teaching
How Video Communities Transform Learning and Teaching
 
YouTube - das neue Bildungsfernsehen
YouTube - das neue BildungsfernsehenYouTube - das neue Bildungsfernsehen
YouTube - das neue Bildungsfernsehen
 
Lernerfolg und Lernmotivation fördern mit E-Assessment
Lernerfolg und Lernmotivation fördern mit E-AssessmentLernerfolg und Lernmotivation fördern mit E-Assessment
Lernerfolg und Lernmotivation fördern mit E-Assessment
 
MirandaMod: Learning with Video
MirandaMod: Learning with VideoMirandaMod: Learning with Video
MirandaMod: Learning with Video
 
Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010
 
Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20
 
Lea Dialog Bremen
Lea Dialog BremenLea Dialog Bremen
Lea Dialog Bremen
 

Chancen Fallstricke E Assessment

  • 1. Chancen und Fallstricke bei der Einführung von E- Assessments an der Universität Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen eBologna – eStrategien an den Fakultäten Friday Lectures, WiSe 2007/08 14.12.2007 Universität Wien © Karsten D. Wolf 2007
  • 2. Agenda • Notwendigkeiten & Trends • Haken & Ösen • Chancen & Ausblicke • Implementation • Organisation • TestCenter • Gender Mainstreaming • Empfehlungen Karsten D. Wolf ©2007
  • 3. Umstellung Bachelor-/Master- Struktur by: CarbonNYC © Karsten D. Wolf 2007
  • 4. We want credit points! © Karsten D. Wolf 2007
  • 5. Quelle: Johannes Hartig & Nina Jude 2007, S.30 © Karsten D. Wolf 2007
  • 6. © Karsten D. Wolf 2007
  • 7. http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 8. mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 9. mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 10. + © Karsten D. Wolf 2007
  • 11. Pro und contra: Studenten • Sofortige Bereitstellung des • Benachteiligung von Personen mit geringerer Computerkompetenz Prüfungsergebnisses (digital literacy, 10-Finger- Schreiben) • Objektive, transparente und fehlerfreie Klausurbewertung • Benachteiligung von Personen mit negativer Einstellung zu • differenziertes Feedback Computern • vereinfachte Vorbereitung durch • Probleme bei der Konzentration online-Training unter Verwendung (Computermonitor, Lüfterlärm, der gleichen Fragenkataloge Tastaturgeklapper…) ➙ Stress? • Datenschutz? in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 12. Akzeptanz durch Studierende: Benutzbarkeit Bücking / Schwedes (2005) © Karsten D. Wolf
  • 13. Akzeptanz durch Studierende: Raum - Lüftung - Lautstärke - Temperatur - Platzangebot Bücking / Schwedes (2005) © Karsten D. Wolf
  • 14. Akzeptanz durch Studierende: Rückmeldung 35,5% Generelle Zustimmung 4% Totalablehnung Achtung: FB WiWi Bücking / Schwedes (2005) © Karsten D. Wolf
  • 15. Pro und contra: Lehrende / Prüfungsautor(inn)en • Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur automatische Auswertungsverfahren Digitalisierung vorhandener Fragen & Verwaltung und Aufbau eines hinreichend großen Fragenkataloges • Effiziente Unterstützung bei • Prüfungsdesign wird durch Freitextfragen-Korrektur Technik beschränkt • Wiederverwendbare und „kollaborative“ Fragenkataloge • technische Manipulationsmöglichkeiten (während und vor der Prüfung) • Qualitätssicherung und - verbesserung in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 16. Pro und contra: Prüfungsverwaltung • Vereinfachte • Initiale Zusatzbelastung durch Organisationsabläufe durch Im- Umstellung auf neue Arbeitsabläufe und Export von • Rechtliche Absicherung • Teilnehmer(innen)listen und • Durchführungsorganisation • Ergebnissen • Datenschutz & -sicherheit zwischen Prüfungsverwaltungssoftware (FlexNow!) und Prüfungssoftware in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 17. Pro und contra: Allgemein • Kosteneinsparung • Stabilität & Zuverlässigkeit • Mögliche Erstellung komplexer • Qualitätsverlust des Studiums und interaktiver Fragen durch durch reine Wissenstests Multimediaelemente in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 18. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 19. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 20. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 21. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 22. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 23. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 24. Vergleich der drei Szenarien: Break-Even Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 25. Durchführung: Wer ist beteiligt? • Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter) • Aufsichtskräfte (Lehrstühle) • Verwaltung (Prüfungsamt) • Editoren für E-Aufgaben (Lehrstühle zentrale Einrichtung) • E-Assessment Beauftragte (Fachbereiche) • E-Learning Support (zentrale Einrichtung) © Karsten D. Wolf
  • 26. Lehrkräfte / Autor(inn)en • Entwicklung • Fragen • Antworten • Distraktoren • Beurteilungsschema • Qualitätskontrolle • Fragen • Umsetzung der Fragen • Endgültige Abnahme des Fragenkataloges • Analyse und Überarbeiten der Fragen nach Klausuren © Karsten D. Wolf
  • 27. Lehrkräfte / Autor(inn)en • Entwicklung Woh • Fragen diese er ko • Antworten mmt Qual • Distraktoren ifika • Beurteilungsschema tion? • Qualitätskontrolle • Fragen • Umsetzung der Fragen • Finales Absegnen des Fragenkataloges • Analyse und Überarbeiten nach Klausuren © Karsten D. Wolf
  • 28. © Karsten D. Wolf 2007
  • 30. © Karsten D. Wolf 2007
  • 31. Alternative Assessment © Karsten D. Wolf 2007
  • 35. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment © Karsten D. Wolf 2007
  • 36. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design © Karsten D. Wolf 2007
  • 37. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design Learning by Assessing © Karsten D. Wolf 2007
  • 38. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design Learning by Assessing Learning to be © Karsten D. Wolf 2007
  • 39. Quelle: Falko Rheinberg © Karsten D. Wolf 2007
  • 40. Innovationsbereiche beim E-Assessment • Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten • Automatisierte Bewertung von Essays • Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen. • Autorenwerkzeuge für fachspezifische Tests/Sims • Einbindung in E-Portfolios • Kompetenzmessung in Gruppen © Karsten D. Wolf
  • 41. Innovationsbereiche beim E-Assessment • Verbesserung der Messmodelle (Rasch Skalierung) • Tests werden in den Lehr-Lern-Prozess integriert • Transfer wird durch authentische Aufgaben erleichtert • Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden • Keine speziellen Prüfungen mehr notwendig • Durch Testbänke keine festen Prüfungstermine mehr • Kombination in Form von Blended Assessment © Karsten D. Wolf
  • 42. © Karsten D. Wolf 2007
  • 43. Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf
  • 44. E-Selection / E-Recruitment & Recrutainment • Auswahlverfahren für BA und MA • Uni Bremen WiSe 2006: 2355 Studienanfänger ❖ wachsende Anzahl von Master-Studiengänge © Karsten D. Wolf
  • 45. © Karsten D. Wolf 2007
  • 46. Implementation © Karsten D. Wolf 2007
  • 47. Neue Personen • Editoren • Entwicklung Fragevorlagen • Umsetzung der Fragen in Editor • Qualitätskontrolle • Fragekatalog pflegen • E-Assessment Beauftragte • Projektmanagement (120 Tage Vorlauf!) • Administration des E-Assessment-Servers (mandantenfähig) • Einweisung Autoren, Editoren und Aufsichtspersonal • Testläufe organisieren © Karsten D. Wolf
  • 48. Änderungen für bestehende Rollen • Verwaltung (Prüfungsamt) • Administration der Prüfungen im System (Buchungen, Termine) • Anpassung des Materials für die Durchführung von Examen • Archivierung der Examensdaten • Resultate • Protokolle • Logfiles • Aufsichtspersonal • Vorbereitung der PC-Pools • Technische Assistenz und Problembehebung © Karsten D. Wolf
  • 49. Fülle von Arbeitsplänen: Überblick Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 50. Arbeitsplan „Lehrstuhl“: Fragenkatalog erstellen Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 51. Arbeitsplan „Prüfungsamt“: Vorbereitung eines E-Examens Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 52. Beispiel: eExaminations an der Uni Bremen • Dezember 2004 - April 2006 • 14 E-Examen (11 in BWL/WiWi) • 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962) • ø 20 PCs pro Raum (10–54) • ø 24 Wiederholungen / Examen (5–64) • Max. 7 Räume / Tag und 6 „Slots“ pro Tag • Hoher Organisations-Overhead Quelle: ZMML Uni Bremen © Karsten D. Wolf
  • 53. Beispiel: Durchführungsplan Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 54. 30 30 30 30 ZMML Uni Bremen - Realisierung WiSe 2007 © Karsten D. Wolf 2007
  • 55. PC-Pool oder E-Testcenter? • Starke Reduzierung der Aufsichtsstunden • Höhere Sicherheit • Autonome LANs • Arbeitsabläufe können optimiert werden • Leichtere Unterstützung z.B. von Simulationen als Testumgebung • Ggf. Nutzung für Forschungsfragen • Rückkehr zum „alten“ CIP-Pool? • Nutzung außerhalb der Prüfungszeiten? © Karsten D. Wolf
  • 56. © Karsten D. Wolf 2007
  • 57. © Karsten D. Wolf 2007
  • 58. © Karsten D. Wolf 2007
  • 59. © Karsten D. Wolf 2007
  • 60. © Karsten D. Wolf 2007
  • 61. © Karsten D. Wolf 2007
  • 62. © Karsten D. Wolf 2007
  • 63. © Karsten D. Wolf 2007
  • 64. E-Learning Support: ZMML Uni Bremen • E-Assessment als Dienst einführen und anbieten • Beratung und Training der beteiligten Personen • Technische Vorbereitung der PC-Pools • Anbindung an andere IT-Dienste • Zusammenarbeit mit Softwarefirma (Anpassung) • Notfallteam für die Dauer der Prüfungsperiode zusammenstellen • Implementation zunächst nur mit einem Fachbereich • Kooperation mit einer Softwarefirma © Karsten D. Wolf
  • 65. Testumgebung L-Plus © Karsten D. Wolf 2007
  • 66. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 67. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 68. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 69. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 70. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 71. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 72. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 73. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 74. Komplexere Aufgabe Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 75. Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • mögliche Alternative: Scanlösung Paper&Pencil MC Test • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf
  • 76. Gender Mainstreaming von eAssessment? © Karsten D. Wolf 2007
  • 78.
  • 79.
  • 80.
  • 81. Gender spezifische Computer Einstellungen und Fertigkeiten nach Whitley 1997
  • 82.
  • 83. PISA 2003 - Gender Differences Mädchen Jungen Computerspiele 35% 70% Software runterladen 25% 51% Musik runterladen 40% 56% Informationen suchen 50% 59% Zusammenarbeit 27% 36% Kommunikation 55% 56% Programmieren 16% 30% Graphikprogramme 26% 34% Tabellenkalkulation 18% 24% Textverarbeitung 49% 48%
  • 84.
  • 85.
  • 86. Keine Unterschiede der Internet Expertise computer expertise computer usage internet expertise internet usage n=108 (Wolf 2007)
  • 87. Evaluation der Lernumgebung Wisse wie… Kompliziert Schaue mehr Spaß andere Arbeiten an n=108 (Wolf 2007)
  • 88. Prozessunterschiede: Kommunikation n=36 (Wolf/Prasser 2006)
  • 89. So wie das Internet eine Alltagstechnologie wird… Pew Institute 2005
  • 90. Gender-sensitive Sprache und Lernmaterial (Auszug aus Pravda 2003) • Sexistische Sprache vermeiden / austauschen • In Beispielen Gender und deren Reihenfolge abwechseln • Möglichst Gender-neutrale Begriffe verwenden • Inhalte aus mehreren Perspektiven beschreiben • Lebenserfahrung beider Gender integrieren • Gender Hierarchien und Stereotype entfernen • Neue Rollenmodelle für beide Gender anbieten
  • 91. Zusammenfassung: Erfahrungen bisher • Entlastung und Verbesserung • Uni Bremen als Vorreiterin • Dauerhaftes Thema an Hochschulen (Trend) • Technische und organisatorische Professionalisierung • Verstetigung statt Pilotprojekte • Hohes Innovationspotenzial für Hochschullehre • Aktuelles Forschungsthema • TestCenter bietet ideale Voraussetzungen © Karsten D. Wolf
  • 92. FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.zmml.uni-bremen.de/
  • 93. Literaturempfehlungen Thomas M. Haladyna (2004). Developing and Validating Multiple- Choice Test Items. Lawrence Erlbaum Associates. Steven M. Downing & Thomas M. Haladyna (2006). Handbook of Test Developing. Lawrence Erlbaum Associates. Jürgen Rost (2004). Lehrbuch Testtheorie – Testkonstruktion. Huber. © Karsten D. Wolf
  • 94. Literaturempfehlungen Trevor G. Bond & Christine M. Fox (2007) Applying The Rasch Model. Lawrence Erlbaum Associates. Mark Wilson (2005). Constructing Measures. Lawrence Erlbaum Associates. Albert Maydeu-Olivares & John J. McArdle (2005). Contemporary Psychometrics. Lawrence Erlbaum Associates. © Karsten D. Wolf