SlideShare ist ein Scribd-Unternehmen logo
Lernerfolg und Lernmotivation fördern
       mit E-Assessment?
       Karsten D. Wolf
       Fachbereich 12
       Didaktische Gestaltung multimedialer Lernumgebungen
       Universität Bremen
       Assessment drives learning • ELT TU Wien 8.04.2011




                                                             cc Karsten D. Wolf
Mittwoch, 20. April 2011
Agenda

           Washback Effekt von EAssessment +
           wie kann man Studierende durch gute EAssessments
           zum Lernen motivieren?
           Kompetenzmodelle und ihre Umsetzung per EAssessment
           Fehler bei EAssessments vermeiden
           Good Practice bei EAssessment Items Erstellung
           Akzeptanz von EAssessments
           Implementation an der Uni Bremen - Kosten und Benefits


                                                            cc Karsten D. Wolf
Mittwoch, 20. April 2011
Washback Effekt:
       Prüfungen bestimmen das Lernverhalten!




                                            cc Karsten D. Wolf
Mittwoch, 20. April 2011
Washback Effekt:

   Schwierigkeit einer Klausur über Menge an Wissen
   zu regulieren führt zu flachem Bulemie Lernen
   … Ebbinghaus

   Reine Wissenstests können die eigene Lehrver-
   anstaltung unterminieren

   …positive Washback Effekte sind ebenfalls möglich

   Verständnisorientiertes Lernen belohnen



                                                   cc Karsten D. Wolf
Mittwoch, 20. April 2011
Ausgangsfrage:
    Ist es möglich, auch höhere Taxonomiestufen
    mit geschlossenen Aufgabenformaten zu testen?


                                                                             Erzeugen
                                                                     Evaluieren
                                                             Analysieren
                                                     Anwenden
                                              Verstehen
                                     Erinnern
                           Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy   cc by Karsten D. Wolf
Mittwoch, 20. April 2011
1. Erinnern
       • Wiedererkennen / Identifizieren

       • Abrufen / Wiederfinden




                                          cc Karsten D. Wolf
Mittwoch, 20. April 2011
Überarbeitete Bloom‘sche Taxonomie der Lernziele




                                       Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001).
                                         A taxonomy for learning, teaching and assessing:
                           A revision of Bloom's Taxonomy of educational objectives: Abridged edition,
                                                     New York : Longman.


                                                                                                    cc by Karsten D. Wolf
Mittwoch, 20. April 2011
2. Verstehen
       •        Interpretieren / Klären / Darstellen
       •        Exemplifizieren / Beispiele geben
       •        Klassifizieren / Kategorisieren
       •        Zusammenfassen / Generalisieren
       •        Ableiten / Folgern / Prognostizieren
       •        Vergleichen / Zuordnen / Kontrastieren
       •        Erklären / Modelle konstruieren

                                                    cc Karsten D. Wolf
Mittwoch, 20. April 2011
Problem:
    Aufgabenschwierigkeiten über
    Wissensmenge regulieren




                                                     Anwenden
                                              Verstehen
                                     Erinnern
                           Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy   cc by Karsten D. Wolf
Mittwoch, 20. April 2011
Problem:
    Aufgabenschwierigkeiten über
    Wissensmenge regulieren




                                                    selten gebrauchtes Wissen
                                                     Anwenden
                                              Verstehen
                                     Erinnern
                           Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy   cc by Karsten D. Wolf
Mittwoch, 20. April 2011
Problem:
    Aufgabenschwierigkeiten über
    Wissensmenge regulieren




                                       äußerst selten gebrauchtes Wissen
                                                    selten gebrauchtes Wissen
                                                     Anwenden
                                              Verstehen
                                     Erinnern
                           Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy   cc by Karsten D. Wolf
Mittwoch, 20. April 2011
Problem:
    Aufgabenschwierigkeiten über
    Wissensmenge regulieren




         äußerst selten gebrauchtes, irrelevantes Wissen
                                       äußerst selten gebrauchtes Wissen
                                                    selten gebrauchtes Wissen
                                                     Anwenden
                                              Verstehen
                                     Erinnern
                           Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy   cc by Karsten D. Wolf
Mittwoch, 20. April 2011
Problem:
    Aufgabenschwierigkeiten über
    Wissensmenge regulieren


                                                                   obskures Wissen
         äußerst selten gebrauchtes, irrelevantes Wissen
                                       äußerst selten gebrauchtes Wissen
                                                    selten gebrauchtes Wissen
                                                     Anwenden
                                              Verstehen
                                     Erinnern
                           Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy   cc by Karsten D. Wolf
Mittwoch, 20. April 2011
Konkret:
    Geschlossen auf hohen Taxonomiestufen prüfen?


                                                                             Erzeugen
                                                                    Evaluieren
                                                           Analysieren
                                                    Anwenden
                                              Verstehen
                                     Erinnern
                           Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy   cc by Karsten D. Wolf
Mittwoch, 20. April 2011
3. Anwenden
       • Ausführen / Durchführen

       • Anwendung / Gebrauch




                                   cc Karsten D. Wolf
Mittwoch, 20. April 2011
4. Analysieren
       • Differenzieren / Unterscheiden

       • Organisieren / Strukturieren

       • Zuordnen / Zerlegen




                                          cc Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
5. Evaluieren
       • Überprüfen / Kontrollieren

       • Kritisieren / Urteilen




                                      cc Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
6. Erzeugen
       • Generieren / Hypothesen bilden

       • Planen / Entwerfen

       • Produzieren / Konstruieren




                                          cc Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
© Karsten D. Wolf
Mittwoch, 20. April 2011
Dimensionen des Wissens
       • Faktenwissen

       • Konzeptuelles Wissen

       • Prozedurales Wissen

       • Meta-Kognitives Wissen



                                  cc Karsten D. Wolf
Mittwoch, 20. April 2011
Konkret:
     Geschlossen auf hohen Taxonomiestufen prüfen?


     •     Analyse der realen Tätigkeitsfelder in Wissenschaft und
           Praxis
     •     authentische Materialsammlung
     •     Einsatz von Softwareumgebungen (z.B. R, Mathcad)

     •     ggf. teilautomatisierte Auswertung von Kurztexten



                           Erinnern
                                                         cc by Karsten D. Wolf
Mittwoch, 20. April 2011
3. Semester Bachelor

                           Produktionstechnik +
                           WiIng

                           2 SWS (keine Übung)
                           2CP

                           Modul mit
                           Fertigungstechnik und
                           Arbeits- und
                           Betriebswissenschaft

                           WS 2010/2011: 350
                           Studierende




                                                   © Karsten D. Wolf
Mittwoch, 20. April 2011
Konzeptwissen A (Organisatorisch)
                                      reproduzieren




                           Hofmeister 2005: Klassifikationsmatrix zum
                               Ulme* Kompetenzstufenmodell
                               * Untersuchung der Leistungen, Motivation, Einstellungen



                                                                                          © Karsten D. Wolf
Mittwoch, 20. April 2011
Konzeptwissen A (Organisatorisch)
                                      reproduzieren




                           Hofmeister 2005: Klassifikationsmatrix zum
                               Ulme* Kompetenzstufenmodell
                               * Untersuchung der Leistungen, Motivation, Einstellungen



                                                                                          © Karsten D. Wolf
Mittwoch, 20. April 2011
Konzeptwissen A (Organisatorisch)
                                      reproduzieren




                           Hofmeister 2005: Klassifikationsmatrix zum
                               Ulme* Kompetenzstufenmodell
                               * Untersuchung der Leistungen, Motivation, Einstellungen



                                                                                          © Karsten D. Wolf
Mittwoch, 20. April 2011
Konzeptwissen A (Organisatorisch)
                                      reproduzieren




                           Hofmeister 2005: Klassifikationsmatrix zum
                               Ulme* Kompetenzstufenmodell
                               * Untersuchung der Leistungen, Motivation, Einstellungen



                                                                                          © Karsten D. Wolf
Mittwoch, 20. April 2011
Konzeptwissen A (Organisatorisch)
                                    reproduzieren




                           Prof. Dr. Lutz Mädler | Uni Bremen

                                                                © Karsten D. Wolf
Mittwoch, 20. April 2011
Konzeptwissen A (Organisatorisch)
                                  anwenden/verstehen




                           Hofmeister 2005: Klassifikationsmatrix zum
                                Ulme Kompetenzstufenmodell



                                                                   © Karsten D. Wolf
Mittwoch, 20. April 2011
Prof. Dr. Lutz Mädler | Uni Bremen
                                                                © Karsten D. Wolf
Mittwoch, 20. April 2011
Konzeptwissen B (Verallgemeinern)
                anwenden/verstehen




                           Prof. Dr. Lutz Mädler | Uni Bremen
                                                        © Karsten D. Wolf
Mittwoch, 20. April 2011
Prozedurwissen (Techniken und Methoden)
               anwenden und verstehen




                           Prof. Dr. Lutz Mädler | Uni Bremen
                                                       © Karsten D. Wolf
Mittwoch, 20. April 2011
Fazit Prof. Dr. Lutz Mädler

          ✓ Abstimmen der Lernziele mit den
                     Prüfungsfragen
          ✓ Frage nach dem „wie“ und nicht dem „was“
          ✓ nicht „was ist korrekt?“ sondern „warum ist die
                     Antwort richtig?“
          ✓ Abbildungen nicht aus den Vorlesungen



                                                    © Karsten D. Wolf
Mittwoch, 20. April 2011
Vorteile E-Assessment (Prof. Dr. Lutz Mädler)




                                                        © Karsten D. Wolf
Mittwoch, 20. April 2011
Nachteile E-Assessment (Prof. Dr. Lutz Mädler)




                                                       © Karsten D. Wolf
Mittwoch, 20. April 2011
Motivierend prüfen:
       Verständnisorientiertes Lernen belohnen
       • Höhere Taxonomiestufen
       • Authentische Aufgaben
       • Confidence Based Marking




                                             cc Karsten D. Wolf
Mittwoch, 20. April 2011
Fehler vermeiden:
       nicht die Test Wiseness messen!




                                         cc Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test


                           The answer of this one refers to an

                           (a) overture
                           (b) mountain
                           (c) building
                           (d) misnomer



                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test: Grammatikalische Hinweise


                           The answer of this one refers to an

                           (a) an overture
                           (b) a mountain
                           (c) a building
                           (d) a misnomer



                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test


                           In which pifflerock did zorkrans inkle?

                           (a) gi hien
                           (b) gis inkle
                           (c) gish frankel
                           (d) gishen fronk



                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test: Wiederholung aus Wortstamm


                           In which pifflerock did zorkrans inkle?

                           (a) gi hien
                           (b) gis inkle
                           (c) gish frankel
                           (d) gishen fronk



                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test


                           If there where a question here,
                           which could be the correct answer?

                           (a) besiegt
                           (b) siegreich
                           (c) niedergeschlagen
                           (d) unterworfen


                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test:
       sinngleiche Antworten falsch


                           Wenn hier eine Frage stände,
                           was wäre die richtige Antwort?

                           (a) besiegt
                           (b) siegreich
                           (c) niedergeschlagen
                           (d) unterworfen


                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test


                           Hixek norfolken piffle?

                           (a) Hiku nippon ibitus
                           (b) Efil Yadlan Ruoj
                           (c) Yokon Gnithol
                           (d) Ikkek zippo unkerzotz notiaplan
                           
 hippolslumg enslife yolent


                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test: Längste Alternative


                           Hixek norfolken piffle?

                           (a) Hiku nippon ibitus
                           (b) Efil Yadlan Ruoj
                           (c) Yokon Gnithol
                           (d) Ikkek zippo unkerzotz notiaplan
                           
 hippolslumg enslife yolent


                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test



                           Dome ukerland dimmel?

                           (a) Nepal
                           (b) Canada
                           (c) Britain
                           (d) United States


                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test: Odd one out



                           Dome ukerland dimmel?

                           (a) Nepal
                           (b) Canada
                           (c) Britain
                           (d) United States


                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test



                           Die richtige Antwort ist?

                           (a) Parrallele
                           (b) Absisse
                           (c) Koordinate
                           (d) Tangennte


                                   http://www.kvhigh.com/learning/testtips.html
                                                                            © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test: Rechtschreibung



                           Die richtige Antwort ist?

                           (a) Parrallele
                           (b) Absisse
                           (c) Koordinate
                           (d) Tangennte


                                   http://www.kvhigh.com/learning/testtips.html
                                                                            © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test



                           Zarfarkle, en Ko day?

                           (a) Henkledorf
                           (b) Ricktoffen
                           (c) Ifetain
                           (d) Krator


                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness Test: Alternative 3



                           Zarfarkle, en Ko day?

                           (a) Henkledorf
                           (b) Ricktoffen
                           (3) Ifetain
                           (d) Krator


                                  http://www.kvhigh.com/learning/testtips.html
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Test Wiseness                                     Gegenmaßnahmen
            Cheat Sheet                                      ❖ Übersaturierte
                                                                          Multiple
             • Kategorische Formulierungen (immer, nie,
               …) -> Falsch                                   Choice Auswahl
             • Phrase-Repeat -> Richtig
             • Absurde / unlogische Antwort -> Falsch
                                                             ❖ „Gute“   Distraktoren
             • Präzision / Spezifizierung -> Richtig
             • Länge einer Antwort -> länger = Richtig
             • Grammatik -> Fehler = Falsch                  ❖ Distraktoren
                                                                          aus Fehlern in
             • Hinweis -> Hinweis auf die richtige Antwort
               in der Fragestellung                           offenen Durchläufen
             • Reihenfolge der Antworten -> keine Muster
             • Krumme Finger raus -> bei vielen ähnlichen
               Antworten ist die vollkommen andere
                                                             ❖ Confidence      Based Marking
               Lösung die richtige
             • Rechtschreibung / Grammatik -> Fehler
               häufiger in den Distraktoren
             • …




                                                                                       © Karsten D. Wolf
Mittwoch, 20. April 2011
Gegenmaßnahmen

       • Schulung der Autoren / Autorinnen
              • Bessere Distraktoren
              • Höhere Taxonomiestufen
       • Confidence-Based Marking (Gardner-Medwin 2006)
       • Übersaturierte Antwortauswahl per Drop-Down
       • Automatisierte oder halb-automatisierte Auswertung von offenen
         Frageformaten




                                                                      © Karsten D. Wolf
Mittwoch, 20. April 2011
Prof. Dr. Kathleen Scalise (University Oregon)
                           http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.html
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Motivierend prüfen:
       Authentisch und abwechslungsreich prüfen




                                            cc Karsten D. Wolf
Mittwoch, 20. April 2011
John Seely Brown
                                                                    Xerox Parc
                                                       Cognitive Apprenticeship




                      learning about ➙ learning to be



                           http://mitworld.mit.edu/video/419/
                                                              cc by Karsten D. Wolf
Mittwoch, 20. April 2011
Motivierend mit MC prüfen

           1.
Offenheit des Antwortformats: geschlossen bis moderat geöffnet


           2.	Auswertungsalgorithmus: automatisch


           3.
Authentizität


           4.	Medienanreicherung


           5.
Interaktivität [aufwendig/teuer]


           Gestaltungsdimensionen von Rich E-Assessment:
           Wolf/Koppel/Schwedes 2011



                                                                               cc Karsten D. Wolf
Mittwoch, 20. April 2011
Simulation




Mittwoch, 20. April 2011
Simulation




Mittwoch, 20. April 2011
Simulation




                                        © Karsten D. Wolf 2007
Mittwoch, 20. April 2011
Authentic Assessment




Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Mittwoch, 20. April 2011
Collegiate Learning Assessment
       (Klein / Benjamin / Shavelson / Bolus 2007)




                           http://www.cae.org/content/pro_collegiate.htm
                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
1                       2   3




   4                       5   6




   7                       8   9




Mittwoch, 20. April 2011
http://www.elearning2null.de/   http://www.ifeb.uni-bremen.de/thetawelle/




                                                                              cc by Karsten D. Wolf
Mittwoch, 20. April 2011
cc by Karsten D. Wolf
Mittwoch, 20. April 2011
Weitere Beispiele

       • Analyse / Debuggen von Sourcecode
       • Bewertung von Schülerlösungen
       • Analyse von Unternehmenskennzahlen
       • Bewertung von Unterrichtsentwürfen
       • Schreiben eines Analyseskriptes zur Auswertung von Daten
       • Interpretation von Laborwerten
       • Komplexe Fallstudien mit linearer Fragenabfolge
       •…




                                                                    © Karsten D. Wolf
Mittwoch, 20. April 2011
Schätzung für Universität Bremen

       • 12 Fachbereiche mit ca. 20.000 Studenten
       • Mindestens 70K - 115K Prüfungen / Semester
       • Tendenz steigend durch Umstieg auf BA/MA
              • MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis)
              • BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend,
                Zeitdruck)
              • Eigene Auswahlverfahren für Studienanfänger
       • Reduktion von 280 auf 230 Professor(inn)en
       • ca. 500 Prüfungsleistungen pro Semester pro Professor




                                                                           © Karsten D. Wolf
Mittwoch, 20. April 2011
Quelle: Bücking 2008 (ZMML Uni Bremen)
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
Aktuell mögliche Itemformate




                                     © Karsten D. Wolf 2007
Mittwoch, 20. April 2011
Statistiken Testcenter Universität Bremen




                                                        © Karsten D. Wolf 2007
Mittwoch, 20. April 2011
Statistiken Testcenter Universität Bremen




                                                        © Karsten D. Wolf 2007
Mittwoch, 20. April 2011
Statistiken Testcenter Universität Bremen




                                                        © Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011
Quelle: Schwedes 2008 (ZMML Uni Bremen)
Mittwoch, 20. April 2011
Zusammenfassung: Wann ist das sinnvoll?

       • Mehr als 300 Kandidaten pro Prüfung
       • Mehr als 50 Rechner pro Raum
       • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)
       • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen


       • Alternative offene Formate: Lesbarkeit + Vorkorrekturen
       • Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung


       • Alternativen: Kooperation von Autorinnen und Autoren
       • Alternativen: (Vor-)Erstellung von Items durch Studierende


                                                                      © Karsten D. Wolf
Mittwoch, 20. April 2011
E-Assessment - Was nun?

           Schritt 0: Prüfer/innen unterstützen

           Schritt 1: Fehler vermeiden

           Schritt 2: Anspruchsvoll prüfen

           Schritt 3: Motivierend prüfen

           Schritt 4: Verstetigen


                                                  cc Karsten D. Wolf
Mittwoch, 20. April 2011
FB 12 Erziehungs- und Bildungswissenschaften
                                                              Didaktische Gestaltung
                                                      multimedialer Lernumgebungen


                           http://www.ifeb.uni-bremen.de/wolf


                                  wolf@uni-bremen.de


                           http://www.fb12.uni-bremen.de/de/
                           Medienpaedagogik.html
Mittwoch, 20. April 2011
© Karsten D. Wolf 2007
Mittwoch, 20. April 2011

Weitere ähnliche Inhalte

Andere mochten auch

Web 2 0 Y Que Sigue
Web 2 0 Y Que SigueWeb 2 0 Y Que Sigue
Web 2 0 Y Que Sigue
Ana Lantigua
 
Com funciona Dot sub?
Com funciona Dot sub?Com funciona Dot sub?
Com funciona Dot sub?Daniel
 
Les rencontres e tourisme anglet MOPA - Un projet d'OT numérique incluant la ...
Les rencontres e tourisme anglet MOPA - Un projet d'OT numérique incluant la ...Les rencontres e tourisme anglet MOPA - Un projet d'OT numérique incluant la ...
Les rencontres e tourisme anglet MOPA - Un projet d'OT numérique incluant la ...MONA
 
Qd 100 2005 4 cm dot 5
Qd 100 2005 4 cm dot 5Qd 100 2005 4 cm dot 5
Qd 100 2005 4 cm dot 5Hoàng Ân
 
Virtualizacion A La Orden
Virtualizacion A La OrdenVirtualizacion A La Orden
Virtualizacion A La Orden
Marlon Manrique
 
Virtualização de Máquinas: Uma experiência baseada em ferramentas livres - Ca...
Virtualização de Máquinas: Uma experiência baseada em ferramentas livres - Ca...Virtualização de Máquinas: Uma experiência baseada em ferramentas livres - Ca...
Virtualização de Máquinas: Uma experiência baseada em ferramentas livres - Ca...
Tchelinux
 
Red dot award 2013 Gewinner
Red dot award 2013 GewinnerRed dot award 2013 Gewinner
Red dot award 2013 Gewinner
DanSchwei
 
Ceip morrot 3 en martí, el despitat amb l'electricitat. roger dot, lluís pujo...
Ceip morrot 3 en martí, el despitat amb l'electricitat. roger dot, lluís pujo...Ceip morrot 3 en martí, el despitat amb l'electricitat. roger dot, lluís pujo...
Ceip morrot 3 en martí, el despitat amb l'electricitat. roger dot, lluís pujo...b7008778
 
Smartwatch para invidentes dot
Smartwatch para invidentes dotSmartwatch para invidentes dot
Smartwatch para invidentes dot
Liboo19
 
DOT digital group - Portfólio de Cases
DOT digital group - Portfólio de CasesDOT digital group - Portfólio de Cases
DOT digital group - Portfólio de Cases
DOT digital group
 
Tag der offenen Tür - zeit.areal
Tag der offenen Tür - zeit.arealTag der offenen Tür - zeit.areal
Tag der offenen Tür - zeit.areal
zeit.areal (Areal Industriehof GmbH & Co. KG)
 
Meet the DOT Doctor (Personal side)
Meet the DOT Doctor (Personal side)Meet the DOT Doctor (Personal side)
Meet the DOT Doctor (Personal side)
The DOT Doctor
 

Andere mochten auch (14)

Web 2 0 Y Que Sigue
Web 2 0 Y Que SigueWeb 2 0 Y Que Sigue
Web 2 0 Y Que Sigue
 
Maine dot statement doc
Maine dot statement docMaine dot statement doc
Maine dot statement doc
 
Com funciona Dot sub?
Com funciona Dot sub?Com funciona Dot sub?
Com funciona Dot sub?
 
Les rencontres e tourisme anglet MOPA - Un projet d'OT numérique incluant la ...
Les rencontres e tourisme anglet MOPA - Un projet d'OT numérique incluant la ...Les rencontres e tourisme anglet MOPA - Un projet d'OT numérique incluant la ...
Les rencontres e tourisme anglet MOPA - Un projet d'OT numérique incluant la ...
 
Qd 100 2005 4 cm dot 5
Qd 100 2005 4 cm dot 5Qd 100 2005 4 cm dot 5
Qd 100 2005 4 cm dot 5
 
Virtualizacion A La Orden
Virtualizacion A La OrdenVirtualizacion A La Orden
Virtualizacion A La Orden
 
Virtualização de Máquinas: Uma experiência baseada em ferramentas livres - Ca...
Virtualização de Máquinas: Uma experiência baseada em ferramentas livres - Ca...Virtualização de Máquinas: Uma experiência baseada em ferramentas livres - Ca...
Virtualização de Máquinas: Uma experiência baseada em ferramentas livres - Ca...
 
Point supply
Point supplyPoint supply
Point supply
 
Red dot award 2013 Gewinner
Red dot award 2013 GewinnerRed dot award 2013 Gewinner
Red dot award 2013 Gewinner
 
Ceip morrot 3 en martí, el despitat amb l'electricitat. roger dot, lluís pujo...
Ceip morrot 3 en martí, el despitat amb l'electricitat. roger dot, lluís pujo...Ceip morrot 3 en martí, el despitat amb l'electricitat. roger dot, lluís pujo...
Ceip morrot 3 en martí, el despitat amb l'electricitat. roger dot, lluís pujo...
 
Smartwatch para invidentes dot
Smartwatch para invidentes dotSmartwatch para invidentes dot
Smartwatch para invidentes dot
 
DOT digital group - Portfólio de Cases
DOT digital group - Portfólio de CasesDOT digital group - Portfólio de Cases
DOT digital group - Portfólio de Cases
 
Tag der offenen Tür - zeit.areal
Tag der offenen Tür - zeit.arealTag der offenen Tür - zeit.areal
Tag der offenen Tür - zeit.areal
 
Meet the DOT Doctor (Personal side)
Meet the DOT Doctor (Personal side)Meet the DOT Doctor (Personal side)
Meet the DOT Doctor (Personal side)
 

Mehr von Karsten D. Wolf

Forschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen MedienForschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen Medien
Karsten D. Wolf
 
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im InternetWarum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Karsten D. Wolf
 
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 TalkWie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Karsten D. Wolf
 
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und JugendlicheErklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Karsten D. Wolf
 
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
Karsten D. Wolf
 
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Karsten D. Wolf
 
Virtualisierung von Bildungsprozessen
Virtualisierung von BildungsprozessenVirtualisierung von Bildungsprozessen
Virtualisierung von Bildungsprozessen
Karsten D. Wolf
 
Video communities and collectives for learning
Video communities and collectives for learningVideo communities and collectives for learning
Video communities and collectives for learning
Karsten D. Wolf
 
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
Fun Games For Serious Learning?  F.R.O.G. 2012 KeynoteFun Games For Serious Learning?  F.R.O.G. 2012 Keynote
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
Karsten D. Wolf
 
ZMML
ZMMLZMML
Social media in higher education
Social media in higher education Social media in higher education
Social media in higher education
Karsten D. Wolf
 
Lernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp BielefeldLernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp Bielefeld
Karsten D. Wolf
 
How Video Communities Transform Learning and Teaching
How Video Communities Transform Learning  and TeachingHow Video Communities Transform Learning  and Teaching
How Video Communities Transform Learning and Teaching
Karsten D. Wolf
 
YouTube - das neue Bildungsfernsehen
YouTube - das neue BildungsfernsehenYouTube - das neue Bildungsfernsehen
YouTube - das neue Bildungsfernsehen
Karsten D. Wolf
 
MirandaMod: Learning with Video
MirandaMod: Learning with VideoMirandaMod: Learning with Video
MirandaMod: Learning with Video
Karsten D. Wolf
 
Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010
Karsten D. Wolf
 
Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20
Karsten D. Wolf
 
Lea Dialog Bremen
Lea Dialog BremenLea Dialog Bremen
Lea Dialog Bremen
Karsten D. Wolf
 
DataGotchi iPhone Demo - EduHack Bremen
DataGotchi iPhone Demo - EduHack BremenDataGotchi iPhone Demo - EduHack Bremen
DataGotchi iPhone Demo - EduHack Bremen
Karsten D. Wolf
 

Mehr von Karsten D. Wolf (20)

Forschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen MedienForschend Lehren mit Digitalen Medien
Forschend Lehren mit Digitalen Medien
 
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im InternetWarum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
Warum nicht?! Selbstdarstellung von Kindern und Jugendlichen im Internet
 
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 TalkWie und von wem lernen Jugendliche auf YouTube? PB21 Talk
Wie und von wem lernen Jugendliche auf YouTube? PB21 Talk
 
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und JugendlicheErklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
Erklärvideos als Medium der Aneignung von YouTube durch Kinder und Jugendliche
 
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...Pädagogische Online-Diagnostik funktionaler Analphabeten –  technisch machbar...
Pädagogische Online-Diagnostik funktionaler Analphabeten – technisch machbar...
 
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
Aneignung und Transformation massenmedialer 
 und schulischer Erklärstrukture...
 
Virtualisierung von Bildungsprozessen
Virtualisierung von BildungsprozessenVirtualisierung von Bildungsprozessen
Virtualisierung von Bildungsprozessen
 
Video communities and collectives for learning
Video communities and collectives for learningVideo communities and collectives for learning
Video communities and collectives for learning
 
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
Fun Games For Serious Learning?  F.R.O.G. 2012 KeynoteFun Games For Serious Learning?  F.R.O.G. 2012 Keynote
Fun Games For Serious Learning? F.R.O.G. 2012 Keynote
 
The two sides of MOOCs
The two sides of MOOCsThe two sides of MOOCs
The two sides of MOOCs
 
ZMML
ZMMLZMML
ZMML
 
Social media in higher education
Social media in higher education Social media in higher education
Social media in higher education
 
Lernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp BielefeldLernen durch Erklären mit Video - EduCamp Bielefeld
Lernen durch Erklären mit Video - EduCamp Bielefeld
 
How Video Communities Transform Learning and Teaching
How Video Communities Transform Learning  and TeachingHow Video Communities Transform Learning  and Teaching
How Video Communities Transform Learning and Teaching
 
YouTube - das neue Bildungsfernsehen
YouTube - das neue BildungsfernsehenYouTube - das neue Bildungsfernsehen
YouTube - das neue Bildungsfernsehen
 
MirandaMod: Learning with Video
MirandaMod: Learning with VideoMirandaMod: Learning with Video
MirandaMod: Learning with Video
 
Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010
 
Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20Bremen sommer universität-2010-partizipativedidaktik20
Bremen sommer universität-2010-partizipativedidaktik20
 
Lea Dialog Bremen
Lea Dialog BremenLea Dialog Bremen
Lea Dialog Bremen
 
DataGotchi iPhone Demo - EduHack Bremen
DataGotchi iPhone Demo - EduHack BremenDataGotchi iPhone Demo - EduHack Bremen
DataGotchi iPhone Demo - EduHack Bremen
 

Lernerfolg und Lernmotivation fördern mit E-Assessment

  • 1. Lernerfolg und Lernmotivation fördern mit E-Assessment? Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen Universität Bremen Assessment drives learning • ELT TU Wien 8.04.2011 cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 2. Agenda Washback Effekt von EAssessment + wie kann man Studierende durch gute EAssessments zum Lernen motivieren? Kompetenzmodelle und ihre Umsetzung per EAssessment Fehler bei EAssessments vermeiden Good Practice bei EAssessment Items Erstellung Akzeptanz von EAssessments Implementation an der Uni Bremen - Kosten und Benefits cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 3. Washback Effekt: Prüfungen bestimmen das Lernverhalten! cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 4. Washback Effekt: Schwierigkeit einer Klausur über Menge an Wissen zu regulieren führt zu flachem Bulemie Lernen … Ebbinghaus Reine Wissenstests können die eigene Lehrver- anstaltung unterminieren …positive Washback Effekte sind ebenfalls möglich Verständnisorientiertes Lernen belohnen cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 5. Ausgangsfrage: Ist es möglich, auch höhere Taxonomiestufen mit geschlossenen Aufgabenformaten zu testen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 6. 1. Erinnern • Wiedererkennen / Identifizieren • Abrufen / Wiederfinden cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 7. Überarbeitete Bloom‘sche Taxonomie der Lernziele Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching and assessing: A revision of Bloom's Taxonomy of educational objectives: Abridged edition, New York : Longman. cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 8. 2. Verstehen • Interpretieren / Klären / Darstellen • Exemplifizieren / Beispiele geben • Klassifizieren / Kategorisieren • Zusammenfassen / Generalisieren • Ableiten / Folgern / Prognostizieren • Vergleichen / Zuordnen / Kontrastieren • Erklären / Modelle konstruieren cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 9. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 10. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 11. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 12. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren äußerst selten gebrauchtes, irrelevantes Wissen äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 13. Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren obskures Wissen äußerst selten gebrauchtes, irrelevantes Wissen äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 14. Konkret: Geschlossen auf hohen Taxonomiestufen prüfen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 15. 3. Anwenden • Ausführen / Durchführen • Anwendung / Gebrauch cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 16. 4. Analysieren • Differenzieren / Unterscheiden • Organisieren / Strukturieren • Zuordnen / Zerlegen cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 17. © Karsten D. Wolf Mittwoch, 20. April 2011
  • 18. © Karsten D. Wolf Mittwoch, 20. April 2011
  • 19. 5. Evaluieren • Überprüfen / Kontrollieren • Kritisieren / Urteilen cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 20. © Karsten D. Wolf Mittwoch, 20. April 2011
  • 21. © Karsten D. Wolf Mittwoch, 20. April 2011
  • 22. 6. Erzeugen • Generieren / Hypothesen bilden • Planen / Entwerfen • Produzieren / Konstruieren cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 23. © Karsten D. Wolf Mittwoch, 20. April 2011
  • 24. © Karsten D. Wolf Mittwoch, 20. April 2011
  • 25. Dimensionen des Wissens • Faktenwissen • Konzeptuelles Wissen • Prozedurales Wissen • Meta-Kognitives Wissen cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 26. Konkret: Geschlossen auf hohen Taxonomiestufen prüfen? • Analyse der realen Tätigkeitsfelder in Wissenschaft und Praxis • authentische Materialsammlung • Einsatz von Softwareumgebungen (z.B. R, Mathcad) • ggf. teilautomatisierte Auswertung von Kurztexten Erinnern cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 27. 3. Semester Bachelor Produktionstechnik + WiIng 2 SWS (keine Übung) 2CP Modul mit Fertigungstechnik und Arbeits- und Betriebswissenschaft WS 2010/2011: 350 Studierende © Karsten D. Wolf Mittwoch, 20. April 2011
  • 28. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 29. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 30. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 31. Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassifikationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 32. Konzeptwissen A (Organisatorisch) reproduzieren Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 33. Konzeptwissen A (Organisatorisch) anwenden/verstehen Hofmeister 2005: Klassifikationsmatrix zum Ulme Kompetenzstufenmodell © Karsten D. Wolf Mittwoch, 20. April 2011
  • 34. Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 35. Konzeptwissen B (Verallgemeinern) anwenden/verstehen Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 36. Prozedurwissen (Techniken und Methoden) anwenden und verstehen Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 37. Fazit Prof. Dr. Lutz Mädler ✓ Abstimmen der Lernziele mit den Prüfungsfragen ✓ Frage nach dem „wie“ und nicht dem „was“ ✓ nicht „was ist korrekt?“ sondern „warum ist die Antwort richtig?“ ✓ Abbildungen nicht aus den Vorlesungen © Karsten D. Wolf Mittwoch, 20. April 2011
  • 38. Vorteile E-Assessment (Prof. Dr. Lutz Mädler) © Karsten D. Wolf Mittwoch, 20. April 2011
  • 39. Nachteile E-Assessment (Prof. Dr. Lutz Mädler) © Karsten D. Wolf Mittwoch, 20. April 2011
  • 40. Motivierend prüfen: Verständnisorientiertes Lernen belohnen • Höhere Taxonomiestufen • Authentische Aufgaben • Confidence Based Marking cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 41. Fehler vermeiden: nicht die Test Wiseness messen! cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 42. Test Wiseness Test The answer of this one refers to an (a) overture (b) mountain (c) building (d) misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 43. Test Wiseness Test: Grammatikalische Hinweise The answer of this one refers to an (a) an overture (b) a mountain (c) a building (d) a misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 44. Test Wiseness Test In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 45. Test Wiseness Test: Wiederholung aus Wortstamm In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 46. Test Wiseness Test If there where a question here, which could be the correct answer? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 47. Test Wiseness Test: sinngleiche Antworten falsch Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 48. Test Wiseness Test Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 49. Test Wiseness Test: Längste Alternative Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 50. Test Wiseness Test Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 51. Test Wiseness Test: Odd one out Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 52. Test Wiseness Test Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 53. Test Wiseness Test: Rechtschreibung Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 54. Test Wiseness Test Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (c) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 55. Test Wiseness Test: Alternative 3 Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (3) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Mittwoch, 20. April 2011
  • 56. Test Wiseness Gegenmaßnahmen Cheat Sheet ❖ Übersaturierte Multiple • Kategorische Formulierungen (immer, nie, …) -> Falsch Choice Auswahl • Phrase-Repeat -> Richtig • Absurde / unlogische Antwort -> Falsch ❖ „Gute“ Distraktoren • Präzision / Spezifizierung -> Richtig • Länge einer Antwort -> länger = Richtig • Grammatik -> Fehler = Falsch ❖ Distraktoren aus Fehlern in • Hinweis -> Hinweis auf die richtige Antwort in der Fragestellung offenen Durchläufen • Reihenfolge der Antworten -> keine Muster • Krumme Finger raus -> bei vielen ähnlichen Antworten ist die vollkommen andere ❖ Confidence Based Marking Lösung die richtige • Rechtschreibung / Grammatik -> Fehler häufiger in den Distraktoren • … © Karsten D. Wolf Mittwoch, 20. April 2011
  • 57. Gegenmaßnahmen • Schulung der Autoren / Autorinnen • Bessere Distraktoren • Höhere Taxonomiestufen • Confidence-Based Marking (Gardner-Medwin 2006) • Übersaturierte Antwortauswahl per Drop-Down • Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten © Karsten D. Wolf Mittwoch, 20. April 2011
  • 58. Prof. Dr. Kathleen Scalise (University Oregon) http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.html Mittwoch, 20. April 2011
  • 69. Motivierend prüfen: Authentisch und abwechslungsreich prüfen cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 70. John Seely Brown Xerox Parc Cognitive Apprenticeship learning about ➙ learning to be http://mitworld.mit.edu/video/419/ cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 71. Motivierend mit MC prüfen 1. Offenheit des Antwortformats: geschlossen bis moderat geöffnet 2. Auswertungsalgorithmus: automatisch 3. Authentizität 4. Medienanreicherung 5. Interaktivität [aufwendig/teuer] Gestaltungsdimensionen von Rich E-Assessment: Wolf/Koppel/Schwedes 2011 cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 74. Simulation © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 81. Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf Mittwoch, 20. April 2011
  • 82. 1 2 3 4 5 6 7 8 9 Mittwoch, 20. April 2011
  • 83. http://www.elearning2null.de/ http://www.ifeb.uni-bremen.de/thetawelle/ cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 84. cc by Karsten D. Wolf Mittwoch, 20. April 2011
  • 85. Weitere Beispiele • Analyse / Debuggen von Sourcecode • Bewertung von Schülerlösungen • Analyse von Unternehmenskennzahlen • Bewertung von Unterrichtsentwürfen • Schreiben eines Analyseskriptes zur Auswertung von Daten • Interpretation von Laborwerten • Komplexe Fallstudien mit linearer Fragenabfolge •… © Karsten D. Wolf Mittwoch, 20. April 2011
  • 86. Schätzung für Universität Bremen • 12 Fachbereiche mit ca. 20.000 Studenten • Mindestens 70K - 115K Prüfungen / Semester • Tendenz steigend durch Umstieg auf BA/MA • MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis) • BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck) • Eigene Auswahlverfahren für Studienanfänger • Reduktion von 280 auf 230 Professor(inn)en • ca. 500 Prüfungsleistungen pro Semester pro Professor © Karsten D. Wolf Mittwoch, 20. April 2011
  • 87. Quelle: Bücking 2008 (ZMML Uni Bremen) Mittwoch, 20. April 2011
  • 88. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 89. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 90. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 91. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 92. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 93. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 94. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 95. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 96. Aktuell mögliche Itemformate © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 97. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 98. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 99. Statistiken Testcenter Universität Bremen © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 100. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 101. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 102. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 103. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 104. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 105. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011
  • 106. Quelle: Schwedes 2008 (ZMML Uni Bremen) Mittwoch, 20. April 2011
  • 107. Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • Alternative offene Formate: Lesbarkeit + Vorkorrekturen • Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf Mittwoch, 20. April 2011
  • 108. E-Assessment - Was nun? Schritt 0: Prüfer/innen unterstützen Schritt 1: Fehler vermeiden Schritt 2: Anspruchsvoll prüfen Schritt 3: Motivierend prüfen Schritt 4: Verstetigen cc Karsten D. Wolf Mittwoch, 20. April 2011
  • 109. FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.fb12.uni-bremen.de/de/ Medienpaedagogik.html Mittwoch, 20. April 2011
  • 110. © Karsten D. Wolf 2007 Mittwoch, 20. April 2011