SlideShare ist ein Scribd-Unternehmen logo
1 von 57
Kompetenz messen,
Wissen überprüfen,
Erfolg evaluieren.
PROF. DR. JOHANNES MOSKALIUK
24.01.2017 | LEARNTEC KONGRESS | KARLSRUHE
WORKSHOP 1
Johannes Moskaliuk | Workshop Evaluation
In diesem Workshop lernen Sie ...
 worauf es bei einer Evaluation ankommt,
 welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene Kompetenzen
zu messen,
 welche typischen Fehler bei der Formulierung von Fragen es gibt,
 welche methodischen Schwierigkeiten auftreten können,
 was bei der computerbasierten Testung zu beachten ist,
 und was bei der Interpretation der Ergebnisse berücksichtigt werden muss.
2
Johannes Moskaliuk | Workshop Evaluation
Inhalt
 Was ist eine Evaluation?
 Messmethoden
 Aufgabenformate
 Was ist eine gute Beurteilungsaufgabe?
 Formulierung von Items
 Fehlerquellen bei der Messung
 Testarten
 Computerbasiertes Testen
 Einblick in die Praxis
3
Johannes Moskaliuk | Workshop Evaluation
Happy Sheet
5%
9%
21%
36%
29%
Zufriedenheit der Teilnehmenden
geht so
in Ordnung
hervorragend
sehr hervorragend
äußerst hervorragend
 Die Location für das Seminar war ...
 Der Trainer, die Trainerin war mir sympathisch.
 Das Seminar war anstrengend für mich.
 Ich möchte gerne mehr zu diesem Thema lernen.
 Das Seminar hat mit gut gefallen.
Wichtige Fragen, aber ...
Johannes Moskaliuk | Workshop Evaluation
4
Zu Beginn müssen deshalb die Ziele des
Projekts definiert werden und dann die
Frage geklärt werden, was in der
Evaluation gemessen werden soll.
... viele Evaluationsprojekte scheitern*, weil zu
Beginn nicht klar ist, was gemessen werden
soll.
*gemeint ist: Die Ergebnisse können nicht genutzt werden.
5
Johannes Moskaliuk | Workshop Evaluation
Ihre Beispiele aus der Praxis
 In welchem Ihrer aktuellen Projekte würde sich eine Evaluation anbieten?
 Was ist das zentrale Erfolgskriterium? Woran erkennen Sie, dass Ihr Projekt
erfolgreich war.
 Wer hat Interesse an den Ergebnissen der Evaluation?
 Welche Konsequenzen haben die Ergebnisse der Evaluation für das
Projekt?
6
Johannes Moskaliuk | Workshop Evaluation
und Fragen
Was ist eine Evaluation?
 Welche Ziele und welche Erfolgskriterien werden verwendet?
 Wurde das intendierte Ziel erreicht?
 War eine Maßnahme wirksam?
 Haben die Teilnehmenden etwas gelernt?
Soll Ist
Bewertung der Ergebnisse von Projekten oder Prozessen
summativ formativ
Johannes Moskaliuk | Workshop Evaluation
7
Was sind die Kriterien für Erfolg?
Kirkpatrick, 1959 Johannes Moskaliuk | Workshop Evaluation
8
Inhalt
 Was ist eine Evaluation?
 Messmethoden
 Aufgabenformate
 Was ist eine gute Beurteilungsaufgabe?
 Formulierung von Items
 Fehlerquellen bei der Messung
 Testarten
 Computerbasiertes Testen
 Einblick in die Praxis
9
Johannes Moskaliuk | Workshop Evaluation
Welche Methoden gibt es?
Wissenstest ............................. Längsschnittstudie
festgelegter Zielwert
vorher / nachher
Womit wird verglichen?
vorhandene Kennwerte
langfristig
kurzfristig
Johannes Moskaliuk | Workshop Evaluation
10
Welche Messmethoden gibt es?
Ein Fragebogen ist nur eine von vielen Möglichkeiten!
11
Johannes Moskaliuk | Workshop Evaluation
Was ist eine gute Messung?
Objektivität
Validität
Reliabilität
Die Ergebnisse sind unabhängig von der durchführenden,
auswertenden und interpretierenden Person.
Der Test misst, was er messen soll.
Der Test misst genau, d.h. mit geringem Messfehler.
12
Johannes Moskaliuk | Workshop Evaluation
Projektive Verfahren
Rorschach - Test
Thematischer Apperzeptionstest (TAT)
OMT (Operanter Motiv-Test)
Johannes Moskaliuk | Workshop Evaluation
13
Apparative Tests
DrahtbiegeprobeWiener Testsystem
Johannes Moskaliuk | Workshop Evaluation
14
Fragebogen | Befragungen
papierbasiertcomputerbasiert
Johannes Moskaliuk | Workshop Evaluation
15
online
©RaimondSpekkingviaWikimediaCommons
Inhalt
 Was ist eine Evaluation?
 Messmethoden
 Aufgabenformate
 Was ist eine gute Beurteilungsaufgabe?
 Formulierung von Items
 Fehlerquellen bei der Messung
 Testarten
 Computerbasiertes Testen
 Einblick in die Praxis
16
Johannes Moskaliuk | Workshop Evaluation
Aufgaben mit freiem Format
Geben Sie so viele kreative Ideen wie möglich an, was
man mit einer Garnrolle und einem Nagel machen
könnte.
_________________________________
Kurzsatzaufgaben
Vorteile Nachteile
Reproduktion von Wissen
eigene Antwort
mehr Aufwand für den
Probanden
zufällig richtige Antworten
sind ausgeschlossen
Mehr Aufwand für die
Auswertung
gut zur Erfassung von
Motiven und Gründen
Auswertungsobjektivität
eingeschränkt
bei projektiven Verfahren Sehr abhängig von
sprachlicher Kompetenz des
Probanden
Johannes Moskaliuk | Workshop Evaluation
17
Aufgaben mit freiem Format
Atheist verhält sich zu Religion wie Pazifist zu ____________
Specht und Ente sind ____________
Die Hauptstadt von Deutschland ist ____________
2 4 8 16 ____________
Ergänzungsaufgaben
Vorteile Nachteile
Reproduktion von Wissen
statt nur Wieder-erkennung
meist nur Faktenwissen
prüfbar
zufällig richtige Antworten
sind ausgeschlossen
Abhängig von Lesefähigkeit
und Intelligenz
Wenn Auswerteschema:
Objektivität hoch
Mehr Zeitaufwand für
Durchführung und
Auswertung
Johannes Moskaliuk | Workshop Evaluation
18
Aufgaben mit gebundenem Antwortformat
Zuordnungsaufgaben
Umordnungsaufgaben
Johannes Moskaliuk | Workshop Evaluation
19
Aufgaben mit gebundenem Antwortformat
ZuordnungsaufgabenUmordnungsaufgaben
Vorteile Nachteile
einfach, ökonomisch,
objektiv
Keine Reproduktion von
Wissen
Zufällig richtige Antwort im
Prinzip ausgeschlossen
Antwortalternativen nicht
unabhängig. Freiheitsgrade
sinken mit jeder richtigen
Zuordnung
Gut für Wissenstests /
Kenntnistests geeignet
Mehr Zeitaufwand für
Durchführung und
Auswertung
Johannes Moskaliuk | Workshop Evaluation
20
Aufgaben mit gebundenem Antwortformat
Auswahlaufgaben
Johannes Moskaliuk | Workshop Evaluation
21
Aufgaben mit gebundenem Antwortformat
Dichotome Aufgaben
Vorteile Nachteile
einfach, ökonomisch,
objektiv
Keine Reproduktion von
Wissen
Kurze Lösungszeit Hohe
Ratewahrscheinlichkeit
Angela Merkel ist ...
☐ Bundeskanzlerin der BRD.
☐ Ministerpräsidentin von Berlin.
Ich würde gerne mehr über das
Thema wissen.
☐ Stimmt.
☐ Stimmt nicht.
Johannes Moskaliuk | Workshop Evaluation
22
Mehrfachwahl-Aufgaben
Multiple-Choice Aufgaben
eine vs. mehrere korrekte Antwortalternativen
Vorteile Nachteile
einfach, ökonomisch,
objektiv
Keine Reproduktion von
Wissen
Ratewahrscheinlichkeit
verringert, da mehr
Antwortalternativen
Nicht immer sinnvoll, z.B.
nicht für Kreativität
Verzerrungen, wenn
Distraktoren nicht gut
gewählt oder Hinweis auf
richtige Antwort enthalten
Welche Personen sind Mitglied des
aktuellen Bundeskabinetts?
☐ Angela Merkel
☐ Barack Obama
☐ Sigmar Gabriel
☐ Winfried Kretschmann
Johannes Moskaliuk | Workshop Evaluation
23Aufgaben mit gebundenem Antwortformat
Ihre Beispiele aus der Praxis
 Formulieren Sie einige Beispielfragen (Items), die Sie in Ihrem
Evaluationsprojekt einsetzen möchten.
 Machen Sie sich Notizen!
Diskutieren Sie:
 Welche Problem könnten sich bei der Frage ergeben?
 Welche Lösungsmöglichkeiten sehen Sie?
24
Johannes Moskaliuk | Workshop Evaluation
und Fragen
Inhalt
 Was ist eine Evaluation?
 Messmethoden
 Aufgabenformate
 Was ist eine gute Beurteilungsaufgabe?
 Formulierung von Items
 Fehlerquellen bei der Messung
 Testarten
 Computerbasiertes Testen
 Einblick in die Praxis
25
Johannes Moskaliuk | Workshop Evaluation
Problem: Nicht disjunkte Antwortalternativen
Problem: Nicht exhaustive
Antwortalternativen
Vollständigkeit der Antwortalternativen
Antwortalternativen schließen sich gegenseitig aus
Exhaustivität bei
Persönlichkeitstest wichtig
Alternative: Forced Choice
Wie groß ist 1/5 von 10?
a.) kleiner als 1,5 b.) 1,5 bis 2
c.) 2,0 bis 2,5 d.) größer als 2,5
Wählen Sie die Antwort aus, die auf Sie am besten
zutrifft.
a.) Ich bevorzuge harte, realistische Action-Thriller
b.) Ich bevorzuge gefühlvoll, feinsinnig Filme.
Johannes Moskaliuk | Workshop Evaluation
26
Konstruktion von Beurteilungsaufgaben
Skalenstufen
visuelle Analogskala
diskret gestufte Ratingskala
Polarität unipolar vs. bipolar
Johannes Moskaliuk | Workshop Evaluation
27
Konstruktion von Beurteilungsaufgaben
Skalenpunkte
Numerische Skala  Intervallskala
Verbale Ratingskala
Optische Skalen
Johannes Moskaliuk | Workshop Evaluation
28
Konstruktion von Beurteilungsaufgaben
Mittelkategorie
Weiß nicht
Kategorie
gerade / ungerade Anzahl Skalenpunkte
asymmetrische
Skalen
Boden- / Deckeneffekte
Johannes Moskaliuk | Workshop Evaluation
29
Welche Probleme sehen Sie bei folgenden
Items?
o Finden Sie keinen Gefallen an der Abholzung des Regenwaldes?
o Ich finde nicht, dass ich häufig nicht hungrig bin!
o Wenn ich mit meinem Auto zu einem wichtigen Meeting fahre, so wü̈rde ich mich,
falls es dann noch einen Stau aufgrund der Rush Hour gäbe, aufregen.
o Ich neige zur Prokrastination.
o Mein Kind kann sich nie auf nur eine Aufgabe konzentrieren.
o Ich gehe gerne auf Parties und trinke gerne Alkohol.
o Die jü̈ngsten Erfolge der transkraniellen Magnetstimulation im Bereich der
alternativen Therapien affektiver Störungen halte ich für ein sehr wichtiges
Forschungsergebnis.
o In letzter Zeit war ich häufig in der Oper.
Johannes Moskaliuk | Workshop Evaluation
30
Itemformulierung
direkt
Sind Sie ängstlich?
indirekt
Fühlen Sie sich unsicher, wenn Sie
nachts allein auf der Straße sind?
hypothetisch biografiebezogen
Stellen Sie sich vor, es gäbe
immer wieder Konflikte
zwischen den Mitarbeitern
in ihrer Abteilung.
Wie haben Sie sich bei der letzten
Auseinandersetzung mit einem
Kollegen verhalten?
Exkurs
Johannes Moskaliuk | Workshop Evaluation
31
Itemformulierung
konkret abstrakt
Wie verhalten Sie sich, wenn
Sie einen Streit zwischen
Kollegen schlichten müssen?
Wie belastend schätzen Sie die
Arbeit in einem konfliktreichen
Arbeitsumfeld ein
personalisiert depersonalisiert
Treiben Sie regelmäßig Sport? Halten Sie es für sinnvoll, regelmäßig
Sport zu treiben?
Exkurs
Johannes Moskaliuk | Workshop Evaluation
32
Itemformulierung
Qualität /
Intensität
Halten Sie sich für einen ängstlichen Menschen?
Bekommen Sie Herzrasen, wenn Ihnen nachts jemand auf der Straße folgt?
Selbstbeschreibung
Ich bin ein fröhlicher Mensch.
Fremdbeschreibung
Andere halten mich für
einen fröhlichen
Menschen.
Traitzuschreibung
Ich lache oft und gern.
Wünsche
Interesse
Ich interessiere mich
für Psychologie.
Einstellungen
Meinungen
Es gibt wichtigeres als
beruflichen Erfolg
Biografie
Ich war schon oft im Ausland.
Exkurs
Johannes Moskaliuk | Workshop Evaluation
33
Regeln für die Formulierung von Items
positiv formuliert
Keine Verneinung
klare Konstruktion
keine Abkürzungen
keine Fachbegriffe
Angaben zur Intensität oder Häufigkeit
können problematisch sein.
Ich trinke häufig Wein.
trifft zutrifft nicht zu
Ich entspanne mich gern mit einem
alkoholischen Getränk.
besser:
Verständlichkeit
Johannes Moskaliuk | Workshop Evaluation
34
Regeln für die Formulierung von Items
Eindeutigkeit
keine Universalausdrücke immer, nie, alle ...
Schwieriges definieren
keine Mehrdeutigkeit
eine Aussage pro Item
Vorwissen beachten
Bezugsgrößen definieren
Zeitspannen klar angeben
Johannes Moskaliuk | Workshop Evaluation
35
Was ist eine gute Aufgabe?
 Leichte Verständlichkeit
 einfache Durchführbarkeit
 kurze Lösungszeit
 Geringer Material und Papierverbrauch
 Leichte Auswertbarkeit
 Geringe Häufigkeit von Zufallslösungen
Johannes Moskaliuk | Workshop Evaluation
36
Ihre Beispiele aus der Praxis
 Prüfen Sie die Items, die Sie notiert haben.
 Sind alle Regeln für die Formulierung von Items berücksichtigt?
 Finden Sie alternative Formulierungen.
37
Johannes Moskaliuk | Workshop Evaluation
und Fragen
Inhalt
 Was ist eine Evaluation?
 Messmethoden
 Aufgabenformate
 Was ist eine gute Beurteilungsaufgabe?
 Formulierung von Items
 Fehlerquellen bei der Messung
 Testarten
 Computerbasiertes Testen
 Einblick in die Praxis
38
Johannes Moskaliuk | Workshop Evaluation
Fehlerquellen
Soziale
Erwünschtheit
Selfdeceptive Enhancement
Impression Management
Kontrollskalen / Lügenskalen
Anonymität
Gründe
Lösung
Akquieszenz
Ja-Sage-Tendenz
Lösung
Inventierung von Items
Tendenz zur Mitte
0
20
40
-2 -1 0 1 2
Tendenz zur Mitte
0
20
40
-2 -1 0 1 2
Tendenz zu
extremen Urteil
Antwortkategorie
Antworthäufigkeit
Antworthäufigkeit
Antwortkategorie
Lösung
keine Mittelkategorie
Johannes Moskaliuk | Workshop Evaluation
39
Konstruktvalidität
Konstrukt
latente Variable | Trait
Kriterium
beobachtbares Verhalten
z.B. Item ankreuzen
Nomologisches Netzwerk
Faktorenanalyse
konvergente
divergente
diskriminante
Exkurs
Johannes Moskaliuk | Workshop Evaluation
40
Kriteriumsvalidität
Kriterium
beobachtbares Verhalten
z.B. Item ankreuzen
konkurrente prognostisch
Übereinstimmung Vorhersage
zeitgleich zukünftig
Verhalten
Exkurs
Johannes Moskaliuk | Workshop Evaluation
41
Inhalt
 Was ist eine Evaluation?
 Messmethoden
 Aufgabenformate
 Was ist eine gute Beurteilungsaufgabe?
 Formulierung von Items
 Fehlerquellen bei der Messung
 Testarten
 Computerbasiertes Testen
 Einblick in die Praxis
42
Johannes Moskaliuk | Workshop Evaluation
Testarten
Leistungstests
Intelligenz
Konzentration
Speed vs. Power
Persönlichkeitstests
Trait vs. State
Interesse
Selbstauskunft
verhaltensnahe Tests
projektive Verfahren
Fragebogen
objektive
Tests
apparativ Computer
Exkurs
Johannes Moskaliuk | Workshop Evaluation
43
Testökonomie
Ist der finanzielle und zeitliche Aufwand dem
diagnostischen Erkenntnisgewinn angemessen?
Testmaterial
Hard-/Software
Lizenzgebühren
Finanzieller Aufwand
zeitlicher Aufwand
Bearbeitungszeit
Vorbereitung
Auswertung
Ausblick: Internetgestütztes Testen
Adaptives Testen
Johannes Moskaliuk | Workshop Evaluation
44
Itemschwierigkeit
Ziel: Items eines Fragebogen sollen individuelle Unterschiede abbilden.
zu leichte und zu schwere Aufgaben
Ich halte Umweltverschmutzung für schädlich.
Sonderfall
sehr seltene Merkmale
z.B. in der klinischen Psychologie
Problem
Itemvarianz
Itemschwierigkeit
Statistische Kenngrößen
Exkurs
Johannes Moskaliuk | Workshop Evaluation
45
Weitere Aspekte
Aktualität
Wertungen
Wie heißt der Ministerpräsident von Baden-Württemberg?
Warum ist es besser, Geld einer
Wohltätigkeitsorganisation zu spenden als einem Bettler?
Suggestion
Sie stimmen doch zu, dass der Nichtraucherschutz
in Deutschland sehr wichtig ist?
Gendergerechtigkeit
Ich ärgere mich oft über meinen Chef.
Johannes Moskaliuk | Workshop Evaluation
46
Inhalt
 Was ist eine Evaluation?
 Messmethoden
 Aufgabenformate
 Was ist eine gute Beurteilungsaufgabe?
 Formulierung von Items
 Fehlerquellen bei der Messung
 Testarten
 Computerbasiertes Testen
 Einblick in die Praxis
47
Johannes Moskaliuk | Workshop Evaluation
Computerbasiertes Testen
Volljährigkeit der
TeilnehmerInnen
Ethische Aspekte
Einverständnis-
erklärung
Anonymisierung
verdeckte
Datenerhebung?
Kontrollierbarkeit
Identität der TN
Angaben korrekt?
Verhalten
Ablenkung?
Absichtliches
Fehlverhalten
Mehrfachteilnahme
meistens höhere
Stichprobe notwendig
Definition von Ausreißern
verzerrte Stichprobe
Dropouts
48
Johannes Moskaliuk | Workshop Evaluation
Inhalt
 Was ist eine Evaluation?
 Messmethoden
 Aufgabenformate
 Was ist eine gute Beurteilungsaufgabe?
 Formulierung von Items
 Fehlerquellen bei der Messung
 Testarten
 Häufige Fehler
 Computerbasiertes Testen
 Beispiele aus der Praxis
49
Johannes Moskaliuk | Workshop Evaluation
Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
50
Virtuelle Polizei
Feldstudie | Warum ist virtuelles
Training erfolgreich?
Standard-Training Virtuelles TrainingVerhaltensempfehlung
Wissenstest
Subjektive Maße
Wissenstest
Transfertest
51
Feldstudie | Methode
Ich würde meinen KollegInnen den Besuch
dieses Trainings empfehlen.
Akzeptanz
Ich bin mit dem virtuellen Training zufrieden.
Zufriedenheit
Lernerfolg
Ich habe in dem Training sehr viel Neues
gelernt.
Subjektive Maße Wissenstest mit 20 Items
Wie wird die Person genannt, die vom
Hubschrauber hauptsächlich angesprochen wird?
A Leiter
B Lenker
C Führer
D Identifizierungsbeamter
52
Feldstudie | WissenWissenstest*
0
2
4
6
8
10
12
14
16
18
20
VE Reales Training Virtuelles
Training
WissenVorher
WissenNachher
Standard Virtuellkein Training
53
Feldstudie | Transfer
Standard Virtuellkein Training
54
Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
55
Patongo
Fokus - Gruppe
Plattform zum Austausch von Best-Practices
Forschungsfrage: Welche Hürden bestehen für den Informationsaustausch?
Logfile-Analyse
Befragung
Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
56
Generation Y
0
1
2
3
4
5
6
persönliche Sicherheit
Leistung
Mitgefühl
Verantwortung
Wertschätzung
Konformität
Das Gesicht wahren
Genuss/Hedonismus
BescheidenheitFührung übernehmen
Macht
Selbstbestimmung…
Selbstbestimmung…
gesellschaftliche…
Stimulation
Tradition
Universalismus
57
Vielen Dank für Ihr Interesse.
Johannes Moskaliuk
post@moskaliuk.com
Folien und weiterführende Links unter:
http://www.moskaliuk.com/evaluationLT
twitter.com/moskaliuk
slideshare.net/moskaliuk
facebook.com/moskaliuk

Weitere ähnliche Inhalte

Ähnlich wie Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.

Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen.
Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen. Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen.
Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen. Johannes Moskaliuk
 
2013 11-25 MIB-Talk "Prüfen"
2013 11-25 MIB-Talk "Prüfen"2013 11-25 MIB-Talk "Prüfen"
2013 11-25 MIB-Talk "Prüfen"hse_unisg
 
Feedback im Praxisunterricht
Feedback im PraxisunterrichtFeedback im Praxisunterricht
Feedback im Praxisunterrichteuros123
 
Learning Experience Design & Research
Learning Experience Design & ResearchLearning Experience Design & Research
Learning Experience Design & ResearchIsa Jahnke
 
Podium Mathe-Online 2: Folien Anne Rickert
Podium Mathe-Online 2: Folien Anne RickertPodium Mathe-Online 2: Folien Anne Rickert
Podium Mathe-Online 2: Folien Anne Rickerte-teaching.org
 
Einfach besser! Deutsch für den Beruf B1-B2. Feedback und Kritik
Einfach besser! Deutsch für den Beruf B1-B2. Feedback und KritikEinfach besser! Deutsch für den Beruf B1-B2. Feedback und Kritik
Einfach besser! Deutsch für den Beruf B1-B2. Feedback und Kritiktelc gGmbH
 
Schaffert (2009). Grundlagen des E-Assessment - Teil 1
Schaffert (2009). Grundlagen des E-Assessment - Teil 1Schaffert (2009). Grundlagen des E-Assessment - Teil 1
Schaffert (2009). Grundlagen des E-Assessment - Teil 1Sandra Schön (aka Schoen)
 
Schaffert (2009). Grundlagen des E-Assessment - Teil 2
Schaffert (2009). Grundlagen des E-Assessment - Teil 2Schaffert (2009). Grundlagen des E-Assessment - Teil 2
Schaffert (2009). Grundlagen des E-Assessment - Teil 2Sandra Schön (aka Schoen)
 
Bayreuth-isajahnke-V4-short Learning Experience Design
Bayreuth-isajahnke-V4-short Learning Experience DesignBayreuth-isajahnke-V4-short Learning Experience Design
Bayreuth-isajahnke-V4-short Learning Experience DesignIsa Jahnke
 
Projekt Jahrgang 58 Einzelne Folien Ev2
Projekt Jahrgang 58   Einzelne Folien Ev2Projekt Jahrgang 58   Einzelne Folien Ev2
Projekt Jahrgang 58 Einzelne Folien Ev2Werner Drizhal
 
Making an Schulen Diplompräsentation
Making an Schulen DiplompräsentationMaking an Schulen Diplompräsentation
Making an Schulen DiplompräsentationMarkus Peißl
 
Crash Kurs: Evaluierung von Social Business
Crash Kurs: Evaluierung von Social BusinessCrash Kurs: Evaluierung von Social Business
Crash Kurs: Evaluierung von Social BusinessLinda Kleemann
 
Schaffert (2009). Grundlagen des E-Assessment -Teil 3
Schaffert (2009). Grundlagen des E-Assessment -Teil 3Schaffert (2009). Grundlagen des E-Assessment -Teil 3
Schaffert (2009). Grundlagen des E-Assessment -Teil 3Sandra Schön (aka Schoen)
 
Hftm blended learning workshop 1 block 1 gr selbststeuerung 20160322
Hftm blended learning workshop 1 block 1 gr selbststeuerung  20160322Hftm blended learning workshop 1 block 1 gr selbststeuerung  20160322
Hftm blended learning workshop 1 block 1 gr selbststeuerung 20160322Christian Schlegel
 
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?Aperto Nachname
 
Testen+bewerten ws 20140424
Testen+bewerten ws 20140424Testen+bewerten ws 20140424
Testen+bewerten ws 20140424Jörg Hafer
 

Ähnlich wie Kompetenz messen, Wissen überprüfen, Erfolg evaluieren. (20)

Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen.
Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen. Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen.
Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen.
 
2013 11-25 MIB-Talk "Prüfen"
2013 11-25 MIB-Talk "Prüfen"2013 11-25 MIB-Talk "Prüfen"
2013 11-25 MIB-Talk "Prüfen"
 
Feedback im Praxisunterricht
Feedback im PraxisunterrichtFeedback im Praxisunterricht
Feedback im Praxisunterricht
 
Learning Experience Design & Research
Learning Experience Design & ResearchLearning Experience Design & Research
Learning Experience Design & Research
 
Podium Mathe-Online 2: Folien Anne Rickert
Podium Mathe-Online 2: Folien Anne RickertPodium Mathe-Online 2: Folien Anne Rickert
Podium Mathe-Online 2: Folien Anne Rickert
 
Feedback
Feedback Feedback
Feedback
 
Einfach besser! Deutsch für den Beruf B1-B2. Feedback und Kritik
Einfach besser! Deutsch für den Beruf B1-B2. Feedback und KritikEinfach besser! Deutsch für den Beruf B1-B2. Feedback und Kritik
Einfach besser! Deutsch für den Beruf B1-B2. Feedback und Kritik
 
Schaffert (2009). Grundlagen des E-Assessment - Teil 1
Schaffert (2009). Grundlagen des E-Assessment - Teil 1Schaffert (2009). Grundlagen des E-Assessment - Teil 1
Schaffert (2009). Grundlagen des E-Assessment - Teil 1
 
Schaffert (2009). Grundlagen des E-Assessment - Teil 2
Schaffert (2009). Grundlagen des E-Assessment - Teil 2Schaffert (2009). Grundlagen des E-Assessment - Teil 2
Schaffert (2009). Grundlagen des E-Assessment - Teil 2
 
Bayreuth-isajahnke-V4-short Learning Experience Design
Bayreuth-isajahnke-V4-short Learning Experience DesignBayreuth-isajahnke-V4-short Learning Experience Design
Bayreuth-isajahnke-V4-short Learning Experience Design
 
Projekt Jahrgang 58 Einzelne Folien Ev2
Projekt Jahrgang 58   Einzelne Folien Ev2Projekt Jahrgang 58   Einzelne Folien Ev2
Projekt Jahrgang 58 Einzelne Folien Ev2
 
Making an Schulen Diplompräsentation
Making an Schulen DiplompräsentationMaking an Schulen Diplompräsentation
Making an Schulen Diplompräsentation
 
Making an Schulen
Making an SchulenMaking an Schulen
Making an Schulen
 
Modul 3
Modul 3Modul 3
Modul 3
 
Crash Kurs: Evaluierung von Social Business
Crash Kurs: Evaluierung von Social BusinessCrash Kurs: Evaluierung von Social Business
Crash Kurs: Evaluierung von Social Business
 
Schaffert (2009). Grundlagen des E-Assessment -Teil 3
Schaffert (2009). Grundlagen des E-Assessment -Teil 3Schaffert (2009). Grundlagen des E-Assessment -Teil 3
Schaffert (2009). Grundlagen des E-Assessment -Teil 3
 
Qualität in Schulprojekten Globalen Lernens
Qualität in Schulprojekten Globalen LernensQualität in Schulprojekten Globalen Lernens
Qualität in Schulprojekten Globalen Lernens
 
Hftm blended learning workshop 1 block 1 gr selbststeuerung 20160322
Hftm blended learning workshop 1 block 1 gr selbststeuerung  20160322Hftm blended learning workshop 1 block 1 gr selbststeuerung  20160322
Hftm blended learning workshop 1 block 1 gr selbststeuerung 20160322
 
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?
 
Testen+bewerten ws 20140424
Testen+bewerten ws 20140424Testen+bewerten ws 20140424
Testen+bewerten ws 20140424
 

Mehr von Johannes Moskaliuk

Qualität in der Hochschullehre mit digitalen Medien: Was bedeutet das eigentl...
Qualität in der Hochschullehre mit digitalen Medien: Was bedeutet das eigentl...Qualität in der Hochschullehre mit digitalen Medien: Was bedeutet das eigentl...
Qualität in der Hochschullehre mit digitalen Medien: Was bedeutet das eigentl...Johannes Moskaliuk
 
Leben und Lernen in lokal-digital vernetzten Bildungslandschaften
Leben und Lernen in lokal-digital vernetzten BildungslandschaftenLeben und Lernen in lokal-digital vernetzten Bildungslandschaften
Leben und Lernen in lokal-digital vernetzten BildungslandschaftenJohannes Moskaliuk
 
Wisch und Weg | Wie sieht das Lernen der Zukunft aus?
Wisch und Weg | Wie sieht das Lernen der Zukunft aus?Wisch und Weg | Wie sieht das Lernen der Zukunft aus?
Wisch und Weg | Wie sieht das Lernen der Zukunft aus?Johannes Moskaliuk
 
Unterrichten im digitalen Raum: Konzepte und Methoden
Unterrichten im digitalen Raum: Konzepte und MethodenUnterrichten im digitalen Raum: Konzepte und Methoden
Unterrichten im digitalen Raum: Konzepte und MethodenJohannes Moskaliuk
 
VUCA-World vs. cognitive psychology: What kind of brain does a new worker nee...
VUCA-World vs. cognitive psychology: What kind of brain does a new worker nee...VUCA-World vs. cognitive psychology: What kind of brain does a new worker nee...
VUCA-World vs. cognitive psychology: What kind of brain does a new worker nee...Johannes Moskaliuk
 
Digitalisierung vs. Digitalität: Wir wollen wir in Zukunft lernen?
Digitalisierung vs. Digitalität: Wir wollen wir in Zukunft lernen?Digitalisierung vs. Digitalität: Wir wollen wir in Zukunft lernen?
Digitalisierung vs. Digitalität: Wir wollen wir in Zukunft lernen?Johannes Moskaliuk
 
Wo steht meine Hochschule in Hinblick auf die Digitalisierung der Lehre? Ein ...
Wo steht meine Hochschule in Hinblick auf die Digitalisierung der Lehre? Ein ...Wo steht meine Hochschule in Hinblick auf die Digitalisierung der Lehre? Ein ...
Wo steht meine Hochschule in Hinblick auf die Digitalisierung der Lehre? Ein ...Johannes Moskaliuk
 
Digitale Krise? Wie die Digitalisierung Geschäftsmodelle und -prozesse veränd...
Digitale Krise? Wie die Digitalisierung Geschäftsmodelle und -prozesse veränd...Digitale Krise? Wie die Digitalisierung Geschäftsmodelle und -prozesse veränd...
Digitale Krise? Wie die Digitalisierung Geschäftsmodelle und -prozesse veränd...Johannes Moskaliuk
 
Benchmarkingtool zur Bewertung von Hochschulstrategien
Benchmarkingtool zur Bewertung von HochschulstrategienBenchmarkingtool zur Bewertung von Hochschulstrategien
Benchmarkingtool zur Bewertung von HochschulstrategienJohannes Moskaliuk
 
Hilfe die Chatbots kommen. Wie künstliche Intelligenz die Kommunikation vera...
Hilfe die Chatbots kommen. Wie künstliche Intelligenz die Kommunikation vera...Hilfe die Chatbots kommen. Wie künstliche Intelligenz die Kommunikation vera...
Hilfe die Chatbots kommen. Wie künstliche Intelligenz die Kommunikation vera...Johannes Moskaliuk
 
VUCA-World vs. Kognitionspsychologie: Welches Gehirn braucht ein New Worker?
VUCA-World vs. Kognitionspsychologie: Welches Gehirn braucht ein New Worker?VUCA-World vs. Kognitionspsychologie: Welches Gehirn braucht ein New Worker?
VUCA-World vs. Kognitionspsychologie: Welches Gehirn braucht ein New Worker?Johannes Moskaliuk
 
Hauptsache Digital? Was Lehre erfolgreich macht.
Hauptsache Digital? Was Lehre erfolgreich macht. Hauptsache Digital? Was Lehre erfolgreich macht.
Hauptsache Digital? Was Lehre erfolgreich macht. Johannes Moskaliuk
 
Was macht digitale Bildung erfolgreich?
Was macht digitale Bildung erfolgreich? Was macht digitale Bildung erfolgreich?
Was macht digitale Bildung erfolgreich? Johannes Moskaliuk
 
Welche Konsequenzen hat die Digitalisierung für Bildungsanbieter?
Welche Konsequenzen hat die Digitalisierung für Bildungsanbieter?Welche Konsequenzen hat die Digitalisierung für Bildungsanbieter?
Welche Konsequenzen hat die Digitalisierung für Bildungsanbieter?Johannes Moskaliuk
 
Wisch und Weg – Wie digitale Medien unsere Kinder verändern.
Wisch und Weg – Wie digitale Medien unsere Kinder verändern.Wisch und Weg – Wie digitale Medien unsere Kinder verändern.
Wisch und Weg – Wie digitale Medien unsere Kinder verändern.Johannes Moskaliuk
 
Rahmenmodell zur Vorhersage von Lernerfolg mit digitalen Medien
Rahmenmodell zur Vorhersage von Lernerfolg mit digitalen MedienRahmenmodell zur Vorhersage von Lernerfolg mit digitalen Medien
Rahmenmodell zur Vorhersage von Lernerfolg mit digitalen MedienJohannes Moskaliuk
 
Digital Learning Map 2020: Datenbank für Praxisbeispiele zur Digitalen Hochsc...
Digital Learning Map 2020: Datenbank für Praxisbeispiele zur Digitalen Hochsc...Digital Learning Map 2020: Datenbank für Praxisbeispiele zur Digitalen Hochsc...
Digital Learning Map 2020: Datenbank für Praxisbeispiele zur Digitalen Hochsc...Johannes Moskaliuk
 
Digitale Return: Erfolgsfaktoren digitaler Bildung
Digitale Return: Erfolgsfaktoren digitaler BildungDigitale Return: Erfolgsfaktoren digitaler Bildung
Digitale Return: Erfolgsfaktoren digitaler BildungJohannes Moskaliuk
 
Online-Coaching als zeitgemäßes Instrument für die Personal- und Führungskräf...
Online-Coaching als zeitgemäßes Instrument für die Personal- und Führungskräf...Online-Coaching als zeitgemäßes Instrument für die Personal- und Führungskräf...
Online-Coaching als zeitgemäßes Instrument für die Personal- und Führungskräf...Johannes Moskaliuk
 

Mehr von Johannes Moskaliuk (20)

Qualität in der Hochschullehre mit digitalen Medien: Was bedeutet das eigentl...
Qualität in der Hochschullehre mit digitalen Medien: Was bedeutet das eigentl...Qualität in der Hochschullehre mit digitalen Medien: Was bedeutet das eigentl...
Qualität in der Hochschullehre mit digitalen Medien: Was bedeutet das eigentl...
 
Leben und Lernen in lokal-digital vernetzten Bildungslandschaften
Leben und Lernen in lokal-digital vernetzten BildungslandschaftenLeben und Lernen in lokal-digital vernetzten Bildungslandschaften
Leben und Lernen in lokal-digital vernetzten Bildungslandschaften
 
Wisch und Weg | Wie sieht das Lernen der Zukunft aus?
Wisch und Weg | Wie sieht das Lernen der Zukunft aus?Wisch und Weg | Wie sieht das Lernen der Zukunft aus?
Wisch und Weg | Wie sieht das Lernen der Zukunft aus?
 
Unterrichten im digitalen Raum: Konzepte und Methoden
Unterrichten im digitalen Raum: Konzepte und MethodenUnterrichten im digitalen Raum: Konzepte und Methoden
Unterrichten im digitalen Raum: Konzepte und Methoden
 
VUCA-World vs. cognitive psychology: What kind of brain does a new worker nee...
VUCA-World vs. cognitive psychology: What kind of brain does a new worker nee...VUCA-World vs. cognitive psychology: What kind of brain does a new worker nee...
VUCA-World vs. cognitive psychology: What kind of brain does a new worker nee...
 
Digitalisierung vs. Digitalität: Wir wollen wir in Zukunft lernen?
Digitalisierung vs. Digitalität: Wir wollen wir in Zukunft lernen?Digitalisierung vs. Digitalität: Wir wollen wir in Zukunft lernen?
Digitalisierung vs. Digitalität: Wir wollen wir in Zukunft lernen?
 
Wo steht meine Hochschule in Hinblick auf die Digitalisierung der Lehre? Ein ...
Wo steht meine Hochschule in Hinblick auf die Digitalisierung der Lehre? Ein ...Wo steht meine Hochschule in Hinblick auf die Digitalisierung der Lehre? Ein ...
Wo steht meine Hochschule in Hinblick auf die Digitalisierung der Lehre? Ein ...
 
Digitale Krise? Wie die Digitalisierung Geschäftsmodelle und -prozesse veränd...
Digitale Krise? Wie die Digitalisierung Geschäftsmodelle und -prozesse veränd...Digitale Krise? Wie die Digitalisierung Geschäftsmodelle und -prozesse veränd...
Digitale Krise? Wie die Digitalisierung Geschäftsmodelle und -prozesse veränd...
 
Benchmarkingtool zur Bewertung von Hochschulstrategien
Benchmarkingtool zur Bewertung von HochschulstrategienBenchmarkingtool zur Bewertung von Hochschulstrategien
Benchmarkingtool zur Bewertung von Hochschulstrategien
 
Hilfe die Chatbots kommen. Wie künstliche Intelligenz die Kommunikation vera...
Hilfe die Chatbots kommen. Wie künstliche Intelligenz die Kommunikation vera...Hilfe die Chatbots kommen. Wie künstliche Intelligenz die Kommunikation vera...
Hilfe die Chatbots kommen. Wie künstliche Intelligenz die Kommunikation vera...
 
VUCA-World vs. Kognitionspsychologie: Welches Gehirn braucht ein New Worker?
VUCA-World vs. Kognitionspsychologie: Welches Gehirn braucht ein New Worker?VUCA-World vs. Kognitionspsychologie: Welches Gehirn braucht ein New Worker?
VUCA-World vs. Kognitionspsychologie: Welches Gehirn braucht ein New Worker?
 
Hauptsache Digital? Was Lehre erfolgreich macht.
Hauptsache Digital? Was Lehre erfolgreich macht. Hauptsache Digital? Was Lehre erfolgreich macht.
Hauptsache Digital? Was Lehre erfolgreich macht.
 
Was macht digitale Bildung erfolgreich?
Was macht digitale Bildung erfolgreich? Was macht digitale Bildung erfolgreich?
Was macht digitale Bildung erfolgreich?
 
Welche Konsequenzen hat die Digitalisierung für Bildungsanbieter?
Welche Konsequenzen hat die Digitalisierung für Bildungsanbieter?Welche Konsequenzen hat die Digitalisierung für Bildungsanbieter?
Welche Konsequenzen hat die Digitalisierung für Bildungsanbieter?
 
Wisch und Weg – Wie digitale Medien unsere Kinder verändern.
Wisch und Weg – Wie digitale Medien unsere Kinder verändern.Wisch und Weg – Wie digitale Medien unsere Kinder verändern.
Wisch und Weg – Wie digitale Medien unsere Kinder verändern.
 
Rahmenmodell zur Vorhersage von Lernerfolg mit digitalen Medien
Rahmenmodell zur Vorhersage von Lernerfolg mit digitalen MedienRahmenmodell zur Vorhersage von Lernerfolg mit digitalen Medien
Rahmenmodell zur Vorhersage von Lernerfolg mit digitalen Medien
 
Digital Learning Map 2020: Datenbank für Praxisbeispiele zur Digitalen Hochsc...
Digital Learning Map 2020: Datenbank für Praxisbeispiele zur Digitalen Hochsc...Digital Learning Map 2020: Datenbank für Praxisbeispiele zur Digitalen Hochsc...
Digital Learning Map 2020: Datenbank für Praxisbeispiele zur Digitalen Hochsc...
 
Digitale Return: Erfolgsfaktoren digitaler Bildung
Digitale Return: Erfolgsfaktoren digitaler BildungDigitale Return: Erfolgsfaktoren digitaler Bildung
Digitale Return: Erfolgsfaktoren digitaler Bildung
 
Online-Coaching als zeitgemäßes Instrument für die Personal- und Führungskräf...
Online-Coaching als zeitgemäßes Instrument für die Personal- und Führungskräf...Online-Coaching als zeitgemäßes Instrument für die Personal- und Führungskräf...
Online-Coaching als zeitgemäßes Instrument für die Personal- und Führungskräf...
 
Wie lernt die Generation Z?
Wie lernt die Generation Z?Wie lernt die Generation Z?
Wie lernt die Generation Z?
 

Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.

  • 1. Kompetenz messen, Wissen überprüfen, Erfolg evaluieren. PROF. DR. JOHANNES MOSKALIUK 24.01.2017 | LEARNTEC KONGRESS | KARLSRUHE WORKSHOP 1 Johannes Moskaliuk | Workshop Evaluation
  • 2. In diesem Workshop lernen Sie ...  worauf es bei einer Evaluation ankommt,  welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene Kompetenzen zu messen,  welche typischen Fehler bei der Formulierung von Fragen es gibt,  welche methodischen Schwierigkeiten auftreten können,  was bei der computerbasierten Testung zu beachten ist,  und was bei der Interpretation der Ergebnisse berücksichtigt werden muss. 2 Johannes Moskaliuk | Workshop Evaluation
  • 3. Inhalt  Was ist eine Evaluation?  Messmethoden  Aufgabenformate  Was ist eine gute Beurteilungsaufgabe?  Formulierung von Items  Fehlerquellen bei der Messung  Testarten  Computerbasiertes Testen  Einblick in die Praxis 3 Johannes Moskaliuk | Workshop Evaluation
  • 4. Happy Sheet 5% 9% 21% 36% 29% Zufriedenheit der Teilnehmenden geht so in Ordnung hervorragend sehr hervorragend äußerst hervorragend  Die Location für das Seminar war ...  Der Trainer, die Trainerin war mir sympathisch.  Das Seminar war anstrengend für mich.  Ich möchte gerne mehr zu diesem Thema lernen.  Das Seminar hat mit gut gefallen. Wichtige Fragen, aber ... Johannes Moskaliuk | Workshop Evaluation 4
  • 5. Zu Beginn müssen deshalb die Ziele des Projekts definiert werden und dann die Frage geklärt werden, was in der Evaluation gemessen werden soll. ... viele Evaluationsprojekte scheitern*, weil zu Beginn nicht klar ist, was gemessen werden soll. *gemeint ist: Die Ergebnisse können nicht genutzt werden. 5 Johannes Moskaliuk | Workshop Evaluation
  • 6. Ihre Beispiele aus der Praxis  In welchem Ihrer aktuellen Projekte würde sich eine Evaluation anbieten?  Was ist das zentrale Erfolgskriterium? Woran erkennen Sie, dass Ihr Projekt erfolgreich war.  Wer hat Interesse an den Ergebnissen der Evaluation?  Welche Konsequenzen haben die Ergebnisse der Evaluation für das Projekt? 6 Johannes Moskaliuk | Workshop Evaluation und Fragen
  • 7. Was ist eine Evaluation?  Welche Ziele und welche Erfolgskriterien werden verwendet?  Wurde das intendierte Ziel erreicht?  War eine Maßnahme wirksam?  Haben die Teilnehmenden etwas gelernt? Soll Ist Bewertung der Ergebnisse von Projekten oder Prozessen summativ formativ Johannes Moskaliuk | Workshop Evaluation 7
  • 8. Was sind die Kriterien für Erfolg? Kirkpatrick, 1959 Johannes Moskaliuk | Workshop Evaluation 8
  • 9. Inhalt  Was ist eine Evaluation?  Messmethoden  Aufgabenformate  Was ist eine gute Beurteilungsaufgabe?  Formulierung von Items  Fehlerquellen bei der Messung  Testarten  Computerbasiertes Testen  Einblick in die Praxis 9 Johannes Moskaliuk | Workshop Evaluation
  • 10. Welche Methoden gibt es? Wissenstest ............................. Längsschnittstudie festgelegter Zielwert vorher / nachher Womit wird verglichen? vorhandene Kennwerte langfristig kurzfristig Johannes Moskaliuk | Workshop Evaluation 10
  • 11. Welche Messmethoden gibt es? Ein Fragebogen ist nur eine von vielen Möglichkeiten! 11 Johannes Moskaliuk | Workshop Evaluation
  • 12. Was ist eine gute Messung? Objektivität Validität Reliabilität Die Ergebnisse sind unabhängig von der durchführenden, auswertenden und interpretierenden Person. Der Test misst, was er messen soll. Der Test misst genau, d.h. mit geringem Messfehler. 12 Johannes Moskaliuk | Workshop Evaluation
  • 13. Projektive Verfahren Rorschach - Test Thematischer Apperzeptionstest (TAT) OMT (Operanter Motiv-Test) Johannes Moskaliuk | Workshop Evaluation 13
  • 15. Fragebogen | Befragungen papierbasiertcomputerbasiert Johannes Moskaliuk | Workshop Evaluation 15 online ©RaimondSpekkingviaWikimediaCommons
  • 16. Inhalt  Was ist eine Evaluation?  Messmethoden  Aufgabenformate  Was ist eine gute Beurteilungsaufgabe?  Formulierung von Items  Fehlerquellen bei der Messung  Testarten  Computerbasiertes Testen  Einblick in die Praxis 16 Johannes Moskaliuk | Workshop Evaluation
  • 17. Aufgaben mit freiem Format Geben Sie so viele kreative Ideen wie möglich an, was man mit einer Garnrolle und einem Nagel machen könnte. _________________________________ Kurzsatzaufgaben Vorteile Nachteile Reproduktion von Wissen eigene Antwort mehr Aufwand für den Probanden zufällig richtige Antworten sind ausgeschlossen Mehr Aufwand für die Auswertung gut zur Erfassung von Motiven und Gründen Auswertungsobjektivität eingeschränkt bei projektiven Verfahren Sehr abhängig von sprachlicher Kompetenz des Probanden Johannes Moskaliuk | Workshop Evaluation 17
  • 18. Aufgaben mit freiem Format Atheist verhält sich zu Religion wie Pazifist zu ____________ Specht und Ente sind ____________ Die Hauptstadt von Deutschland ist ____________ 2 4 8 16 ____________ Ergänzungsaufgaben Vorteile Nachteile Reproduktion von Wissen statt nur Wieder-erkennung meist nur Faktenwissen prüfbar zufällig richtige Antworten sind ausgeschlossen Abhängig von Lesefähigkeit und Intelligenz Wenn Auswerteschema: Objektivität hoch Mehr Zeitaufwand für Durchführung und Auswertung Johannes Moskaliuk | Workshop Evaluation 18
  • 19. Aufgaben mit gebundenem Antwortformat Zuordnungsaufgaben Umordnungsaufgaben Johannes Moskaliuk | Workshop Evaluation 19
  • 20. Aufgaben mit gebundenem Antwortformat ZuordnungsaufgabenUmordnungsaufgaben Vorteile Nachteile einfach, ökonomisch, objektiv Keine Reproduktion von Wissen Zufällig richtige Antwort im Prinzip ausgeschlossen Antwortalternativen nicht unabhängig. Freiheitsgrade sinken mit jeder richtigen Zuordnung Gut für Wissenstests / Kenntnistests geeignet Mehr Zeitaufwand für Durchführung und Auswertung Johannes Moskaliuk | Workshop Evaluation 20
  • 21. Aufgaben mit gebundenem Antwortformat Auswahlaufgaben Johannes Moskaliuk | Workshop Evaluation 21
  • 22. Aufgaben mit gebundenem Antwortformat Dichotome Aufgaben Vorteile Nachteile einfach, ökonomisch, objektiv Keine Reproduktion von Wissen Kurze Lösungszeit Hohe Ratewahrscheinlichkeit Angela Merkel ist ... ☐ Bundeskanzlerin der BRD. ☐ Ministerpräsidentin von Berlin. Ich würde gerne mehr über das Thema wissen. ☐ Stimmt. ☐ Stimmt nicht. Johannes Moskaliuk | Workshop Evaluation 22
  • 23. Mehrfachwahl-Aufgaben Multiple-Choice Aufgaben eine vs. mehrere korrekte Antwortalternativen Vorteile Nachteile einfach, ökonomisch, objektiv Keine Reproduktion von Wissen Ratewahrscheinlichkeit verringert, da mehr Antwortalternativen Nicht immer sinnvoll, z.B. nicht für Kreativität Verzerrungen, wenn Distraktoren nicht gut gewählt oder Hinweis auf richtige Antwort enthalten Welche Personen sind Mitglied des aktuellen Bundeskabinetts? ☐ Angela Merkel ☐ Barack Obama ☐ Sigmar Gabriel ☐ Winfried Kretschmann Johannes Moskaliuk | Workshop Evaluation 23Aufgaben mit gebundenem Antwortformat
  • 24. Ihre Beispiele aus der Praxis  Formulieren Sie einige Beispielfragen (Items), die Sie in Ihrem Evaluationsprojekt einsetzen möchten.  Machen Sie sich Notizen! Diskutieren Sie:  Welche Problem könnten sich bei der Frage ergeben?  Welche Lösungsmöglichkeiten sehen Sie? 24 Johannes Moskaliuk | Workshop Evaluation und Fragen
  • 25. Inhalt  Was ist eine Evaluation?  Messmethoden  Aufgabenformate  Was ist eine gute Beurteilungsaufgabe?  Formulierung von Items  Fehlerquellen bei der Messung  Testarten  Computerbasiertes Testen  Einblick in die Praxis 25 Johannes Moskaliuk | Workshop Evaluation
  • 26. Problem: Nicht disjunkte Antwortalternativen Problem: Nicht exhaustive Antwortalternativen Vollständigkeit der Antwortalternativen Antwortalternativen schließen sich gegenseitig aus Exhaustivität bei Persönlichkeitstest wichtig Alternative: Forced Choice Wie groß ist 1/5 von 10? a.) kleiner als 1,5 b.) 1,5 bis 2 c.) 2,0 bis 2,5 d.) größer als 2,5 Wählen Sie die Antwort aus, die auf Sie am besten zutrifft. a.) Ich bevorzuge harte, realistische Action-Thriller b.) Ich bevorzuge gefühlvoll, feinsinnig Filme. Johannes Moskaliuk | Workshop Evaluation 26
  • 27. Konstruktion von Beurteilungsaufgaben Skalenstufen visuelle Analogskala diskret gestufte Ratingskala Polarität unipolar vs. bipolar Johannes Moskaliuk | Workshop Evaluation 27
  • 28. Konstruktion von Beurteilungsaufgaben Skalenpunkte Numerische Skala  Intervallskala Verbale Ratingskala Optische Skalen Johannes Moskaliuk | Workshop Evaluation 28
  • 29. Konstruktion von Beurteilungsaufgaben Mittelkategorie Weiß nicht Kategorie gerade / ungerade Anzahl Skalenpunkte asymmetrische Skalen Boden- / Deckeneffekte Johannes Moskaliuk | Workshop Evaluation 29
  • 30. Welche Probleme sehen Sie bei folgenden Items? o Finden Sie keinen Gefallen an der Abholzung des Regenwaldes? o Ich finde nicht, dass ich häufig nicht hungrig bin! o Wenn ich mit meinem Auto zu einem wichtigen Meeting fahre, so wü̈rde ich mich, falls es dann noch einen Stau aufgrund der Rush Hour gäbe, aufregen. o Ich neige zur Prokrastination. o Mein Kind kann sich nie auf nur eine Aufgabe konzentrieren. o Ich gehe gerne auf Parties und trinke gerne Alkohol. o Die jü̈ngsten Erfolge der transkraniellen Magnetstimulation im Bereich der alternativen Therapien affektiver Störungen halte ich für ein sehr wichtiges Forschungsergebnis. o In letzter Zeit war ich häufig in der Oper. Johannes Moskaliuk | Workshop Evaluation 30
  • 31. Itemformulierung direkt Sind Sie ängstlich? indirekt Fühlen Sie sich unsicher, wenn Sie nachts allein auf der Straße sind? hypothetisch biografiebezogen Stellen Sie sich vor, es gäbe immer wieder Konflikte zwischen den Mitarbeitern in ihrer Abteilung. Wie haben Sie sich bei der letzten Auseinandersetzung mit einem Kollegen verhalten? Exkurs Johannes Moskaliuk | Workshop Evaluation 31
  • 32. Itemformulierung konkret abstrakt Wie verhalten Sie sich, wenn Sie einen Streit zwischen Kollegen schlichten müssen? Wie belastend schätzen Sie die Arbeit in einem konfliktreichen Arbeitsumfeld ein personalisiert depersonalisiert Treiben Sie regelmäßig Sport? Halten Sie es für sinnvoll, regelmäßig Sport zu treiben? Exkurs Johannes Moskaliuk | Workshop Evaluation 32
  • 33. Itemformulierung Qualität / Intensität Halten Sie sich für einen ängstlichen Menschen? Bekommen Sie Herzrasen, wenn Ihnen nachts jemand auf der Straße folgt? Selbstbeschreibung Ich bin ein fröhlicher Mensch. Fremdbeschreibung Andere halten mich für einen fröhlichen Menschen. Traitzuschreibung Ich lache oft und gern. Wünsche Interesse Ich interessiere mich für Psychologie. Einstellungen Meinungen Es gibt wichtigeres als beruflichen Erfolg Biografie Ich war schon oft im Ausland. Exkurs Johannes Moskaliuk | Workshop Evaluation 33
  • 34. Regeln für die Formulierung von Items positiv formuliert Keine Verneinung klare Konstruktion keine Abkürzungen keine Fachbegriffe Angaben zur Intensität oder Häufigkeit können problematisch sein. Ich trinke häufig Wein. trifft zutrifft nicht zu Ich entspanne mich gern mit einem alkoholischen Getränk. besser: Verständlichkeit Johannes Moskaliuk | Workshop Evaluation 34
  • 35. Regeln für die Formulierung von Items Eindeutigkeit keine Universalausdrücke immer, nie, alle ... Schwieriges definieren keine Mehrdeutigkeit eine Aussage pro Item Vorwissen beachten Bezugsgrößen definieren Zeitspannen klar angeben Johannes Moskaliuk | Workshop Evaluation 35
  • 36. Was ist eine gute Aufgabe?  Leichte Verständlichkeit  einfache Durchführbarkeit  kurze Lösungszeit  Geringer Material und Papierverbrauch  Leichte Auswertbarkeit  Geringe Häufigkeit von Zufallslösungen Johannes Moskaliuk | Workshop Evaluation 36
  • 37. Ihre Beispiele aus der Praxis  Prüfen Sie die Items, die Sie notiert haben.  Sind alle Regeln für die Formulierung von Items berücksichtigt?  Finden Sie alternative Formulierungen. 37 Johannes Moskaliuk | Workshop Evaluation und Fragen
  • 38. Inhalt  Was ist eine Evaluation?  Messmethoden  Aufgabenformate  Was ist eine gute Beurteilungsaufgabe?  Formulierung von Items  Fehlerquellen bei der Messung  Testarten  Computerbasiertes Testen  Einblick in die Praxis 38 Johannes Moskaliuk | Workshop Evaluation
  • 39. Fehlerquellen Soziale Erwünschtheit Selfdeceptive Enhancement Impression Management Kontrollskalen / Lügenskalen Anonymität Gründe Lösung Akquieszenz Ja-Sage-Tendenz Lösung Inventierung von Items Tendenz zur Mitte 0 20 40 -2 -1 0 1 2 Tendenz zur Mitte 0 20 40 -2 -1 0 1 2 Tendenz zu extremen Urteil Antwortkategorie Antworthäufigkeit Antworthäufigkeit Antwortkategorie Lösung keine Mittelkategorie Johannes Moskaliuk | Workshop Evaluation 39
  • 40. Konstruktvalidität Konstrukt latente Variable | Trait Kriterium beobachtbares Verhalten z.B. Item ankreuzen Nomologisches Netzwerk Faktorenanalyse konvergente divergente diskriminante Exkurs Johannes Moskaliuk | Workshop Evaluation 40
  • 41. Kriteriumsvalidität Kriterium beobachtbares Verhalten z.B. Item ankreuzen konkurrente prognostisch Übereinstimmung Vorhersage zeitgleich zukünftig Verhalten Exkurs Johannes Moskaliuk | Workshop Evaluation 41
  • 42. Inhalt  Was ist eine Evaluation?  Messmethoden  Aufgabenformate  Was ist eine gute Beurteilungsaufgabe?  Formulierung von Items  Fehlerquellen bei der Messung  Testarten  Computerbasiertes Testen  Einblick in die Praxis 42 Johannes Moskaliuk | Workshop Evaluation
  • 43. Testarten Leistungstests Intelligenz Konzentration Speed vs. Power Persönlichkeitstests Trait vs. State Interesse Selbstauskunft verhaltensnahe Tests projektive Verfahren Fragebogen objektive Tests apparativ Computer Exkurs Johannes Moskaliuk | Workshop Evaluation 43
  • 44. Testökonomie Ist der finanzielle und zeitliche Aufwand dem diagnostischen Erkenntnisgewinn angemessen? Testmaterial Hard-/Software Lizenzgebühren Finanzieller Aufwand zeitlicher Aufwand Bearbeitungszeit Vorbereitung Auswertung Ausblick: Internetgestütztes Testen Adaptives Testen Johannes Moskaliuk | Workshop Evaluation 44
  • 45. Itemschwierigkeit Ziel: Items eines Fragebogen sollen individuelle Unterschiede abbilden. zu leichte und zu schwere Aufgaben Ich halte Umweltverschmutzung für schädlich. Sonderfall sehr seltene Merkmale z.B. in der klinischen Psychologie Problem Itemvarianz Itemschwierigkeit Statistische Kenngrößen Exkurs Johannes Moskaliuk | Workshop Evaluation 45
  • 46. Weitere Aspekte Aktualität Wertungen Wie heißt der Ministerpräsident von Baden-Württemberg? Warum ist es besser, Geld einer Wohltätigkeitsorganisation zu spenden als einem Bettler? Suggestion Sie stimmen doch zu, dass der Nichtraucherschutz in Deutschland sehr wichtig ist? Gendergerechtigkeit Ich ärgere mich oft über meinen Chef. Johannes Moskaliuk | Workshop Evaluation 46
  • 47. Inhalt  Was ist eine Evaluation?  Messmethoden  Aufgabenformate  Was ist eine gute Beurteilungsaufgabe?  Formulierung von Items  Fehlerquellen bei der Messung  Testarten  Computerbasiertes Testen  Einblick in die Praxis 47 Johannes Moskaliuk | Workshop Evaluation
  • 48. Computerbasiertes Testen Volljährigkeit der TeilnehmerInnen Ethische Aspekte Einverständnis- erklärung Anonymisierung verdeckte Datenerhebung? Kontrollierbarkeit Identität der TN Angaben korrekt? Verhalten Ablenkung? Absichtliches Fehlverhalten Mehrfachteilnahme meistens höhere Stichprobe notwendig Definition von Ausreißern verzerrte Stichprobe Dropouts 48 Johannes Moskaliuk | Workshop Evaluation
  • 49. Inhalt  Was ist eine Evaluation?  Messmethoden  Aufgabenformate  Was ist eine gute Beurteilungsaufgabe?  Formulierung von Items  Fehlerquellen bei der Messung  Testarten  Häufige Fehler  Computerbasiertes Testen  Beispiele aus der Praxis 49 Johannes Moskaliuk | Workshop Evaluation
  • 50. Beispiel aus der Praxis Johannes Moskaliuk | Workshop Evaluation 50 Virtuelle Polizei
  • 51. Feldstudie | Warum ist virtuelles Training erfolgreich? Standard-Training Virtuelles TrainingVerhaltensempfehlung Wissenstest Subjektive Maße Wissenstest Transfertest 51
  • 52. Feldstudie | Methode Ich würde meinen KollegInnen den Besuch dieses Trainings empfehlen. Akzeptanz Ich bin mit dem virtuellen Training zufrieden. Zufriedenheit Lernerfolg Ich habe in dem Training sehr viel Neues gelernt. Subjektive Maße Wissenstest mit 20 Items Wie wird die Person genannt, die vom Hubschrauber hauptsächlich angesprochen wird? A Leiter B Lenker C Führer D Identifizierungsbeamter 52
  • 53. Feldstudie | WissenWissenstest* 0 2 4 6 8 10 12 14 16 18 20 VE Reales Training Virtuelles Training WissenVorher WissenNachher Standard Virtuellkein Training 53
  • 54. Feldstudie | Transfer Standard Virtuellkein Training 54
  • 55. Beispiel aus der Praxis Johannes Moskaliuk | Workshop Evaluation 55 Patongo Fokus - Gruppe Plattform zum Austausch von Best-Practices Forschungsfrage: Welche Hürden bestehen für den Informationsaustausch? Logfile-Analyse Befragung
  • 56. Beispiel aus der Praxis Johannes Moskaliuk | Workshop Evaluation 56 Generation Y 0 1 2 3 4 5 6 persönliche Sicherheit Leistung Mitgefühl Verantwortung Wertschätzung Konformität Das Gesicht wahren Genuss/Hedonismus BescheidenheitFührung übernehmen Macht Selbstbestimmung… Selbstbestimmung… gesellschaftliche… Stimulation Tradition Universalismus
  • 57. 57 Vielen Dank für Ihr Interesse. Johannes Moskaliuk post@moskaliuk.com Folien und weiterführende Links unter: http://www.moskaliuk.com/evaluationLT twitter.com/moskaliuk slideshare.net/moskaliuk facebook.com/moskaliuk