Die Überprüfung des Erfolgs gehört auch bei digitalen Weiterbildungs- oder Personalentwicklungsmaßnahmen mittlerweile zum Standard. Oft hängen Entscheidungen über die Weiterführung einer Maßnahme von der Evaluation ab, oder die Ergebnisse können zur Weiterentwicklung genutzt werden.
Damit Sie Ergebnisse interpretieren können und daraus gültige Aussagen über Zufriedenheit, Lernerfolg oder erworbenen Handlungskompetenzen ableiten können, müssen einige Grundregeln beachtet werden.
In diesem Workshop lernen Sie,
• worauf es bei einer Evaluation ankommt,
• welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene Kompetenzen zu messen,
• welche typischen Fehler bei der Formulierung von Fragen es gibt,
• welche methodischen Schwierigkeiten auftreten können,
• was bei der computerbasierten Testung zu beachten ist,
und was bei der Interpretation der Ergebnisse berücksichtigt werden muss
LAKO Kreativpreis_2024_Startnummer_02_(LFS_LA).pdf
Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.
1. Kompetenz messen,
Wissen überprüfen,
Erfolg evaluieren.
PROF. DR. JOHANNES MOSKALIUK
24.01.2017 | LEARNTEC KONGRESS | KARLSRUHE
WORKSHOP 1
Johannes Moskaliuk | Workshop Evaluation
2. In diesem Workshop lernen Sie ...
worauf es bei einer Evaluation ankommt,
welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene Kompetenzen
zu messen,
welche typischen Fehler bei der Formulierung von Fragen es gibt,
welche methodischen Schwierigkeiten auftreten können,
was bei der computerbasierten Testung zu beachten ist,
und was bei der Interpretation der Ergebnisse berücksichtigt werden muss.
2
Johannes Moskaliuk | Workshop Evaluation
3. Inhalt
Was ist eine Evaluation?
Messmethoden
Aufgabenformate
Was ist eine gute Beurteilungsaufgabe?
Formulierung von Items
Fehlerquellen bei der Messung
Testarten
Computerbasiertes Testen
Einblick in die Praxis
3
Johannes Moskaliuk | Workshop Evaluation
4. Happy Sheet
5%
9%
21%
36%
29%
Zufriedenheit der Teilnehmenden
geht so
in Ordnung
hervorragend
sehr hervorragend
äußerst hervorragend
Die Location für das Seminar war ...
Der Trainer, die Trainerin war mir sympathisch.
Das Seminar war anstrengend für mich.
Ich möchte gerne mehr zu diesem Thema lernen.
Das Seminar hat mit gut gefallen.
Wichtige Fragen, aber ...
Johannes Moskaliuk | Workshop Evaluation
4
5. Zu Beginn müssen deshalb die Ziele des
Projekts definiert werden und dann die
Frage geklärt werden, was in der
Evaluation gemessen werden soll.
... viele Evaluationsprojekte scheitern*, weil zu
Beginn nicht klar ist, was gemessen werden
soll.
*gemeint ist: Die Ergebnisse können nicht genutzt werden.
5
Johannes Moskaliuk | Workshop Evaluation
6. Ihre Beispiele aus der Praxis
In welchem Ihrer aktuellen Projekte würde sich eine Evaluation anbieten?
Was ist das zentrale Erfolgskriterium? Woran erkennen Sie, dass Ihr Projekt
erfolgreich war.
Wer hat Interesse an den Ergebnissen der Evaluation?
Welche Konsequenzen haben die Ergebnisse der Evaluation für das
Projekt?
6
Johannes Moskaliuk | Workshop Evaluation
und Fragen
7. Was ist eine Evaluation?
Welche Ziele und welche Erfolgskriterien werden verwendet?
Wurde das intendierte Ziel erreicht?
War eine Maßnahme wirksam?
Haben die Teilnehmenden etwas gelernt?
Soll Ist
Bewertung der Ergebnisse von Projekten oder Prozessen
summativ formativ
Johannes Moskaliuk | Workshop Evaluation
7
8. Was sind die Kriterien für Erfolg?
Kirkpatrick, 1959 Johannes Moskaliuk | Workshop Evaluation
8
9. Inhalt
Was ist eine Evaluation?
Messmethoden
Aufgabenformate
Was ist eine gute Beurteilungsaufgabe?
Formulierung von Items
Fehlerquellen bei der Messung
Testarten
Computerbasiertes Testen
Einblick in die Praxis
9
Johannes Moskaliuk | Workshop Evaluation
10. Welche Methoden gibt es?
Wissenstest ............................. Längsschnittstudie
festgelegter Zielwert
vorher / nachher
Womit wird verglichen?
vorhandene Kennwerte
langfristig
kurzfristig
Johannes Moskaliuk | Workshop Evaluation
10
11. Welche Messmethoden gibt es?
Ein Fragebogen ist nur eine von vielen Möglichkeiten!
11
Johannes Moskaliuk | Workshop Evaluation
12. Was ist eine gute Messung?
Objektivität
Validität
Reliabilität
Die Ergebnisse sind unabhängig von der durchführenden,
auswertenden und interpretierenden Person.
Der Test misst, was er messen soll.
Der Test misst genau, d.h. mit geringem Messfehler.
12
Johannes Moskaliuk | Workshop Evaluation
13. Projektive Verfahren
Rorschach - Test
Thematischer Apperzeptionstest (TAT)
OMT (Operanter Motiv-Test)
Johannes Moskaliuk | Workshop Evaluation
13
16. Inhalt
Was ist eine Evaluation?
Messmethoden
Aufgabenformate
Was ist eine gute Beurteilungsaufgabe?
Formulierung von Items
Fehlerquellen bei der Messung
Testarten
Computerbasiertes Testen
Einblick in die Praxis
16
Johannes Moskaliuk | Workshop Evaluation
17. Aufgaben mit freiem Format
Geben Sie so viele kreative Ideen wie möglich an, was
man mit einer Garnrolle und einem Nagel machen
könnte.
_________________________________
Kurzsatzaufgaben
Vorteile Nachteile
Reproduktion von Wissen
eigene Antwort
mehr Aufwand für den
Probanden
zufällig richtige Antworten
sind ausgeschlossen
Mehr Aufwand für die
Auswertung
gut zur Erfassung von
Motiven und Gründen
Auswertungsobjektivität
eingeschränkt
bei projektiven Verfahren Sehr abhängig von
sprachlicher Kompetenz des
Probanden
Johannes Moskaliuk | Workshop Evaluation
17
18. Aufgaben mit freiem Format
Atheist verhält sich zu Religion wie Pazifist zu ____________
Specht und Ente sind ____________
Die Hauptstadt von Deutschland ist ____________
2 4 8 16 ____________
Ergänzungsaufgaben
Vorteile Nachteile
Reproduktion von Wissen
statt nur Wieder-erkennung
meist nur Faktenwissen
prüfbar
zufällig richtige Antworten
sind ausgeschlossen
Abhängig von Lesefähigkeit
und Intelligenz
Wenn Auswerteschema:
Objektivität hoch
Mehr Zeitaufwand für
Durchführung und
Auswertung
Johannes Moskaliuk | Workshop Evaluation
18
19. Aufgaben mit gebundenem Antwortformat
Zuordnungsaufgaben
Umordnungsaufgaben
Johannes Moskaliuk | Workshop Evaluation
19
20. Aufgaben mit gebundenem Antwortformat
ZuordnungsaufgabenUmordnungsaufgaben
Vorteile Nachteile
einfach, ökonomisch,
objektiv
Keine Reproduktion von
Wissen
Zufällig richtige Antwort im
Prinzip ausgeschlossen
Antwortalternativen nicht
unabhängig. Freiheitsgrade
sinken mit jeder richtigen
Zuordnung
Gut für Wissenstests /
Kenntnistests geeignet
Mehr Zeitaufwand für
Durchführung und
Auswertung
Johannes Moskaliuk | Workshop Evaluation
20
21. Aufgaben mit gebundenem Antwortformat
Auswahlaufgaben
Johannes Moskaliuk | Workshop Evaluation
21
22. Aufgaben mit gebundenem Antwortformat
Dichotome Aufgaben
Vorteile Nachteile
einfach, ökonomisch,
objektiv
Keine Reproduktion von
Wissen
Kurze Lösungszeit Hohe
Ratewahrscheinlichkeit
Angela Merkel ist ...
☐ Bundeskanzlerin der BRD.
☐ Ministerpräsidentin von Berlin.
Ich würde gerne mehr über das
Thema wissen.
☐ Stimmt.
☐ Stimmt nicht.
Johannes Moskaliuk | Workshop Evaluation
22
23. Mehrfachwahl-Aufgaben
Multiple-Choice Aufgaben
eine vs. mehrere korrekte Antwortalternativen
Vorteile Nachteile
einfach, ökonomisch,
objektiv
Keine Reproduktion von
Wissen
Ratewahrscheinlichkeit
verringert, da mehr
Antwortalternativen
Nicht immer sinnvoll, z.B.
nicht für Kreativität
Verzerrungen, wenn
Distraktoren nicht gut
gewählt oder Hinweis auf
richtige Antwort enthalten
Welche Personen sind Mitglied des
aktuellen Bundeskabinetts?
☐ Angela Merkel
☐ Barack Obama
☐ Sigmar Gabriel
☐ Winfried Kretschmann
Johannes Moskaliuk | Workshop Evaluation
23Aufgaben mit gebundenem Antwortformat
24. Ihre Beispiele aus der Praxis
Formulieren Sie einige Beispielfragen (Items), die Sie in Ihrem
Evaluationsprojekt einsetzen möchten.
Machen Sie sich Notizen!
Diskutieren Sie:
Welche Problem könnten sich bei der Frage ergeben?
Welche Lösungsmöglichkeiten sehen Sie?
24
Johannes Moskaliuk | Workshop Evaluation
und Fragen
25. Inhalt
Was ist eine Evaluation?
Messmethoden
Aufgabenformate
Was ist eine gute Beurteilungsaufgabe?
Formulierung von Items
Fehlerquellen bei der Messung
Testarten
Computerbasiertes Testen
Einblick in die Praxis
25
Johannes Moskaliuk | Workshop Evaluation
26. Problem: Nicht disjunkte Antwortalternativen
Problem: Nicht exhaustive
Antwortalternativen
Vollständigkeit der Antwortalternativen
Antwortalternativen schließen sich gegenseitig aus
Exhaustivität bei
Persönlichkeitstest wichtig
Alternative: Forced Choice
Wie groß ist 1/5 von 10?
a.) kleiner als 1,5 b.) 1,5 bis 2
c.) 2,0 bis 2,5 d.) größer als 2,5
Wählen Sie die Antwort aus, die auf Sie am besten
zutrifft.
a.) Ich bevorzuge harte, realistische Action-Thriller
b.) Ich bevorzuge gefühlvoll, feinsinnig Filme.
Johannes Moskaliuk | Workshop Evaluation
26
30. Welche Probleme sehen Sie bei folgenden
Items?
o Finden Sie keinen Gefallen an der Abholzung des Regenwaldes?
o Ich finde nicht, dass ich häufig nicht hungrig bin!
o Wenn ich mit meinem Auto zu einem wichtigen Meeting fahre, so wü̈rde ich mich,
falls es dann noch einen Stau aufgrund der Rush Hour gäbe, aufregen.
o Ich neige zur Prokrastination.
o Mein Kind kann sich nie auf nur eine Aufgabe konzentrieren.
o Ich gehe gerne auf Parties und trinke gerne Alkohol.
o Die jü̈ngsten Erfolge der transkraniellen Magnetstimulation im Bereich der
alternativen Therapien affektiver Störungen halte ich für ein sehr wichtiges
Forschungsergebnis.
o In letzter Zeit war ich häufig in der Oper.
Johannes Moskaliuk | Workshop Evaluation
30
31. Itemformulierung
direkt
Sind Sie ängstlich?
indirekt
Fühlen Sie sich unsicher, wenn Sie
nachts allein auf der Straße sind?
hypothetisch biografiebezogen
Stellen Sie sich vor, es gäbe
immer wieder Konflikte
zwischen den Mitarbeitern
in ihrer Abteilung.
Wie haben Sie sich bei der letzten
Auseinandersetzung mit einem
Kollegen verhalten?
Exkurs
Johannes Moskaliuk | Workshop Evaluation
31
32. Itemformulierung
konkret abstrakt
Wie verhalten Sie sich, wenn
Sie einen Streit zwischen
Kollegen schlichten müssen?
Wie belastend schätzen Sie die
Arbeit in einem konfliktreichen
Arbeitsumfeld ein
personalisiert depersonalisiert
Treiben Sie regelmäßig Sport? Halten Sie es für sinnvoll, regelmäßig
Sport zu treiben?
Exkurs
Johannes Moskaliuk | Workshop Evaluation
32
33. Itemformulierung
Qualität /
Intensität
Halten Sie sich für einen ängstlichen Menschen?
Bekommen Sie Herzrasen, wenn Ihnen nachts jemand auf der Straße folgt?
Selbstbeschreibung
Ich bin ein fröhlicher Mensch.
Fremdbeschreibung
Andere halten mich für
einen fröhlichen
Menschen.
Traitzuschreibung
Ich lache oft und gern.
Wünsche
Interesse
Ich interessiere mich
für Psychologie.
Einstellungen
Meinungen
Es gibt wichtigeres als
beruflichen Erfolg
Biografie
Ich war schon oft im Ausland.
Exkurs
Johannes Moskaliuk | Workshop Evaluation
33
34. Regeln für die Formulierung von Items
positiv formuliert
Keine Verneinung
klare Konstruktion
keine Abkürzungen
keine Fachbegriffe
Angaben zur Intensität oder Häufigkeit
können problematisch sein.
Ich trinke häufig Wein.
trifft zutrifft nicht zu
Ich entspanne mich gern mit einem
alkoholischen Getränk.
besser:
Verständlichkeit
Johannes Moskaliuk | Workshop Evaluation
34
35. Regeln für die Formulierung von Items
Eindeutigkeit
keine Universalausdrücke immer, nie, alle ...
Schwieriges definieren
keine Mehrdeutigkeit
eine Aussage pro Item
Vorwissen beachten
Bezugsgrößen definieren
Zeitspannen klar angeben
Johannes Moskaliuk | Workshop Evaluation
35
36. Was ist eine gute Aufgabe?
Leichte Verständlichkeit
einfache Durchführbarkeit
kurze Lösungszeit
Geringer Material und Papierverbrauch
Leichte Auswertbarkeit
Geringe Häufigkeit von Zufallslösungen
Johannes Moskaliuk | Workshop Evaluation
36
37. Ihre Beispiele aus der Praxis
Prüfen Sie die Items, die Sie notiert haben.
Sind alle Regeln für die Formulierung von Items berücksichtigt?
Finden Sie alternative Formulierungen.
37
Johannes Moskaliuk | Workshop Evaluation
und Fragen
38. Inhalt
Was ist eine Evaluation?
Messmethoden
Aufgabenformate
Was ist eine gute Beurteilungsaufgabe?
Formulierung von Items
Fehlerquellen bei der Messung
Testarten
Computerbasiertes Testen
Einblick in die Praxis
38
Johannes Moskaliuk | Workshop Evaluation
39. Fehlerquellen
Soziale
Erwünschtheit
Selfdeceptive Enhancement
Impression Management
Kontrollskalen / Lügenskalen
Anonymität
Gründe
Lösung
Akquieszenz
Ja-Sage-Tendenz
Lösung
Inventierung von Items
Tendenz zur Mitte
0
20
40
-2 -1 0 1 2
Tendenz zur Mitte
0
20
40
-2 -1 0 1 2
Tendenz zu
extremen Urteil
Antwortkategorie
Antworthäufigkeit
Antworthäufigkeit
Antwortkategorie
Lösung
keine Mittelkategorie
Johannes Moskaliuk | Workshop Evaluation
39
42. Inhalt
Was ist eine Evaluation?
Messmethoden
Aufgabenformate
Was ist eine gute Beurteilungsaufgabe?
Formulierung von Items
Fehlerquellen bei der Messung
Testarten
Computerbasiertes Testen
Einblick in die Praxis
42
Johannes Moskaliuk | Workshop Evaluation
44. Testökonomie
Ist der finanzielle und zeitliche Aufwand dem
diagnostischen Erkenntnisgewinn angemessen?
Testmaterial
Hard-/Software
Lizenzgebühren
Finanzieller Aufwand
zeitlicher Aufwand
Bearbeitungszeit
Vorbereitung
Auswertung
Ausblick: Internetgestütztes Testen
Adaptives Testen
Johannes Moskaliuk | Workshop Evaluation
44
45. Itemschwierigkeit
Ziel: Items eines Fragebogen sollen individuelle Unterschiede abbilden.
zu leichte und zu schwere Aufgaben
Ich halte Umweltverschmutzung für schädlich.
Sonderfall
sehr seltene Merkmale
z.B. in der klinischen Psychologie
Problem
Itemvarianz
Itemschwierigkeit
Statistische Kenngrößen
Exkurs
Johannes Moskaliuk | Workshop Evaluation
45
46. Weitere Aspekte
Aktualität
Wertungen
Wie heißt der Ministerpräsident von Baden-Württemberg?
Warum ist es besser, Geld einer
Wohltätigkeitsorganisation zu spenden als einem Bettler?
Suggestion
Sie stimmen doch zu, dass der Nichtraucherschutz
in Deutschland sehr wichtig ist?
Gendergerechtigkeit
Ich ärgere mich oft über meinen Chef.
Johannes Moskaliuk | Workshop Evaluation
46
47. Inhalt
Was ist eine Evaluation?
Messmethoden
Aufgabenformate
Was ist eine gute Beurteilungsaufgabe?
Formulierung von Items
Fehlerquellen bei der Messung
Testarten
Computerbasiertes Testen
Einblick in die Praxis
47
Johannes Moskaliuk | Workshop Evaluation
48. Computerbasiertes Testen
Volljährigkeit der
TeilnehmerInnen
Ethische Aspekte
Einverständnis-
erklärung
Anonymisierung
verdeckte
Datenerhebung?
Kontrollierbarkeit
Identität der TN
Angaben korrekt?
Verhalten
Ablenkung?
Absichtliches
Fehlverhalten
Mehrfachteilnahme
meistens höhere
Stichprobe notwendig
Definition von Ausreißern
verzerrte Stichprobe
Dropouts
48
Johannes Moskaliuk | Workshop Evaluation
49. Inhalt
Was ist eine Evaluation?
Messmethoden
Aufgabenformate
Was ist eine gute Beurteilungsaufgabe?
Formulierung von Items
Fehlerquellen bei der Messung
Testarten
Häufige Fehler
Computerbasiertes Testen
Beispiele aus der Praxis
49
Johannes Moskaliuk | Workshop Evaluation
50. Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
50
Virtuelle Polizei
51. Feldstudie | Warum ist virtuelles
Training erfolgreich?
Standard-Training Virtuelles TrainingVerhaltensempfehlung
Wissenstest
Subjektive Maße
Wissenstest
Transfertest
51
52. Feldstudie | Methode
Ich würde meinen KollegInnen den Besuch
dieses Trainings empfehlen.
Akzeptanz
Ich bin mit dem virtuellen Training zufrieden.
Zufriedenheit
Lernerfolg
Ich habe in dem Training sehr viel Neues
gelernt.
Subjektive Maße Wissenstest mit 20 Items
Wie wird die Person genannt, die vom
Hubschrauber hauptsächlich angesprochen wird?
A Leiter
B Lenker
C Führer
D Identifizierungsbeamter
52
55. Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
55
Patongo
Fokus - Gruppe
Plattform zum Austausch von Best-Practices
Forschungsfrage: Welche Hürden bestehen für den Informationsaustausch?
Logfile-Analyse
Befragung
56. Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
56
Generation Y
0
1
2
3
4
5
6
persönliche Sicherheit
Leistung
Mitgefühl
Verantwortung
Wertschätzung
Konformität
Das Gesicht wahren
Genuss/Hedonismus
BescheidenheitFührung übernehmen
Macht
Selbstbestimmung…
Selbstbestimmung…
gesellschaftliche…
Stimulation
Tradition
Universalismus
57. 57
Vielen Dank für Ihr Interesse.
Johannes Moskaliuk
post@moskaliuk.com
Folien und weiterführende Links unter:
http://www.moskaliuk.com/evaluationLT
twitter.com/moskaliuk
slideshare.net/moskaliuk
facebook.com/moskaliuk