Entwicklung eines Instrumentes zur Messung von komplexer Problemlösefähigkeit im Klassenraum Karsten D. Wolf & Eveline Wuttke (1) Zielsetzung/Forschungsfrage Die Förderung von komplexer Problemlösefähigkeit wird zunehmend als integraler Bestandteil der beruflichen Ausbildung verstanden. Der Kenntnisstand zur Evaluation von komplexer Problemlösefähigkeit im schulischen Kontext (Klassenraum) ist gering. In diesem Beitrag wird die Entwicklung eines neuen Instrumentes MAPS (Measurement and Assessment of Problem Solving) mit folgenden Zielen beschrieben - Messung komplexer Problemlösefähigkeit mit Papier und Bleistift; - Inhaltsspezifische (curriculare) Problemstellung mit hoher unterrichts-bezogener Valididät; - hohe Auswertungsökonomie; - hohe Objektivität und Reliabilität bei der Bewertung auch durch weitgehend ungeschulte Nutzer (self-explanatory rubrics); - Nutzbarkeit für Self- und Peer-Assessment; - Befähigung von Lehrkräften zur Erstellung von Problemstellungen. (2) theoretisches Bezugssystem Das Instrument basiert auf zentralen Ansätzen zur Definition „idealtypische“ Problemlöseschritte (Bransford/Stein, Dörner, Sembill). In der psychologischen Forschung werden zur Messung von Problemlösefähigkeit im Allgemeinen entweder Selbstauskünfte der Lernenden erhoben (STÄUDEL, DIRKSMEIER) oder wie in der PISA Studie die statische Problemlösefähigkeit per standardisierten Aufgaben. Mit beiden Ansätzen können aber weder die fachspezifische Problemlösekompetenz erfasst werden, noch wird gemessen, wie gut die Lernenden in ihrem beruflichen Umfeld tatsächlich Probleme lösen. Bei MAPS erhalten die Lernenden speziell konstruierte schriftliche komplexe Problembeschreibungen mit Leitfragen und sollen dazu schriftliche Lösungen anfertigen. Die Bewertung erfolgt mittels eines Rubrik-Scorebogens, der sich an den Modellen erfolgreichen Problemlösens orientiert. (3) Methoden/Techniken der Forschung Zur Evaluation von MAPS wurden zunächst in einer Pilotstudie die Reliabilität (Interrater-Reliabilität) sowie die Validität (Zusammenhang mit den AIT Werten) geprüft (erscheint im EJVT). In einer aktuellen Untersuchung werden in 3 studentischen Gruppen (n=35, 51, 63) eine kursspezifische MAPS-Problemstellung zunächst geschrieben und dann Self- und Peer-Assessments durchgeführt. In einer Gruppe wird vor den Self- und Peer-Assessments eine Expertenlösung vorgestellt, in einer weiteren Gruppe wird das Bewertungsrubrik gesondert erläutert, und in jeder Gruppe werden randomisiert Variationen in der Problemstellung (Ich- vs. Berater-Perspektive, Anzahl der Leitfragen) durchgeführt. Die Lösungen sowie die Self- und Peer-Assessments werden mit Experten-Bewertungen verglichen, um folgende Fragen zu beantworten: - Wie valide sind die Self- und Peer-Assessments? - Wie lange benötigen die Teilnehmer für die Assessments? - Wie wichtig sind die Erläuterungen? - Welche Effekte haben die Variationen? (4) Ergebnisse/Schlussfolgerungen In der ersten Pilotstudie konnte eine sehr hohe Interrater-Reliabilität (Cohen's Kappa von 0,89) bestätigt werden und die Korrelationskoeffizienten stehen durchgängig für einen mittleren bis hohen Zusammenhang zwischen den beiden Instrumenten (MAPS und AIT). Ausgewählte Auswertungsergebnisse der aktuellen Untersuchung liegen zur Tagung vor. (5) wissenschaftliche/praktische Relevanz Das sich in Entwicklung befindende Instrument MAPS könnte dazu beitragen, eine Lücke in der praktischen Messung von spezifischer komplexer Problemlösekompetenz in komplexen Lehr-Lern-Arrangements zu schließen. Literatur Bransford, J. D./ Stein, B. S. (1993): The IDEAL Problem Solver (2nd Edition). New York: W. H. Freeman. Sembill, D. (1992). Problemlösefähigkeit, Handlungskompetenz und emotionale Befindlichkeit. Göttingen: Hogrefe. Sembill, D. Wolf, K. D./ Wuttke, E./ Schumacher, L. (2002). Self-organized Learning in Vocational Education. In: Beck, K. (Hrsg.): Tea

1. Entwicklung eines Instrumentes zur Messung
von komplexer Problemlösefähigkeit
im Klassenraum
Karsten D. Wolf Eveline Wuttke

2. Übersicht
1. Ausgangslage
2. Theoretisches Bezugssystem
2.1. Theorielage & vorhandene Instrumente
2.2. Bisherige Entwicklung von MAPS
3. Beschreibung der Untersuchung
4. Empirische Befunde
5. Fazit und Ausblick
BY: night86mare
Karsten D. Wolf & Eveline Wuttke

3. • Förderung komplexer Problemlösefähigkeit ist
zunehmend Bestandteil beruflicher Ausbildung
• Hinweise zur Gestaltung von problemlöse-
förderlichen Lehr-Lern-Arrangements mittlerweile
vielfältig
• „Klassenzimmertaugliche“ Testinstrumente
zur Evaluation der erreichten Problemlösefähigkeit
sind dagegen Mangelware
Ausgangslage
BY: jonas_k
Karsten D. Wolf & Eveline Wuttke

4. Vorhandene Tests
überwiegend
• Selbstauskünfte zur Problemlösefähigkeit
(Fragebogen, z.B. Stäudel, Dirksmeier) oder
• Statische allgemeine Problemlösefähigkeit
(PISA-Studie, standardisierte Papier- und
Bleistift-Aufgaben)
• Dynamische allgemeine Problemlösefähigkeit
(Leutner/Klieme/Meyer/Wirth)
Karsten D. Wolf & Eveline Wuttke

5. Es fehlt ein Instrument…
• zur flexiblen Erfassung
• fachspezifischer Problemlösekompetenz
• in Abstimmung auf vorangegangene
Unterrichtsinhalte
• im Kontext beruflichen Lernens
• durch Lehrer/-innen
Karsten D. Wolf & Eveline Wuttke

6. Ziel unserer Arbeit
Entwicklung eines
„alltagstauglichen“
Instruments zur Erfassung
komplexer Problemlösefähigkeit
im Klassenraum
Karsten D. Wolf & Eveline Wuttke

7. Theorielage
• Entwicklungsboom in1990er Jahren
• „Requirements for problem-solving
tests“ (Mayer 1992/1994):
• Keine Routineaufgaben, sondern
realitätsnahe, (dynamische)
Problemstellungen, die Generierung
neuer Lösungen verlangen
• Fokus auf kognitive Prozesse und
Strategien, nicht auf „Produkte“
Karsten D. Wolf & Eveline Wuttke

8. Theorielage
• Anforderungen bei der Problem-
lösung (z.B. Dörner, Reef et al.;
Bransford & Stein; Sembill):
• Problem identifizieren (Ist-Soll-
Abgleich)
• Informationen sammeln, strukturieren
• Lösungswege entwickeln
• Neben- und Folgewirkungen
berücksichtigen
• Problemlösung ausführen
• Handlungskontrolle
Karsten D. Wolf & Eveline Wuttke

9. Instrumente
• CRESST-Modell (Center for Research on
Evaluation, Standards and Student Testing; 1997)
• Plan a trip (OECD 1997)
• The Overall Test (Segers 1997)
• Problem Solving Assessment Instrument (Choi
et al. 2000)
• Systemdynamische Modellsimulationen (Breuer)
Karsten D. Wolf & Eveline Wuttke

10. Instrumente
Ähnlich: Instrumente der Eingangsdiagnostik für
Positionen der Führungsebene (Seeling)
• Postkorbaufgaben (Kupka 2007)
• Managementfallstudien (Seeling 2004)
• Computergestützte Problemlöseverfahren,
Planspiele und Serious Games
Karsten D. Wolf & Eveline Wuttke

11. Eignung
1. Vollständigkeit der zu durchlaufenden
Anforderungen/Schritte
• Sehr unterschiedlich, CRESST bewertet z.B.
nur Informationssuche vs. Modellsimulationen
2. Inhaltsbezogen vs. Domäneunabhängig
• Häufig domäneunabhängig, nicht auf
„Unterricht“ bezogen (allgemeine
Problemlösefähigkeit)
Karsten D. Wolf & Eveline Wuttke

12. Qualität
• Nur selten testtheoretische Überprüfung
• Auswertung selten standardisiert, wenig
objektiv
• Oft nur augenscheinvalide (Postkorb)
• Konstruktvalidität selten geprüft
Karsten D. Wolf & Eveline Wuttke

13. Entwicklung MAPS
• Basis: AIT (Sembill 1992)
• Grundlegende Schritte
(Dörner 1976, Sembill 1992, Bransford/Stein 1993):
• Analyse der Ausgangssituation
• Festlegung von Zielen
• Entwicklung von Problemlösestrategien bzw.
Maßnahmen
BY: retro_traveler
• Handlungskontrolle unter Berücksichtigung
von Haupt-, Neben- und Folgewirkungen
Karsten D. Wolf & Eveline Wuttke

14. Durchführungsdetails AIT
• Lernende erhalten schriftlich formuliertes
Problem, Papier-Bleistift-Test, sehr offene
Problemstellung
• Auswertung entlang der genannten Schritte in
einem mehrstufigen quantitativen und
qualitativen Auswertungsprozess
• Ermittlung von Ergebnissen in den Einzelschritten
BY: retro_traveler
und eines Gesamtmaßes AIT bzw. AITG
Karsten D. Wolf & Eveline Wuttke

15. Durchführungsprobleme AIT
• Bewährtes Forschungsinstrument /
theoriekonforme Befunde
• Probleme
• Stark abhängig von Motivation und
Anstrengungsbereitschaft der Schüler
• Extrem zeitaufwendig in der Auswertung
• Objektivität nur mittelmäßig (Interrater-
Reliabilität .66) da hoch komplex
BY: retro_traveler
‣ Nicht für schulischen Einsatz geeignet
Karsten D. Wolf & Eveline Wuttke

16. Konsequenz MAPS
Bisherige Art der Problemstellung beibehalten
1. Änderung: Statt völlig offener Problemstellung
konkrete Fragen zu den Schritten (Stützfragen)
2. Änderung: Statt mehrstufigem Auswertungsprozess
vorgegebenes Ratingschema (3 stufig), in dem
Einschätzungen der Experten (Lehrer)
BY: retro_traveler
vorzunehmen sind
Karsten D. Wolf & Eveline Wuttke

17. Bisherige Ergebnisse
• Qualität von MAPS:
• Deutlich geringerer Zeitaufwand
• Gute Interrater-Reliabilität (.89)  hohe
Auswertungsobjektivität
• Hohe Interkorrelation von MAPS und AIT-
Resultaten in Pilotstudie (.807 für Gesamtmaß
BY: retro_traveler
AIT)  Validität
Karsten D. Wolf & Eveline Wuttke

18. Einsatzbereiche
• Alternative Assessment Ansatz im Bereich
Projektarbeit, Selbstorganisationsoffener
Unterricht, … etc.
• Wenn Verantwortung für den Lernprozess an
Lernende abgegeben wird, muss zumindest ein Teil
der Bewertung auch in ihre Verantwortung gegeben
werden
• Bei guter Qualität von Self- und Peer-Assessment
könnten Teile des sehr zeitaufwendigen Prozesses
BY: retro_traveler
von Lernenden erledigt werden
Karsten D. Wolf & Eveline Wuttke

19. Fragen
• Fragenkomplex Instrumentenentwicklung
• Bedeutung der Stützfragen
• Problemstellung Erste vs. Dritte Person
• Umfang der Situationsbeschreibung
• Fragenkomplex Self- und Peer-Assessment
• Übereinstimmung der Bewertungen
• Über- und Unterschätzungen
•
BY: -bast-
Qualität der Bewertungen
Karsten D. Wolf & Eveline Wuttke

20. Design
Veranstaltung 1 2 3
Lehrer- Ideale
Thema der PS Web 2.0
beurteilung Lernsoftware
Perspektive Erste vs. Dritte Erste Erste
Stützfrage Ohne vs. Mit Ohne vs. Mit Mit
Situation vs.
Setting Situation Situation
Frage
N 18 TN 31 TN 60 TN
Karsten D. Wolf & Eveline Wuttke

21. MAPS Ratingbogen
Bewertung durch: ________________________________________________
Auswertungsblatt MAPS Eigene Lösung Lösung von:
Analyse der Ausgangssituation
Ja (in eigenen Worten) – zum Teil - Ja (in eigene
Autor/in gibt eine unfassende Beschreibung der Situation
nein nein
Völlig – zum Teil – überhaupt nicht Völlig – zum T
Die Beschreibung durch den/die Autor/in erfasst die wichtigsten Punkte
Völlig ausreichend – wenig - keine Völlig ausreich
Autor/in zeigt fehlende/ benötigte Information auf
Autor/in formuliert Ideen, wo/ bei wem fehlende Information bezogen Viele – einige - keine Viele – einige
werden kann
Viele – einige – keine Viele – einige
Autor/in formuliert Annahmen über fehlende Information
Alle – einige – keine Alle – einige –
Die Annahmen des/r Autor/ins sind angemessen
Definition von Zielen
Viele – einige – keine Viele – einige
Autor/in formuliert Ziele
Alle – einige – keine Alle – einige –
Die Ziele sind angemessen
Autor/in formuliert für alle in der Problemstellung angesprochenen Für alle – nur für einige – für keine Für alle – nur
Personen Ziele
Mehrere Ziele – ein Ziel – kein Ziel Mehrere Ziele
Autor/in wählt eines oder mehrere Ziele aus
Ja, explizit – ja, implizit – nein Ja, explizit – ja
Autor/in erklärt, warum er das Ziel/die Ziele wählt
Ja – zum Teil – keine oder schlechte Ja – zum Teil
Die Wahl des Ziels/ der Ziele ist fundiert
Gründe Gründe
Maßnahmen und Handlungspläne
Ja – nur wenige – keine Ja – nur wenig
Autor/in schlägt verschiedene Strategien/ Handlungspläne vor
Karsten D. Wolf & Eveline Wuttke Ja – teilweise – nein Ja – teilweise
Autor/in begründet, warum er diese Maßnahmen für angemessen hält

22. Intercoderreliabilität
Experten (Basis 110 zufällig ausgewählte
MAPS)
✓ Cohens Kappa κ = 0,775
Peers (Basis 173 MAPS mit 2 vollständigen
Peer-Bewertungen)
✴ Cohens Kappa κ = 0,569
Karsten D. Wolf & Eveline Wuttke

23. Experten vs. Selbst vs. Peers
Karsten D. Wolf & Eveline Wuttke

24. Über- vs. Unterschätzung
Karsten D. Wolf & Eveline Wuttke

25. V1: Perspektive und Stützfrage
Karsten D. Wolf & Eveline Wuttke

26. MAPS Stützfragen
1. Beschreibung des Problems: Bitte beschreiben Sie das Problem in Ihren eigenen
Worten.
2. Informationen beschaffen: Welche Informationen zu dem Problem fehlen? Wen würden
Sie um Hilfe fragen, wo würden Sie nach weiteren Hinweisen suchen? Bitte beschreiben
Sie auch die Annahmen, die Sie für diese fehlenden Informationen zum Problem machen.
3. Ziele: Welche Ziele können Sie sich in der Problemsituation vorstellen? Welche Ziele
wählen Sie und warum?
4. Lösungsstrategien: Welche verschiedenen Lösungsstrategien fallen Ihnen ein, um die
oben genannten Ziele zu erreichen? Warum können diese Strategien zur Lösung
beitragen?
5. Für eine Lösung entscheiden: Sind manche der Strategien besser als andere? Bitte
berücksichtigen Sie dabei auch mögliche Neben- und Folgeeffekte Ihrer Strategien.
Entscheiden Sie sich, welche Strategie am besten passt.
6. Überprüfung der Lösung: Inwiefern ändert Ihre vorgeschlagene Lösung die
Ausgangssituation? Wie erfolgreich schätzen Sie Ihre Lösung in Anbetracht Ihrer Ziele
ein? Inwieweit sind die Handlungen Ihrer Lösungsstrategie dem Problem angemessen?
Karsten D. Wolf & Eveline Wuttke

27. V2: Stützfrage
Karsten D. Wolf & Eveline Wuttke

28. V3: Setting
TN-ID TN-ID
Problemstellung Problemstellung
Bitte versuchen Sie sich, in die folgende Situation hineinzuversetzen. Bitte erstellen Sie eine Konzeption für eine „ideale“ Lernsoftware für ein Fach ihrer Wahl.
Nach dem erfolgreichen Abschluss ihres Studiums haben Sie nicht den Weg in das
Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem
Referendariat angetreten, sondern sind der Uni treu geblieben. Als frischgebackene/r
durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben.
wissenschaftliche/r Mitarbeiter/in sind sie Mitglied in einem Forschungsteam, welches vom
Bundesbildungsministerium finanziert wird. Ziel ist es, Lernsoftware für Schulen zu
entwickeln.
Heute ist Projektmeeting und der Chef fängt an zu berichten:
Situation vs. Frage
„Liebe Teammitglieder, ich war gestern in Berlin bei der Ministerin und die Hauptsponsoren
wie z.B. die Telekom, McKinsey und Springer waren auch da. Die wollen nicht weniger als
für jedes Schulfach und jedes Schuljahr „optimale Lernsoftware“ die sowohl „vormittags“ als
auch „nachmittags“ eingesetzt werden kann. In dem Treffen wurde insbesondere an den
vorhandenen Produkten bemängelt, dass neben hübscher Grafik häufig die Didaktik hinten
runterfällt! Geld ist wohl zur Produktion hochwertiger Software genug da, nur - so die
Ministerin: „Wo ist die neue Didaktik?“ Und das war direkt an uns gerichtet!“
„Wir sollen eine Art Blaupause für die zu entwickelnden Lernsoftware-Titel entwickeln. Nun
denke ich, dass die für verschiedene Fächer auch unterschiedlich aussehen sollten. Deshalb
sind sie ja auch hier!“ Zufrieden schaut er in ihre Runde - immerhin 6 Mitarbeiter/innen, die
80% aller unterrichteten Fächer an den Schulen abdecken. „Bevor sie nun einfach loslegen,
bitte ich sie, zunächst die wichtigsten Punkte zu skizzieren, so dass ich mir einen Überblick
über ihre Ideen verschaffen kann.“
Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem
durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben.
Karsten D. Wolf & Eveline Wuttke

29. Situation
TN-ID
Problemstellung
Bitte versuchen Sie sich, in die folgende Situation hineinzuversetzen.
Nach dem erfolgreichen Abschluss ihres Studiums haben Sie nicht den Weg in das
Referendariat angetreten, sondern sind der Uni treu geblieben. Als frischgebackene/r
wissenschaftliche/r Mitarbeiter/in sind sie Mitglied in einem Forschungsteam, welches vom
Bundesbildungsministerium finanziert wird. Ziel ist es, Lernsoftware für Schulen zu
entwickeln.
Heute ist Projektmeeting und der Chef fängt an zu berichten:
„Liebe Teammitglieder, ich war gestern in Berlin bei der Ministerin und die Hauptsponsoren
wie z.B. die Telekom, McKinsey und Springer waren auch da. Die wollen nicht weniger als
für jedes Schulfach und jedes Schuljahr „optimale Lernsoftware“ die sowohl „vormittags“ als
auch „nachmittags“ eingesetzt werden kann. In dem Treffen wurde insbesondere an den
vorhandenen Produkten bemängelt, dass neben hübscher Grafik häufig die Didaktik hinten
runterfällt! Geld ist wohl zur Produktion hochwertiger Software genug da, nur - so die
Ministerin: „Wo ist die neue Didaktik?“ Und das war direkt an uns gerichtet!“
„Wir sollen eine Art Blaupause für die zu entwickelnden Lernsoftware-Titel entwickeln. Nun
denke ich, dass die für verschiedene Fächer auch unterschiedlich aussehen sollten. Deshalb
sind sie ja auch hier!“ Zufrieden schaut er in ihre Runde - immerhin 6 Mitarbeiter/innen, die
80% aller unterrichteten Fächer an den Schulen abdecken. „Bevor sie nun einfach loslegen,
bitte ich sie, zunächst die wichtigsten Punkte zu skizzieren, so dass ich mir einen Überblick
über ihre Ideen verschaffen kann.“ Wolf & Eveline Wuttke
Karsten D.

30. Frage
TN-ID
Problemstellung
Bitte erstellen Sie eine Konzeption für eine „ideale“ Lernsoftware für ein Fach ihrer Wahl.
Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem
durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben.
Karsten D. Wolf & Eveline Wuttke

31. V3 Setting
Spanne = 55 vs. 67,5
Std.abw. = 14,03 vs. 17,58
Karsten D. Wolf & Eveline Wuttke

32. Ergebnisse
Variationen
• Perspektive: scheint bei
Studenten egal zu sein
• Stützfrage: unterschiedliche
Ergebnisse, weitere
Replikationen notwendig
• Setting: kein Unterschied,
das überraschendste Ergebnis
Karsten D. Wolf & Eveline Wuttke

33. Ergebnisse
Self- und Peer-Assessment
• Im Mittel relativ geringe
Überschätzung
• Hohe Streuung von Unter-
und Überschätzungen
• Peer-Assessments tendenziell
„milder“
Karsten D. Wolf & Eveline Wuttke

34. Weitere Schritte
• Mehr Motivation durch „High Stake“ Tests?
• Zeiteffekte? 30 min zu wenig, insbesondere bei
Hochleistenden? Anfangs viel, hinten zu wenig Zeit.
• Stützfrageneffekt (und Perspektive) insbes. in der
Schule weiter untersuchen
• Variationen bei Studenten replizieren
• Weitere systematische Variationen der
Siutationsbeschreibung / Problemstellungen
(erste Tests mit Lehrer/innen)
Karsten D. Wolf & Eveline Wuttke

35. Beyond Paper&Pencil…
• Mach mal… - Projektarbeit z.B. im SooU
• Lerntagebücher + (E-)Portfolio als Basis für Rating
durch Lehrer
• Validitätsaspekte
1. „Echten“ Problemlösungsprozess bewerten
2. Ähnliche Problemstellungen schriftlich stellen
3. „Schreibfäule“ untersuchen
Karsten D. Wolf & Eveline Wuttke

36. MAPS Lehrermanual
• Anleitung zur Konstruktion
von Problemstellungen mit
Beispielen
• Kodieranleitung für den
MAPS Rubric
• Text- und Layoutvorlagen
• Auswertungstabellen
Karsten D. Wolf & Eveline Wuttke

37. Vielen Dank!
Karsten D. Wolf Eveline Wuttke
wolf@uni-bremen.de wuttke@em.uni-frankfurt.de