Entwicklung eines Instrumentes zur Messung
   von komplexer Problemlösefähigkeit
              im Klassenraum

    Karsten...
Übersicht
1. Ausgangslage
2. Theoretisches Bezugssystem
  2.1. Theorielage & vorhandene Instrumente
  2.2. Bisherige Entwi...
•   Förderung komplexer Problemlösefähigkeit ist
    zunehmend Bestandteil beruflicher Ausbildung
•   Hinweise zur Gestaltu...
Vorhandene Tests
    überwiegend
•   Selbstauskünfte zur Problemlösefähigkeit
    (Fragebogen, z.B. Stäudel, Dirksmeier) o...
Es fehlt ein Instrument…

•   zur flexiblen Erfassung
•   fachspezifischer Problemlösekompetenz
•   in Abstimmung auf vorang...
Ziel unserer Arbeit

Entwicklung eines
„alltagstauglichen“
Instruments zur Erfassung
komplexer Problemlösefähigkeit
im Kla...
Theorielage

•    Entwicklungsboom in1990er Jahren
•    „Requirements for problem-solving
     tests“ (Mayer 1992/1994):
 ...
Theorielage
•    Anforderungen bei der Problem-
     lösung (z.B. Dörner, Reef et al.;
     Bransford & Stein; Sembill):
 ...
Instrumente

•   CRESST-Modell (Center for Research on
    Evaluation, Standards and Student Testing; 1997)
•   Plan a tri...
Instrumente

Ähnlich: Instrumente der Eingangsdiagnostik für
Positionen der Führungsebene (Seeling)
•   Postkorbaufgaben (...
Eignung

1. Vollständigkeit der zu durchlaufenden
   Anforderungen/Schritte
  •   Sehr unterschiedlich, CRESST bewertet z....
Qualität


•   Nur selten testtheoretische Überprüfung
•   Auswertung selten standardisiert, wenig
    objektiv
•   Oft nu...
Entwicklung MAPS
•   Basis: AIT (Sembill 1992)
•   Grundlegende Schritte
    (Dörner 1976, Sembill 1992, Bransford/Stein 1...
Durchführungsdetails AIT

•   Lernende erhalten schriftlich formuliertes
    Problem, Papier-Bleistift-Test, sehr offene
 ...
Durchführungsprobleme AIT
•   Bewährtes Forschungsinstrument /
    theoriekonforme Befunde
• Probleme
 • Stark abhängig vo...
Konsequenz MAPS

  Bisherige Art der Problemstellung beibehalten
1. Änderung: Statt völlig offener Problemstellung
   konk...
Bisherige Ergebnisse

•   Qualität von MAPS:
    •   Deutlich geringerer Zeitaufwand
    •   Gute Interrater-Reliabilität ...
Einsatzbereiche
•   Alternative Assessment Ansatz im Bereich
    Projektarbeit, Selbstorganisationsoffener
    Unterricht,...
Fragen
•   Fragenkomplex Instrumentenentwicklung
    •   Bedeutung der Stützfragen
    •   Problemstellung Erste vs. Dritt...
Design
Veranstaltung           1                          2          3

                                             Lehre...
MAPS Ratingbogen
Bewertung durch: ________________________________________________

Auswertungsblatt MAPS                 ...
Intercoderreliabilität

Experten (Basis 110 zufällig ausgewählte
MAPS)
✓ Cohens Kappa κ = 0,775
Peers (Basis 173 MAPS mit ...
Experten vs. Selbst vs. Peers




         Karsten D. Wolf & Eveline Wuttke
Über- vs. Unterschätzung




       Karsten D. Wolf & Eveline Wuttke
V1: Perspektive und Stützfrage




          Karsten D. Wolf & Eveline Wuttke
MAPS Stützfragen
1. Beschreibung des Problems: Bitte beschreiben Sie das Problem in Ihren eigenen
     Worten.


2. Inform...
V2: Stützfrage




 Karsten D. Wolf & Eveline Wuttke
V3: Setting
TN-ID                                                                                                 TN-ID


...
Situation
TN-ID


Problemstellung

Bitte versuchen Sie sich, in die folgende Situation hineinzuversetzen.

Nach dem erfolg...
Frage
TN-ID


Problemstellung

Bitte erstellen Sie eine Konzeption für eine „ideale“ Lernsoftware für ein Fach ihrer Wahl....
V3 Setting




  Spanne = 55 vs. 67,5
Std.abw. = 14,03 vs. 17,58

                   Karsten D. Wolf & Eveline Wuttke
Ergebnisse
   Variationen
       •    Perspektive: scheint bei
            Studenten egal zu sein
       •    Stützfrage: ...
Ergebnisse
   Self- und Peer-Assessment

       •    Im Mittel relativ geringe
            Überschätzung
       •    Hohe ...
Weitere Schritte
•   Mehr Motivation durch „High Stake“ Tests?
•   Zeiteffekte? 30 min zu wenig, insbesondere bei
    Hoch...
Beyond Paper&Pencil…

•   Mach mal… - Projektarbeit z.B. im SooU
•   Lerntagebücher + (E-)Portfolio als Basis für Rating
 ...
MAPS Lehrermanual
•   Anleitung zur Konstruktion
    von Problemstellungen mit
    Beispielen
•   Kodieranleitung für den
...
Vielen Dank!
  Karsten D. Wolf         Eveline Wuttke



wolf@uni-bremen.de   wuttke@em.uni-frankfurt.de
Nächste SlideShare
Wird geladen in …5
×

Messung von Problemlösefähigkeit

6.454 Aufrufe

Veröffentlicht am

Entwicklung eines Instrumentes zur Messung von komplexer Problemlösefähigkeit im Klassenraum

Karsten D. Wolf & Eveline Wuttke

(1) Zielsetzung/Forschungsfrage
Die Förderung von komplexer Problemlösefähigkeit wird zunehmend als integraler Bestandteil der beruflichen Ausbildung verstanden. Der Kenntnisstand zur Evaluation von komplexer Problemlösefähigkeit im schulischen Kontext (Klassenraum) ist gering.
In diesem Beitrag wird die Entwicklung eines neuen Instrumentes MAPS (Measurement and Assessment of Problem Solving) mit folgenden Zielen beschrieben
- Messung komplexer Problemlösefähigkeit mit Papier und Bleistift;
- Inhaltsspezifische (curriculare) Problemstellung mit hoher unterrichts-bezogener Valididät;
- hohe Auswertungsökonomie;
- hohe Objektivität und Reliabilität bei der Bewertung auch durch weitgehend ungeschulte Nutzer (self-explanatory rubrics);
- Nutzbarkeit für Self- und Peer-Assessment;
- Befähigung von Lehrkräften zur Erstellung von Problemstellungen.
(2) theoretisches Bezugssystem
Das Instrument basiert auf zentralen Ansätzen zur Definition „idealtypische“ Problemlöseschritte (Bransford/Stein, Dörner, Sembill).
In der psychologischen Forschung werden zur Messung von Problemlösefähigkeit im Allgemeinen entweder Selbstauskünfte der Lernenden erhoben (STÄUDEL, DIRKSMEIER) oder wie in der PISA Studie die statische Problemlösefähigkeit per standardisierten Aufgaben. Mit beiden Ansätzen können aber weder die fachspezifische Problemlösekompetenz erfasst werden, noch wird gemessen, wie gut die Lernenden in ihrem beruflichen Umfeld tatsächlich Probleme lösen.
Bei MAPS erhalten die Lernenden speziell konstruierte schriftliche komplexe Problembeschreibungen mit Leitfragen und sollen dazu schriftliche Lösungen anfertigen. Die Bewertung erfolgt mittels eines Rubrik-Scorebogens, der sich an den Modellen erfolgreichen Problemlösens orientiert.
(3) Methoden/Techniken der Forschung
Zur Evaluation von MAPS wurden zunächst in einer Pilotstudie die Reliabilität (Interrater-Reliabilität) sowie die Validität (Zusammenhang mit den AIT Werten) geprüft (erscheint im EJVT).
In einer aktuellen Untersuchung werden in 3 studentischen Gruppen (n=35, 51, 63) eine kursspezifische MAPS-Problemstellung zunächst geschrieben und dann Self- und Peer-Assessments durchgeführt. In einer Gruppe wird vor den Self- und Peer-Assessments eine Expertenlösung vorgestellt, in einer weiteren Gruppe wird das Bewertungsrubrik gesondert erläutert, und in jeder Gruppe werden randomisiert Variationen in der Problemstellung (Ich- vs. Berater-Perspektive, Anzahl der Leitfragen) durchgeführt. Die Lösungen sowie die Self- und Peer-Assessments werden mit Experten-Bewertungen verglichen, um folgende Fragen zu beantworten:
- Wie valide sind die Self- und Peer-Assessments?
- Wie lange benötigen die Teilnehmer für die Assessments?
- Wie wichtig sind die Erläuterungen?
- Welche Effekte haben die Variationen?
(4) Ergebnisse/Schlussfolgerungen
In der ersten Pilotstudie konnte eine sehr hohe Interrater-Reliabilität (Cohen's Kappa von 0,89) bestätigt werden und die Korrelationskoeffizienten stehen durchgängig für einen mittleren bis hohen Zusammenhang zwischen den beiden Instrumenten (MAPS und AIT). Ausgewählte Auswertungsergebnisse der aktuellen Untersuchung liegen zur Tagung vor.
(5) wissenschaftliche/praktische Relevanz
Das sich in Entwicklung befindende Instrument MAPS könnte dazu beitragen, eine Lücke in der praktischen Messung von spezifischer komplexer Problemlösekompetenz in komplexen Lehr-Lern-Arrangements zu schließen.
Literatur
Bransford, J. D./ Stein, B. S. (1993): The IDEAL Problem Solver (2nd Edition). New York: W. H. Freeman.
Sembill, D. (1992). Problemlösefähigkeit, Handlungskompetenz und emotionale Befindlichkeit. Göttingen: Hogrefe.
Sembill, D. Wolf, K. D./ Wuttke, E./ Schumacher, L. (2002). Self-organized Learning in Vocational Education. In: Beck, K. (Hrsg.): Tea

Veröffentlicht in: Wirtschaft & Finanzen
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
6.454
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
70
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Messung von Problemlösefähigkeit

  1. 1. Entwicklung eines Instrumentes zur Messung von komplexer Problemlösefähigkeit im Klassenraum Karsten D. Wolf Eveline Wuttke
  2. 2. Übersicht 1. Ausgangslage 2. Theoretisches Bezugssystem 2.1. Theorielage & vorhandene Instrumente 2.2. Bisherige Entwicklung von MAPS 3. Beschreibung der Untersuchung 4. Empirische Befunde 5. Fazit und Ausblick BY: night86mare Karsten D. Wolf & Eveline Wuttke
  3. 3. • Förderung komplexer Problemlösefähigkeit ist zunehmend Bestandteil beruflicher Ausbildung • Hinweise zur Gestaltung von problemlöse- förderlichen Lehr-Lern-Arrangements mittlerweile vielfältig • „Klassenzimmertaugliche“ Testinstrumente zur Evaluation der erreichten Problemlösefähigkeit sind dagegen Mangelware Ausgangslage BY: jonas_k Karsten D. Wolf & Eveline Wuttke
  4. 4. Vorhandene Tests überwiegend • Selbstauskünfte zur Problemlösefähigkeit (Fragebogen, z.B. Stäudel, Dirksmeier) oder • Statische allgemeine Problemlösefähigkeit (PISA-Studie, standardisierte Papier- und Bleistift-Aufgaben) • Dynamische allgemeine Problemlösefähigkeit (Leutner/Klieme/Meyer/Wirth) Karsten D. Wolf & Eveline Wuttke
  5. 5. Es fehlt ein Instrument… • zur flexiblen Erfassung • fachspezifischer Problemlösekompetenz • in Abstimmung auf vorangegangene Unterrichtsinhalte • im Kontext beruflichen Lernens • durch Lehrer/-innen Karsten D. Wolf & Eveline Wuttke
  6. 6. Ziel unserer Arbeit Entwicklung eines „alltagstauglichen“ Instruments zur Erfassung komplexer Problemlösefähigkeit im Klassenraum Karsten D. Wolf & Eveline Wuttke
  7. 7. Theorielage • Entwicklungsboom in1990er Jahren • „Requirements for problem-solving tests“ (Mayer 1992/1994): • Keine Routineaufgaben, sondern realitätsnahe, (dynamische) Problemstellungen, die Generierung neuer Lösungen verlangen • Fokus auf kognitive Prozesse und Strategien, nicht auf „Produkte“ Karsten D. Wolf & Eveline Wuttke
  8. 8. Theorielage • Anforderungen bei der Problem- lösung (z.B. Dörner, Reef et al.; Bransford & Stein; Sembill): • Problem identifizieren (Ist-Soll- Abgleich) • Informationen sammeln, strukturieren • Lösungswege entwickeln • Neben- und Folgewirkungen berücksichtigen • Problemlösung ausführen • Handlungskontrolle Karsten D. Wolf & Eveline Wuttke
  9. 9. Instrumente • CRESST-Modell (Center for Research on Evaluation, Standards and Student Testing; 1997) • Plan a trip (OECD 1997) • The Overall Test (Segers 1997) • Problem Solving Assessment Instrument (Choi et al. 2000) • Systemdynamische Modellsimulationen (Breuer) Karsten D. Wolf & Eveline Wuttke
  10. 10. Instrumente Ähnlich: Instrumente der Eingangsdiagnostik für Positionen der Führungsebene (Seeling) • Postkorbaufgaben (Kupka 2007) • Managementfallstudien (Seeling 2004) • Computergestützte Problemlöseverfahren, Planspiele und Serious Games Karsten D. Wolf & Eveline Wuttke
  11. 11. Eignung 1. Vollständigkeit der zu durchlaufenden Anforderungen/Schritte • Sehr unterschiedlich, CRESST bewertet z.B. nur Informationssuche vs. Modellsimulationen 2. Inhaltsbezogen vs. Domäneunabhängig • Häufig domäneunabhängig, nicht auf „Unterricht“ bezogen (allgemeine Problemlösefähigkeit) Karsten D. Wolf & Eveline Wuttke
  12. 12. Qualität • Nur selten testtheoretische Überprüfung • Auswertung selten standardisiert, wenig objektiv • Oft nur augenscheinvalide (Postkorb) • Konstruktvalidität selten geprüft Karsten D. Wolf & Eveline Wuttke
  13. 13. Entwicklung MAPS • Basis: AIT (Sembill 1992) • Grundlegende Schritte (Dörner 1976, Sembill 1992, Bransford/Stein 1993): • Analyse der Ausgangssituation • Festlegung von Zielen • Entwicklung von Problemlösestrategien bzw. Maßnahmen BY: retro_traveler • Handlungskontrolle unter Berücksichtigung von Haupt-, Neben- und Folgewirkungen Karsten D. Wolf & Eveline Wuttke
  14. 14. Durchführungsdetails AIT • Lernende erhalten schriftlich formuliertes Problem, Papier-Bleistift-Test, sehr offene Problemstellung • Auswertung entlang der genannten Schritte in einem mehrstufigen quantitativen und qualitativen Auswertungsprozess • Ermittlung von Ergebnissen in den Einzelschritten BY: retro_traveler und eines Gesamtmaßes AIT bzw. AITG Karsten D. Wolf & Eveline Wuttke
  15. 15. Durchführungsprobleme AIT • Bewährtes Forschungsinstrument / theoriekonforme Befunde • Probleme • Stark abhängig von Motivation und Anstrengungsbereitschaft der Schüler • Extrem zeitaufwendig in der Auswertung • Objektivität nur mittelmäßig (Interrater- Reliabilität .66) da hoch komplex BY: retro_traveler ‣ Nicht für schulischen Einsatz geeignet Karsten D. Wolf & Eveline Wuttke
  16. 16. Konsequenz MAPS Bisherige Art der Problemstellung beibehalten 1. Änderung: Statt völlig offener Problemstellung konkrete Fragen zu den Schritten (Stützfragen) 2. Änderung: Statt mehrstufigem Auswertungsprozess vorgegebenes Ratingschema (3 stufig), in dem Einschätzungen der Experten (Lehrer) BY: retro_traveler vorzunehmen sind Karsten D. Wolf & Eveline Wuttke
  17. 17. Bisherige Ergebnisse • Qualität von MAPS: • Deutlich geringerer Zeitaufwand • Gute Interrater-Reliabilität (.89)  hohe Auswertungsobjektivität • Hohe Interkorrelation von MAPS und AIT- Resultaten in Pilotstudie (.807 für Gesamtmaß BY: retro_traveler AIT)  Validität Karsten D. Wolf & Eveline Wuttke
  18. 18. Einsatzbereiche • Alternative Assessment Ansatz im Bereich Projektarbeit, Selbstorganisationsoffener Unterricht, … etc. • Wenn Verantwortung für den Lernprozess an Lernende abgegeben wird, muss zumindest ein Teil der Bewertung auch in ihre Verantwortung gegeben werden • Bei guter Qualität von Self- und Peer-Assessment könnten Teile des sehr zeitaufwendigen Prozesses BY: retro_traveler von Lernenden erledigt werden Karsten D. Wolf & Eveline Wuttke
  19. 19. Fragen • Fragenkomplex Instrumentenentwicklung • Bedeutung der Stützfragen • Problemstellung Erste vs. Dritte Person • Umfang der Situationsbeschreibung • Fragenkomplex Self- und Peer-Assessment • Übereinstimmung der Bewertungen • Über- und Unterschätzungen • BY: -bast- Qualität der Bewertungen Karsten D. Wolf & Eveline Wuttke
  20. 20. Design Veranstaltung 1 2 3 Lehrer- Ideale Thema der PS Web 2.0 beurteilung Lernsoftware Perspektive Erste vs. Dritte Erste Erste Stützfrage Ohne vs. Mit Ohne vs. Mit Mit Situation vs. Setting Situation Situation Frage N 18 TN 31 TN 60 TN Karsten D. Wolf & Eveline Wuttke
  21. 21. MAPS Ratingbogen Bewertung durch: ________________________________________________ Auswertungsblatt MAPS Eigene Lösung Lösung von: Analyse der Ausgangssituation Ja (in eigenen Worten) – zum Teil - Ja (in eigene Autor/in gibt eine unfassende Beschreibung der Situation nein nein Völlig – zum Teil – überhaupt nicht Völlig – zum T Die Beschreibung durch den/die Autor/in erfasst die wichtigsten Punkte Völlig ausreichend – wenig - keine Völlig ausreich Autor/in zeigt fehlende/ benötigte Information auf Autor/in formuliert Ideen, wo/ bei wem fehlende Information bezogen Viele – einige - keine Viele – einige werden kann Viele – einige – keine Viele – einige Autor/in formuliert Annahmen über fehlende Information Alle – einige – keine Alle – einige – Die Annahmen des/r Autor/ins sind angemessen Definition von Zielen Viele – einige – keine Viele – einige Autor/in formuliert Ziele Alle – einige – keine Alle – einige – Die Ziele sind angemessen Autor/in formuliert für alle in der Problemstellung angesprochenen Für alle – nur für einige – für keine Für alle – nur Personen Ziele Mehrere Ziele – ein Ziel – kein Ziel Mehrere Ziele Autor/in wählt eines oder mehrere Ziele aus Ja, explizit – ja, implizit – nein Ja, explizit – ja Autor/in erklärt, warum er das Ziel/die Ziele wählt Ja – zum Teil – keine oder schlechte Ja – zum Teil Die Wahl des Ziels/ der Ziele ist fundiert Gründe Gründe Maßnahmen und Handlungspläne Ja – nur wenige – keine Ja – nur wenig Autor/in schlägt verschiedene Strategien/ Handlungspläne vor Karsten D. Wolf & Eveline Wuttke Ja – teilweise – nein Ja – teilweise Autor/in begründet, warum er diese Maßnahmen für angemessen hält
  22. 22. Intercoderreliabilität Experten (Basis 110 zufällig ausgewählte MAPS) ✓ Cohens Kappa κ = 0,775 Peers (Basis 173 MAPS mit 2 vollständigen Peer-Bewertungen) ✴ Cohens Kappa κ = 0,569 Karsten D. Wolf & Eveline Wuttke
  23. 23. Experten vs. Selbst vs. Peers Karsten D. Wolf & Eveline Wuttke
  24. 24. Über- vs. Unterschätzung Karsten D. Wolf & Eveline Wuttke
  25. 25. V1: Perspektive und Stützfrage Karsten D. Wolf & Eveline Wuttke
  26. 26. MAPS Stützfragen 1. Beschreibung des Problems: Bitte beschreiben Sie das Problem in Ihren eigenen Worten. 2. Informationen beschaffen: Welche Informationen zu dem Problem fehlen? Wen würden Sie um Hilfe fragen, wo würden Sie nach weiteren Hinweisen suchen? Bitte beschreiben Sie auch die Annahmen, die Sie für diese fehlenden Informationen zum Problem machen. 3. Ziele: Welche Ziele können Sie sich in der Problemsituation vorstellen? Welche Ziele wählen Sie und warum? 4. Lösungsstrategien: Welche verschiedenen Lösungsstrategien fallen Ihnen ein, um die oben genannten Ziele zu erreichen? Warum können diese Strategien zur Lösung beitragen? 5. Für eine Lösung entscheiden: Sind manche der Strategien besser als andere? Bitte berücksichtigen Sie dabei auch mögliche Neben- und Folgeeffekte Ihrer Strategien. Entscheiden Sie sich, welche Strategie am besten passt. 6. Überprüfung der Lösung: Inwiefern ändert Ihre vorgeschlagene Lösung die Ausgangssituation? Wie erfolgreich schätzen Sie Ihre Lösung in Anbetracht Ihrer Ziele ein? Inwieweit sind die Handlungen Ihrer Lösungsstrategie dem Problem angemessen? Karsten D. Wolf & Eveline Wuttke
  27. 27. V2: Stützfrage Karsten D. Wolf & Eveline Wuttke
  28. 28. V3: Setting TN-ID TN-ID Problemstellung Problemstellung Bitte versuchen Sie sich, in die folgende Situation hineinzuversetzen. Bitte erstellen Sie eine Konzeption für eine „ideale“ Lernsoftware für ein Fach ihrer Wahl. Nach dem erfolgreichen Abschluss ihres Studiums haben Sie nicht den Weg in das Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem Referendariat angetreten, sondern sind der Uni treu geblieben. Als frischgebackene/r durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben. wissenschaftliche/r Mitarbeiter/in sind sie Mitglied in einem Forschungsteam, welches vom Bundesbildungsministerium finanziert wird. Ziel ist es, Lernsoftware für Schulen zu entwickeln. Heute ist Projektmeeting und der Chef fängt an zu berichten: Situation vs. Frage „Liebe Teammitglieder, ich war gestern in Berlin bei der Ministerin und die Hauptsponsoren wie z.B. die Telekom, McKinsey und Springer waren auch da. Die wollen nicht weniger als für jedes Schulfach und jedes Schuljahr „optimale Lernsoftware“ die sowohl „vormittags“ als auch „nachmittags“ eingesetzt werden kann. In dem Treffen wurde insbesondere an den vorhandenen Produkten bemängelt, dass neben hübscher Grafik häufig die Didaktik hinten runterfällt! Geld ist wohl zur Produktion hochwertiger Software genug da, nur - so die Ministerin: „Wo ist die neue Didaktik?“ Und das war direkt an uns gerichtet!“ „Wir sollen eine Art Blaupause für die zu entwickelnden Lernsoftware-Titel entwickeln. Nun denke ich, dass die für verschiedene Fächer auch unterschiedlich aussehen sollten. Deshalb sind sie ja auch hier!“ Zufrieden schaut er in ihre Runde - immerhin 6 Mitarbeiter/innen, die 80% aller unterrichteten Fächer an den Schulen abdecken. „Bevor sie nun einfach loslegen, bitte ich sie, zunächst die wichtigsten Punkte zu skizzieren, so dass ich mir einen Überblick über ihre Ideen verschaffen kann.“ Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben. Karsten D. Wolf & Eveline Wuttke
  29. 29. Situation TN-ID Problemstellung Bitte versuchen Sie sich, in die folgende Situation hineinzuversetzen. Nach dem erfolgreichen Abschluss ihres Studiums haben Sie nicht den Weg in das Referendariat angetreten, sondern sind der Uni treu geblieben. Als frischgebackene/r wissenschaftliche/r Mitarbeiter/in sind sie Mitglied in einem Forschungsteam, welches vom Bundesbildungsministerium finanziert wird. Ziel ist es, Lernsoftware für Schulen zu entwickeln. Heute ist Projektmeeting und der Chef fängt an zu berichten: „Liebe Teammitglieder, ich war gestern in Berlin bei der Ministerin und die Hauptsponsoren wie z.B. die Telekom, McKinsey und Springer waren auch da. Die wollen nicht weniger als für jedes Schulfach und jedes Schuljahr „optimale Lernsoftware“ die sowohl „vormittags“ als auch „nachmittags“ eingesetzt werden kann. In dem Treffen wurde insbesondere an den vorhandenen Produkten bemängelt, dass neben hübscher Grafik häufig die Didaktik hinten runterfällt! Geld ist wohl zur Produktion hochwertiger Software genug da, nur - so die Ministerin: „Wo ist die neue Didaktik?“ Und das war direkt an uns gerichtet!“ „Wir sollen eine Art Blaupause für die zu entwickelnden Lernsoftware-Titel entwickeln. Nun denke ich, dass die für verschiedene Fächer auch unterschiedlich aussehen sollten. Deshalb sind sie ja auch hier!“ Zufrieden schaut er in ihre Runde - immerhin 6 Mitarbeiter/innen, die 80% aller unterrichteten Fächer an den Schulen abdecken. „Bevor sie nun einfach loslegen, bitte ich sie, zunächst die wichtigsten Punkte zu skizzieren, so dass ich mir einen Überblick über ihre Ideen verschaffen kann.“ Wolf & Eveline Wuttke Karsten D.
  30. 30. Frage TN-ID Problemstellung Bitte erstellen Sie eine Konzeption für eine „ideale“ Lernsoftware für ein Fach ihrer Wahl. Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben. Karsten D. Wolf & Eveline Wuttke
  31. 31. V3 Setting Spanne = 55 vs. 67,5 Std.abw. = 14,03 vs. 17,58 Karsten D. Wolf & Eveline Wuttke
  32. 32. Ergebnisse Variationen • Perspektive: scheint bei Studenten egal zu sein • Stützfrage: unterschiedliche Ergebnisse, weitere Replikationen notwendig • Setting: kein Unterschied, das überraschendste Ergebnis Karsten D. Wolf & Eveline Wuttke
  33. 33. Ergebnisse Self- und Peer-Assessment • Im Mittel relativ geringe Überschätzung • Hohe Streuung von Unter- und Überschätzungen • Peer-Assessments tendenziell „milder“ Karsten D. Wolf & Eveline Wuttke
  34. 34. Weitere Schritte • Mehr Motivation durch „High Stake“ Tests? • Zeiteffekte? 30 min zu wenig, insbesondere bei Hochleistenden? Anfangs viel, hinten zu wenig Zeit. • Stützfrageneffekt (und Perspektive) insbes. in der Schule weiter untersuchen • Variationen bei Studenten replizieren • Weitere systematische Variationen der Siutationsbeschreibung / Problemstellungen (erste Tests mit Lehrer/innen) Karsten D. Wolf & Eveline Wuttke
  35. 35. Beyond Paper&Pencil… • Mach mal… - Projektarbeit z.B. im SooU • Lerntagebücher + (E-)Portfolio als Basis für Rating durch Lehrer • Validitätsaspekte 1. „Echten“ Problemlösungsprozess bewerten 2. Ähnliche Problemstellungen schriftlich stellen 3. „Schreibfäule“ untersuchen Karsten D. Wolf & Eveline Wuttke
  36. 36. MAPS Lehrermanual • Anleitung zur Konstruktion von Problemstellungen mit Beispielen • Kodieranleitung für den MAPS Rubric • Text- und Layoutvorlagen • Auswertungstabellen Karsten D. Wolf & Eveline Wuttke
  37. 37. Vielen Dank! Karsten D. Wolf Eveline Wuttke wolf@uni-bremen.de wuttke@em.uni-frankfurt.de

×