Testen und Bewerten<br />Fortbildungsseminar für AHS-Lehrer<br />22.09-23.09.2011, Eisenstadt<br />Mag. Margarita Kolesnik...
Performanz testen (nicht auswendig gelerntes)<br />situativer Kontext<br />möglichst authentisch und handlungsorientiert t...
Fremdbewertung, Peer-Bewertung, Selbstbewertung<br />Sprachstandtests vs. Qualifikationsprüfung<br />ganzheitlich vs. anal...
Sprachstandstest (Leistungstest, achievementtest) <br />überprüft, ob bestimmte Ziele erreicht wurden<br />was unterrichte...
Normorientierte  Bewertung  <br />bringt die Lernenden in eine Rangfolge <br />die Bewertung ihrer Leistungen erfolgt rela...
Kontinuierliche Beurteilung <br />Beurteilung von Leistungen in der Klasse, <br />von Arbeiten und Projekten während des g...
Direkte Beurteilung <br />was tut der Kandidat tatsächlich<br />Wenn z. B. eine kleine Gruppe etwas diskutiert, dann beoba...
Indirekte Beurteilung <br />ein Test, üblicherweise ein schriftlicher, der Kompetenzen und Fertigkeiten prüft, die einer L...
Beurteilung der Performanz <br />die Lernenden legen mündliche oder schriftliche Beispiele ihrer Sprachproduktion in einem...
Subjektive Beurteilung <br />das Urteil eines Prüfenden<br />Objektive Beurteilung <br />Subjektivität ist ausgeschlossen<...
Reduzierung der Subjektivität bei der Beurteilung<br />inhaltliche Vorgaben für die Beurteilung entwickeln, z. B. basieren...
Ein qualifizierter Test muss die Forderungen nach Objektivität, Zuverlässigkeit (Reliabilität) und  Gültigkeit (Validität)...
Wen teste ich? <br />Eine Klasse<br />Alle Klassen eines Jahrgangs<br />Warum teste ich?<br />Schularbeit<br />Reifeprüfun...
Validität<br />Objektivität<br />Reliabilität<br />Praktikabilität<br />Authentizität<br />Washback<br />Testgütekriterien...
Testgütekriterien<br />Validität<br />Konstrukt-<br />Inhalts-<br />Augenschein-<br />Kriteriums-<br />M. Kolesnik-Eigentl...
Validität<br />Konstruktvalidität<br />Das Konstrukt, z.B. die Fertigkeit Hören ist klar definiert<br />Das Konstrukt ist ...
Validität<br />Inhaltsvalidität<br />Alle Aspekte eines Konstrukts werden ausreichend gemessen<br />z.B. Niveaubeschreibun...
Validität<br />Augenscheinvalidität<br />Schüler, Eltern, Direktion, Landesschulinspektion überzeugen, dass ich das messe,...
Validität (Gültigkeit)<br /><ul><li>gibt die Eignung eines Messverfahrens oder einer Frage bezüglich ihrer Zielsetzung an
Eine Messung oder Befragung ist valide, wenn die erhobenen Werte geeignete Kennzahlen für die zu untersuchende Fragestellu...
Objektivität<br />die Antworten bzw. Messwerte sind unabhängig vom Interviewer bzw. Prüfer <br />M. Kolesnik-Eigentler, 20...
Reliabilität (Zuverlässigkeit)<br />wie genau ein Test das misst, was er messen soll, ohne dass dabei die Validität berück...
Reliabilität (Zuverlässigkeit)<br />Wie verhält sich Lerner/in beim Test<br />Test-RetestR. (Stabilität; Testwiederholung;...
Praktikabilität<br />administrierbar<br /><ul><li>Zeit
Räumlichkeiten
Finanzielle Ressoursen
Personelle Ressoursen</li></ul>messbar<br />interpretierbar<br />M. Kolesnik-Eigentler, 2011<br />
Weitere Testgütekriterien<br />Authentizität<br />Originaltexte<br />Lebensnahe Aufgaben<br />Augenscheinvalidität<br />Er...
Offene: Schreibaufgabe, Essay, Aufsatz<br />Halboffene: Kurzantworten<br />Geschlossene: C-Test, Cloze-Test, Multi-choice,...
Nächste SlideShare
Wird geladen in …5
×

Testen und bewerten nrp

1.415 Aufrufe

Veröffentlicht am

Die Neue Reifeprüfung in der AHS ab 2013/14 - Testen und Bewerten

0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.415
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
130
Aktionen
Geteilt
0
Downloads
5
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Testen und bewerten nrp

  1. 1. Testen und Bewerten<br />Fortbildungsseminar für AHS-Lehrer<br />22.09-23.09.2011, Eisenstadt<br />Mag. Margarita Kolesnik-Eigentler<br /> Innsbruck<br />
  2. 2. Performanz testen (nicht auswendig gelerntes)<br />situativer Kontext<br />möglichst authentisch und handlungsorientiert testen<br />möglichst objektiv und transparent bewerten<br />(Hinger/Hosp)<br />⇨ Standardisierung und/ oder die gleichen Prinzipien des Testens bei der Testerstellung<br />Kommunikative Sprachtests<br />M. Kolesnik-Eigentler, 2011<br />
  3. 3. Fremdbewertung, Peer-Bewertung, Selbstbewertung<br />Sprachstandtests vs. Qualifikationsprüfung<br />ganzheitlich vs. analytisch<br />kontinuierlich vs. punktuell<br />formativ vs. summativ<br />direkt vs. indirekt<br />subjektiv vs. objektiv<br />normorienmtiert vs. kriterienorientiert<br />GERS Kap. 9. Typen der Bewertung<br />M. Kolesnik-Eigentler, 2011<br />
  4. 4. Sprachstandstest (Leistungstest, achievementtest) <br />überprüft, ob bestimmte Ziele erreicht wurden<br />was unterrichtet worden ist<br />bezieht sich auf die Arbeit einer Woche, eines Semesters, das Lehrbuch oder den Lehrplan. <br />orientiert sich am Kurs <br />stellt eine Binnenperspektive dar.<br />Qualifikationsprüfung (auch: Feststellungsprüfung; proficiencytest) <br />was jemand kann oder weiß, wenn er/sie einen Lerngegenstand im 'wirklichen Leben' anwendet.<br />stellt eine Außenperspektive dar<br />M. Kolesnik-Eigentler, 2011<br />Typen von Beurteilung und Bewertunghttp://www.goethe.de/Z/50/commeuro/i0.htm<br />
  5. 5. Normorientierte Bewertung  <br />bringt die Lernenden in eine Rangfolge <br />die Bewertung ihrer Leistungen erfolgt relativ zu den anderen Lernenden der Gruppe.<br />Kriteriumsorientierte Bewertung<br />der Lernende wird lediglich in Bezug auf seine Fähigkeit in dem jeweiligen Gebiet bewertet<br />unabhängig von der Fähigkeit der anderen Lernenden<br />M. Kolesnik-Eigentler, 2011<br />Typen von Beurteilung und Bewertung<br />
  6. 6. Kontinuierliche Beurteilung <br />Beurteilung von Leistungen in der Klasse, <br />von Arbeiten und Projekten während des ganzen Kurses<br />durch die Lehrenden und eventuell durch die Lernenden. <br />Abschlussnote spiegelt den ganzen Kurs/das Lernjahr/das Semester.<br />Punktuelle Beurteilung  (Leistungsmessung zu einem festen Zeitpunkt)<br />eine Prüfung oder eine anderen Form der Beurteilung, die an einem bestimmten Tag stattfindet<br />Was vorher stattgefunden hat, ist irrelevant<br />entscheidend ist, was die Person zum aktuellen Zeitpunkt tun kann<br />M. Kolesnik-Eigentler, 2011<br />Typen von Beurteilung und Bewertung<br />
  7. 7. Direkte Beurteilung <br />was tut der Kandidat tatsächlich<br />Wenn z. B. eine kleine Gruppe etwas diskutiert, dann beobachtet der Beurteilende die Leistung, vergleicht sie mit einem Kriterienraster, bezieht die Leistungen auf die passendsten Kategorien des Rasters und gibt eine Beurteilung ab.<br />beschränkt sich auf das Sprechen, Schreiben und Zuhören bei Interaktionen<br />M. Kolesnik-Eigentler, 2011<br />Typen von Beurteilung und Bewertung<br />
  8. 8. Indirekte Beurteilung <br />ein Test, üblicherweise ein schriftlicher, der Kompetenzen und Fertigkeiten prüft, die einer Leistung zugrunde liegen.<br />Leseverstehen z. B. kann nur indirekt überprüft werden, indem man die Lernenden dazu bringt, Belege für Verstehen dadurch liefern, dass sie Kästchen ankreuzen, Sätze ergänzen, Fragen beantworten usw. <br />Das Spektrum und die Beherrschung sprachlicher Mittel kann entweder direkt beurteilt werden, indem man feststellt, inwieweit sie bestimmten Kriterien entsprechen, oder indirekt dadurch, dass man die Antworten auf Testaufgaben interpretiert oder generalisiert. Ein klassischer direkter Test ist das Interview, und ein klassischer indirekter Test ist der Cloze-Test.<br />M. Kolesnik-Eigentler, 2011<br />Typen von Beurteilung und Bewertung<br />
  9. 9. Beurteilung der Performanz <br />die Lernenden legen mündliche oder schriftliche Beispiele ihrer Sprachproduktion in einem direkten Test<br />Beurteilung von Kenntnissen <br />die Lösung von Aufgaben, die aus einem breiten Spektrum von Aufgabentypen stammen und die einen Nachweis für den Umfang der sprachlichen Kenntnisse und der Beherrschung sprachlicher Mittel liefern sollen.<br />M. Kolesnik-Eigentler, 2011<br />Typen von Beurteilung und Bewertung<br />
  10. 10. Subjektive Beurteilung <br />das Urteil eines Prüfenden<br />Objektive Beurteilung <br />Subjektivität ist ausgeschlossen<br />Normalerweise meint man dabei einen indirekten Test, bei dem die Items nur eine korrekte Antwort zulassen, z. B. multiple-choice  (Mehrfachwahlaufgaben). <br />M. Kolesnik-Eigentler, 2011<br />Typen von Beurteilung und Bewertung<br />
  11. 11. Reduzierung der Subjektivität bei der Beurteilung<br />inhaltliche Vorgaben für die Beurteilung entwickeln, z. B. basierend auf einemReferenzrahmen für den betreffenden Kontext; <br />sich auf gemeinsame Entscheidungen stützten bei der Auswahl von Inhalten und/oder der Beurteilung der Leistungen <br />Standardverfahren verwenden, die festlegen, wie geprüft wird<br />verbindliche Bewertungsschlüssel für indirekte Tests zu Verfügung stellen <br />auf spezifische, klar definierte Kriterien in direkten Tests stützen<br />mehrfache Beurteilung und/oder die Gewichtung verschiedener Faktoren fordern <br />entsprechendes Training in Bezug auf die Beurteilungsrichtlinien anbieten<br />die Qualität von Leistungsbeurteilungen (Validität, Reliabilität) durch eine Analyse der Prüfungsdaten kontrollieren<br />M. Kolesnik-Eigentler, 2011<br />Typen von Beurteilung und Bewertung<br />
  12. 12. Ein qualifizierter Test muss die Forderungen nach Objektivität, Zuverlässigkeit (Reliabilität) und Gültigkeit (Validität) erfüllen. <br />Die Objektivität eines Tests ist dann gegeben, wenn die Ergebnisse einer Testuntersuchung unabhängig von der Person des Untersuchers sind. <br />Die Zuverlässigkeit (Reliabilität) betrifft den Exaktheitsgrad, mit dem ein Test individuelle psychische Unterschiede (Persönlichkeitsmerkmale) erfasst. <br />Die Gültigkeit (Validität) betrifft die Frage, inwieweit die Testergebnisse tatsächlich dasjenige Persönlichkeitsmerkmal erfassen, das durch die Testuntersuchung bestimmt werden soll.<br />Gütekriterien.http://www.medpsych.uni-freiburg.de/OL/glossar/body_gutekriterien.html<br />M. Kolesnik-Eigentler, 2011<br />
  13. 13. Wen teste ich? <br />Eine Klasse<br />Alle Klassen eines Jahrgangs<br />Warum teste ich?<br />Schularbeit<br />Reifeprüfung<br />Was teste ich?<br />Fertigkeiten<br />Kompetenzen<br />Wie teste ich?<br />Testformate<br />Bewertungsskalen<br />Korrekturschlüssel<br />Was messe ich?<br />(Test)Konstrukt<br />M. Kolesnik-Eigentler, 2011<br />
  14. 14. Validität<br />Objektivität<br />Reliabilität<br />Praktikabilität<br />Authentizität<br />Washback<br />Testgütekriterien<br />M. Kolesnik-Eigentler, 2011<br />
  15. 15. Testgütekriterien<br />Validität<br />Konstrukt-<br />Inhalts-<br />Augenschein-<br />Kriteriums-<br />M. Kolesnik-Eigentler, 2011<br />
  16. 16. Validität<br />Konstruktvalidität<br />Das Konstrukt, z.B. die Fertigkeit Hören ist klar definiert<br />Das Konstrukt ist nachvollziehbar im Test abgebildet<br />(nicht korrekte (nicht valide) Aufgabenstellung: Schreiben Sie eine Zusammenfassung des gehörten Texts)<br />M. Kolesnik-Eigentler, 2011<br />
  17. 17. Validität<br />Inhaltsvalidität<br />Alle Aspekte eines Konstrukts werden ausreichend gemessen<br />z.B. Niveaubeschreibung nach GERS<br />M. Kolesnik-Eigentler, 2011<br />
  18. 18. Validität<br />Augenscheinvalidität<br />Schüler, Eltern, Direktion, Landesschulinspektion überzeugen, dass ich das messe, was ich messen will und was gemessen werden soll<br />M. Kolesnik-Eigentler, 2011<br />
  19. 19. Validität (Gültigkeit)<br /><ul><li>gibt die Eignung eines Messverfahrens oder einer Frage bezüglich ihrer Zielsetzung an
  20. 20. Eine Messung oder Befragung ist valide, wenn die erhobenen Werte geeignete Kennzahlen für die zu untersuchende Fragestellung liefern.</li></ul>Beispiel Validität<br />Beispielsweise ist die Anzahl der Fehltage in einer Abteilung eine valide Kennzahl für die Gesundheit der Mitarbeiter, aber nicht für die Zufriedenheit der Mitarbeiter, da ihre Anwesenheit nicht das gleiche wie Zufriedenheit ist. Der Versuch, die Länge einer Schraube mit einem Thermometer zu messen, ist ebenfalls ein Beispiel für eine nicht-valide Messung.<br />http://www.bb-sbl.de/tutorial/stichproben/reliabilitaetvaliditaetobjektivitaet.html<br />M. Kolesnik-Eigentler, 2011<br />
  21. 21. Objektivität<br />die Antworten bzw. Messwerte sind unabhängig vom Interviewer bzw. Prüfer <br />M. Kolesnik-Eigentler, 2011<br />
  22. 22. Reliabilität (Zuverlässigkeit)<br />wie genau ein Test das misst, was er messen soll, ohne dass dabei die Validität berücksichtigt wird <br /><ul><li>die Angabe ob ein Messergebnis bei einem erneuten Versuch bzw. einer erneuten Befragung unter den gleichen Umständen stabil ist.</li></ul>Beispiel Reliabilität<br />Ein Beispiel für eine reliable Frage ist "Wie viele Mitarbeiter hat Ihre Abteilung?„ Dagegen hat die Frage "Wie viele teamfähige Mitarbeiter hat ihre Abteilung" eine geringe Reliabilität, da unklar ist wie "teamfähig" definiert ist und dadurch unterschiedliche Einschätzungen zu Stande kommen können.<br />http://www.bb-sbl.de/tutorial/stichproben/reliabilitaetvaliditaetobjektivitaet.html<br />M. Kolesnik-Eigentler, 2011<br />
  23. 23. Reliabilität (Zuverlässigkeit)<br />Wie verhält sich Lerner/in beim Test<br />Test-RetestR. (Stabilität; Testwiederholung; unterschiedliche Klassen)<br />Paralleltest-R. (Äquivalenz, Teilung der Gruppe)<br />Interne Konsistenz (Homogenität, Testhalbierung, Items eines Tests zu einander, KronbachAlfa)<br />Häufigkeiten (wie viele Schüler haben wie viel % geschafft)<br />Trennschärfe<br />Wie verhält sich Bewerter/in?<br />Interrater- und Intrarater-R.<br />M. Kolesnik-Eigentler, 2011<br />
  24. 24. Praktikabilität<br />administrierbar<br /><ul><li>Zeit
  25. 25. Räumlichkeiten
  26. 26. Finanzielle Ressoursen
  27. 27. Personelle Ressoursen</li></ul>messbar<br />interpretierbar<br />M. Kolesnik-Eigentler, 2011<br />
  28. 28. Weitere Testgütekriterien<br />Authentizität<br />Originaltexte<br />Lebensnahe Aufgaben<br />Augenscheinvalidität<br />Erwartungen<br />Washback (Rückkoppelungseffekt)<br />positiver und negativer <br />Testen beeinflusst des Unterricht und Lernen<br />M. Kolesnik-Eigentler, 2011<br />
  29. 29. Offene: Schreibaufgabe, Essay, Aufsatz<br />Halboffene: Kurzantworten<br />Geschlossene: C-Test, Cloze-Test, Multi-choice, Zuordnung<br />(Integrative: werden nicht verwendet, Vermischung der Fertigkeiten)<br />Testformate<br />M. Kolesnik-Eigentler, 2011<br />
  30. 30. Testspezifikationen 1<br />Allgemeine Informationen<br />Zielgruppe<br />Anzahl der Aufgaben<br />Integrationen anderer Fertigkeiten oder Kompetenzen (Ausmaß)<br />Dauer<br />Zielsetzung<br />M. Kolesnik-Eigentler, 2011<br />
  31. 31. Testspezifikationen 2<br />Spezifische Informationen<br />1. Merkmale der Aufgabenstellung<br />Sprache der Arbeitsanweisungen<br />Sprachniveau der Aufgabe nach GERS<br />2. Merkmale der Texte<br />Diskursart<br />Themenbereiche<br />Quellen<br />Authentizität<br />Sprachliche Gestaltung<br />Sprachniveau<br />M. Kolesnik-Eigentler, 2011<br />
  32. 32. Testspezifikationen 3<br />Spezifische Informationen<br />3. Merkmale der Test-Items<br />Testformat<br />Sprachliche Gestaltung<br />Kognitive Prozesse<br />4. Bewertung<br />Art, Verfahren<br />5. Rückmeldung<br />Qualitativ (Note, verbales Feedback, Niveaustufe nach GERS …)<br />M. Kolesnik-Eigentler, 2011<br />
  33. 33. Literatur: Testen allgemein<br />Fulcher, G./ Davidson, F. (2007): Language Testing and Assessment. London and New York, Routledge.<br />Grotjahn, R.: Testen und Evaluieren fremdsprachlicher Kompetenzen. Tübingen, Günter Narr Verlag.<br />Hughes, A. (1989): Testing for Language Teachers. Cambridge, CUP<br />Dlaska, A./ Krekeler, Ch. (2009): Sprachtests. Baltmannsweiler, Schneider Verlag Hohengehren.<br />Bei Erstellung dieser Präsentation wurden die Materialien des Kongresses: Die standardisierte Reifeprüfung in den Fremdsprachen im HUM-Bereich. 28.10.-29.10.2010, Innsbruck (Vortragenden Sabine Hosp und Barbara Hinger) sowie Informationen von BIFIE und BMUKK verwendet.<br />GERS: http://www.goethe.de/Z/50/commeuro/i0.htm<br />M. Kolesnik-Eigentler, 2011<br />

×