Eine Einführung in die Evaluation - Unterrichtsmaterialien für Schulen

Evaluation – eine
Einführung
Prof. (FH) Mag. Dr. Tanja Jadin,
Romana Farthofer, MA

Evaluation 4.10.2013 Seite 2
Netkompass für Social Web
o Sparkling Science Projekt im Auftrag des BM.W_F
o Idee: Jugendliche erklären anderen Jugendlichen das Thema
Privatsphäre und Datenschutz im Internet = Peer-to-Peer Projekt
o Projekthomepage:
http://www.netkompass.at/

Inhalt
o Allgemeines zu Evaluation
o Mündliche Befragungen – Interviews
• Vorbereitung von Interviews
• Allgemeine Informationen
• Interviewverfälschungen
• Vorgehensweise eines Interviews
o Schriftliche Befragungen
• Gütekriterien
• Fragestellungen (Arten/Form von Fragen)
• 10 Gebote der Fragebogengestaltung
• Skalenniveaus
• Auswertung von schriftlichen Befragungen

Was ist eine
Evaluation?

Evaluation
o Informationen sammeln, analysieren und auswerten
o Beurteilung, wie ein Projekt geplant und weiterentwickelt werden
kann (Tergan, 2004)
o Bei einer Evaluation geht es immer darum
Maßnahmen, Interventionen oder Produkte
zu bewerten um anschließend Verbesserungen
durchführen zu können (Bortz & Döring, 2006).

Beispiele für Evaluationen
o Beispiel 1: Ihr habt in Interviews herausgefunden, dass Personen auf
eurer Webseite einen bestimmten Beitrag nicht lesen, weil er so weit
unten steht und gar nicht richtig gesehen wird.
o Beispiel 2: Ihr befragt Leute, wie sie euer selbstgestaltetes Logo
finden. Das Ergebnis zeigt, dass sie noch einige Verbesserungs-
vorschläge für euch haben.
Frage: Habt ihr in der Schule schon mal etwas evaluiert?

Wichtige Punkte vor Evaluationsbeginn
Folgende Punkte sollte man vor Beginn einer Evaluation festlegen:
o Evaluationsgegenstand (z. B. eine Webseite)
o Evaluationsziele (Was soll bewertet werden? Bsp. ob man sich in der
Navigation der Webseite zurechtfindet)
o Evaluationszeitpunkt
o Dauer der Evaluation (einmalig zu einem bestimmten Zeitpunkt oder
wiederholt)
Ziel einer Evaluation ist es zu einer Bewertung bzw. Beurteilung zu
kommen!

Was ist eine
Befragung?

Befragung
o Mit einer Befragung wird verbales Verhalten erfasst. Dabei
sollen durch Fragen Antworten hervorgerufen werden. Die
Antworten beziehen sich dabei auf erlebte und erinnerte
soziale Ereignisse, stellen Meinungen und Bewertungen dar
(Atteslander, 2010).
Beispiel: Schüler werden zu ihrer
Mediennutzung befragt

Merkmale einer Befragung
o Befragungen kann man unterscheiden (Wottawa & Thierau,
1998) nach:
1. der Kommunikationsart
mündlich oder schriftlich
2. der Anzahl der Befragten
Einzelinterviews oder Gruppeninterviews
3. der Häufigkeit
Einmalige Befragung oder Mehrfachbefragung
(vorher/nachher)
4. dem Standardisierungsgrad

Standardisierungsgrad
o Ein Interviewleitfaden kann stark standardisiert, teilstandardisiert oder wenig
bis nicht standardisiert sein (Atteslander, 2010)
o stark standardisiert :
vorab überlegen, welche Fragen wann und in welcher Reihenfolge gestellt
werden
o teilstandardisiert:
ein paar Fragen zurechtlegen, es können aber Fragen, die im Gespräch entstehen
aufgegriffen und tiefergehend befragt werden
o nicht oder wenig standardisiert:
Fragen frei formulierbar, so kann man sich
an die Antworten des Gegenübers anpassen.
Nachteil ist, dass Auswertung und Vergleich
zwischen mehreren befragten Personen
schwierig sind.

Was ist eine
mündliche Befragung?

Mündliche Befragungen
o Eine mündliche Befragung wird auch als Interview bezeichnet
o Zwei Arten von Beteiligten: Interviewer/in und die Befragten
o Vorbereitung eines Interviews:
1. Strukturplanung (Makroplanung): Man legt die zu erfragenden Themen
fest und teilt das Thema in Teilbereiche.
2. Konkrete Fragen (Mikroplanung): Die detaillierte Planung des
Interviews inklusive konkrete Interviewfragen erstellen.

Interviewverfälschungen
o Der Interviewer kann den Befragten und so das Ergebnis unbewusst
beeinflussen (z. B. durch Alter, Aussehen, Kleidung)
 auf die Interviewsituation vorbereiten
Beispiel: Bewerbungsgespräch. Je nachdem wo du dich bewirbst wirst du
dir Gedanke über dein Auftreten und deine Kleidung machen.
o Genauso ist es bei der Vorbereitung für ein Interview. Wenn du andere
Jugendliche befragst, kannst du dich so kleiden wie immer. Wenn du
aber Interviews mit wichtigen Geschäftsführern von großen
Unternehmen befragst, wirst du nicht mit einer zerrissenen Jeans
auftauchen.

Antwortverfälschungen
Die befragte Person…
o möchte dem Interviewer gefallen und sagt das was er glaubt,
dass dieser hören möchte.
o ändert seine natürlichen Meinungen und Einstellungen, weil er
Teilnehmer einer Studie ist. (= Hawthorne-Effekt)
o hat geringe Lust sich „zu enthüllen und offenbaren“
o hat den Wunsch nach Selbstdarstellung
o hat Angst vor negativen Auswirkungen nach dem Geben
ehrlicher Antworten

Was ist eine
schriftliche Befragung?

Schriftliche Befragungen
o Bei einer schriftlichen Befragung ist der Interviewer meist nicht
anwesend  darum die Fragen verständlich stellen.
o Wichtig sind auch sogenannte Gütekriterien für schriftliche
Befragungen.
Damit will man feststellen, wie gut es mit dem Fragebogen gelingt
das zu erheben was man tatsächlich erheben möchte und, ob
jemand anderer, der den Fragebogen verwendet auf ähnliche
Ergebnisse kommen würde.
o Es gibt drei Gütekriterien: Objektivität, Reliabilität und Validität.

Objektivität
o „Die Objektivität eines Tests gibt an, in welchem Ausmaß die
Testergebnisse vom Testanwender unabhängig sind“ (Bortz &
Döring, 2002, S. 194).
Beispiel : Du arbeitest in einer Gruppe, um einen Fragebogen zu
erstellen. Deine Schulkollegen und du ziehen los um den Fragebogen
auszuteilen. Dabei sollten die Fragen von den befragten Personen
unabhängig davon beantwortet werden, wer von euch den Fragebogen
austeilt.

Reliabilität
o „Die Reliabilität eines Tests kennzeichnet den Grad der
Genauigkeit, mit dem das geprüfte Merkmal gemessen wird“
(Bortz & Döring, 2002, S. 195).
Beispiel: Du befragst andere Schüler/innen wie zufrieden sie mit der
Schulmensa sind. Wenn du nur danach fragst: „Wie zufrieden bist du mit
der Schulmensa?“, bekommst du nur ein allgemeines Stimmungsbild. Du
weißt nicht ob die befragten Personen zufrieden sind mit dem
Platzangebot, der Speisenauswahl oder dem Geschmack der Speisen.
Deshalb muss man hier genauer nachfragen und unterscheiden.

Validität
o „Die Validität eines Tests gibt an, wie gut der Test in der Lage
ist, genau das zu messen, was er zu messen vorgibt“ (Bortz &
Döring, 2002, S. 199).
Beispiel: Eine Interviewerin möchte wissen, wie motiviert Schüler sind,
in die Schule zu gehen. Dabei sollte sie abfragen, was die Personen unter
Motivation verstehen und was auf ihre Motivation einwirkt. Es kann
sein, dass Schüler Angst haben in die Schule zu gehen, weil sie dort
gemobbt werden.
Man sollte die Fragen so stellen, dass wirklich die Motivation gemessen
wird und nicht insgeheim die Angst vor Schule.

Arten von Fragen
o Faktfragen: Hier wird versucht, Fakten herauszufinden
„Seit wann gehst du in diese Schule?“
o Wissensfragen: Mit diesen will man herausfinden, welches Wissen
vorhanden ist
„Wie ist die Hauptstadt von Belgien?“
o Demografische Fragen: Diese zielen auf die
demografischen Daten ab (Alter, Geschlecht,
Ausbildung)
„Wie alt bist du?“
o Einschätzungsfragen: Hier werden konkrete Schätzungen von
Personen abgefragt.
„Welcher Film wird deiner Meinung nach der beste des Jahres?“
CC by makeitgreat(flickr.com)

Arten von Fragen
o Bewertungsfragen: Hier zielt man auf Beurteilungen der Befragten
ab.
„Wie beurteilst du das neue Album von Adele?“
o Einstellungsfragen: Dabei zielt man auf Meinungen der Teilnehmer
zu einem Thema ab.
„Der Beitritt zur EU hat uns mehr Vor- als Nachteile gebracht.“
o Handlungsfragen: Dies sind konkrete Fragen zu Tätigkeiten und
Handlungen.
„Was machst du zu Hause, um im Haushalt zu helfen?“

Form von Fragen
o Geschlossene Fragen: bei schriftlichen Befragungen
vorzuziehen. Man verwendet sie, wenn Antwortvorgaben
bekannt sind oder wenn die Auswahl und die Zeit des
Fragebogens begrenzt sind. Sie sind leichter auszuwerten.
„Wie viele Stunden täglich nutzt du das Internet?
Antwortmöglichkeiten: Gar nicht – unter 2 Stunden, 2 bis 5 Stunden,
mehr als 5 Stunden.
o Offene Fragen: wenn die Antwortvorgaben zu groß sind, man
die Motivation steigern möchte und die Befragten nicht in eine
Richtung gelenkt werden sollen.
„Was ist deiner Meinung nach die beste Band aller Zeiten?“.

Formulierung von Fragen
o Statement vs. Frage
Statements sollte man dann verwenden, wenn man Meinungen
oder Einstellungen abfragt. Konkretes, also Fakten zum Beispiel,
können als Frage abgefragt werden.
• „Ich bin der Meinung, dass Rockmusik besser
ist als Hip-Hop“
• „Wo gehst du zur Schule?“
o Vermeide verallgemeinernde Begriffe (immer, alle, keiner, niemals)
• Alle Kinder haben Angst vor Fremden.
• Ich bin immer bereit, anderen Menschen zu helfen.
CC by abraham.williams(flickr.com)

10 Gebote der Fragebogenerstellung1
1. Du sollst einfache, unzweideutige Begriffe verwenden, die von
allen Befragten in gleicher Weise verstanden werden.
Schlechtes Beispiel: „Wie viel verdienen Sie im Monat?“
Ist hier Nettoeinkommen oder Bruttoeinkommen gemeint?
Es können sich so „Fehler“ einschleichen.
Besser: „Wie hoch ist Ihr monatliches Nettoeinkommen abzüglich
Steuern und Sozialversicherungsbeiträgen?“
1Porst, 2009, S. 95ff

10 Gebote der Fragebogenerstellung
2. Du sollst lange und komplexe Fragen vermeiden!
Schlechtes Beispiel: „Wie Sie wissen, sind manche Leute politisch
ziemlich aktiv, andere Leute finden dagegen oft keine Zeit oder haben
kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese
Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir
jedes Mal, wie häufig das bei Ihnen vorkommt. Zuerst: wie oft führen Sie
eine politische Diskussion?“
Besser: „Wie häufig nimmst du an öffentlichen Diskussionen zu
politischen Themen teil?“ (kürzer und leichter verständlich)

3. Du sollst hypothetische Fragen vermeiden!
Schlechtes Beispiel: Jugendlichen wird folgende Frage gestellt: „Stellen Sie sich
einmal vor, Sie wären verheiratet und hätten einen Sohn im Alter von etwa 16
Jahren, der seine Lehre abbrechen möchte, um Fußballprofi zu werden.
Würden Sie ihn in diesem Wunsch unterstützen oder würden Sie ihm raten,
zuerst seine Ausbildung zu Ende zu bringen?“ (Schwierig, sich das
vorzustellen).
Besser: „Angenommen du hättest das Talent zum Fußballprofi und erhieltest
das Angebot eines Bundesligavereins. Dazu müsstest du deine begonnene
Lehre abbrechen. Würdest du auf den Abschluss deiner Lehre verzichten oder
deine begonnene Lehre zum Abschluss bringen wollen?“

4. Du sollst doppelte Stimuli oder Verneinungen vermeiden!
Schlechtes Beispiel: „Es ist nicht gut, wenn Kinder ihren Eltern nicht
gehorchen“ (doppelte Verneinung schwierig, besser man formuliert den
Satz positiv).
Besser: „Es ist gut, wenn Kinder ihren Eltern gehorchen.“

5. Du sollst Unterstellungen und suggestive Fragen vermeiden!
Schlechtes Beispiel: „Du bist sicher auch der Meinung, dass…“
Hier unterstellt man der befragten Person, derselben Meinung zu sein
und diese kann sich schnell in eine Ecke gedrängt fühlen.
Besser: „Bist du der Meinung, dass…“

6. Du sollst Fragen vermeiden, die auf Informationen abzielen,
über die viele Befragte mutmaßlich nicht verfügen!
Schlechtes Beispiel: „Wie heißt die zuständige Landesrätin für Bildung,
Wissenschaft, Forschung, Frauen und Jugend des Landes OÖ?
Eine Ausnahme besteht dann, wenn du wirklich konkret nach Wissen
fragen möchtest.

7. Du sollst Fragen mit eindeutigem, zeitlichen Bezug
verwenden!
Schlechtes Beispiel: „Wie häufig sind Sie in den letzten 10 Jahren im
Kino gewesen?“
Einen Zeitraum von 10 Jahren zu wählen ist ziemlich unbrauchbar. Oder
wisst ihr noch wie häufig ihr in den letzten 10 Jahren im Kino warst?
Besser ist den Zeitraum zeitlich mehr einzugrenzen.
Besser: „Wie häufig warst du in den letzten 4 Wochen im Kino?“

8. Du sollst Antwortkategorien verwenden, die erschöpfend und
überschneidungsfrei sind!
Schlechtes Beispiel: „Wie viele Stunden täglich nutzt du das Internet?
Antwortmöglichkeiten: Gar nicht – unter 2 Stunden, 2 bis 5 Stunden.
Hier fehlt die Antwortmöglichkeit über 5 Stunden – es ist also nicht
erschöpfend.
Besser: In diesem Beispiel als offene Frage formulieren. Ansonsten auch
eine Antwortkategorie wie „mehr als 5 Stunden“ anfügen, damit alle
möglichen Antworten abgedeckt sind.

9. Du sollst sicherstellen, dass der Kontext einer Frage sich nicht
auf deren Beantwortung auswirkt!
Beispiel: Bewertung einer politischen Partei, weil eine konkrete Person
der Partei beliebt ist.

10. Du sollst unklare Begriffe definieren!
Schlechtes Beispiel: „Bist du der Meinung, dass Blended Learning an
Schulen eingesetzt werden soll?“
Weiß die befragte Person nicht, was Blended Learning ist, ist es
schwierig eine Antwort zu geben. Besser ist es, das Fremdwort zu
erklären, bevor die eigentliche Frage gestellt wird.
Besser: Blended Learning verbindet Präsenzlehre und Lernen mit
digitalen Medien (E-Learning). Bist du der Meinung, dass Blended
Learning an Schulen eingesetzt werden soll?“

Skalenniveaus
o Skalenniveaus geben Auskunft über das Messniveau der
Fragen. Sie sind wichtig für die Auswertung.
o Man unterscheidet vier Arten:
o Nominal-Skala
o Ordinal-Skala
o Intervall-Skala
o Verhältnis-Skala
Ordinal-
Skala
Intervall-
Skala
Verhältni
s-Skala
Nominal-
Skala

Nominal-Skala
o Es kann zwischen Gleichheit und Ungleichheit unterschieden
werden; eine Antwort ist nicht größer als eine andere
o Ein nominal skaliertes Merkmal kann dichotom (= es hat zwei
Ausprägungen) oder polytom (= mehrere Ausprägungen) sein.
Beispiel: „Welches Geschlecht hast du?“ (dichotom – nur zwei
Antwortvorgaben)
Beispiel: „Wie ist dein Beziehungsstatus? Antworten: ledig /
verheiratet / geschieden / verwitwet (polytom – mehrere
Antwortvorgaben)

Ordinal-Skala
o Die Ausprägungen unterliegen einer Rangordnung, es kann
eine Beziehung „größer“ und „kleiner “ hergestellt werden.
Beispiel: Schulnoten. Die Noten von eins bis fünf bilden eine
Rangordnung. Note 1 ist besser als Note 2, ich habe aber keine Auskunft
darüber, ob der Unterschied zwischen Note 1 und 2 gleich groß ist wie
der zwischen Note 3 und Note 4. Diese Auskunft geben uns Fragen der
nächsten Skalenart, der Intervall-Skala.

Intervall-Skala
o Hier sind die Abstände zwischen den Antwortmöglichkeiten
der Rangordnung gleich.
Beispiel: Man will verschiedene Aussagen zur Mediennutzung fragen:
„Ich nutze das Internet während der Woche hauptsächlich für schulische
Zwecke.“
Dabei gibt es folgende Antwortmöglichkeiten, die der Befragte
ankreuzen kann: „stimme voll und ganz zu, stimme eher zu, teils teils,
stimme eher nicht zu, stimme überhaupt nicht zu.
Dabei werden die Abstände als gleich angenommen. Man muss also
sehr gut auf die Formulierung auf die Antwortvorgaben achten.

Verhältnis-Skala
o Dies sind Intervallskalen mit einem echten Nullpunkt.
Beispiel: „Wie viele Bücher hast du im Jahr 2012 gelesen?“
„Wie viele Geschwister unter 10 Jahren hast du?“
Bei beiden Fragen gibt es die Antwortmöglichkeit Null bzw. Keine – sie
besitzen also einen echten Nullpunkt und gehören deshalb zur
Verhältnis-Skala.

Auswertung schriftlicher Befragungen
o Die Skalenniveaus sind aufsteigend. Man kann alle
Rechenoperationen, die man mit Nominalskalen durchführen kann,
auch bei einer Ordinalskala machen. Jedoch kann aber eine
Nominalskala, weil sie kleiner als die Ordinalskala ist, nicht alle
Operationen von dieser durchführen.
Skalenniveau Rechenoperationen
Nominal-Skala Häufigkeit (Anzahl), Modalwert
Ordinal-Skala Häufigkeit (Anzahl), Modalwert, Median,
Intervall-Skala Häufigkeit (Anzahl), Modalwert, Median, Mittelwert, Varianz,
Standardabweichung
Verhältnis-Skala Häufigkeit (Anzahl), Modalwert, Median, Mittelwert, Varianz,
Standardabweichung

Berechnung Modalwert bzw. Modus
o Das ist der Wert, der am häufigsten vorkommt, also am
häufigsten von den befragten Personen genannt wurde
Beispiel: Angenommen eine Tüte
Haribo-Bären hat grüne, gelbe, rote und
weiße Exemplare in sich. Für die
Auswertung geben wir grün den Wert 1,
gelb 2, rot 3 und weiß den Wert 4.
Nachdem wir alle gezählt haben, sehen
wir, dass grüne Bären am häufigsten
vorkommen. Der Modalwert ist also 1.
CC Lennart Tange (flickr.com)

Berechnung Median
o Der Median ist der Wert, der direkt in der Mitte der Verteilung
liegt. Er teilt die Verteilung in 50 Prozent über ihm und 50 %
der Werte, die unter ihm liegen (Atteslander, 2010).
Beispiel: Wir fragen 6 Personen nach ihrem
Gewicht: 40kg, 42kg, 44kg, 46kg, 52kg und
65kg. Die Antworten sind schon aufsteigend
gereiht. Wir nehmen die beiden Werte in
der Mitte, also 44kg und 46kg. Damit wir
den Wert bekommen, der in der Mitte von
diesen steht, addieren wir sie und rechnen
den Durchschnitt. Der Median in
dieser Aufgabe ist also 45kg.
CC vividBreeze (flickr.com)

Berechnung Mittelwert
o Der Mittelwert ist der Durchschnitt der Antworten.
Beispiel: Sehen wir uns das Merkmal Alter in einer Stichprobe aus 5
Personen an. Die Messwerte sind 14, 17, 20, 24 und 25 Jahre. Nun
addiert man alle Werte und rechnet die Summe davon, durch die Anzahl
der Werte. Der Mittelwert beträgt also in diesem Fall 100/5 = 20 Jahre.

Berechnung Varianz
o Die Varianz gibt die mittlere quadratische Abweichung der
Ergebnisse einer Stichprobe um ihren Mittelwert an
Beispiel: Führen wir das vorige Beispiel weiter. Wir nehmen wieder das Alter
dieser 5 Personen und berechnen den Mittelwert. Dieser ist 100/5 = 20 Jahre.
Nun werden die Abweichungen der einzelnen Messwerte (14, 17, 20, 24, 25)
vom Mittelwert berechnet: (14-20) = -6, (17-20) = -3, (20-20) = 0, (24-20) = 4
und (25-20) = 5. Nun nehmen wir diese Werte und quadrieren (x²) sie. Die
quadrierten Abweichungen betragen also 36 (6²), 9 (3²), 0 (0²), 16 (4²), 25 (5²).
Diese und ergeben eine Summe von 86. Die Varianz beträgt somit diese Summe
dividiert durch die Anzahl der Werte, also 86/5 = 17,2 Jahre.

Standardabweichung I
o Sie ist die durchschnittliche Entfernung aller Werte vom
Durchschnitt.
o Innerhalb der Entfernung einer
Standardabweichung nach oben
und unten vom Mittelwert liegen
rund 68 Prozent alle Antworten.
Im Umkreis von zwei Standard-
abweichungen sind es rund
95 Prozent aller Werte.
o Ist dies der Fall spricht man von einer Normalverteilung des
Merkmals.
o Bei größeren Abweichungen spricht man von Ausreißern.
CC Jakobpunkt (flickr.com)

Standardabweichung II
o Zieht man die Wurzel aus der Varianz, dann erhält man die
Standardabweichung (Atteslander, 2010).
o Beispiel: Ziehen wir also aus der Varianz des vorherigen Beispiels die
Wurzel erhalten wir 4,15, also ist die Standardabweichung rund 4
Jahre. Die durchschnittliche Entfernung zum Mittelwert, in unserem
Beispiel, 20 Jahre ist also 4 Jahre. Mindestens 68 % der Werte soll sich
also zwischen 16 und 24 Jahren befinden.

Literatur
o Atteslander, P. (2010). Methoden der empirischen Sozialforschung
(13. Auflage). Berlin: ES Verlag.
o Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation: für
Human- und Sozialwissenschaftler (4. überarbeitete Auflage). Berlin:
Springer.
o Porst, R. (2009). Fragebogen. Ein Arbeitsbuch (2. Auflage). Wiesbaden:
VS Verlag für Sozialwissenschaften.
o Raithel, J. (2008). Quantitative Forschung. Ein Praxisbuch (2. Auflage).
Wiesbaden: VS Verlag für Sozialwissenschaften.
o Tergan, S.-O. (2004). Realistische Qualitätsevaluation von E-Learning.
In D. Meister, S.-O. Tergan & P. Zentel (Hrsg.). Evaluation von E-Learning (S.
131-154). Münster: Waxmann.
o Wottawa, H. & Thierau, H. (1998). Lehrbuch Evaluation. (2., vollständig
überarbeitete Auflage). Bern: Huber.

FH-Prof. Mag. Dr.
Tanja Jadin
Projektleiterin
tanja.jadin@fh-
hagenberg.at
Romana
Farthofer, MA
Wiss. Mitarbeiterin
romana.farthofer@fh-
hagenberg.at
Vielen Dank!

Eine Einführung in die Evaluation - Unterrichtsmaterialien für Schulen

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Andere mochten auch

Andere mochten auch (18)

Ähnlich wie Eine Einführung in die Evaluation - Unterrichtsmaterialien für Schulen

Ähnlich wie Eine Einführung in die Evaluation - Unterrichtsmaterialien für Schulen (20)

Mehr von Tanja Jadin

Mehr von Tanja Jadin (20)

Eine Einführung in die Evaluation - Unterrichtsmaterialien für Schulen

Hinweis der Redaktion