Sensability 2014

1. 1
Wirkungsmessung für Social Business
Harald Habermann und Dr. Linda Kleemann
21/03/2014

2. 2
seit 2005
Berufstätige
kostenfrei &
ehrenamtlich
für soziale
Initiativen
eraten
ilden
efördern
rüten
Heldenrat

3. 3
Tagesprogramm
 Warum und was sollte evaluiert werden?
 Ein Experiment
 Das Evaluierungsproblem immer und überall.
 Was kann dagegen getan werden? (Die wissenschaftliche Sichtweise)
 Nun ist es an Ihnen…

4. 4
Warum und was wird evaluiert?

5. 5
Warum evaluieren?
 Anleger und Investoren wollen wissen, was Sie erreicht haben: Die
gesellschaftlichen Auswirkungen (sowie die Kosteneffizienz).
 Sie gewinnen an Glaubwürdigkeit, wenn Sie Wirkungen nachweisen können.
 Wenn Sie durch staatliche Mittel finanziert werden, sind Sie dem Steuerzahler
rechenschaftspflichtig.
Was evaluieren?
 Das hängt von Ihrer Mission ab! Und damit von Ihrer Theory of Change.

6. 6
Zentrale Fragestellungen
1. Kann eine bestimmte Wirkung durch eine Maßnahme überhaupt erreicht
werden (Effektivität)?
2. Kann die gleiche Wirkung auf kostengünstigerem Weg erreicht werden
(Effizienz)?

7. 7
Experiment

8. 8
Experiment
Ich stelle Ihnen gleich zwei Fragen (aus zwei Wissensgebieten).
Auf dem Zettel, den ich Ihnen austeile, kreuzen Sie bitte die aus Ihrer Sicht
richtigen Antworten an (bitte nicht mit dem Nachbarn tuscheln, nicht googeln).
Gleichzeitig kreuzen Sie bitte für das erste Wissensgebiet an, wie Sie für ihre
Antwort „entlohnt“ werden wollen:
Variabel: Bei richtiger Antwort erhalten Sie zwei Tafeln Schokolade, bei falscher
Antwort erhalten Sie keine Tafel.
Pauschal: Egal ob Ihre Antwort richtig oder falsch ist, Sie erhalten immer eine Tafel
Schokolade.
Für das zweite Wissensgebiet haben wir Ihnen die Entscheidung bereits
abgenommen und (zufällig) die Art der Entlohnung festgelegt.

9. 9
Frage 1: Stars und Sternchen
Das Kind welcher US-amerikanischen Schauspielerin ist nach einem
Kleiderschrank von Ikea benannt?
a. Kate Winslet
b. Angelina Jolie
c. Cate Blanchett
d. Sandra Bullock

10. 10
Frage 2: Fußballer erklären die Welt
Welcher der folgenden Sprüche stammt von Berti Vogts?
a. „Ich denke nicht vor dem Tor. Das mache ich nie.“
b. „Hass gehört nicht ins Stadion. Solche Gefühle soll man gemeinsam
mit seiner Frau daheim im Wohnzimmer ausleben.“
c. „Haste Scheiße am Fuß, haste Scheiße am Fuß!“
d. „Der Jürgen Klinsmann und ich, wir sind ein gutes Trio. Ich meinte: ein
Quartett.“

11. 13
Selektionsverzerrung
• Problem: Die Einteilung in Behandlungs- und Kontrollgruppe war nicht zufällig!
Personen, die die richtige Antwort kennen, wählen „variable Entlohnung“.
• Dieses Problem tritt meistens auf, wenn die Probanden selber entscheiden
können, ob Sie an einer Maßnahme teilnehmen.
• Lösung: Wir teilen die Probanden (Sie!) zufällig in Kontroll- und
Behandlungsgruppe ein (wie wir es für die zweite Frage gemacht haben).

12. 15
Das zentrale Evaluierungsproblem

13. 16
„Ende 2016 ist die WHU eine international anerkannte Hochschule mit
„Agenda Setting“ Kompetenz unter den Top 30 der europäischen Business
Schools. Sie ist im Markt bekannt für qualitativ hochwertige Bachelor und
Master Programme im Bereich General Management, für herausragende
Forschungsleistungen und für ihre starke Vernetzung in die Wirtschaft.
Dabei steht die WHU für gelebte Internationalität und ihr klares Bekenntnis
zu sozialer Verantwortung. Einer ihrer besonderen Werte ist die enge
Verbindung zu allen Stakeholdergruppen.“
Vision der WHU

14. 17
Wie überprüfen wir ob die Vision erreicht wird bzw. ob
die Maßnahmen zur Visionserreichung beitragen?
• Was sind die Zielgröße(n)?
• Als Erfolgsmaßstab dienen oft Ausgaben: Flossen (mehr) Mittel in die
Masterprogramme?
• …oder die Entwicklung ausgewählter Kennzahlen: Kennen mehr Leute die
WHU? Haben Spenden von Unternehmen zugenommen?
• Die Überprüfung von Ursache-Wirkungszusammenhängen ist dagegen unüblich.
• …und schwierig, wie wir gerade gesehen haben.

15. 18
Kontrollierte Zufallsexperimente - der
Idealzustand
 Aktuell: JPAL / Esther Duflo, Ursprung in der Medizin
 Man überprüft experimentell einen Ursache-Wirkungszusammenhang durch
das Beseitigen von Störfaktoren und Selektionsverzerrung
 Kann prinzipell Kausaleffekte aufdecken (Gold-Standard)

16. 19
Grenzen experimenteller Studien
 Ausführung für insbesondere kleine Initiativen zu teuer und kompliziert
 Ethische Probleme, kann Verhaltensänderung nach sich ziehen
• Teilweise können Experimente aus praktischen, finanziellen oder ethischen
Gründen nicht durchführbar sein.
• Evaluationsstudien gehen zumeist davon aus, dass die Maßnahme keine Effekte
auf die Kontrollgruppe hat.
− Es können jedoch vor allem bei großen Projekten Verdrängungs- oder
Spillovereffekte entstehen.
 Nicht-experimentelle Studien nutzen statistische Methoden, um eine Kontroll-
gruppe zu konstruieren, die der experimentellen möglichst nahe kommt.

17. 20
Das Evaluierungsproblem
Wirkung ist NICHT Y1-Y0
SONDERN Y1-Y1
*

18. 21
(Teil-)lösungen: Korrektur der
Selektionsverzerrung
 Damit Y1-Y1
* richtig ist, braucht man eine Kontrollgruppe, welche exakt
der Untersuchungsgruppe entspricht oder man muss für die
anfänglichen Unterschiede korrigieren.
 Wenn nur ex-post Daten vorhanden sind, kann dies mittels dem
„propensity score matching“ geschehen.
 Annahme: Nur beobachtbare Faktoren sind relevant!
Jedoch weiß man nie, ob dies der Realität entspricht…

19. 22
(Teil-)lösungen: Doppelte Differenzen
Wirkung Y1-Y1
*
Keine Zunahme
der Selektionsverzerrung: Δ = Δ

20. 23
Diff-in-diff: Fehler müssen additiv und
zeitinvariant sein

21. 24
Diff-in-diff funktioniert nicht, wenn die
Kontrollgruppe sich anders entwickelt
Y1
Impact?
Y1
*
Y0
t=0 t=1 time
 DD überschätzt die Wirkung!

22. 25
Oder…
 DD unterschätzt die Wirkung!

23. 26
Mögliche Lösungsansätze
 Kombination von PSM & DiD:
Kontrolliert vor und nach der Intervention für die
Selektionsverzerrung
Y1
Impact?
Y1
*
Y0
t=0 t=1 time

24. 27
Störfaktoren
Y1
Y1
*
Y0
t=0 t=1 time
Selektionsverzerrung
Störfaktoren
(andere Faktoren)

25. 28
Output≠ Wirkung
Output
 1 Million Bäume
wurden gepflanzt
 1607426 Brillen
wurden geliefert
(Vision Spring)
Wirkung
 Wüste wurde zu Wald
 Ökonomische Wirkung von
269 Mio. (Vision Spring)
Bäume überleben &
speichern Feuchtigkeit
Brillen sind nützlich,
gelangen dorthin, wo sie
gebraucht werden und
werden genutzt;
Durchschnittseinkommen
derjenigen, die Brillen
brauchen; Produktivitäts-
steigerung durch Brillen;
Einkommens-
steigerung dadurch.
Weitere Annahmen nötig
Theory of Change

26. 29
Beispiel: vereinfachte Wirkungskette für
Fairtrade
Source: http://www.fairtrade.net/impact-and-research.html

27. 30
Grenzen in der Praxis
 Eine gute Evaluierung erfordert viel Arbeit und viele gute Daten
 Glaubwürdigkeit versus Kausalität: Die Öffentlichkeit könnte eher an „guten
Geschichten“ interessiert sein als an analytischer Genauigkeit
Dennoch kann man viel von dem wissenschaftlichen Ansatz lernen:
1. Die Wirkungsevaluierung bereits in der Plannungsphase mitdenken
a) Theory of Change Wandels sowie die relevanten Indikatoren entwickeln
b) Bedarf an Daten/Informationen
c) Messbarkeit dessen, was man erreichen möchte
2. Mögliche Selektionsverzerrung vergegenwärtigen
a) Auch wichtig, um festzustellen, ob die Zielpopulation erreicht wurde!
3. Identifikation und Beseitigung von Störfaktoren
a) Falls möglich, untersuchen Sie kontrafaktisch oder zumindest mit
durchschnittlichen statistischen Daten
b) Was hat sich seit dem Beginn Ihres Projektes generell geändert?

28. 31
Nun ist es an Ihnen…
 Haben Sie eine konkrete Idee für ein Projekt? Start-Up? Oder sind Sie
ehrenamtlich in einer Organisation aktiv?
 Wenn ja
was ist Ihre Mission? Welche Wirkungen möchten Sie erreichen?
Was ist ihre Theory of Change?
Was sind Ihre Ziele? Was Ihr Output?
Wie möchten Sie Ihre Wirkungen messen?

29. 32
Aufgabe
 Suchen Sie sich in Gruppen von 2-4 Leuten eine Organisation oder ein Projekt
aus (ein eigenes oder von uns vorgeschlagenes)
 Suchen Sie im Internet deren Mission/Vision und Ziele
 Überlegen Sie anhand dessen wie Sie Output und Impact messen würden
 Schlagen Sie ein "Evaluationsdesign" vor und stellen Sie es kurz in max. 3
Minuten der Gruppe vor

30. 33
Aufgabe
Alternativ:
 Sie sehen, dass euer Projekt schon ausführlich über seine eigene Evaluierung
berichtet und nehmen das zum Anlass sich kritisch damit auseinander zu
setzen. Sie stellen der Gruppe kurz vor wie die Organisation ihren Impact
messt, wie Sie den Erfolg davon einschätzen (schaffen sie es tatsächlich ihren
Impact zu messen) und was Sie gegebenenfalls anders machen würden.
 Hinweis: Es geht nicht darum zu suchen, ob das von Ihnen gewählte Beispiel
bereits Informationen zum Impact bereitstellt oder nicht! Wenn Sie darüber
stolpern und es benutzen wollen, gut, wenn nicht, auch gut.

31. 34
Mögliche Beispiele
 Dialog im Dunkeln/Dialog Social Enterprise
(http://www.dialogue-se.com/)
 Fairtrade (http://www.fairtrade-deutschland.de)
 Betterplace (http://www.betterplace.org)
 Heldenrat (http:// www.heldenrat.org)
 Balu und Du (http://www.balu-und-du.de)
 Viva con agua (https://www.vivaconagua.org)