1
Wirkungsmessung für Social Business
Harald Habermann und Dr. Linda Kleemann
21/03/2014
2
seit 2005
Berufstätige
kostenfrei &
ehrenamtlich
für soziale
Initiativen
eraten
ilden
efördern
rüten
Heldenrat
3
Tagesprogramm
 Warum und was sollte evaluiert werden?
 Ein Experiment
 Das Evaluierungsproblem immer und überall.
 W...
4
Warum und was wird evaluiert?
5
Warum evaluieren?
 Anleger und Investoren wollen wissen, was Sie erreicht haben: Die
gesellschaftlichen Auswirkungen (s...
6
Zentrale Fragestellungen
1. Kann eine bestimmte Wirkung durch eine Maßnahme überhaupt erreicht
werden (Effektivität)?
2....
7
Experiment
8
Experiment
Ich stelle Ihnen gleich zwei Fragen (aus zwei Wissensgebieten).
Auf dem Zettel, den ich Ihnen austeile, kreuz...
9
Frage 1: Stars und Sternchen
Das Kind welcher US-amerikanischen Schauspielerin ist nach einem
Kleiderschrank von Ikea be...
10
Frage 2: Fußballer erklären die Welt
Welcher der folgenden Sprüche stammt von Berti Vogts?
a. „Ich denke nicht vor dem ...
13
Selektionsverzerrung
• Problem: Die Einteilung in Behandlungs- und Kontrollgruppe war nicht zufällig!
Personen, die die...
15
Das zentrale Evaluierungsproblem
16
„Ende 2016 ist die WHU eine international anerkannte Hochschule mit
„Agenda Setting“ Kompetenz unter den Top 30 der eur...
17
Wie überprüfen wir ob die Vision erreicht wird bzw. ob
die Maßnahmen zur Visionserreichung beitragen?
• Was sind die Zi...
18
Kontrollierte Zufallsexperimente - der
Idealzustand
 Aktuell: JPAL / Esther Duflo, Ursprung in der Medizin
 Man überp...
19
Grenzen experimenteller Studien
 Ausführung für insbesondere kleine Initiativen zu teuer und kompliziert
 Ethische Pr...
20
Das Evaluierungsproblem
Wirkung ist NICHT Y1-Y0
SONDERN Y1-Y1
*
21
(Teil-)lösungen: Korrektur der
Selektionsverzerrung
 Damit Y1-Y1
* richtig ist, braucht man eine Kontrollgruppe, welch...
22
(Teil-)lösungen: Doppelte Differenzen
Wirkung Y1-Y1
*
Keine Zunahme
der Selektionsverzerrung: Δ = Δ
23
Diff-in-diff: Fehler müssen additiv und
zeitinvariant sein
24
Diff-in-diff funktioniert nicht, wenn die
Kontrollgruppe sich anders entwickelt
Y1
Impact?
Y1
*
Y0
t=0 t=1 time
 DD üb...
25
Oder…
 DD unterschätzt die Wirkung!
26
Mögliche Lösungsansätze
 Kombination von PSM & DiD:
Kontrolliert vor und nach der Intervention für die
Selektionsverz...
27
Störfaktoren
Y1
Y1
*
Y0
t=0 t=1 time
Selektionsverzerrung
Störfaktoren
(andere Faktoren)
28
Output≠ Wirkung
Output
 1 Million Bäume
wurden gepflanzt
 1607426 Brillen
wurden geliefert
(Vision Spring)
Wirkung
 ...
29
Beispiel: vereinfachte Wirkungskette für
Fairtrade
Source: http://www.fairtrade.net/impact-and-research.html
30
Grenzen in der Praxis
 Eine gute Evaluierung erfordert viel Arbeit und viele gute Daten
 Glaubwürdigkeit versus Kausa...
31
Nun ist es an Ihnen…
 Haben Sie eine konkrete Idee für ein Projekt? Start-Up? Oder sind Sie
ehrenamtlich in einer Orga...
32
Aufgabe
 Suchen Sie sich in Gruppen von 2-4 Leuten eine Organisation oder ein Projekt
aus (ein eigenes oder von uns vo...
33
Aufgabe
Alternativ:
 Sie sehen, dass euer Projekt schon ausführlich über seine eigene Evaluierung
berichtet und nehmen...
34
Mögliche Beispiele
 Dialog im Dunkeln/Dialog Social Enterprise
(http://www.dialogue-se.com/)
 Fairtrade (http://www.f...
Nächste SlideShare
Wird geladen in …5
×

Crash Kurs: Evaluierung von Social Business

604 Aufrufe

Veröffentlicht am

Sensability 2014

0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
604
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
2
Aktionen
Geteilt
0
Downloads
4
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Crash Kurs: Evaluierung von Social Business

  1. 1. 1 Wirkungsmessung für Social Business Harald Habermann und Dr. Linda Kleemann 21/03/2014
  2. 2. 2 seit 2005 Berufstätige kostenfrei & ehrenamtlich für soziale Initiativen eraten ilden efördern rüten Heldenrat
  3. 3. 3 Tagesprogramm  Warum und was sollte evaluiert werden?  Ein Experiment  Das Evaluierungsproblem immer und überall.  Was kann dagegen getan werden? (Die wissenschaftliche Sichtweise)  Nun ist es an Ihnen…
  4. 4. 4 Warum und was wird evaluiert?
  5. 5. 5 Warum evaluieren?  Anleger und Investoren wollen wissen, was Sie erreicht haben: Die gesellschaftlichen Auswirkungen (sowie die Kosteneffizienz).  Sie gewinnen an Glaubwürdigkeit, wenn Sie Wirkungen nachweisen können.  Wenn Sie durch staatliche Mittel finanziert werden, sind Sie dem Steuerzahler rechenschaftspflichtig. Was evaluieren?  Das hängt von Ihrer Mission ab! Und damit von Ihrer Theory of Change.
  6. 6. 6 Zentrale Fragestellungen 1. Kann eine bestimmte Wirkung durch eine Maßnahme überhaupt erreicht werden (Effektivität)? 2. Kann die gleiche Wirkung auf kostengünstigerem Weg erreicht werden (Effizienz)?
  7. 7. 7 Experiment
  8. 8. 8 Experiment Ich stelle Ihnen gleich zwei Fragen (aus zwei Wissensgebieten). Auf dem Zettel, den ich Ihnen austeile, kreuzen Sie bitte die aus Ihrer Sicht richtigen Antworten an (bitte nicht mit dem Nachbarn tuscheln, nicht googeln). Gleichzeitig kreuzen Sie bitte für das erste Wissensgebiet an, wie Sie für ihre Antwort „entlohnt“ werden wollen: Variabel: Bei richtiger Antwort erhalten Sie zwei Tafeln Schokolade, bei falscher Antwort erhalten Sie keine Tafel. Pauschal: Egal ob Ihre Antwort richtig oder falsch ist, Sie erhalten immer eine Tafel Schokolade. Für das zweite Wissensgebiet haben wir Ihnen die Entscheidung bereits abgenommen und (zufällig) die Art der Entlohnung festgelegt.
  9. 9. 9 Frage 1: Stars und Sternchen Das Kind welcher US-amerikanischen Schauspielerin ist nach einem Kleiderschrank von Ikea benannt? a. Kate Winslet b. Angelina Jolie c. Cate Blanchett d. Sandra Bullock
  10. 10. 10 Frage 2: Fußballer erklären die Welt Welcher der folgenden Sprüche stammt von Berti Vogts? a. „Ich denke nicht vor dem Tor. Das mache ich nie.“ b. „Hass gehört nicht ins Stadion. Solche Gefühle soll man gemeinsam mit seiner Frau daheim im Wohnzimmer ausleben.“ c. „Haste Scheiße am Fuß, haste Scheiße am Fuß!“ d. „Der Jürgen Klinsmann und ich, wir sind ein gutes Trio. Ich meinte: ein Quartett.“
  11. 11. 13 Selektionsverzerrung • Problem: Die Einteilung in Behandlungs- und Kontrollgruppe war nicht zufällig! Personen, die die richtige Antwort kennen, wählen „variable Entlohnung“. • Dieses Problem tritt meistens auf, wenn die Probanden selber entscheiden können, ob Sie an einer Maßnahme teilnehmen. • Lösung: Wir teilen die Probanden (Sie!) zufällig in Kontroll- und Behandlungsgruppe ein (wie wir es für die zweite Frage gemacht haben).
  12. 12. 15 Das zentrale Evaluierungsproblem
  13. 13. 16 „Ende 2016 ist die WHU eine international anerkannte Hochschule mit „Agenda Setting“ Kompetenz unter den Top 30 der europäischen Business Schools. Sie ist im Markt bekannt für qualitativ hochwertige Bachelor und Master Programme im Bereich General Management, für herausragende Forschungsleistungen und für ihre starke Vernetzung in die Wirtschaft. Dabei steht die WHU für gelebte Internationalität und ihr klares Bekenntnis zu sozialer Verantwortung. Einer ihrer besonderen Werte ist die enge Verbindung zu allen Stakeholdergruppen.“ Vision der WHU
  14. 14. 17 Wie überprüfen wir ob die Vision erreicht wird bzw. ob die Maßnahmen zur Visionserreichung beitragen? • Was sind die Zielgröße(n)? • Als Erfolgsmaßstab dienen oft Ausgaben: Flossen (mehr) Mittel in die Masterprogramme? • …oder die Entwicklung ausgewählter Kennzahlen: Kennen mehr Leute die WHU? Haben Spenden von Unternehmen zugenommen? • Die Überprüfung von Ursache-Wirkungszusammenhängen ist dagegen unüblich. • …und schwierig, wie wir gerade gesehen haben.
  15. 15. 18 Kontrollierte Zufallsexperimente - der Idealzustand  Aktuell: JPAL / Esther Duflo, Ursprung in der Medizin  Man überprüft experimentell einen Ursache-Wirkungszusammenhang durch das Beseitigen von Störfaktoren und Selektionsverzerrung  Kann prinzipell Kausaleffekte aufdecken (Gold-Standard)
  16. 16. 19 Grenzen experimenteller Studien  Ausführung für insbesondere kleine Initiativen zu teuer und kompliziert  Ethische Probleme, kann Verhaltensänderung nach sich ziehen • Teilweise können Experimente aus praktischen, finanziellen oder ethischen Gründen nicht durchführbar sein. • Evaluationsstudien gehen zumeist davon aus, dass die Maßnahme keine Effekte auf die Kontrollgruppe hat. − Es können jedoch vor allem bei großen Projekten Verdrängungs- oder Spillovereffekte entstehen.  Nicht-experimentelle Studien nutzen statistische Methoden, um eine Kontroll- gruppe zu konstruieren, die der experimentellen möglichst nahe kommt.
  17. 17. 20 Das Evaluierungsproblem Wirkung ist NICHT Y1-Y0 SONDERN Y1-Y1 *
  18. 18. 21 (Teil-)lösungen: Korrektur der Selektionsverzerrung  Damit Y1-Y1 * richtig ist, braucht man eine Kontrollgruppe, welche exakt der Untersuchungsgruppe entspricht oder man muss für die anfänglichen Unterschiede korrigieren.  Wenn nur ex-post Daten vorhanden sind, kann dies mittels dem „propensity score matching“ geschehen.  Annahme: Nur beobachtbare Faktoren sind relevant! Jedoch weiß man nie, ob dies der Realität entspricht…
  19. 19. 22 (Teil-)lösungen: Doppelte Differenzen Wirkung Y1-Y1 * Keine Zunahme der Selektionsverzerrung: Δ = Δ
  20. 20. 23 Diff-in-diff: Fehler müssen additiv und zeitinvariant sein
  21. 21. 24 Diff-in-diff funktioniert nicht, wenn die Kontrollgruppe sich anders entwickelt Y1 Impact? Y1 * Y0 t=0 t=1 time  DD überschätzt die Wirkung!
  22. 22. 25 Oder…  DD unterschätzt die Wirkung!
  23. 23. 26 Mögliche Lösungsansätze  Kombination von PSM & DiD: Kontrolliert vor und nach der Intervention für die Selektionsverzerrung Y1 Impact? Y1 * Y0 t=0 t=1 time
  24. 24. 27 Störfaktoren Y1 Y1 * Y0 t=0 t=1 time Selektionsverzerrung Störfaktoren (andere Faktoren)
  25. 25. 28 Output≠ Wirkung Output  1 Million Bäume wurden gepflanzt  1607426 Brillen wurden geliefert (Vision Spring) Wirkung  Wüste wurde zu Wald  Ökonomische Wirkung von 269 Mio. (Vision Spring) Bäume überleben & speichern Feuchtigkeit Brillen sind nützlich, gelangen dorthin, wo sie gebraucht werden und werden genutzt; Durchschnittseinkommen derjenigen, die Brillen brauchen; Produktivitäts- steigerung durch Brillen; Einkommens- steigerung dadurch. Weitere Annahmen nötig Theory of Change
  26. 26. 29 Beispiel: vereinfachte Wirkungskette für Fairtrade Source: http://www.fairtrade.net/impact-and-research.html
  27. 27. 30 Grenzen in der Praxis  Eine gute Evaluierung erfordert viel Arbeit und viele gute Daten  Glaubwürdigkeit versus Kausalität: Die Öffentlichkeit könnte eher an „guten Geschichten“ interessiert sein als an analytischer Genauigkeit Dennoch kann man viel von dem wissenschaftlichen Ansatz lernen: 1. Die Wirkungsevaluierung bereits in der Plannungsphase mitdenken a) Theory of Change Wandels sowie die relevanten Indikatoren entwickeln b) Bedarf an Daten/Informationen c) Messbarkeit dessen, was man erreichen möchte 2. Mögliche Selektionsverzerrung vergegenwärtigen a) Auch wichtig, um festzustellen, ob die Zielpopulation erreicht wurde! 3. Identifikation und Beseitigung von Störfaktoren a) Falls möglich, untersuchen Sie kontrafaktisch oder zumindest mit durchschnittlichen statistischen Daten b) Was hat sich seit dem Beginn Ihres Projektes generell geändert?
  28. 28. 31 Nun ist es an Ihnen…  Haben Sie eine konkrete Idee für ein Projekt? Start-Up? Oder sind Sie ehrenamtlich in einer Organisation aktiv?  Wenn ja was ist Ihre Mission? Welche Wirkungen möchten Sie erreichen? Was ist ihre Theory of Change? Was sind Ihre Ziele? Was Ihr Output? Wie möchten Sie Ihre Wirkungen messen?
  29. 29. 32 Aufgabe  Suchen Sie sich in Gruppen von 2-4 Leuten eine Organisation oder ein Projekt aus (ein eigenes oder von uns vorgeschlagenes)  Suchen Sie im Internet deren Mission/Vision und Ziele  Überlegen Sie anhand dessen wie Sie Output und Impact messen würden  Schlagen Sie ein "Evaluationsdesign" vor und stellen Sie es kurz in max. 3 Minuten der Gruppe vor
  30. 30. 33 Aufgabe Alternativ:  Sie sehen, dass euer Projekt schon ausführlich über seine eigene Evaluierung berichtet und nehmen das zum Anlass sich kritisch damit auseinander zu setzen. Sie stellen der Gruppe kurz vor wie die Organisation ihren Impact messt, wie Sie den Erfolg davon einschätzen (schaffen sie es tatsächlich ihren Impact zu messen) und was Sie gegebenenfalls anders machen würden.  Hinweis: Es geht nicht darum zu suchen, ob das von Ihnen gewählte Beispiel bereits Informationen zum Impact bereitstellt oder nicht! Wenn Sie darüber stolpern und es benutzen wollen, gut, wenn nicht, auch gut.
  31. 31. 34 Mögliche Beispiele  Dialog im Dunkeln/Dialog Social Enterprise (http://www.dialogue-se.com/)  Fairtrade (http://www.fairtrade-deutschland.de)  Betterplace (http://www.betterplace.org)  Heldenrat (http:// www.heldenrat.org)  Balu und Du (http://www.balu-und-du.de)  Viva con agua (https://www.vivaconagua.org)

×