SlideShare ist ein Scribd-Unternehmen logo
1 von 31
Downloaden Sie, um offline zu lesen
1
Wirkungsmessung für Social Business
Harald Habermann und Dr. Linda Kleemann
21/03/2014
2
seit 2005
Berufstätige
kostenfrei &
ehrenamtlich
für soziale
Initiativen
eraten
ilden
efördern
rüten
Heldenrat
3
Tagesprogramm
 Warum und was sollte evaluiert werden?
 Ein Experiment
 Das Evaluierungsproblem immer und überall.
 Was kann dagegen getan werden? (Die wissenschaftliche Sichtweise)
 Nun ist es an Ihnen…
4
Warum und was wird evaluiert?
5
Warum evaluieren?
 Anleger und Investoren wollen wissen, was Sie erreicht haben: Die
gesellschaftlichen Auswirkungen (sowie die Kosteneffizienz).
 Sie gewinnen an Glaubwürdigkeit, wenn Sie Wirkungen nachweisen können.
 Wenn Sie durch staatliche Mittel finanziert werden, sind Sie dem Steuerzahler
rechenschaftspflichtig.
Was evaluieren?
 Das hängt von Ihrer Mission ab! Und damit von Ihrer Theory of Change.
6
Zentrale Fragestellungen
1. Kann eine bestimmte Wirkung durch eine Maßnahme überhaupt erreicht
werden (Effektivität)?
2. Kann die gleiche Wirkung auf kostengünstigerem Weg erreicht werden
(Effizienz)?
7
Experiment
8
Experiment
Ich stelle Ihnen gleich zwei Fragen (aus zwei Wissensgebieten).
Auf dem Zettel, den ich Ihnen austeile, kreuzen Sie bitte die aus Ihrer Sicht
richtigen Antworten an (bitte nicht mit dem Nachbarn tuscheln, nicht googeln).
Gleichzeitig kreuzen Sie bitte für das erste Wissensgebiet an, wie Sie für ihre
Antwort „entlohnt“ werden wollen:
Variabel: Bei richtiger Antwort erhalten Sie zwei Tafeln Schokolade, bei falscher
Antwort erhalten Sie keine Tafel.
Pauschal: Egal ob Ihre Antwort richtig oder falsch ist, Sie erhalten immer eine Tafel
Schokolade.
Für das zweite Wissensgebiet haben wir Ihnen die Entscheidung bereits
abgenommen und (zufällig) die Art der Entlohnung festgelegt.
9
Frage 1: Stars und Sternchen
Das Kind welcher US-amerikanischen Schauspielerin ist nach einem
Kleiderschrank von Ikea benannt?
a. Kate Winslet
b. Angelina Jolie
c. Cate Blanchett
d. Sandra Bullock
10
Frage 2: Fußballer erklären die Welt
Welcher der folgenden Sprüche stammt von Berti Vogts?
a. „Ich denke nicht vor dem Tor. Das mache ich nie.“
b. „Hass gehört nicht ins Stadion. Solche Gefühle soll man gemeinsam
mit seiner Frau daheim im Wohnzimmer ausleben.“
c. „Haste Scheiße am Fuß, haste Scheiße am Fuß!“
d. „Der Jürgen Klinsmann und ich, wir sind ein gutes Trio. Ich meinte: ein
Quartett.“
13
Selektionsverzerrung
• Problem: Die Einteilung in Behandlungs- und Kontrollgruppe war nicht zufällig!
Personen, die die richtige Antwort kennen, wählen „variable Entlohnung“.
• Dieses Problem tritt meistens auf, wenn die Probanden selber entscheiden
können, ob Sie an einer Maßnahme teilnehmen.
• Lösung: Wir teilen die Probanden (Sie!) zufällig in Kontroll- und
Behandlungsgruppe ein (wie wir es für die zweite Frage gemacht haben).
15
Das zentrale Evaluierungsproblem
16
„Ende 2016 ist die WHU eine international anerkannte Hochschule mit
„Agenda Setting“ Kompetenz unter den Top 30 der europäischen Business
Schools. Sie ist im Markt bekannt für qualitativ hochwertige Bachelor und
Master Programme im Bereich General Management, für herausragende
Forschungsleistungen und für ihre starke Vernetzung in die Wirtschaft.
Dabei steht die WHU für gelebte Internationalität und ihr klares Bekenntnis
zu sozialer Verantwortung. Einer ihrer besonderen Werte ist die enge
Verbindung zu allen Stakeholdergruppen.“
Vision der WHU
17
Wie überprüfen wir ob die Vision erreicht wird bzw. ob
die Maßnahmen zur Visionserreichung beitragen?
• Was sind die Zielgröße(n)?
• Als Erfolgsmaßstab dienen oft Ausgaben: Flossen (mehr) Mittel in die
Masterprogramme?
• …oder die Entwicklung ausgewählter Kennzahlen: Kennen mehr Leute die
WHU? Haben Spenden von Unternehmen zugenommen?
• Die Überprüfung von Ursache-Wirkungszusammenhängen ist dagegen unüblich.
• …und schwierig, wie wir gerade gesehen haben.
18
Kontrollierte Zufallsexperimente - der
Idealzustand
 Aktuell: JPAL / Esther Duflo, Ursprung in der Medizin
 Man überprüft experimentell einen Ursache-Wirkungszusammenhang durch
das Beseitigen von Störfaktoren und Selektionsverzerrung
 Kann prinzipell Kausaleffekte aufdecken (Gold-Standard)
19
Grenzen experimenteller Studien
 Ausführung für insbesondere kleine Initiativen zu teuer und kompliziert
 Ethische Probleme, kann Verhaltensänderung nach sich ziehen
• Teilweise können Experimente aus praktischen, finanziellen oder ethischen
Gründen nicht durchführbar sein.
• Evaluationsstudien gehen zumeist davon aus, dass die Maßnahme keine Effekte
auf die Kontrollgruppe hat.
− Es können jedoch vor allem bei großen Projekten Verdrängungs- oder
Spillovereffekte entstehen.
 Nicht-experimentelle Studien nutzen statistische Methoden, um eine Kontroll-
gruppe zu konstruieren, die der experimentellen möglichst nahe kommt.
20
Das Evaluierungsproblem
Wirkung ist NICHT Y1-Y0
SONDERN Y1-Y1
*
21
(Teil-)lösungen: Korrektur der
Selektionsverzerrung
 Damit Y1-Y1
* richtig ist, braucht man eine Kontrollgruppe, welche exakt
der Untersuchungsgruppe entspricht oder man muss für die
anfänglichen Unterschiede korrigieren.
 Wenn nur ex-post Daten vorhanden sind, kann dies mittels dem
„propensity score matching“ geschehen.
 Annahme: Nur beobachtbare Faktoren sind relevant!
Jedoch weiß man nie, ob dies der Realität entspricht…
22
(Teil-)lösungen: Doppelte Differenzen
Wirkung Y1-Y1
*
Keine Zunahme
der Selektionsverzerrung: Δ = Δ
23
Diff-in-diff: Fehler müssen additiv und
zeitinvariant sein
24
Diff-in-diff funktioniert nicht, wenn die
Kontrollgruppe sich anders entwickelt
Y1
Impact?
Y1
*
Y0
t=0 t=1 time
 DD überschätzt die Wirkung!
25
Oder…
 DD unterschätzt die Wirkung!
26
Mögliche Lösungsansätze
 Kombination von PSM & DiD:
Kontrolliert vor und nach der Intervention für die
Selektionsverzerrung
Y1
Impact?
Y1
*
Y0
t=0 t=1 time
27
Störfaktoren
Y1
Y1
*
Y0
t=0 t=1 time
Selektionsverzerrung
Störfaktoren
(andere Faktoren)
28
Output≠ Wirkung
Output
 1 Million Bäume
wurden gepflanzt
 1607426 Brillen
wurden geliefert
(Vision Spring)
Wirkung
 Wüste wurde zu Wald
 Ökonomische Wirkung von
269 Mio. (Vision Spring)
Bäume überleben &
speichern Feuchtigkeit
Brillen sind nützlich,
gelangen dorthin, wo sie
gebraucht werden und
werden genutzt;
Durchschnittseinkommen
derjenigen, die Brillen
brauchen; Produktivitäts-
steigerung durch Brillen;
Einkommens-
steigerung dadurch.
Weitere Annahmen nötig
Theory of Change
29
Beispiel: vereinfachte Wirkungskette für
Fairtrade
Source: http://www.fairtrade.net/impact-and-research.html
30
Grenzen in der Praxis
 Eine gute Evaluierung erfordert viel Arbeit und viele gute Daten
 Glaubwürdigkeit versus Kausalität: Die Öffentlichkeit könnte eher an „guten
Geschichten“ interessiert sein als an analytischer Genauigkeit
Dennoch kann man viel von dem wissenschaftlichen Ansatz lernen:
1. Die Wirkungsevaluierung bereits in der Plannungsphase mitdenken
a) Theory of Change Wandels sowie die relevanten Indikatoren entwickeln
b) Bedarf an Daten/Informationen
c) Messbarkeit dessen, was man erreichen möchte
2. Mögliche Selektionsverzerrung vergegenwärtigen
a) Auch wichtig, um festzustellen, ob die Zielpopulation erreicht wurde!
3. Identifikation und Beseitigung von Störfaktoren
a) Falls möglich, untersuchen Sie kontrafaktisch oder zumindest mit
durchschnittlichen statistischen Daten
b) Was hat sich seit dem Beginn Ihres Projektes generell geändert?
31
Nun ist es an Ihnen…
 Haben Sie eine konkrete Idee für ein Projekt? Start-Up? Oder sind Sie
ehrenamtlich in einer Organisation aktiv?
 Wenn ja
was ist Ihre Mission? Welche Wirkungen möchten Sie erreichen?
Was ist ihre Theory of Change?
Was sind Ihre Ziele? Was Ihr Output?
Wie möchten Sie Ihre Wirkungen messen?
32
Aufgabe
 Suchen Sie sich in Gruppen von 2-4 Leuten eine Organisation oder ein Projekt
aus (ein eigenes oder von uns vorgeschlagenes)
 Suchen Sie im Internet deren Mission/Vision und Ziele
 Überlegen Sie anhand dessen wie Sie Output und Impact messen würden
 Schlagen Sie ein "Evaluationsdesign" vor und stellen Sie es kurz in max. 3
Minuten der Gruppe vor
33
Aufgabe
Alternativ:
 Sie sehen, dass euer Projekt schon ausführlich über seine eigene Evaluierung
berichtet und nehmen das zum Anlass sich kritisch damit auseinander zu
setzen. Sie stellen der Gruppe kurz vor wie die Organisation ihren Impact
messt, wie Sie den Erfolg davon einschätzen (schaffen sie es tatsächlich ihren
Impact zu messen) und was Sie gegebenenfalls anders machen würden.
 Hinweis: Es geht nicht darum zu suchen, ob das von Ihnen gewählte Beispiel
bereits Informationen zum Impact bereitstellt oder nicht! Wenn Sie darüber
stolpern und es benutzen wollen, gut, wenn nicht, auch gut.
34
Mögliche Beispiele
 Dialog im Dunkeln/Dialog Social Enterprise
(http://www.dialogue-se.com/)
 Fairtrade (http://www.fairtrade-deutschland.de)
 Betterplace (http://www.betterplace.org)
 Heldenrat (http:// www.heldenrat.org)
 Balu und Du (http://www.balu-und-du.de)
 Viva con agua (https://www.vivaconagua.org)

Weitere ähnliche Inhalte

Ähnlich wie Crash Kurs: Evaluierung von Social Business

Nachhaltiger Erfolg heißt die Balance zu finden
Nachhaltiger Erfolg heißt die Balance zu findenNachhaltiger Erfolg heißt die Balance zu finden
Nachhaltiger Erfolg heißt die Balance zu finden
Linda Kleemann
 

Ähnlich wie Crash Kurs: Evaluierung von Social Business (20)

Theorie U als Innovationsframework
Theorie U als InnovationsframeworkTheorie U als Innovationsframework
Theorie U als Innovationsframework
 
Von der Idee zur Wirklichkeit - creating your own social business
Von der Idee zur Wirklichkeit - creating your own social business Von der Idee zur Wirklichkeit - creating your own social business
Von der Idee zur Wirklichkeit - creating your own social business
 
Ich finde meine Hochschule auf Facebook! Studienorientierung und Hochschulwah...
Ich finde meine Hochschule auf Facebook! Studienorientierung und Hochschulwah...Ich finde meine Hochschule auf Facebook! Studienorientierung und Hochschulwah...
Ich finde meine Hochschule auf Facebook! Studienorientierung und Hochschulwah...
 
Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen.
Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen. Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen.
Evaluation von E-Learning in Unternehmen – Erfolg erfolgreich messen.
 
Wenn es zu komplex wird im Coaching – über den Gebrauch von Werkzeugen zur Un...
Wenn es zu komplex wird im Coaching – über den Gebrauch von Werkzeugen zur Un...Wenn es zu komplex wird im Coaching – über den Gebrauch von Werkzeugen zur Un...
Wenn es zu komplex wird im Coaching – über den Gebrauch von Werkzeugen zur Un...
 
Performancesysteme und Relative Ziele (BetaCodex 10)
Performancesysteme und Relative Ziele (BetaCodex 10)Performancesysteme und Relative Ziele (BetaCodex 10)
Performancesysteme und Relative Ziele (BetaCodex 10)
 
FAFGA 2019 - Problemanalyse für Produktentwicklung
FAFGA 2019 - Problemanalyse für ProduktentwicklungFAFGA 2019 - Problemanalyse für Produktentwicklung
FAFGA 2019 - Problemanalyse für Produktentwicklung
 
Durch strukturiertes Nichtstun zum Erfolg
Durch strukturiertes Nichtstun zum ErfolgDurch strukturiertes Nichtstun zum Erfolg
Durch strukturiertes Nichtstun zum Erfolg
 
Quantitative Evaluierungsmethoden ohne Formeln erklärt
Quantitative Evaluierungsmethoden ohne Formeln erklärtQuantitative Evaluierungsmethoden ohne Formeln erklärt
Quantitative Evaluierungsmethoden ohne Formeln erklärt
 
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdfAbbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
 
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?
Mental Model: Wie gehen Studieninteressierte bei der Hochschulwahl vor?
 
BNI - Raimund Wiesinger (Spinnraum) - 10 Minuten Präsentation
BNI - Raimund Wiesinger (Spinnraum) - 10 Minuten PräsentationBNI - Raimund Wiesinger (Spinnraum) - 10 Minuten Präsentation
BNI - Raimund Wiesinger (Spinnraum) - 10 Minuten Präsentation
 
Studie: Effekte einer gamifizierten Befragung auf das Teilnehmerverhalten
Studie: Effekte einer gamifizierten Befragung auf das TeilnehmerverhaltenStudie: Effekte einer gamifizierten Befragung auf das Teilnehmerverhalten
Studie: Effekte einer gamifizierten Befragung auf das Teilnehmerverhalten
 
Nachhaltiger Erfolg heißt die Balance zu finden
Nachhaltiger Erfolg heißt die Balance zu findenNachhaltiger Erfolg heißt die Balance zu finden
Nachhaltiger Erfolg heißt die Balance zu finden
 
Die Pfannen-Methode zur erfolgreichen Innovation
Die Pfannen-Methode zur erfolgreichen InnovationDie Pfannen-Methode zur erfolgreichen Innovation
Die Pfannen-Methode zur erfolgreichen Innovation
 
Personalbindung 20160510 ak personalentwicklung si sax
Personalbindung  20160510 ak personalentwicklung si saxPersonalbindung  20160510 ak personalentwicklung si sax
Personalbindung 20160510 ak personalentwicklung si sax
 
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
 
Modul 11 – Der Design Thinking Prozess
Modul 11 – Der Design Thinking ProzessModul 11 – Der Design Thinking Prozess
Modul 11 – Der Design Thinking Prozess
 
Die Zukunft der Arbeit ist Wissensarbeit! Und was hat das mit uns zu tun?
Die Zukunft der Arbeit ist Wissensarbeit! Und was hat das mit uns zu tun?Die Zukunft der Arbeit ist Wissensarbeit! Und was hat das mit uns zu tun?
Die Zukunft der Arbeit ist Wissensarbeit! Und was hat das mit uns zu tun?
 
Effectuation - 83. Management 3.0 Stammtisch München
Effectuation - 83. Management 3.0 Stammtisch MünchenEffectuation - 83. Management 3.0 Stammtisch München
Effectuation - 83. Management 3.0 Stammtisch München
 

Mehr von Linda Kleemann

Social business – a new private sector contribution to development?
Social business – a new private sector contribution to development?Social business – a new private sector contribution to development?
Social business – a new private sector contribution to development?
Linda Kleemann
 
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
Linda Kleemann
 
Financing models for social enterprises
Financing models for social enterprisesFinancing models for social enterprises
Financing models for social enterprises
Linda Kleemann
 
Social Business in developing countries - a new solution to eradicate poverty?
Social Business in developing countries - a new solution to eradicate poverty?Social Business in developing countries - a new solution to eradicate poverty?
Social Business in developing countries - a new solution to eradicate poverty?
Linda Kleemann
 
Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Organic Certification, Agro-Ecological Practices and Return on Investment: F...Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Linda Kleemann
 
Fairtrade Presentation Preetz September 2012
Fairtrade Presentation Preetz September 2012Fairtrade Presentation Preetz September 2012
Fairtrade Presentation Preetz September 2012
Linda Kleemann
 
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Linda Kleemann
 
Certification and Agro‐Ecological Practice Use Linkages and Investment Impact
Certification and Agro‐Ecological Practice Use Linkages and Investment ImpactCertification and Agro‐Ecological Practice Use Linkages and Investment Impact
Certification and Agro‐Ecological Practice Use Linkages and Investment Impact
Linda Kleemann
 
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Linda Kleemann
 
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Linda Kleemann
 

Mehr von Linda Kleemann (16)

Fundraising Crashkurs für soziale Initiativen
Fundraising Crashkurs für soziale InitiativenFundraising Crashkurs für soziale Initiativen
Fundraising Crashkurs für soziale Initiativen
 
Social business – a new private sector contribution to development?
Social business – a new private sector contribution to development?Social business – a new private sector contribution to development?
Social business – a new private sector contribution to development?
 
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
 
Business model development in Social Business
Business model development in Social BusinessBusiness model development in Social Business
Business model development in Social Business
 
Financing models for social enterprises
Financing models for social enterprisesFinancing models for social enterprises
Financing models for social enterprises
 
Social Business in developing countries - a new solution to eradicate poverty?
Social Business in developing countries - a new solution to eradicate poverty?Social Business in developing countries - a new solution to eradicate poverty?
Social Business in developing countries - a new solution to eradicate poverty?
 
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
 
Willingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in AfricaWillingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in Africa
 
Willingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in AfricaWillingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in Africa
 
Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Organic Certification, Agro-Ecological Practices and Return on Investment: F...Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Organic Certification, Agro-Ecological Practices and Return on Investment: F...
 
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
 
Fairtrade Presentation Preetz September 2012
Fairtrade Presentation Preetz September 2012Fairtrade Presentation Preetz September 2012
Fairtrade Presentation Preetz September 2012
 
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
 
Certification and Agro‐Ecological Practice Use Linkages and Investment Impact
Certification and Agro‐Ecological Practice Use Linkages and Investment ImpactCertification and Agro‐Ecological Practice Use Linkages and Investment Impact
Certification and Agro‐Ecological Practice Use Linkages and Investment Impact
 
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
 
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
 

Crash Kurs: Evaluierung von Social Business

  • 1. 1 Wirkungsmessung für Social Business Harald Habermann und Dr. Linda Kleemann 21/03/2014
  • 2. 2 seit 2005 Berufstätige kostenfrei & ehrenamtlich für soziale Initiativen eraten ilden efördern rüten Heldenrat
  • 3. 3 Tagesprogramm  Warum und was sollte evaluiert werden?  Ein Experiment  Das Evaluierungsproblem immer und überall.  Was kann dagegen getan werden? (Die wissenschaftliche Sichtweise)  Nun ist es an Ihnen…
  • 4. 4 Warum und was wird evaluiert?
  • 5. 5 Warum evaluieren?  Anleger und Investoren wollen wissen, was Sie erreicht haben: Die gesellschaftlichen Auswirkungen (sowie die Kosteneffizienz).  Sie gewinnen an Glaubwürdigkeit, wenn Sie Wirkungen nachweisen können.  Wenn Sie durch staatliche Mittel finanziert werden, sind Sie dem Steuerzahler rechenschaftspflichtig. Was evaluieren?  Das hängt von Ihrer Mission ab! Und damit von Ihrer Theory of Change.
  • 6. 6 Zentrale Fragestellungen 1. Kann eine bestimmte Wirkung durch eine Maßnahme überhaupt erreicht werden (Effektivität)? 2. Kann die gleiche Wirkung auf kostengünstigerem Weg erreicht werden (Effizienz)?
  • 8. 8 Experiment Ich stelle Ihnen gleich zwei Fragen (aus zwei Wissensgebieten). Auf dem Zettel, den ich Ihnen austeile, kreuzen Sie bitte die aus Ihrer Sicht richtigen Antworten an (bitte nicht mit dem Nachbarn tuscheln, nicht googeln). Gleichzeitig kreuzen Sie bitte für das erste Wissensgebiet an, wie Sie für ihre Antwort „entlohnt“ werden wollen: Variabel: Bei richtiger Antwort erhalten Sie zwei Tafeln Schokolade, bei falscher Antwort erhalten Sie keine Tafel. Pauschal: Egal ob Ihre Antwort richtig oder falsch ist, Sie erhalten immer eine Tafel Schokolade. Für das zweite Wissensgebiet haben wir Ihnen die Entscheidung bereits abgenommen und (zufällig) die Art der Entlohnung festgelegt.
  • 9. 9 Frage 1: Stars und Sternchen Das Kind welcher US-amerikanischen Schauspielerin ist nach einem Kleiderschrank von Ikea benannt? a. Kate Winslet b. Angelina Jolie c. Cate Blanchett d. Sandra Bullock
  • 10. 10 Frage 2: Fußballer erklären die Welt Welcher der folgenden Sprüche stammt von Berti Vogts? a. „Ich denke nicht vor dem Tor. Das mache ich nie.“ b. „Hass gehört nicht ins Stadion. Solche Gefühle soll man gemeinsam mit seiner Frau daheim im Wohnzimmer ausleben.“ c. „Haste Scheiße am Fuß, haste Scheiße am Fuß!“ d. „Der Jürgen Klinsmann und ich, wir sind ein gutes Trio. Ich meinte: ein Quartett.“
  • 11. 13 Selektionsverzerrung • Problem: Die Einteilung in Behandlungs- und Kontrollgruppe war nicht zufällig! Personen, die die richtige Antwort kennen, wählen „variable Entlohnung“. • Dieses Problem tritt meistens auf, wenn die Probanden selber entscheiden können, ob Sie an einer Maßnahme teilnehmen. • Lösung: Wir teilen die Probanden (Sie!) zufällig in Kontroll- und Behandlungsgruppe ein (wie wir es für die zweite Frage gemacht haben).
  • 13. 16 „Ende 2016 ist die WHU eine international anerkannte Hochschule mit „Agenda Setting“ Kompetenz unter den Top 30 der europäischen Business Schools. Sie ist im Markt bekannt für qualitativ hochwertige Bachelor und Master Programme im Bereich General Management, für herausragende Forschungsleistungen und für ihre starke Vernetzung in die Wirtschaft. Dabei steht die WHU für gelebte Internationalität und ihr klares Bekenntnis zu sozialer Verantwortung. Einer ihrer besonderen Werte ist die enge Verbindung zu allen Stakeholdergruppen.“ Vision der WHU
  • 14. 17 Wie überprüfen wir ob die Vision erreicht wird bzw. ob die Maßnahmen zur Visionserreichung beitragen? • Was sind die Zielgröße(n)? • Als Erfolgsmaßstab dienen oft Ausgaben: Flossen (mehr) Mittel in die Masterprogramme? • …oder die Entwicklung ausgewählter Kennzahlen: Kennen mehr Leute die WHU? Haben Spenden von Unternehmen zugenommen? • Die Überprüfung von Ursache-Wirkungszusammenhängen ist dagegen unüblich. • …und schwierig, wie wir gerade gesehen haben.
  • 15. 18 Kontrollierte Zufallsexperimente - der Idealzustand  Aktuell: JPAL / Esther Duflo, Ursprung in der Medizin  Man überprüft experimentell einen Ursache-Wirkungszusammenhang durch das Beseitigen von Störfaktoren und Selektionsverzerrung  Kann prinzipell Kausaleffekte aufdecken (Gold-Standard)
  • 16. 19 Grenzen experimenteller Studien  Ausführung für insbesondere kleine Initiativen zu teuer und kompliziert  Ethische Probleme, kann Verhaltensänderung nach sich ziehen • Teilweise können Experimente aus praktischen, finanziellen oder ethischen Gründen nicht durchführbar sein. • Evaluationsstudien gehen zumeist davon aus, dass die Maßnahme keine Effekte auf die Kontrollgruppe hat. − Es können jedoch vor allem bei großen Projekten Verdrängungs- oder Spillovereffekte entstehen.  Nicht-experimentelle Studien nutzen statistische Methoden, um eine Kontroll- gruppe zu konstruieren, die der experimentellen möglichst nahe kommt.
  • 17. 20 Das Evaluierungsproblem Wirkung ist NICHT Y1-Y0 SONDERN Y1-Y1 *
  • 18. 21 (Teil-)lösungen: Korrektur der Selektionsverzerrung  Damit Y1-Y1 * richtig ist, braucht man eine Kontrollgruppe, welche exakt der Untersuchungsgruppe entspricht oder man muss für die anfänglichen Unterschiede korrigieren.  Wenn nur ex-post Daten vorhanden sind, kann dies mittels dem „propensity score matching“ geschehen.  Annahme: Nur beobachtbare Faktoren sind relevant! Jedoch weiß man nie, ob dies der Realität entspricht…
  • 19. 22 (Teil-)lösungen: Doppelte Differenzen Wirkung Y1-Y1 * Keine Zunahme der Selektionsverzerrung: Δ = Δ
  • 20. 23 Diff-in-diff: Fehler müssen additiv und zeitinvariant sein
  • 21. 24 Diff-in-diff funktioniert nicht, wenn die Kontrollgruppe sich anders entwickelt Y1 Impact? Y1 * Y0 t=0 t=1 time  DD überschätzt die Wirkung!
  • 23. 26 Mögliche Lösungsansätze  Kombination von PSM & DiD: Kontrolliert vor und nach der Intervention für die Selektionsverzerrung Y1 Impact? Y1 * Y0 t=0 t=1 time
  • 25. 28 Output≠ Wirkung Output  1 Million Bäume wurden gepflanzt  1607426 Brillen wurden geliefert (Vision Spring) Wirkung  Wüste wurde zu Wald  Ökonomische Wirkung von 269 Mio. (Vision Spring) Bäume überleben & speichern Feuchtigkeit Brillen sind nützlich, gelangen dorthin, wo sie gebraucht werden und werden genutzt; Durchschnittseinkommen derjenigen, die Brillen brauchen; Produktivitäts- steigerung durch Brillen; Einkommens- steigerung dadurch. Weitere Annahmen nötig Theory of Change
  • 26. 29 Beispiel: vereinfachte Wirkungskette für Fairtrade Source: http://www.fairtrade.net/impact-and-research.html
  • 27. 30 Grenzen in der Praxis  Eine gute Evaluierung erfordert viel Arbeit und viele gute Daten  Glaubwürdigkeit versus Kausalität: Die Öffentlichkeit könnte eher an „guten Geschichten“ interessiert sein als an analytischer Genauigkeit Dennoch kann man viel von dem wissenschaftlichen Ansatz lernen: 1. Die Wirkungsevaluierung bereits in der Plannungsphase mitdenken a) Theory of Change Wandels sowie die relevanten Indikatoren entwickeln b) Bedarf an Daten/Informationen c) Messbarkeit dessen, was man erreichen möchte 2. Mögliche Selektionsverzerrung vergegenwärtigen a) Auch wichtig, um festzustellen, ob die Zielpopulation erreicht wurde! 3. Identifikation und Beseitigung von Störfaktoren a) Falls möglich, untersuchen Sie kontrafaktisch oder zumindest mit durchschnittlichen statistischen Daten b) Was hat sich seit dem Beginn Ihres Projektes generell geändert?
  • 28. 31 Nun ist es an Ihnen…  Haben Sie eine konkrete Idee für ein Projekt? Start-Up? Oder sind Sie ehrenamtlich in einer Organisation aktiv?  Wenn ja was ist Ihre Mission? Welche Wirkungen möchten Sie erreichen? Was ist ihre Theory of Change? Was sind Ihre Ziele? Was Ihr Output? Wie möchten Sie Ihre Wirkungen messen?
  • 29. 32 Aufgabe  Suchen Sie sich in Gruppen von 2-4 Leuten eine Organisation oder ein Projekt aus (ein eigenes oder von uns vorgeschlagenes)  Suchen Sie im Internet deren Mission/Vision und Ziele  Überlegen Sie anhand dessen wie Sie Output und Impact messen würden  Schlagen Sie ein "Evaluationsdesign" vor und stellen Sie es kurz in max. 3 Minuten der Gruppe vor
  • 30. 33 Aufgabe Alternativ:  Sie sehen, dass euer Projekt schon ausführlich über seine eigene Evaluierung berichtet und nehmen das zum Anlass sich kritisch damit auseinander zu setzen. Sie stellen der Gruppe kurz vor wie die Organisation ihren Impact messt, wie Sie den Erfolg davon einschätzen (schaffen sie es tatsächlich ihren Impact zu messen) und was Sie gegebenenfalls anders machen würden.  Hinweis: Es geht nicht darum zu suchen, ob das von Ihnen gewählte Beispiel bereits Informationen zum Impact bereitstellt oder nicht! Wenn Sie darüber stolpern und es benutzen wollen, gut, wenn nicht, auch gut.
  • 31. 34 Mögliche Beispiele  Dialog im Dunkeln/Dialog Social Enterprise (http://www.dialogue-se.com/)  Fairtrade (http://www.fairtrade-deutschland.de)  Betterplace (http://www.betterplace.org)  Heldenrat (http:// www.heldenrat.org)  Balu und Du (http://www.balu-und-du.de)  Viva con agua (https://www.vivaconagua.org)