SlideShare ist ein Scribd-Unternehmen logo
Quantitative Wirkungsmessung
(ohne Formeln)
Linda Kleemann
2
Einordnung
• Evaluierung und Monitoring
– Monitoring: Auskunft, ob ein Programm wie geplant abläuft
oder es zu Störungen kommt
– Prozessevaluation: Evaluation des Programmablaufs
– Kosten-Nutzen-Analysen: effizienter Mitteleinsatz? Vergleich
mit alternativen Mittelverwendungen
– Wirkungsbeobachtung: Gewünschte Effekte? Dem
Programm zuzuschreiben?
• Dieser Vortrag: quantitative Methoden der
Wirkungsbeobachtung oder Wirkungsmessung
Quantitative Methoden der
Wirkungsbeobachtung
• Versuch der Messung eines kausalen Effekts, des Beitrags der
Maßnahme zur Veränderung eines Wirkungsindikators
Fokus auf interner Validität mit besonderer Berücksichtigung
von:
• Selektionsverzerrung (Fragen alleine reicht nicht)
– Zwei Ursachen von Selektion können analytisch
unterschieden werden: “observables” (Alter, Bildung etc.)
und “unobservables” (Motivation, bestimmte schwer
beobachtbare Fähigkeiten wie Unternehmergeist)
• Weiteren Faktoren, die den Wirkungsindikator
beeinflussen könnten
• Berücksichtigung von Wirkungsheterogenität
Zum Teil Berücksichtigung von Wirkungsmechanismen (Fragen
nach dem warum oft eher qualitativ)
3
• Interne Validität (identification strategy)
– Messe ich richtig? Also wird die Veränderung der abhängigen
Variablen tatsächlich vom Stimulus und nicht durch das
Auftreten von Störvariablen oder Verzerrungen verursacht
– Trade off zwischen maximaler Situationskontrolle und
Realitätsnähe
• Externe Validität
– Übertragbarkeit auf die Wirklichkeit oder andere
Regionen/Kontexte
4
5
Das Evaluationsproblem
• Wirkung= Differenz eines bestimmten Indikators (z.B. Gewinn
von Unternehmen) zwischen einer Situation MIT und OHNE
Implementierung eines Projekts/Programms
• Messung der Wirkung: Evaluationsproblem
– Messbar: Indikator VOR and NACH Maßnahme
– Nicht/schwer messbar: Indikator OHNE Maßnahme
• Lösung: Konstruktion eines COUNTERFACTUALS bzw.
Identifikation einer relevanten Kontrollgruppe mittels geeigneter
Methoden
• Evaluationsproblem als Problem fehlender Daten: Wir
beobachten nie denselben Teilnehmer auch als Nicht-
Teilnehmer
6
Konstruktion eines Counterfactuals
• Folgende Probleme sind zu lösen
– Selektionsverzerrung: Selektion in ein Programm in der
Regel nicht zufällig
– Confounding Factors: andere Dinge passieren gleichzeitig,
und zwar nicht unbedingt im gleichen Ausmaß in der
Kontrollgruppe
– Spillovers: Nicht-Teilnehmer werden durch das Programm
beeinflusst
• Einfache Unterscheidung in Teilnehmer und Nicht-Teilnehmer
oft nicht ausreichend, auch nicht Vorher-Nachher
• Zwei Vorgehensweisen
– Soziale Experimente: Zufällige Auswahl der Teilnehmer und
Bildung einer Kontrollgruppe
– Quasi-experimentelle Methoden: Statistische Verfahren zur
Identifikation einer Kontrollgruppe
7
Evaluationsproblem grafisch: wir beobachten
einen Indikator…
Y1
(observed)
Y0
t=0
Intervention
8
…der nach der Intervention höher ist
Y1
(observedl)
Y0
t=0 t=1 time
Intervention
9
Um die Wirkung des Programms zu messen
müssten wir wissen was passiert wäre wenn das
Programm nicht existiert hätte
Y1
(observedl)
Impact = Y1- Y1
*
Y1
* (counterfactual)
Y0
t=0 t=1 time
Intervention
Probleme bei der Konstruktion des
Counterfactuals
Y1
Y1
*
Y0
t=0 t=1 time
Selection bias
Confounding factors
Häufig benutzte Lösungsmethoden
• Randomized controlled trials (RCTs)
• Double difference/difference in difference
• Matching Methoden
• Diskontinuitätsdesigns
• (endogeneous) Switching Regressions, Verwendung von
Instrumentvariablen (IVs) (kombinierbar)
11
12
Soziale Experimente / RCTs
• Programm/Projekt wird zufällig Teilen einer Population (idR
Stichprobe) zugeordnet
• Zufällige Auswahl schließt Selektionsverzerrung aus: Teilnehmer
und Nicht-Teilnehmer unterscheiden sich nicht, weder in
beobachtbaren noch unbeobachtbaren Eigenschaften
• Unterschiede zwischen Teilnehmern und Nicht-Teilnehmern
ausschließlich auf Programm zurückzuführen
13
Beispiel: Kapitalerträge von Mikrounternehmern
in Entwicklungsländern
• De Mel, McKenzie, Woodruff: Experiment mit
Mikrounternehmern in Sri Lanka (z.B. QJE, 2008)
• Ziele
– Messung der Kapitalerträge in Kleinstunternehmen
– Gründe für hohe (?) Kapitalerträge
– Gründe für Unterschiede zwischen Unternehmern
– Potential für Mikrokredit/-finanzprogramme
• Schönes Beispiel für Anwendbarkeit von Experimenten im
Kontext von Privatwirtschaftsentwicklung
14
Das Experiment
• Randomisiertes Experiment: Ein zufällig ausgewählter Teil der
befragten Umfrage Mikrounternehmen (Kapital < USD 1000) in
Sri Lanka erhält einen Transfer/Preis von USD 100 oder USD
200
– USD 100 Investitionsgüter oder cash
– USD 200 cash
• Fünf vierteljährliche Umfragerunden, Preise nach der ersten und
dritten (Lotterie)
• Investitionsgüter gewählt durch Unternehmer, gekauft durch
RAs
• 408 Unternehmen, ca. 50% erhalten treatment
15
Einige Resultate
• 58 % des cash Transfers investiert
• Investitionen in Erweiterung des bestehenden Geschäft, keine
neuen riskanten Geschäfte
• Geschätzter Kapitalertrag: 4.6-5.3 % monatlich (80 % jährlich)
– Höher für fähigere Unternehmer
– Niedriger für reiche Haushalte (weniger
kreditmarktbeschränkt)
– Risikoaversion fast ohne Einfluss
• Unvollständige Kreditmärkte wichtiger als fehlende
Versicherungsmärkte
Probleme bei RCTs
• Greift ggf. in die Implementierung ein
• Ethische Fragen
• „Hawthorne-Effekt“: Verhaltensänderung aufgrund von
Teilnahme an einem Experiment
• (Verhinderung von) Spillovers
• Kritik von Deaton: u.a. Methodik (vieles unter anderem die
Berechnung von Standardfehlern unterliegt Annahmen, daher
kein „Gold Standard“, aber auch externe Validität, Verzerrung
versus Präzision
– Zum weiterhören: http://www.nyudri.org/events/annual-conference-2012-debates-in-
development/deaton-v-banerjee/ und lesen:
https://medium.com/@timothyogden/experimental-conversations-angus-deaton-
b2f768dffd57
16
17
Quasi-experimentelle Methoden: Überblick
• Matching: Konstruktion einer Kontrollgruppe von Nicht-
Teilnehmern mit möglichst ähnlichen Charakteristika
• Double difference: erste Differenz Vorher-Nachher, zweite
Differenz Teilnehmer vs. Nicht-Teilnehmer
• Diskontinuitätsdesigns: Nutzung von „threshold effects“
(Schwellenwerteffekte), Vergleich von ansonsten sehr ähnlichen
Teilnehmern knapp über vs. knapp unter Schwellenwert
• Instrumentvariable: Zunächst Erklärung der
Programmteilnahme, dann der Wirkung
• Methoden kombinierbar
18
Matching
• Jedem Teilnehmer wird mit Hilfe beobachtbarer Charakteristika
ein möglichst ähnlicher Nicht-Teilnehmer zugeordnet:
Kontrollgruppe
• Weit verbreitetes Matching-Verfahren: „Propensity Score
Matching“: Vergleich von Teilnehmern und Nicht-Teilnehmern
mit gleicher Wahrscheinlichkeit am Programm teilzunehmen
• Es wird angenommen, dass die Teilnahme gegeben
beobachtbarer Faktoren unabhängig vom Ergebnis (der
Wirkung) ist
• Wirkung: Differenz in den durchschnittlichen Zielgrößen
zwischen Teilnehmern und Kontrollgruppe
• starke Ähnlichkeit mit experimentellen Methoden
• Möglich wenn nur ex-post Daten existieren
19
Matching: Probleme
• Strikte Annahme:
– Beseitigt nur den Teil der Selektionsverzerrung, der sich auf
beobachtbare Unterscheidungsmerkmale zurückführen lässt,
also keine “unobservable heterogeneity”
• Treatment effect on the treated ist dann identifiziert (nicht-
parametrisch)
• Hohe Qualität der Daten erforderlich
– Survey-Design für Teilnehmer und Nichtteilnehmer ähnlich
(am besten identisch)
– beiden Gruppen sollten ähnlichen ökonomischen
Rahmenbedingungen ausgesetzt sein
• In Empirie teils große Unterschiede in Ergebnissen auf der Basis
von Propensity-Score-Matching vis-a-vis RCTs (aber auch beim
Versuch der Replikation von RCTs)
20
Double Difference
• Grundidee: Vergleich der Zielgrößen von Teilnehmern und
Nicht-Teilnehmern vor und nach der Implementierung
– Für Teilnehmer- und Nicht-Teilnehmergruppe wird der
Unterschied in der Zielgröße vor und nach Einführung des
Projekts berechnet (first difference)
– Vergleich der Differenzen (second difference): Wirkung
• Vorteil: Teil der Selektionsverzerrung durch unbeobachtbare,
aber über die Zeit konstant bleibende
Unterscheidungsmerkmale (z.B. Intelligenz) wird beseitigt
• Kann mit Matching kombiniert werden, um Selektionsverzerrung
noch weiter zu reduzieren
Diff-in-diff: Verzerrung muss additiv und
zeitinvariant sein
Diff-in-diff versagt, wenn die Kontrollgruppe sich
anders entwickelt
 DD überschätzt die Wirkung
Oder …
 DD unterschätzt die Wirkung
(typische Situation für Entwicklungsprojekte?)
Mögliche Lösung
• Kombination von PSM & DiD:
– ~ Korrektur der Verzerrung vor und hinterher
Y1
Impact?
Y1
*
Y0
t=0 t=1 time
25
Double Difference: Probleme
• Vor Beginn des Programms müssen Daten für die potentiellen
Teilnehmer und Nicht-Teilnehmer erhoben werden: Oft keine
genauen Informationen darüber, wer die Begünstigten sein
werden
• Annahme einer zeitinvarianten Selektionsverzerrung ist häufig
nicht erfüllt:
– Programme für benachteiligte/arme Gruppen spiegeln idR
ungünstige Ausgangsbedingungen wider, die sich wiederum
negativ auf die Entwicklung der Zielgröße für Teilnehmer im
Vergleich zur Kontrollgruppe auswirken
– Selektionsverzerrung nimmt dann im Zeitablauf zu und
verzerrt den Schätzer für die Wirkung
26
Zentral für Methodik: die passenden Daten
• Auf jeden Fall:
– Identifikation der (Nicht-) Teilnehmer
– Intensität oder Modalität der Teilnahme
– Sozioökonomische Charakteristika
– Wirkungsvariablen (direkte oder indirekte Wirkung)
• Vorsicht bei Operationalisierung der Wirkungsvariablen
(Einkommen, Konsum)
• Vorhandene Daten? „piggy-backing“?
• Kosten sehr unterschiedlich
• Methoden und Daten gehen Hand in Hand
27
Methoden und Datenanforderungen
Methode Datenanforderungen
minimal optimal
Experimente Querschnittsdaten mit
Teilnehmern und Nicht-
Teilnehmern
Vorher-Nachher Daten mit
Teilnehmern und Nicht-Teilnehmern,
Erhebung weiterer Kontrollvariablen
Matching Querschnittsdaten mit
Teilnehmern und Nicht-
Teilnehmern mit großer
Stichprobe
Wie links, aber für zwei Zeitpunkte
(Vorher-Nachher)
Double Difference Vorher-Nachher-Daten mit
Teilnehmer und Nicht-
Teilnehmer
Wie links, aber für Teilnehmer und
vergleichbare Nicht-Teilnehmer
Instrument-
variablen
Querschnittsdaten mit
Teilnehmern und Nicht-
Teilnehmern, Instrument
Wie links, aber für zwei Zeitpunkte
(Vorher-Nachher)
28
Conclusions
• Verzerrung einer Wirkungsbeobachtung kann zu vollkommen
falschen Schlüssen hinsichtlich der Wirkungen eines Projektes
führen! Anwendung rigoroser wissenschaftlicher Methoden
daher sinnvoll
• Trotz quantitativem Fokus: Grundsätzliche Probleme der
Identifizierung eines Gegenszenarios und der relevanten
Vergleichsgruppe sind bei qualitativen Verfahren die gleichen
• Fokus bisher: Interne Validität
• Um aus Wirkungsbeobachtungen zu lernen: Externe Validität
wichtiger
– Können diese Resultate generalisiert werden?
• Faktoren, die beachtet werden müssen, bevor man die
Ergebnisse einer Wirkungsbeobachtung verallgemeinert
– Kontextbedingungen
– Spillovers und allgemeine Gleichgewichtseffekte
– Bei Auswertung von Studien: Publikationsbias

Weitere ähnliche Inhalte

Ähnlich wie Quantitative Evaluierungsmethoden ohne Formeln erklärt

Impact Mapping - strategische Steuerung agiler Entwicklung
Impact Mapping - strategische Steuerung agiler EntwicklungImpact Mapping - strategische Steuerung agiler Entwicklung
Impact Mapping - strategische Steuerung agiler Entwicklung
Christian Hassa
 
Testpresentation
TestpresentationTestpresentation
TestpresentationPidaPan
 
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
armelleguillermet
 
Crash Kurs: Evaluierung von Social Business
Crash Kurs: Evaluierung von Social BusinessCrash Kurs: Evaluierung von Social Business
Crash Kurs: Evaluierung von Social Business
Linda Kleemann
 
Expertenbasierte Usability Analysen
Expertenbasierte Usability AnalysenExpertenbasierte Usability Analysen
Expertenbasierte Usability Analysen
Martin Seibert
 
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
ForschungsWeb GmbH
 
Werkstattgespräch Agile Requirements Engineering
Werkstattgespräch Agile Requirements EngineeringWerkstattgespräch Agile Requirements Engineering
Werkstattgespräch Agile Requirements Engineering
uxHH
 
FMEA Failure Mode Effect Analysis, FTA Fault Tree Analysis, Fahrzeugdiagnose
FMEA Failure Mode Effect Analysis, FTA Fault Tree Analysis, FahrzeugdiagnoseFMEA Failure Mode Effect Analysis, FTA Fault Tree Analysis, Fahrzeugdiagnose
FMEA Failure Mode Effect Analysis, FTA Fault Tree Analysis, Fahrzeugdiagnose
bbrand84
 
Metrics we can gain from our (Kanban) system and what we can learn from ..
Metrics we can gain from our (Kanban) system and what we can learn from .. Metrics we can gain from our (Kanban) system and what we can learn from ..
Metrics we can gain from our (Kanban) system and what we can learn from ..
Martin Putz
 
KPIs vs. UX - Ist User Experience messbar?
KPIs vs. UX - Ist User Experience messbar?KPIs vs. UX - Ist User Experience messbar?
KPIs vs. UX - Ist User Experience messbar?
die firma . experience design GmbH
 
KPIs vs. UX – ist User Experience messbar?
KPIs vs. UX – ist User Experience messbar?KPIs vs. UX – ist User Experience messbar?
KPIs vs. UX – ist User Experience messbar?
Matthias Feit
 
"Es rechnet sich!" - Argumente für den Einsatz von PHPUnit
"Es rechnet sich!" - Argumente für den Einsatz von PHPUnit"Es rechnet sich!" - Argumente für den Einsatz von PHPUnit
"Es rechnet sich!" - Argumente für den Einsatz von PHPUnit
Frank Sons
 
Kochbuch für eine BIA von bcm news
Kochbuch für eine BIA von bcm newsKochbuch für eine BIA von bcm news
Kochbuch für eine BIA von bcm news
haemmerle-consulting
 
Impact Mapping - strategische Steuerung agiler Entwicklung
Impact Mapping - strategische Steuerung agiler EntwicklungImpact Mapping - strategische Steuerung agiler Entwicklung
Impact Mapping - strategische Steuerung agiler Entwicklung
Christian Hassa
 
Project Health Check
Project Health CheckProject Health Check
Project Health Check
Gotscharek & Company GmbH
 
Erfolgs und Wirkungsmessung von Regionalentwicklungsprozesse
Erfolgs  und Wirkungsmessung von RegionalentwicklungsprozesseErfolgs  und Wirkungsmessung von Regionalentwicklungsprozesse
Erfolgs und Wirkungsmessung von Regionalentwicklungsprozesse
regiosuisse
 
Stakeholder analyse v1
Stakeholder analyse v1Stakeholder analyse v1
Stakeholder analyse v1
PM Automotive Blog
 
Softwarewerkzeuge Portfoliomanagement Vortrag TU Darmstadt
Softwarewerkzeuge Portfoliomanagement Vortrag TU DarmstadtSoftwarewerkzeuge Portfoliomanagement Vortrag TU Darmstadt
Softwarewerkzeuge Portfoliomanagement Vortrag TU Darmstadt
Andreas Borchert
 

Ähnlich wie Quantitative Evaluierungsmethoden ohne Formeln erklärt (20)

Impact Mapping - strategische Steuerung agiler Entwicklung
Impact Mapping - strategische Steuerung agiler EntwicklungImpact Mapping - strategische Steuerung agiler Entwicklung
Impact Mapping - strategische Steuerung agiler Entwicklung
 
Testpresentation
TestpresentationTestpresentation
Testpresentation
 
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
ASIS - GUIDELINE #1 – Leitfaden zur Bewertung sozialer Auswirkungen und Indik...
 
Crash Kurs: Evaluierung von Social Business
Crash Kurs: Evaluierung von Social BusinessCrash Kurs: Evaluierung von Social Business
Crash Kurs: Evaluierung von Social Business
 
Expertenbasierte Usability Analysen
Expertenbasierte Usability AnalysenExpertenbasierte Usability Analysen
Expertenbasierte Usability Analysen
 
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
 
Werkstattgespräch Agile Requirements Engineering
Werkstattgespräch Agile Requirements EngineeringWerkstattgespräch Agile Requirements Engineering
Werkstattgespräch Agile Requirements Engineering
 
FMEA Failure Mode Effect Analysis, FTA Fault Tree Analysis, Fahrzeugdiagnose
FMEA Failure Mode Effect Analysis, FTA Fault Tree Analysis, FahrzeugdiagnoseFMEA Failure Mode Effect Analysis, FTA Fault Tree Analysis, Fahrzeugdiagnose
FMEA Failure Mode Effect Analysis, FTA Fault Tree Analysis, Fahrzeugdiagnose
 
Metrics we can gain from our (Kanban) system and what we can learn from ..
Metrics we can gain from our (Kanban) system and what we can learn from .. Metrics we can gain from our (Kanban) system and what we can learn from ..
Metrics we can gain from our (Kanban) system and what we can learn from ..
 
KPIs vs. UX - Ist User Experience messbar?
KPIs vs. UX - Ist User Experience messbar?KPIs vs. UX - Ist User Experience messbar?
KPIs vs. UX - Ist User Experience messbar?
 
KPIs vs. UX – ist User Experience messbar?
KPIs vs. UX – ist User Experience messbar?KPIs vs. UX – ist User Experience messbar?
KPIs vs. UX – ist User Experience messbar?
 
"Es rechnet sich!" - Argumente für den Einsatz von PHPUnit
"Es rechnet sich!" - Argumente für den Einsatz von PHPUnit"Es rechnet sich!" - Argumente für den Einsatz von PHPUnit
"Es rechnet sich!" - Argumente für den Einsatz von PHPUnit
 
Kochbuch für eine BIA von bcm news
Kochbuch für eine BIA von bcm newsKochbuch für eine BIA von bcm news
Kochbuch für eine BIA von bcm news
 
Impact Mapping - strategische Steuerung agiler Entwicklung
Impact Mapping - strategische Steuerung agiler EntwicklungImpact Mapping - strategische Steuerung agiler Entwicklung
Impact Mapping - strategische Steuerung agiler Entwicklung
 
Project Health Check
Project Health CheckProject Health Check
Project Health Check
 
33. Community Training
33. Community Training33. Community Training
33. Community Training
 
Erfolgs und Wirkungsmessung von Regionalentwicklungsprozesse
Erfolgs  und Wirkungsmessung von RegionalentwicklungsprozesseErfolgs  und Wirkungsmessung von Regionalentwicklungsprozesse
Erfolgs und Wirkungsmessung von Regionalentwicklungsprozesse
 
Stakeholder analyse v1
Stakeholder analyse v1Stakeholder analyse v1
Stakeholder analyse v1
 
Softwarewerkzeuge Portfoliomanagement Vortrag TU Darmstadt
Softwarewerkzeuge Portfoliomanagement Vortrag TU DarmstadtSoftwarewerkzeuge Portfoliomanagement Vortrag TU Darmstadt
Softwarewerkzeuge Portfoliomanagement Vortrag TU Darmstadt
 
2010 09 30 13-00 prof dieter fischer
2010 09 30 13-00 prof dieter fischer2010 09 30 13-00 prof dieter fischer
2010 09 30 13-00 prof dieter fischer
 

Mehr von Linda Kleemann

Fundraising Crashkurs für soziale Initiativen
Fundraising Crashkurs für soziale InitiativenFundraising Crashkurs für soziale Initiativen
Fundraising Crashkurs für soziale Initiativen
Linda Kleemann
 
Nachhaltiger Erfolg heißt die Balance zu finden
Nachhaltiger Erfolg heißt die Balance zu findenNachhaltiger Erfolg heißt die Balance zu finden
Nachhaltiger Erfolg heißt die Balance zu finden
Linda Kleemann
 
Social business – a new private sector contribution to development?
Social business – a new private sector contribution to development?Social business – a new private sector contribution to development?
Social business – a new private sector contribution to development?
Linda Kleemann
 
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...Linda Kleemann
 
Business model development in Social Business
Business model development in Social BusinessBusiness model development in Social Business
Business model development in Social Business
Linda Kleemann
 
Financing models for social enterprises
Financing models for social enterprisesFinancing models for social enterprises
Financing models for social enterprises
Linda Kleemann
 
Social Business in developing countries - a new solution to eradicate poverty?
Social Business in developing countries - a new solution to eradicate poverty?Social Business in developing countries - a new solution to eradicate poverty?
Social Business in developing countries - a new solution to eradicate poverty?
Linda Kleemann
 
Von der Idee zur Wirklichkeit - creating your own social business
Von der Idee zur Wirklichkeit - creating your own social business Von der Idee zur Wirklichkeit - creating your own social business
Von der Idee zur Wirklichkeit - creating your own social business
Linda Kleemann
 
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
Linda Kleemann
 
Willingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in AfricaWillingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in Africa
Linda Kleemann
 
Willingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in AfricaWillingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in Africa
Linda Kleemann
 
Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Organic Certification, Agro-Ecological Practices and Return on Investment: F...Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Linda Kleemann
 
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
Linda Kleemann
 
Fairtrade Presentation Preetz September 2012
Fairtrade Presentation Preetz September 2012Fairtrade Presentation Preetz September 2012
Fairtrade Presentation Preetz September 2012Linda Kleemann
 
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...Linda Kleemann
 
Certification and Agro‐Ecological Practice Use Linkages and Investment Impact
Certification and Agro‐Ecological Practice Use Linkages and Investment ImpactCertification and Agro‐Ecological Practice Use Linkages and Investment Impact
Certification and Agro‐Ecological Practice Use Linkages and Investment Impact
Linda Kleemann
 
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Linda Kleemann
 
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...Linda Kleemann
 

Mehr von Linda Kleemann (18)

Fundraising Crashkurs für soziale Initiativen
Fundraising Crashkurs für soziale InitiativenFundraising Crashkurs für soziale Initiativen
Fundraising Crashkurs für soziale Initiativen
 
Nachhaltiger Erfolg heißt die Balance zu finden
Nachhaltiger Erfolg heißt die Balance zu findenNachhaltiger Erfolg heißt die Balance zu finden
Nachhaltiger Erfolg heißt die Balance zu finden
 
Social business – a new private sector contribution to development?
Social business – a new private sector contribution to development?Social business – a new private sector contribution to development?
Social business – a new private sector contribution to development?
 
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
(Un)glücklich unkooperativ? Ignorieren Entwicklungsforschung und-praxis sich ...
 
Business model development in Social Business
Business model development in Social BusinessBusiness model development in Social Business
Business model development in Social Business
 
Financing models for social enterprises
Financing models for social enterprisesFinancing models for social enterprises
Financing models for social enterprises
 
Social Business in developing countries - a new solution to eradicate poverty?
Social Business in developing countries - a new solution to eradicate poverty?Social Business in developing countries - a new solution to eradicate poverty?
Social Business in developing countries - a new solution to eradicate poverty?
 
Von der Idee zur Wirklichkeit - creating your own social business
Von der Idee zur Wirklichkeit - creating your own social business Von der Idee zur Wirklichkeit - creating your own social business
Von der Idee zur Wirklichkeit - creating your own social business
 
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
Social Business in Entwicklungsländern - Ein neuer Lösungsansatz für gesellsc...
 
Willingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in AfricaWillingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in Africa
 
Willingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in AfricaWillingness to pay for sustainable food in Africa
Willingness to pay for sustainable food in Africa
 
Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Organic Certification, Agro-Ecological Practices and Return on Investment: F...Organic Certification, Agro-Ecological Practices and Return on Investment: F...
Organic Certification, Agro-Ecological Practices and Return on Investment: F...
 
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
Social Entrepreneurship, Social Business, CSR, Shared Value, Inclusive Busine...
 
Fairtrade Presentation Preetz September 2012
Fairtrade Presentation Preetz September 2012Fairtrade Presentation Preetz September 2012
Fairtrade Presentation Preetz September 2012
 
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
Hochpreismärkte in Industrieländern Fairtrade und Bio − Nützen Zertifizierung...
 
Certification and Agro‐Ecological Practice Use Linkages and Investment Impact
Certification and Agro‐Ecological Practice Use Linkages and Investment ImpactCertification and Agro‐Ecological Practice Use Linkages and Investment Impact
Certification and Agro‐Ecological Practice Use Linkages and Investment Impact
 
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
Is Organic Farming Worth its Investment? The Adoption and Impact of Certified...
 
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
Können unternehmerische Ansätze Armutsprobleme in Entwicklungsländern lösen? ...
 

Quantitative Evaluierungsmethoden ohne Formeln erklärt

  • 2. 2 Einordnung • Evaluierung und Monitoring – Monitoring: Auskunft, ob ein Programm wie geplant abläuft oder es zu Störungen kommt – Prozessevaluation: Evaluation des Programmablaufs – Kosten-Nutzen-Analysen: effizienter Mitteleinsatz? Vergleich mit alternativen Mittelverwendungen – Wirkungsbeobachtung: Gewünschte Effekte? Dem Programm zuzuschreiben? • Dieser Vortrag: quantitative Methoden der Wirkungsbeobachtung oder Wirkungsmessung
  • 3. Quantitative Methoden der Wirkungsbeobachtung • Versuch der Messung eines kausalen Effekts, des Beitrags der Maßnahme zur Veränderung eines Wirkungsindikators Fokus auf interner Validität mit besonderer Berücksichtigung von: • Selektionsverzerrung (Fragen alleine reicht nicht) – Zwei Ursachen von Selektion können analytisch unterschieden werden: “observables” (Alter, Bildung etc.) und “unobservables” (Motivation, bestimmte schwer beobachtbare Fähigkeiten wie Unternehmergeist) • Weiteren Faktoren, die den Wirkungsindikator beeinflussen könnten • Berücksichtigung von Wirkungsheterogenität Zum Teil Berücksichtigung von Wirkungsmechanismen (Fragen nach dem warum oft eher qualitativ) 3
  • 4. • Interne Validität (identification strategy) – Messe ich richtig? Also wird die Veränderung der abhängigen Variablen tatsächlich vom Stimulus und nicht durch das Auftreten von Störvariablen oder Verzerrungen verursacht – Trade off zwischen maximaler Situationskontrolle und Realitätsnähe • Externe Validität – Übertragbarkeit auf die Wirklichkeit oder andere Regionen/Kontexte 4
  • 5. 5 Das Evaluationsproblem • Wirkung= Differenz eines bestimmten Indikators (z.B. Gewinn von Unternehmen) zwischen einer Situation MIT und OHNE Implementierung eines Projekts/Programms • Messung der Wirkung: Evaluationsproblem – Messbar: Indikator VOR and NACH Maßnahme – Nicht/schwer messbar: Indikator OHNE Maßnahme • Lösung: Konstruktion eines COUNTERFACTUALS bzw. Identifikation einer relevanten Kontrollgruppe mittels geeigneter Methoden • Evaluationsproblem als Problem fehlender Daten: Wir beobachten nie denselben Teilnehmer auch als Nicht- Teilnehmer
  • 6. 6 Konstruktion eines Counterfactuals • Folgende Probleme sind zu lösen – Selektionsverzerrung: Selektion in ein Programm in der Regel nicht zufällig – Confounding Factors: andere Dinge passieren gleichzeitig, und zwar nicht unbedingt im gleichen Ausmaß in der Kontrollgruppe – Spillovers: Nicht-Teilnehmer werden durch das Programm beeinflusst • Einfache Unterscheidung in Teilnehmer und Nicht-Teilnehmer oft nicht ausreichend, auch nicht Vorher-Nachher • Zwei Vorgehensweisen – Soziale Experimente: Zufällige Auswahl der Teilnehmer und Bildung einer Kontrollgruppe – Quasi-experimentelle Methoden: Statistische Verfahren zur Identifikation einer Kontrollgruppe
  • 7. 7 Evaluationsproblem grafisch: wir beobachten einen Indikator… Y1 (observed) Y0 t=0 Intervention
  • 8. 8 …der nach der Intervention höher ist Y1 (observedl) Y0 t=0 t=1 time Intervention
  • 9. 9 Um die Wirkung des Programms zu messen müssten wir wissen was passiert wäre wenn das Programm nicht existiert hätte Y1 (observedl) Impact = Y1- Y1 * Y1 * (counterfactual) Y0 t=0 t=1 time Intervention
  • 10. Probleme bei der Konstruktion des Counterfactuals Y1 Y1 * Y0 t=0 t=1 time Selection bias Confounding factors
  • 11. Häufig benutzte Lösungsmethoden • Randomized controlled trials (RCTs) • Double difference/difference in difference • Matching Methoden • Diskontinuitätsdesigns • (endogeneous) Switching Regressions, Verwendung von Instrumentvariablen (IVs) (kombinierbar) 11
  • 12. 12 Soziale Experimente / RCTs • Programm/Projekt wird zufällig Teilen einer Population (idR Stichprobe) zugeordnet • Zufällige Auswahl schließt Selektionsverzerrung aus: Teilnehmer und Nicht-Teilnehmer unterscheiden sich nicht, weder in beobachtbaren noch unbeobachtbaren Eigenschaften • Unterschiede zwischen Teilnehmern und Nicht-Teilnehmern ausschließlich auf Programm zurückzuführen
  • 13. 13 Beispiel: Kapitalerträge von Mikrounternehmern in Entwicklungsländern • De Mel, McKenzie, Woodruff: Experiment mit Mikrounternehmern in Sri Lanka (z.B. QJE, 2008) • Ziele – Messung der Kapitalerträge in Kleinstunternehmen – Gründe für hohe (?) Kapitalerträge – Gründe für Unterschiede zwischen Unternehmern – Potential für Mikrokredit/-finanzprogramme • Schönes Beispiel für Anwendbarkeit von Experimenten im Kontext von Privatwirtschaftsentwicklung
  • 14. 14 Das Experiment • Randomisiertes Experiment: Ein zufällig ausgewählter Teil der befragten Umfrage Mikrounternehmen (Kapital < USD 1000) in Sri Lanka erhält einen Transfer/Preis von USD 100 oder USD 200 – USD 100 Investitionsgüter oder cash – USD 200 cash • Fünf vierteljährliche Umfragerunden, Preise nach der ersten und dritten (Lotterie) • Investitionsgüter gewählt durch Unternehmer, gekauft durch RAs • 408 Unternehmen, ca. 50% erhalten treatment
  • 15. 15 Einige Resultate • 58 % des cash Transfers investiert • Investitionen in Erweiterung des bestehenden Geschäft, keine neuen riskanten Geschäfte • Geschätzter Kapitalertrag: 4.6-5.3 % monatlich (80 % jährlich) – Höher für fähigere Unternehmer – Niedriger für reiche Haushalte (weniger kreditmarktbeschränkt) – Risikoaversion fast ohne Einfluss • Unvollständige Kreditmärkte wichtiger als fehlende Versicherungsmärkte
  • 16. Probleme bei RCTs • Greift ggf. in die Implementierung ein • Ethische Fragen • „Hawthorne-Effekt“: Verhaltensänderung aufgrund von Teilnahme an einem Experiment • (Verhinderung von) Spillovers • Kritik von Deaton: u.a. Methodik (vieles unter anderem die Berechnung von Standardfehlern unterliegt Annahmen, daher kein „Gold Standard“, aber auch externe Validität, Verzerrung versus Präzision – Zum weiterhören: http://www.nyudri.org/events/annual-conference-2012-debates-in- development/deaton-v-banerjee/ und lesen: https://medium.com/@timothyogden/experimental-conversations-angus-deaton- b2f768dffd57 16
  • 17. 17 Quasi-experimentelle Methoden: Überblick • Matching: Konstruktion einer Kontrollgruppe von Nicht- Teilnehmern mit möglichst ähnlichen Charakteristika • Double difference: erste Differenz Vorher-Nachher, zweite Differenz Teilnehmer vs. Nicht-Teilnehmer • Diskontinuitätsdesigns: Nutzung von „threshold effects“ (Schwellenwerteffekte), Vergleich von ansonsten sehr ähnlichen Teilnehmern knapp über vs. knapp unter Schwellenwert • Instrumentvariable: Zunächst Erklärung der Programmteilnahme, dann der Wirkung • Methoden kombinierbar
  • 18. 18 Matching • Jedem Teilnehmer wird mit Hilfe beobachtbarer Charakteristika ein möglichst ähnlicher Nicht-Teilnehmer zugeordnet: Kontrollgruppe • Weit verbreitetes Matching-Verfahren: „Propensity Score Matching“: Vergleich von Teilnehmern und Nicht-Teilnehmern mit gleicher Wahrscheinlichkeit am Programm teilzunehmen • Es wird angenommen, dass die Teilnahme gegeben beobachtbarer Faktoren unabhängig vom Ergebnis (der Wirkung) ist • Wirkung: Differenz in den durchschnittlichen Zielgrößen zwischen Teilnehmern und Kontrollgruppe • starke Ähnlichkeit mit experimentellen Methoden • Möglich wenn nur ex-post Daten existieren
  • 19. 19 Matching: Probleme • Strikte Annahme: – Beseitigt nur den Teil der Selektionsverzerrung, der sich auf beobachtbare Unterscheidungsmerkmale zurückführen lässt, also keine “unobservable heterogeneity” • Treatment effect on the treated ist dann identifiziert (nicht- parametrisch) • Hohe Qualität der Daten erforderlich – Survey-Design für Teilnehmer und Nichtteilnehmer ähnlich (am besten identisch) – beiden Gruppen sollten ähnlichen ökonomischen Rahmenbedingungen ausgesetzt sein • In Empirie teils große Unterschiede in Ergebnissen auf der Basis von Propensity-Score-Matching vis-a-vis RCTs (aber auch beim Versuch der Replikation von RCTs)
  • 20. 20 Double Difference • Grundidee: Vergleich der Zielgrößen von Teilnehmern und Nicht-Teilnehmern vor und nach der Implementierung – Für Teilnehmer- und Nicht-Teilnehmergruppe wird der Unterschied in der Zielgröße vor und nach Einführung des Projekts berechnet (first difference) – Vergleich der Differenzen (second difference): Wirkung • Vorteil: Teil der Selektionsverzerrung durch unbeobachtbare, aber über die Zeit konstant bleibende Unterscheidungsmerkmale (z.B. Intelligenz) wird beseitigt • Kann mit Matching kombiniert werden, um Selektionsverzerrung noch weiter zu reduzieren
  • 21. Diff-in-diff: Verzerrung muss additiv und zeitinvariant sein
  • 22. Diff-in-diff versagt, wenn die Kontrollgruppe sich anders entwickelt  DD überschätzt die Wirkung
  • 23. Oder …  DD unterschätzt die Wirkung (typische Situation für Entwicklungsprojekte?)
  • 24. Mögliche Lösung • Kombination von PSM & DiD: – ~ Korrektur der Verzerrung vor und hinterher Y1 Impact? Y1 * Y0 t=0 t=1 time
  • 25. 25 Double Difference: Probleme • Vor Beginn des Programms müssen Daten für die potentiellen Teilnehmer und Nicht-Teilnehmer erhoben werden: Oft keine genauen Informationen darüber, wer die Begünstigten sein werden • Annahme einer zeitinvarianten Selektionsverzerrung ist häufig nicht erfüllt: – Programme für benachteiligte/arme Gruppen spiegeln idR ungünstige Ausgangsbedingungen wider, die sich wiederum negativ auf die Entwicklung der Zielgröße für Teilnehmer im Vergleich zur Kontrollgruppe auswirken – Selektionsverzerrung nimmt dann im Zeitablauf zu und verzerrt den Schätzer für die Wirkung
  • 26. 26 Zentral für Methodik: die passenden Daten • Auf jeden Fall: – Identifikation der (Nicht-) Teilnehmer – Intensität oder Modalität der Teilnahme – Sozioökonomische Charakteristika – Wirkungsvariablen (direkte oder indirekte Wirkung) • Vorsicht bei Operationalisierung der Wirkungsvariablen (Einkommen, Konsum) • Vorhandene Daten? „piggy-backing“? • Kosten sehr unterschiedlich • Methoden und Daten gehen Hand in Hand
  • 27. 27 Methoden und Datenanforderungen Methode Datenanforderungen minimal optimal Experimente Querschnittsdaten mit Teilnehmern und Nicht- Teilnehmern Vorher-Nachher Daten mit Teilnehmern und Nicht-Teilnehmern, Erhebung weiterer Kontrollvariablen Matching Querschnittsdaten mit Teilnehmern und Nicht- Teilnehmern mit großer Stichprobe Wie links, aber für zwei Zeitpunkte (Vorher-Nachher) Double Difference Vorher-Nachher-Daten mit Teilnehmer und Nicht- Teilnehmer Wie links, aber für Teilnehmer und vergleichbare Nicht-Teilnehmer Instrument- variablen Querschnittsdaten mit Teilnehmern und Nicht- Teilnehmern, Instrument Wie links, aber für zwei Zeitpunkte (Vorher-Nachher)
  • 28. 28 Conclusions • Verzerrung einer Wirkungsbeobachtung kann zu vollkommen falschen Schlüssen hinsichtlich der Wirkungen eines Projektes führen! Anwendung rigoroser wissenschaftlicher Methoden daher sinnvoll • Trotz quantitativem Fokus: Grundsätzliche Probleme der Identifizierung eines Gegenszenarios und der relevanten Vergleichsgruppe sind bei qualitativen Verfahren die gleichen • Fokus bisher: Interne Validität • Um aus Wirkungsbeobachtungen zu lernen: Externe Validität wichtiger – Können diese Resultate generalisiert werden? • Faktoren, die beachtet werden müssen, bevor man die Ergebnisse einer Wirkungsbeobachtung verallgemeinert – Kontextbedingungen – Spillovers und allgemeine Gleichgewichtseffekte – Bei Auswertung von Studien: Publikationsbias