1.
Development Analytics31 Mektep Sokak Emirgan - Istanbulresearch@developmentanalytics.orgwww.developmentanalytics.orgEtki Analizi Eğitimi1. Kısım : Etki Analizi Nedir?

2.
Etki Analizi Eğitimi Bölümleriwww.developmentanalytics.org1. Etki Analizi Nedir?2. Etki Analizi Nasıl Yapılır?3. Rastgele Dağıtım Yöntemi4. Regresyon Süreksizliği Yöntemi5. Fark İçinde Fark Yöntemi6. Araç Değişkenler Yöntemi7. Eğim Skoru Eşleme Yöntemi8. Operasyonel Planlama ve Kapanış

3.
Neden Değerlendirme Yapılmalıdır?www.developmentanalytics.org Kalkınma program ve politikaları genellikle sonuçlardabir değişiklik yapmak amacıyla dizayn edilirler.Örneğin; gelirleri artırmak, öğrenmeyi geliştirmek yada hastalıkları azaltmak. Bu değişimlerin gerçekten başarılıp başarılmadığınıanlamaksa çok önemli bir kamu politikası sorusudur. Etki analizleri (Impact evaluations) kanıta dayalıpolitika yapmanın geniş çerçevesi içindeki birbölümdür.Girdiler Süreç Çıktılar

4.
Neden Değerlendirme Yapılmalıdır?www.developmentanalytics.org Sorumluluk (Accountability) Öğrenme (Learning) Politik Sürdürülebilirlik (Political Sustainability) : TheProgresa/Oportunidades Conditional Cash TransferProgram in Mexico İyileştirilmiş Kaynak Dağıtımı (Improved ResourceAllocation)

5.
Atfetme (Attribution) ve Nedensellik(Causal Inference)www.developmentanalytics.org Etki analizi; bireylerin iyi olma hallerindeki birproje, program ya da politikaya atfedilebilecekdeğişimleri değerlendirir. Atfetmeye önem verilmesi etki analizinin ayırıcıözelliğidir. Dolayısıyla, etkili bir etki analiziyapabilmek için aşılması gereken esaszorluk, program ve politikalarla ilgilenilen sonuçlararasındaki nedensellik ilişkisinin tanımlanmasıdır.

6.
İzleme (Monitoring)www.developmentanalytics.org Kesintisiz devam eden bir süreçtir Bir program içerisinde neler olmakta olduğununtakip edilmesidir Toplanan veriler programı bilgilendirmek içinkullanılır Günlük yönetim ve kararları bilgilendirir İdari veri kullanılır Program performansıyla programdan beklenensonuçları kıyaslar

7.
Değerlendirme (Evaluation)www.developmentanalytics.org Planlanan, sürmekte olan ya da bitmiş olan proje,program ya da politikaların dönemsel ve objektifdeğerlendirmeleridir. Değerlendirmeler program dizaynı, uygulaması vesonuçları ile ilgili belirli soruları cevaplamak içinkullanılır. Zaman içerisinde belli noktalarda yapılırlar. Genellikle program dışından olan teknik uzmanlarınbakış açılarından yararlanılır. Dizaynları, metotları ve masrafları sorulan soru vekullanılan metodoloji çerçevesinde değişkenlikgösterir.

8.
Değerlendirme Yapmaya Karar Vermewww.developmentanalytics.org Tüm programlar etki analizine izin vermez: Değerlendirmeden elde edilecek kazançlar yüksekolmalıdır-büyük bütçe ayrılmış programlar Stratejik etki göstermek için yapılan inovatif (ama küçükölçekli) programlar Yüksek kalitede bir etki analizi için gerekli olan teknik vefinansal kaynakları mobilize etmeyi haklı gösterebilmek için,analizi yapılacak olan programın: Inovatif (Innovative) Tekrarlanabilir (Replicable) Stratejik olarak alakalı (Strategically relevant) Test edilmemiş (Untested) Tesirli (Influential)olması gerekir.

9.
Etki Analizi Sorularıwww.developmentanalytics.org En temel etki analizi sorusu «Bir programınilgilenilen çıktı üzerindeki etkisi nedir?» şeklindeformüle edilebilir. Ortalama sonuçları test etmek:«Gençlere verilen bir eğitim, girişimciliğin ve gelirlerinartmasında etkili olmuş mudur?»«Bir temiz su programı, güvenli su kaynaklarına erişimiartırmış ve sağlık sonuçlarını iyileştirmiş midir?» Dağıtımsal etkiyi göstermek:«Yeni müfredat kız ve erkek öğrencilerin sınav sonuçlarınıiyileştirmiş midir?»«Gençlere verilen eğitim girişimciliğin ve gelirlerin yoksulkesimde artmasında etkili olmuş mudur?»

10.
Nedensellik (Causal Inference)www.developmentanalytics.org Temel etki analizi sorusu bir nedensellik problemitaşımaktadır. Çoğu politika sorusu neden-sonuç ilişkisi içerir: Öğretmenlere verilen eğitimler öğrencilerin testsonuçlarını iyileştirir mi? Şartlı nakit transferi programları çocuklarda daha iyisağlık sonuçları alınmasını sağlar mı? Mesleki eğitim programları, eğitime katılanların gelirleriniartırır mı?Eğitime katılan kişinin eğitim sonrası gelirinde bir artışolması nedensellik ilişkisinin kurulabilmesi için yeterlideğildir.

11.
Programın Etkisiwww.developmentanalytics.org P programının Y çıktısına nedensel etkisi (causaleffect) nedir? Bu formül (P) programının (Y) çıktısı üzerindekinedensel etkisi (α)‟nın programın uygulanmışolduğu (başka bir deyişle P=1 olduğundaki) (Y)çıktısı ile programın uygulanmamış olduğu (P=0olduğundaki) (Y) çıktısı arasındaki fark olduğunusöyler. Mesleki eğitim programı örneği

12.
Dünyanın iki farklı haliwww.developmentanalytics.org Daha başka bir şekilde söyleyecekolursak, aynı gözlemin (bu durumdabir kişinin) gelirini aynı anda amafarklı iki dünya halinde ölçmekistiyoruz. Rastlantının Böylesi (Sliding Doors– Gwyneth Paltrow)Gerçek hayatta İMKANSIZDIR.İşte bu «karşıtgerçeklik problemi»‟dir.

13.
Analiz birimi değişiklikgösterebilirwww.developmentanalytics.org Temel etki analizi formülü analizi yapılan her türbirim için geçerlidir (valid) - insan, hane, topluluk,iş yeri, okul, hastane, ya da programdanetkilenebilecek herhangi bir birim. Formül aynı zamanda uygulanmakta olanprogramla makul bir şekilde ilgisi olan her türsonuç (Y) için de geçerlidir.

14.
Program öncesi (Ex ante) ve Programsonrası (Ex post) Değerlendirmewww.developmentanalytics.org Ex ante değerlendirme programın olası etkileriniprogram müdahalesi gerçekleşmeden verikullanarak tahmin eder.Program etkisinin bir simülasyonudur.(Örn: Fiyatlara gelecek bir zammın hanelerinyoksulluğuna olabilecek etkisi, çocuk bakımısübvansiyonunun iş gücüne katılıma olası etkisininsimülasyonu) Ex post değerlendirme program uygulandıktansonra çıkan sonuçların değerlendirilmesidir.Programın gerçek etkisini ölçmeye çalışır.

15.
İki Etki TahminiMüdahale Etme Niyeti (ITT) ve MüdahaleninMüdahale Görenlere Etkisi (TOT)www.developmentanalytics.org Tahmin edilen etki olan α„ya “müdahale etme niyeti (intention-to-treat)” tahmini denir. Bu, programa gerçekten katılmalarındanbağımsız olarak yalnızca programa katılmaları teklif edilmişbirimlere temel formül uygulandığında bulunan tahmindir. ITT, programın hedeflediği popülasyondaki ortalama etkiyisaptamak istediğimiz durumlar için önemlidir.• Buna kıyasla, temel etki analizi formülü, programın teklifedildiği ve programa gerçekten katılan birimlereuygulandığında tahmin edilen etki α‟ya «müdahaleninmüdahale görenlere etkisi (treatment-on-the-treated)»denir.ITT=TOT, tüm teklif alanlar programakatılırsa

16.
Karşıtgerçeklik (Counterfactual)www.developmentanalytics.org Karşıtgerçeklik; bir program katılımcısı için eğerprograma katılmasaydı, sonuç (Y)‟nin ne olmuşolacağının tahminidir.Programkatılımcıları içinsonuç (Y)KarşıtgerçeklikKarşıtgerçekliğigözlemleyemeyiz,tahmin edilmesi gerekir.

17.
Karşıtgerçeklik tahminiwww.developmentanalytics.org Bunu yapabilmek için kıyas grupları kullanırız(«kontrol grubu» da denir). Bu eğitimin geri kalanında karşıtgerçekliği doğrubir şekilde yeniden üretebilecek ya da taklitedebilecek geçerli (valid) kıyas gruplarıbelirlenebilmesi için kullanılabilecek çeşitlimetotlar üzerinde durulacaktır. Bu kıyas gruplarının belirlenmesi etki analizininpüf noktasıdır. Geçerli bir karşıtgerçeklik tahminiolmadan, programın etkisi saptanamaz.

18.
Kıyas Grubuwww.developmentanalytics.orgGeçerli bir kıyas grubu programa katılmamış olmaları haricindeprograma katılanlarla («müdahale grubu») aynı özellikleresahip olmalıdır.Geçerli bir kıyas grububelirlemedendeğerlendirme yapmayakarar verirsek ne olur?

19.
Karşıtgerçekliğin Sahte olan(Counterfeit)İki TahminiÖnce ve SonrayıKıyaslamakMüdahale GrubuylaKontrol GrubunuKıyaslamakwww.developmentanalytics.org Bir eğitim programına katılmayıseçmiş bir grup gencin ortalamageliriyle katılmamayı seçmiş birgrup gencin ortalama gelirlerininkıyaslanması Diyelim ki sonuçlar programakatılan gençlerin katılmayanlaragöre iki kat fazla kazandığınıgösteriyor olsunNedenselliğin kurulmasıiçin önce-sonrakıyaslaması nedenyeterli değildir?Neden müdahale vekontrol gruplarınınkıyaslanmasınedenselliğin kurulmasıiçin yeterli değildir?

20.
Yanlış Örnek 1:Önce ve Sonrayı Karşılaştıran Analizwww.developmentanalytics.orgProgramınyaygınlaştırılmasınıönerir misiniz?

21.
Yanlış Örnek 2:Müdahale Grubu ile Kontrol Grubunu KarşılaştıranAnalizwww.developmentanalytics.orgProgramınyaygınlaştırılmasınıönerir misiniz?

22.
Yanlı Seçim (Selection Bias)www.developmentanalytics.org Değerlendirmenin kıyas grubu geçerli değilse,etkinin tahmini de geçerli olmayacaktır: programındoğru etkisini tahmin etmeyecektir. İstatistiki terim kullanacak olursak, yanlı(biased) olacaktır.Neden programdanyararlanacakların kendikendine karar veripprograma katılmalarıyanlı seçime sebep olur?Bu durumun yaşandığıbir örnek düşünebiliyormusunuz?Neden maksatlı programyerleştirmesi yapmakyanlı seçime sebep olur?Bu durumun yaşandığıbir örnek düşünebiliyormusunuz?

23.
Yanlı seçim = Gözlemlenemeyenheterojenlikwww.developmentanalytics.orgB = Yanlı seçimdendolayı yanılma

24.
Bugün öğreneceğimiz konular:www.developmentanalytics.org1. Rastgele Değerlendirmeler (Randomized evaluations)2. Eşleme yöntemleri (Matching methods), özellikle eğim skorueşleme (Propensity score matching)3. Çifte Fark yöntemleri (Double-difference (DD) methods)4. Araç değişkenler metodu (Instrumental variable (IV) methods)5. Regresyon süreksizliği yöntemi (Regression discontinuity (RD)design)Tüm bu metotlar bir karşıtgerçeklik kurup programın etkisini tahminetmeye çalışır.

25.
Tebrikler !www.developmentanalytics.orgEtki Analizi Eğitimin 1. bölümünü tamamladınız.Eğitimlerimiz ile ilgili daha detaylı bilgi almakisterseniz bizimle kontağa geçebilirsiniz:Development Analytics31 Mektep Sokak Emirgan - Istanbulresearch@developmentanalytics.orgwww.developmentanalytics.org