Negli ultimi anni l’evoluzione dei modelli di valutazione della performance ha portato le Amministrazioni locali a focalizzarsi con sempre maggiore attenzione sulla programmazione degli obiettivi, sulla gestione dei processi e sulla valutazione dei risultati. Il Dipartimento della funzione pubblica ha realizzato in proposito il seminario on line “La valutazione dell’outcome dei Comuni”. Per rivedere il webinar accedi alla pagina webinar http://goo.gl/wTFhyS

1. 1

2. La valutazione dell’outcome
• Il punto di partenza: la misurazione dell’outcome nelle città metropolitane
• Perché è importante valutare l’outcome?
• Che cosa è una politica pubblica?
• Outcome: definizione
• Le principali domande relative alla valutazione ex ante degli outcome
• L’analisi costi-benefici (cenni)
• Le principali domande relative alla valutazione ex post degli outcome
• La logica sperimentale
• L’analisi controfattuale
• Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro
• La valutazione dell’impatto delle politiche pubbliche all’estero
• Un esempio: il programma Healthy Food Access della Città di New York
• Quale lezione dall’estero? Cosa ci manca?
2

3. Il punto di partenza:
La misurazione dell’outcome nelle città metropolitane
Nella prima fase del progetto di valutazione della
performance nelle città metropolitane
il tema della
misurazione dell’impatto rappresenta un ambito di
sviluppo non ancora totalmente esplorato dagli Enti
italiani.
In buona parte delle Amministrazioni prese in esame:
- non sono stati rilevati strumenti specifici e formalizzati
per la misurazione degli outcome
- Esistono iniziative di misurazione indiretta (proxy) degli
impatti (ad es. indagini di customer satisfaction).
3

4. Perché è importante valutare gli outcome?
●
Esigenza di controllo (outcome delle politiche possono essere prevedibili e stimabili a priori)
●
Richiesta di verifica e rassicurazione da parte della società civile sugli effetti delle politiche
●
●
Accanto alle politiche macroeconomiche, negli ultimi decenni hanno assunto un'importanza
crescente politiche mirate a gruppi variamente ristretti di soggetti − individui, famiglie,
imprese – per cui gli outcome sono più facilmente identificabili
Crescente complessità ed eterogeneità dell’intervento pubblico determinata da:
●
Continuo passaggio dalla “certezza del diritto” all’”incertezza ambientale”
●
Interdipendenza delle politiche pubbliche e dei relativi outcome
●
●
Molte questioni economiche e sociali dipendono dall’effetto causale delle politiche
pubbliche (es. politica industriale, fiscale)
Contrazione delle risorse (scegliere politiche con pay-off migliori)

5. Che cosa è una politica pubblica?
Logica ex ante
Problema da risolvere
Logica ex post
Impatto atteso
Impatti ed
Obiettivi generali
esiti
Outcome atteso
Outcomes realizzati
Obiettivi specifici
1. Cos’è una politica pubblica?
intervento mirato a una popolazione
determinata con l’intento di indurre un
cambiamento in una condizione e/o in un
comportamento
Risultati ottenuti
Output atteso
Prestazioni rese
Attività previste
Attività realizzate
Costi previsti
Input, costi, risorse
2. Qual è l’obiettivo della politica pubblica?
modificare in un senso desiderato la
condizione e/o il comportamento dei
destinatari mediante l’offerta di un servizio,
l’erogazione di un incentivo, l’imposizione
di un obbligo, una combinazione degli
interventi precedent
3. Chi sono gli stakeholders?
Utenti, ma anche policy-maker

6. Outcome: definizione
Ci si riferisce alle conseguenze dell’azione della Pubblica Amministrazione
(ossia all’ outcome/esito/impatto) e non a ciò che la Pubblica
Amministrazione ha fatto (ossia all’output/servizio/prestazione )
«Il numero di disoccupati che
partecipano ad un corso di
formazione professionale»
Output
«% di partecipanti che riescono a
trovare lavoro alla fine del corso»
Outcome
«% di riduzione del tasso di
disoccupazione»
Impatto
Outcome/Impatto : una (ma anche più di una) caratteristica osservabile e misurabile delle unità della
popolazione-obiettivo. La variazione di questa caratteristica in presenza del trattamento, rispetto al caso di
assenza di trattamento, è il risultato (impatto) delle politiche pubbliche
6

7. Le principali domande relative alla
valutazione ex ante degli outcome (1)
Problema da risolvere
RILEVANZA
Impatto atteso
Outcome atteso
Quali sono le caratteristiche, i bisogni, le priorità della
comunità di riferimento? In che misura la politica è
appropriata? In che misura gli obiettivi generali
dell’iniziativa sono coerenti con quelli di altre iniziative?
Rilevanza:
verifica del grado in cui un’iniziativa tiene conto del contesto e
dei problemi che intende risolvere. E’ l’intensità di relazione
tra gli obiettivi generali dell’iniziativa e i bisogni della
collettività di riferimento
Disegno di valutazione:
Analisi dei bisogni (need assessment)
Tecniche e metodi utilizzati:
Indagini ed altri metodi di ricerca sociale

8. Le principali domande relative alla
valutazione ex ante degli outcome (2)
Impatto atteso
COERENZA
COERENZA
Obiettivi generali
Outcome atteso
Obiettivi specifici
Output atteso
Risultati attesi
Qual è la logica dell’iniziativa? Quali sono gli
obiettivi specifici e le attività che permettono di
ottenere un alto impatto?
Coerenza: rispetto dei nessi di causa effetto fra gli
elementi dell’iniziativa
Tecniche: Logical framework approach, albero causeeffetti, albero degli obiettivi)
(considerato come un’ euristica ‘aid to thinking’),
Attività previste

9. Le principali domande relative alla
valutazione ex ante degli outcome (3)
Outcome atteso
Qual è il miglior progetto da realizzare?
EFFICIENZA EX ANTE
Obiettivi specifici
Efficienza ex ante: modalità in cui le risorse verranno
utilizzate per ottenere ilrisultato desiderato
Output atteso
Risultati attesi
Domande: Disegno di valutazione: Analisi costi benefici,
analisi costi efficacia, analisi finanziaria
Attività previste
Tecniche e metodi utilizzati: calcolo benefici in forma
monetaria, calcolo TIR e VAN
Costi previsti

10. Strumenti: l’analisi costi benefici
Origine
Utilizzata per valutare i progetti di gestione delle risorse idrografiche negli anni Trenta
negli Stati Uniti. Il suo impiego si è diffuso dopo la seconda guerra mondiale. E’ la
tecnica di valutazione ex ante più diffusa
Caratteristiche
tecniche
Usata soprattutto prospetticamente. In quest’ultimo caso permette la scelta fra
diverse alternative dei programmi. Si tratta di identificare e riunire l’insieme di
vantaggi (outcome) e degli inconvenienti di ciascuna delle alternative e assegnare un
valore su una scala comune quasi sempre monetaria. Si sceglie l’alternativa che
presenta il rapporto costi-benefici (outcome) più elevato.
Fasi:
1)Identificare tutte le alternative possibili
2)Identificare tutti i gruppi interessati all’intervento
3)Identificare tutti gli effetti per ciascun gruppo
4)Assegnare un valore a ciascun effetto per ciascun gruppo
5)Riassumere l’insieme dei costi e dei benefici di ciascuna alternativa e calcolarne il
rapporto

11. Le principali domande relative alla
valutazione ex post degli outcome
Problema da risolvere
L’intervento è stato efficace? Ha inciso positivamente sul
problema che l’ha generato?
Impatti ed
esiti
Utilità o efficacia esterna: capacità del progetto di soddisfare i
bisogni dei destinatari. Relazione tra l’insieme degli effetti
ottenuti a fronte dei bisogni. Essendo effettuata ex post si basa
su ciò che è realmente successo (Punto di vista degli utenti)
Disegno di valutazione: Logica sperimentale
Outcomes realizzati
Risultati ottenuti
Prestazioni rese

12. Strumenti: la logica sperimentale
Origine:
Anni ’70 in US: il Congresso obbliga il Governo federale a testare le innovazioni che voleva
introdurre sotto forma di grandi sperimentazioni sociali
Caratteristiche
tecniche
Sperimentare significa confrontare lo stato attuale della popolazione obiettivo in seguito
all’attuazione di un programma con quello che sarebbe lo stato della popolazione obiettivo in
assenza del trattamento e valutare. Analizzando la differenza si valuta l’impatto del programma
Gruppo
Speriment.
Gruppo
di controllo
Misura preliminare Applicazione trattamento Misura finale
E(0)
X
E(n)
E’ (0)
---
E’(n)
Variazione
Y= E(0)-E(n)
Y= E’(0)-E’(n)
Analisi controfattuale
L’effetto di un intervento è la differenza tra
quanto si osserva in presenza dell’intervento
(osservabile) e quanto si sarebbe osservato in
sua assenza (non osservabile):

13. L’analisi controfattuale
●
Perché è importante l’analisi controfattuale
●
●
●
Processi spontanei: Durante l’applicazione della politica i processi di
cambiamento – compresi quelli che la politica vuole modificare continuano a fluire: e possono fluire in maniera diversa per partecipanti
e non partecipanti
Effetti mediati: i comportamenti della popolazione cambiano in funzione
dell’applicazione della politica, con possibili effetti mediati sull’outcome
Effetti contestuali: a contesti diversi possono corrispondere esiti diversi
13

14. Ricostruire il controfattuale:
«distorsione da selezione»
Nelle politiche pubbliche non obbligatorie la «distorsione da selezione» si verifica
perché :
●
●
Non tutti gli ammissibili chiedono l’intervento (processo di auto-selezione) e chi
chiede l’intervento non è uguale a chi non lo chiede (variabili sociodemografiche, motivazionali, culturali, ecc..)
L’intervento viene dato solo ad alcuni tra gli ammissibili (criteri di assegnazione)
Trattati e non-trattati devono essere resi equivalenti in
tutti gli aspetti rilevanti
14

15. Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (1/5)
●
Intervento complesso:
●
Misure attive:
–
–
Servizio intensivo di counselling
–
●
Colloquio iniziale di orientamento
Servizio di supporto al matching con domande di lavoro
Misure passive:
–
–
●
●
Sostegno al reddito (limitato e decrescente nel tempo)
Prescrizioni (es. obbligo per il disoccupato di accettare un’offerta di lavoro congrua)
I partecipanti (disoccupati) concorrono in modo volontario (possibile selezione: i migliori
richiedono i servizi)
Gli operatori hanno proprie convinzioni su come operare (possibile selezione: gli operatori
attribuiscono i servizi ai migliori per aumentare le probabilità di successo)
15

16. Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (2/5)
Per un disoccupato i che riceve l’intervento, Y1,i è l’outcome realizzato (es. tempo di
disoccupazione dopo l’intervento), o fattuale. Y0,i è il valore dell’outcome che si sarebbe
ottenuto se l’individuo non avesse ricevuto l’intervento, quindi è il suo outcome potenziale
(controfattuale).
Outcome osservato
Outcome
controfattuale
Partecipante (D = 1)
Y1
Y0
Non partecipante (D = 0)
Y0
Y1
16

17. Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (3/5)
●
●
Non possiamo misurare l’effetto causale a livello individuale
Dobbiamo rimediare all’assenza di dati sul controfattuale cercando di
stimarlo:
●
●
●
Il trattamento non deve essere diverso tra gli individui trattati
Per poter avere un paragone, dobbiamo osservare sia individui partecipanti
sia individui non partecipanti
Partecipanti e non partecipanti devono essere comparabili tra loro ossia non
devono differire nelle caratteristiche che determinano la (auto)allocazione nel
braccio di trattamento
17

18. Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (4/5)
Non possiamo dire nulla sui
“peggiori” (quelli che hanno più
bisogno dell’intervento!)
Popolazione
confrontabile
Non possiamo dire nulla
sui “migliori”
Non
abbiamo
trattati
Non abbiamo nontrattati
Propensione ad accedere all’intervento
Fonte: Trivellato, 2009
Assumiamo di conoscere tutte le variabili X che inducono
alla distorsione da selezione

19. Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (5/5)
●
●
●
Se la politica è “razionata” prevede cioè una soglia di ammissibilità si può
procedere con il confronto intorno alla “soglia di discontinuità”
Immaginiamo che il servizio di orientamento venga erogato solo a chi supera un
test attitudinale con punteggio ≥ 56
Il valore 56 rappresenta la soglia di discontinuità:
●
●
Gli individui subito sopra e subito sotto la soglia sono equivalenti rispetto
alle variabili X (situazione simile alla randomizzazione)
La differenza tra il valore medio dell’outcome degli individui subito sopra la
soglia e il valore medio dell’outcome ottenuto dagli individui subito sotto
la soglia rappresenta l’effetto della politica
19

20. La valutazione dell’impatto
delle politiche pubbliche all’estero
●
USA: lunga tradizione di valutazione delle politiche (metà
degli anni ‘60): What Works Clearing House
●
Germania: riforme “Harz”
●
Francia: politiche di avviamento al lavoro
●
UK: politiche di welfare
20

21. La valutazione dell’outcome delle politiche
alimentari della città di New York
Le politiche alimentari della città di New York si inseriscono in un più vasto piano strategico per la
città di New York (www.planyc.gov) . Rispetto a tale ambito la legge 52 del 2011 ha definito 19
misure sulla base delle quali valutare gli esiti delle politiche alimentari
Azioni:
1.
2.
3.
4.
5.
6.
City Food Purchasing and Service
Healthy Food Access
Healthy Food Awareness and Promotion
Food Security
Food System Sustainability
Economic Development
21

22. Analisi degli outcome delle diverse azioni
relative al programma Healthy Food Access
22

23. Risultati
23

24. 24

25. 25

26. Quale lezione?
●
All’estero è prassi comune aggiungere nelle leggi istitutive di
politiche pubbliche “clausole valutative”:
●
●
Indicazione sui metodi da utilizzare per misurare l’impatto
●
●
Obiettivi su cui valutare l’impatto/efficacia delle politiche
Stanziamento per lo svolgimento della valutazione
Grande distanza con il nostro modello basato su:
●
Controllo di conformità alla legge
●
Bilancio di previsione e certificazione dei bilanci consuntivi
26

27. Cosa ci manca?
●
●
●
●
●
Cultura della “misurazione” e del “dato”:
Misurare non è una minaccia per il policy-maker ma strumento per
rafforzare le sue posizioni
Qualità, trasparenza e accessibilità dei dati
Coordinamento e collaborazione con centri di ricerca e/o con chi
detiene le conoscenze tecniche per condurre analisi di impatto a
sostegno della (ri)formulazione delle politiche pubbliche (settore della
sanità è a livelli più avanzati)
Tempestività della valutazione (progetti pilota, social experiments)
27

28. Grazie per l’attenzione.
Alex Turrini
Giovanni Valotti
28