1. LA VALUTAZIONE DEL “PROGETTO
VIA PADOVA”
10 maggio 2012
1
Ugo De Ambrogio (udeambrogio@irsonline.it) e Carla
Dessi (cdessi@irsonline.it )

2. I PASSAGGI PRINCIPALI: IL DISEGNO DELLA
VALUTAZIONE
1. Individuazione della finalità della valutazione
2. Identificazione dello scopo (la mission) dell’oggetto di
valutazione
3. Identificazione delle dimensioni di valutazione
4. Identificazione dei criteri
5. Identificazione degli indicatori
6. Identificazione degli strumenti e delle fonti informative
7. Rilevazione sul campo.
8. Analisi dei dati e delle informazioni raccolte
9. Valutazione vera e propria (espressione di un giudizio).
10. Individuazione delle strategie di miglioramento
2
11. Restituzione dei risultati della valutazione agli
stakeholder

3. 1. LA FINALITÀ
Per finalità della valutazione si intende la
buona ragione/interesse che induce a
valutare un determinato progetto/
esperienza/politica. Se pare ovvio che
questa sia definita, tuttavia in molte
circostanze si riscontrano differenze tra
quanto dichiarato nel prodotto
progettuale e quanto effettivamente agito,
e anche come non sempre trovi
condivisione fra gli attori. 3

4. PERCHÉ VALUTARE IL “PROGETTO VIA
PADOVA?
o… per un miglioramento delle attività pubbliche
o… per poter dimostrare che le risorse pubbliche utilizzate sono
state utilizzate bene
o… per dimostrare che pubblico e privato possono essere non
antagonisti ma collaboratori su interessi comuni
o… per generare apprendimenti per il territorio
o… per avere suggerimenti per continuare quanto iniziato dal
Tavolo (sostenibilità di quanto avviato dal progetto una volta
conclusi i finanziamenti)
o… per capire noi attori del progetto come è effettivamente
andata (e portare a casa qualche gratificazione)
o… per verificare se abbiamo valorizzato il capitale sociale del
territorio 4
o… per poter fare un bilancio, sia in senso positivo che
guardando alle criticità affrontate

5. 2. LO SCOPO O LA MISSION
Lo scopo precisa l’oggetto della valutazione
attraverso la declinazione dei problemi a cui
si propone di rispondere, i risultati attesi e
le strategie messe in campo.
“Nel caso di servizi e politiche si tratta della mission, ovvero di
un paradigma di valore a carattere generale che orienta
l’attività e i comportamenti di una politica o servizio nel suo
complesso e di tutti i suoi attori”
5

6. LA MISSION DEL “PROGETTO VIA “PADOVA”
oMiglioramento della capacità di gestione dei conflitti
oConoscenza del capitale sociale attraverso il quale svelare le
potenzialità e realizzare coesione sociale e cittadinanza attiva
oGettare dei semi nei ragazzi della Zona 2 per offrire valori
diversi (da competizione a collaborazione, da delega a
cittadinanza attiva ecc.)
oRigenerare un tessuto urbano riattivando nodi affettivi
oTutelare gli elementi deboli e fragili di singoli o gruppi,
lavorare insieme come investimento efficace
oMobilitare, valorizzare, partecipazione, coesione sociale per
l’integrazione delle culture, dei saperi, delle diversità – risorse
del territorio
oConsolidamento delle relazioni di rete fra i partner del 6
progetto

7. 3. Le dimensioni
Si intendono gli elementi concettuali intorno ai
quali focalizzare la ricerca valutativa,
rappresentano gli aspetti essenziali su cui si
intende esprimere un giudizio di valore
… sono le scatole dentro cui guardare
7

8. LE DIMENSIONI DI ANALISI DEL “PROGETTO
VIA “PADOVA”
1. LA COESIONE NELLA GOVERNANCE DEL
PROGETTO (dimensione interna, come
sono andati i processi di rete fra i
partner del progetto)
2. LA COESIONE NEL QUARTIERE (i
cambiamenti nelle relazioni sociali del
territorio)
8

9. 4. I CRITERI
Dal greco kritērion: distinguere/giudicare
Si intendono paradigmi di valore che orientano i
valutatori nel formulare il giudizio, rappresentano ciò
che è rilevante per orientare l’espressione del giudizio
e gli elementi che determinano il successo del
progetto
Rispondono alla domanda…
“Il progetto avrà successo se…”
9

10. DIMENSIONE 1 – LA COESIONE
NELLA GOVERNANCE DEL PROGETTO
Criteri, ovvero il Elementi osservabili/ indicatori Fonti Strumenti
progetto può essere informative
considerato di
successo se si rileva
…
CONDIVISIONE TRA I Formulazione condivisa di azioni future Operatori FEI Questionario con
PARTNER (coordinatori + domande chiuse
Scambio e circolarità delle informazioni operatori) e aperte
Presenza di un confronto sulle dinamiche
giovanili di zona
Rispetto dei compiti e degli impegni reciproci
Condivisione tra coordinatore e operatore
INTEGRAZIONE TRA I Superamento della Gruppo Focus group
PARTNER frammentazione/sovrapposizione degli eterogeneo
interventi dei vari partner (Cabina di regia)
Modalità di raccordo/collaborazione (sia sul
piano dei singoli, co-progettazione,
realizzazione,modalità più efficaci…)
Creazione nuove modalità di
raccordo/collaborazione
10
Prassi di lavoro “oliata” e condivisa
Superamento della delega

11. DIMENSIONE 1 – LA COESIONE
NELLA GOVERNANCE DEL PROGETTO
Criteri, ovvero il progetto Elementi osservabili/ indicatori Fonti Strumenti
può essere considerato di informative
successo se si rileva…
CONOSCENZA/ Capacità di lettura delle dinamiche in Partner, operatori Questionario
APPRENDIMENTI NEI atto nel territorio FEI
PARTNER
Riconoscimento delle risorse del
territorio a cui attingere/contribuire
Gli operatori riusciranno ad avere uno
sguardo ampio su tutto quello che è stato
attivato
Possibilità di spendere gli apprendimenti
anche in altri contesti
INTEGRAZIONE CON LA Aumento livello di conoscenza tra Organizzazioni Check-list
RETE organizzazioni e operatori (partner + enti
ESTERNA/RICADUTE esterne che hanno Questionario
ESTERNE Emersione soggetti pubblici con una incrociato il
funzione di regia sul territorio progetto),
Consiglio di zona,
Chi altri all’interno del Comune di Operatori del
Milano è al corrente del progetto? Quali Comune
informazioni possiedono? 11
SODDISFAZIONE NEI Operatori Operatori Interviste/
PARTNER Fruitori Fruitori questionari
Territorio Territorio

12. DIMENSIONE 2 – LA COESIONE NEL
QUARTIERE
Criteri, ovvero il Elementi osservabili/ indicatori Fonti Strumenti
progetto può essere informative
considerato di
successo se si rileva
…
CONOSCENZA I cittadini coinvolti hanno un grado maggiore di Utenza/ Rappresentazioni
conoscenza di altri cittadini, quartiere, risorse associazioni? grafiche della rete
costruita
Trasferimento di competenze e sensibilità sui
temi della cittadinanza Questionari
ATTIVAZIONE Partecipazione ad attività/iniziative extra- Operatori Interviste
progetto da parte delle associazioni del territorio
Incremento dei contatti e presentazione di
richieste specifiche (ad esempio spazio comune,
CAG per ragazzi adolescenti con disabilità)
I cittadini si mettono insieme superando la
diversità di provenienza su interessi comuni nel
territorio (problematiche/iniziative)
Nascita associazioni da gruppi informali
12
Attivazione strumenti di ascolto permanenti dei Cabina di
vari attori sociali (Istituzionalizzazione del regia/Consiglio
Tavolo sulle dinamiche giovanili) di zona

13. DIMENSIONE 2 – LA COESIONE NEL
QUARTIERE
Criteri, ovvero il progetto Elementi osservabili/ indicatori Fonti Strumenti
può essere considerato di informative
successo se si rileva …
PARTECIPAZIONE Partecipazione/contributo/progettualità Operatori Interviste (agli
condivisa con i giovani del territorio ad operatori, circa
una formulazione condivisa dei loro 15/20)
bisogni Ragazzi
Utenti in Questionari (ai
generale ragazzi)
VISIBILITA’ Conoscenza del progetto da parte del Tutti i materiali Check-list
territorio prodotti per la
diffusione di
informazioni
QUALIFICAZIONE DEI I cittadini non si sentono soli ma in una Leva civica Focus group
LEGAMI SOCIALI trama di relazioni che li sostengono (e Gruppi informali
che possono a loro volta far diventare Corsi di
sostenitori) mediazione diffusi
Sostanzialità (non strumentalità) delle
relazioni di gruppo
Condivisione su che cosa si intende bene
13
comune e come si può tutelare
Corresponsabilità condivisa tra
istituzioni e cittadinanza

14. 4. L’IDENTIFICAZIONE DEGLI INDICATORI
Servono per misurare il grado di
realizzazione dei criteri
Consistono in elementi descrittivi della
realtà la cui presenza o assenza oppure
maggiore o minore rilevanza, sono in grado di
evidenziare se, e in che misura, un criterio sia
positivamente rappresentato.
14

15. 4. L’IDENTIFICAZIONE DEGLI INDICATORI
Un indicatore può:
essere rappresentato da un rapporto numerico o
comunque da un valore numerico (quantitativo)
esprimersi tramite domande sull’esistenza o meno
di un requisito del percorso assistenziale o di una
precisa pratica organizzativa o di una competenza
relazionale (qualitativo)
15

16. 4. L’IDENTIFICAZIONE DEGLI INDICATORI
Per ciascuno dei criteri individuati dal
disegno di valutazione il compito più
impegnativo è successivamente quello di
individuare uno/ più indicatori che meglio
sono in grado di renderli “intelligibili”
Gli indicatori intervengono dunque
nell’aiutare il/i valutatore/i a meglio
approfondire ed esplorare la conoscenza di
ciò che si intende analizzare 16

17. QUALCHE DEFINIZIONE
“Un indicatore è qualcosa che dà informazioni su
qualcos’altro”
(A. Marradi, 1994)
“Per indicatore si intende una misura sintetica
quantitativa, coincidente con una variabile
composta da più variabili, in grado di fornire la
rappresentazione di un fenomeno o di riassumerne
l’andamento” (G. Vecchi, 2003)
17

18. RICORDANDO CHE …
Nella scelta degli indicatori si tende a
circoscrivere l’ambito della rilevazione
a ciò che è misurabile (o enumerabile),
con una spesso netta propensione per
la dimensione quantitativa rispetto a
quella qualitativa
18

19. ATTENZIONE ALLA COMPARABILITÀ
L’indicatore è quell’aspetto del rigore
metodologico della ricerca che permette la
comparabilità e la replica
Livelli di comparazioni possibili
Nel tempo Over-time
Tra servizi/progetti Cross-section
Con standard di riferimento
19

20. 6. L’identificazione degli strumenti e
delle fonti informative
DOVE rilevo l’informazione chiesta
dall’indicatore?
COME la rilevo?
Anch’esso è un passaggio strettamente connesso
alle
- caratteristiche dell’oggetto di valutazione
- caratteristiche del contesto valutativo
(indicatori e criteri scelti, risorse disponibili, 20
competenza attori…)

21. DOVE
• Chi è l’attore più vicino
all’informazione richiesta? Chi la
possiede?
• Qual è l’attore a cui è possibile
chiederlo? In termini di
sostenibilità della valutazione
stessa…
21

22. COME
L’approccio dei metodi misti:
- Pluralità di fonti
- Pluralità di tecniche di rilevazione
“Nella letteratura anglosassone si fa
riferimento al mixed method come combinazione
di tecniche e parte di un disegno di ricerca volto
a produrre risultati più significativi (maggior
estensione e intensione dei risultati)”
22

23. 5. L’IDENTIFICAZIONE DEGLI STRUMENTI
Gli strumenti che vengono principalmente
utilizzati nell’ambito della ricerca/valutazione e
ai quali può essere utile fare riferimento nella
valutazione di progetti, interventi e/o servizi:
Check list
Questionari
Focus group
Interviste 23

24. GLI STRUMENTI: “STRUTTURAZIONE” VS
“PROFONDITÀ”
_
+ Questionario
Check-list
Profondità
Profondità
Strutturazione
Intervista
Focus group
_ + 24

25. LA CHECK LIST/GRIGLIA DI OSSERVAZIONE
A cosa serve Vantaggi Svantaggi
Ordinare informazioni Strumento non intrusivo Poco flessibile
per analisi secondarie di
dati già disponibili Bassi costi di rilevazione Dati ottenibili limitati
(dati statistici, registri alle informazioni già
presenze, verbali Consente una visione esistenti, spesso
riunioni, diari attività) complessiva sull’output ricostruite ex post oppure
del progetto/intervento già codificate secondo
Per avere indicazioni criteri prestabiliti
generali, per lo più di Tiene la memoria storica
tipo quantitativo, sugli di quanto realizzato Le informazioni possono
output del non essere complete
progetto/intervento (cosa
è stato fatto, chi ha Può essere difficile
intercettato) reperire o accedere alla
base dati
Ad esempio:
n. incontri realizzati
n. partecipanti a iniziative
Attività realizzate rispetto alle
previste

26. IL QUESTIONARIO - IN SINTESI -
A cosa serve Vantaggi Svantaggi
Raccogliere molte Discrezione e non Codifica della
informazioni in tempi intrusività (anonimato) soggettività
relativamente brevi
Estensività della Scarsa apertura
Effettuare analisi rilevazione all’inatteso/imprevisto
comparative
Costi abbastanza Scarso controllo sulla
Raccogliere elementi di contenuti della adeguatezza della
soggettività: rilevazione compilazione
impressioni, opinioni e
giudizi su questioni Semplificazione Costi elevati nel caso di
definite dell’analisi tecniche di
campionamento
Ad esempio:
caratteristiche dei destinatari
(genere, età, provenienza) % di caduta delle
giudizio sull’intervento fruito su restituzioni
utilità/efficacia

27. L’INTERVISTA
A cosa serve Vantaggi Svantaggi
Rilevare informazioni di Ricchezza e profondità Complessità della
dettaglio delle informazioni comparazione (esigenza
Approfondire opinioni, di costruire
giudizi, comportamenti Elevata flessibilità e classificazioni)
Verificare ipotesi adattabilità al contesto
valutative Elevata soggettività e
Apertura ad esiti non totale
Ad esempio: inattesi generalizzabilità delle
•verificare la conoscenza del
progetto nelle sue diverse
informazioni
articolazioni
•conoscere le motivazioni che Onerosità della
spingono alla partecipazione ad rilevazione (costi e
iniziative e correlare la
soddisfazione riscontrata alle tempo)
aspettative
Complessità dell’analisi
Competenze nella
conduzione

28. IL FOCUS GROUP
Il focus group consiste in una “tecnica di
rilevazione basata sulla discussione tra un
piccolo gruppo di persone, alla presenza di
uno o più moderatori, focalizzata su un
argomento che si vuole indagare in
profondità”
28

29. IL FOCUS GROUP
A cosa serve Vantaggi Svantaggi
Analizzare in profondità L’interazione tra più Necessità di un
alcune questioni soggetti è in grado di: moderatore con
competenze per nella
Verificare ipotesi - produrre più conduzione (gestione
valutative informazioni di quelle delle dinamiche di
ottenibili da singole gruppo)
Mettere in luce interviste
motivazioni e cause - verificare il grado di Influenzamento tra i
condivisione di opinioni partecipanti
Produzione di qualche Diversità dei
economia rispetto alle partecipanti (linguaggi,
interviste singole culture di provenienza,
connessione con l’oggetto
di valutazione)
Complessità dell’analisi

30. ESERCITAZIONE
30

31. ESERCITAZIONE IN SOTTOGRUPPI
(DIMENSIONE 1 + DIMENSIONE 2)
o Per ciascuno dei criteri individuati
completare con l’identificazione dei relativi
elementi osservabili/ indicatori
o Identificare quindi le fonti informative e
ipotizzare quali possibili strumenti di
rilevazione
31

32. ESERCITAZIONE IN SOTTOGRUPPI
Criterio Elementi osservabili/ indicatori Fonti informative Possibili
strumenti
32