Curso sobre evaluación aplicada a la gestión de proyectos culturales

1. www.e-­‐itd.con
http://blog.transit.es
www.asceps.org

2. Etapas de un proyecto

3. Beneficios
de
la
evaluación
 enfoca
los
aspectos
más
relevantes
 permite
conocer
el
grado
de
cumplimiento
y
desarrollo
del
proyecto
 identifica
dificultades
que
impiden
el
cumplimiento
de
los
objetivos
 favorece
la
toma
de
decisiones
 integra
la
dimensión
diseño-­‐planificación
 mejora
el
desarrollo
de
los
procesos
y
resultados
 aumenta
el
conocimiento
de
las
tareas
realizadas
 incrementa
la
implicación
de
los
equipos
y
de
los
partners
 (si
es
publicada),
valoriza
técnicamente
el
proyecto
 aporta
competencias
analíticas
a
quienes
la
realizan
 es
más
necesaria,
más
fácil
y
más
útil
cuanto
más
se
practica

4. Algunos
apuntes
sobre
el
uso
de
la
evaluación
 El
inicial
approach
americano
y
su
traslado
a
las
políticas
nacionales
europeas
 La
importancia
de
la
Comisión
Europea,
especialmente
en
el
ámbito
de
la
Cultura
 http://www.eipa.eu/en/activities/show/&tid=2330
 Otras
disciplinas:
educación,
sanitario,
servicios
sociales
 http://www.institutodeevaluacion.mec.es/

5. Evaluación

evaluar.(Del
fr.
évaluer).1.
tr.
Señalar
el
valor
de
algo.2.
tr.
Estimar,
apreciar,
calcular
el
valor
de
algo.
Evaluó
los
daños
de
la
inundación
en
varios
millones.
U.
t.
c.
prnl.3.
tr.
Estimar
los
conocimientos,
aptitudes
y
rendimiento
de
los
alumnos
 evaluación.(De
evaluar).1.
f.
Acción
y
efecto
de
evaluar.2.
f.
Examen
escolar.
Hoy
tengo
la
evaluación
de
matemáticas.

6. Definiciones
de
evaluación
 “Proceso
sistemático
mediante
el
cual
se
obtiene
la
información
necesaria
sobre
los
resultados,
previstos
o
no,
y
el
funcionamiento
de
un
programa
cultural
para
saber
en
qué
medida
se
logran
los
objetivos
y
se
desarrolla
la
producción,y
poder
tomar
así
las
decisiones
oportunas
para
reconducir
dicho
programa
mediante
la
modificación
de
cualquiera
de
sus
aspectos”
(Rosselló
)
 “Evaluación
es
realizar
un
juicio,
basado
en
evidencias,
sobre
el
valor
y
calidad
de
un
proyecto”
(Dean,
Goodlad,
Hamilton)

7. Definiciones
de
evaluación
 “Examen
crítico
del
desarrollo
y
de
los
efectos
actuales
y
potenciales
de
un
programa
o
proyecto
y
se
orienta
a
aumentar
la
eficacia
del
mismo
y
a
proporcionar
una
base
orientadora
para
el
diseño
e
implementación
de
programas
futuros”
(Fernández
Ballesteros)
 “Cómo
y
por
qué
(no)
funciona
una
iniciativa”

8. Objetivos
de
la
evaluación
 Conocer
las
razones
que
favorecen
o
dificultan
el
desarrollo
del
proyecto
 Saber
de
qué
manera
se
consiguen
los
objetivos
previstos
 Facilitar
la
toma
de
decisiones
sobre
el
desarrollo
y
resultados

9. COMPLEMENTARIEDADES
 Evaluación
cuantitativa
 Evaluación
cualitativa
 Verifica
hipótesis
mediante
 Da
valor
al
contexto
y
las
pruebas
empíricas
dimensiones
humanas
 Utiliza
métodos
estructurados
 Se
orienta
a
los
procesos
para
la
recogida
de
datos
y
y
se
basa
en
el
lenguaje
análisis
estadístico
 Busca
conocer
las
percepciones
sobre
un
tema
o
dimensión
http://www.mcu.es/cooperacion/docs/MC/
Evaluacion_politicas_locales_cor.pdf

10. Conceptos
paralelos
 Monitoraje:
comprobación
del
cumplimento
parcial
de
lo
establecido
 Auditoría:
control
del
resultado
y
del
cumplimiento
del
procedimiento
(establecido
o
no
por
la
ley)
 Validación:
aprobación
(externa)
 Revisión
crítica:
peer
review

11. Criterios
básicos
de
evaluación
 EFICACIA:
comprobación
del
cumplimiento
de
los
objetivos
del
proyecto
 EFICIENCIA:
relación
entre
el
cumplimiento
de
los
objetivos
y
su
relación
con
los
recursos
utilizados
 PERTINENCIA:
adecuación
del
proyecto
al
problema,
necesidad
u
oportunidad
planteada

12. Criterios
básicos
de
evaluación
 IMPACTO:
adecuación
a
las
finalidades
u
objetivos
a
largo
plazo
del
proyecto
 VIABILIDAD:
posibilidad
de
continuación
y
desarrollo
futuro

13. Problema/
necesidad
Impacto
Pertinen Objetivos Medios Resultados
cia
Eficiencia
Viabilidad
Eficacia
Organización
/proyecto
cultural
http://www.ec.europa.eu/europeaid/evaluation/methodology/
methods/mth_ccr_es.htm

14. Metodología
de
evaluación
 Evaluar
la
evaluabilidad
del
proyecto
 Identificar
los
destinatarios
 Decidir
quién
la
hará
 Establecer
el
alcance
de
la
evaluación
 Indicar
las
dimensiones
principales
 Elaborar
los
indicadores
y
escalas
de
síntesis
 Formular
las
técnicas
e
instrumentos
para
la
obtención
de
datos
 Presentar
los
resultados
 Mille
Galán,
José
Manuel.-­‐
Manual
bàsic
d'elaboració
i
avaluació
de
projectes.-­‐
Ajuntament
de
Barcelona.
2002
 Rosselló
Cerezuela,
David.-­‐
Diseño
y
evaluación
de
proyectos
culturales.
Ariel,
Barcelona,
2004.

15. Metodología
de
evaluación
 Evaluar
la
evaluabilidad
del
proyecto:
 Un
proyecto
será
evaluable
cuando
dé
una
respuesta
suficiente
a:
 Por
qué
se
quiere
hacer
 Qué
se
quiere
conseguir
 Cómo
se
quiere
conseguir
 A
quién
se
dirige
 Donde
se
realizará
 Cuando
se
realizará
 Quién
lo
realizará
 Con
qué
se
hará

16. Metodología
de
evaluación
 Identificar
los
destinatarios
 Equipos
responsables
y
técnicos
de
proyecto
 Promotores
del
proyecto
(dirigentes,
donantes,
financiadores,
mecenas)
 Destinatarios:
clientes,
usuarios,
participantes,

17. Metodología
de
evaluación
 Decidir
quién
la
hará
 EVALUACIÓN
INTERNA
 Conocimiento
directo
de
la
acción
 Facilidad
para
su
continuidad
 Promueve
la
participación
y
la
implicación
 Proclividad
a
la
inobjetividad
 Más
económica
 Equipo
directivo,
persona
o
grupo
“ad
hoc”
 http://tibidabo-­‐project.gesem.net/

18. Metodología
de
evaluación
 Decidir
quién
la
hará
 EVALUACIÓN
EXTERNA
 Percepción
de
intromisión
o
control
 Mayor
apariencia
de
objetividad
 Puede
promover
legitimidad
y/o
prestigio
 Implica
mayor
inversión
de
recursos
 Consultores,
investigadores,
expertos,
instituciones
locales
 http://www.sharedintelligence.net/viewproject.php?
projectid=71

19. Metodología
de
evaluación
 Establecer
el
tipo
de
evaluación
 Evaluación
inicial
 Evaluación
de
resultados
 Evaluación
de
proceso
 Evaluación
de
impacto
 ..

20. Metodología
de
evaluación
 Establecer
el
tipo
de
evaluación
 Evaluación
de
resultados
 Comprobación
del
nivel
de
cumplimiento
de
los
objetivos
del
proyecto
y
cumplimiento
de
las
previsiones
 Verifica
cómo
lo
programado
ha
sido
ejecutado
 Comprueba
cómo
el
proyecto
modifica
la
situación
de
partida
 Conoce
la
opinión
de
los
destinatarios
 Observa
otros
resultados
 Determina
las
causas
que
han
permitido
o
no
su
cumplimiento

21. Metodología
de
evaluación
 Establecer
el
tipo
de
evaluación
 Evaluación
de
proceso
 Comprueba
el
cumplimiento
y
funcionamiento
de
las
periodificaciones
del
proyecto.
 Comprueba
la
adecuación
de
la
organización
y
su
funcionamiento
 Verifica
la
adecuación
de
los
recursos
humanos
y
materiales
a
disposición

22. Metodología
de
evaluación
 Establecer
el
tipo
de
evaluación
 Evaluación
de
impacto
 Mide
los
efectos
a
largo
plazo
 Verifica
los
cambios
en
el
contexto
general
 Observa
los
cambios
en
el
contexto
cultural

23. Metodología
de
evaluación
 Indicar
las
dimensiones
principales
 Organización
y
funcionamiento
 Gestión
económica
 Implementación
 Seguimiento
 Calidad
artística
 Satisfacción
 Participación
comunitaria
 Comunicación
 Atención
a
la
diversidad
 Género
 …

24. Metodología
de
evaluación
 Indicar
las
dimensiones
principales
 Establecimiento
del
listado
de
preguntas
básicas,
teniendo
presente
los
criterios
básicos
de
evaluación
(eficacia,
eficiencia,
pertinencia,
impacto,
sostenibilidad)
 Determinar
los
contenidos
específicos
de
cada
dimensión

25. Metodología
de
evaluación
 Elaborar
los
indicadores
y
escalas
de
síntesis
 Características:
 Permiten
medir
los
cambios
y
resultados
 Son
singulares
de
cada
proyecto
 Necesitan
del
contraste
con
otras
referencias
 Se
acoplan
preferentemente
al
tipo
de
evaluación:
indicadores
de
proceso,
resultado
e
impacto
 Hay
cualitativos
y
cuantitativos

26. Metodología
de
evaluación
 Elaborar
los
indicadores
y
escalas
de
síntesis
 Aspectos
clave
 Delimitar
los
contenidos
de
la
evaluación
 Fijarlos
en
el
inicio
 Comprobar
si
se
podrá
recoger
la
información
 Decidir
las
técnicas
e
instrumentos
para
la
recogida
de
información
 Verificar
si
son
válidos,
fiables,claros,
útiles,
representativos
y
específicos

27. Metodología
de
evaluación
 Elaborar
los
indicadores
y
escalas
de
síntesis
 Aspectos
clave
 Verificar
si
son:

válidos,
si
miden
realmente
lo
que
quieren
medir
 claros,
fáciles
de
interpretar
 útiles,
organizativa
y
técnicamente
 Específicos,
si
sirven
para
medir
un
solo
factor
 Representativos;
si
comprenden
todos
los
individuos
y
cuestiones
que
han
de
medir

28. Metodología
de
evaluación
 Elaborar
los
indicadores
y
escalas
de
síntesis
 Smart
system:
 Simple
and
precise
 Measurable
and
quantifiable
 Achievable
and
ambitious
 Realistic,
compatible
with
the
whole
of
the
project
 Temporary,
wiht
a
deadline
of
execution

29. Metodología
de
evaluación
 Elaborar
los
indicadores
y
escalas
de
síntesis
 Formulación
de
escalas
de
síntesis
 Instrumento
que
visualiza
el
proceso
de
evaluación
 Reducción
de
la
complejidad
a
pocas
variables
 Utilización
de
series
tipo
deficiente…excelente,
insatisfactorio…
satisfactorio

30. Una
cifra
informa…
un
indicador
indica
-­‐ ¿Podemos
decir
que
un
concierto
experimental
con
35
asistentes
fue
peor
que
un
concierto
de
un
grupo
popular
con
70?
-­‐ ¿Podemos
decir
que
el
taller
de
fotografía
digital
programado
(15
usuarios)
fue
mejor
que
el
programado
con
con
chavales
(8
usuarios)
-­‐ Si
utilizamos
sólo
números
absolutos
no
nos
indican
nada,
sólo
nos
informan

31. …la
idea
de
utilizar
indicadores
es
que
nos
ayuden
a
tomar
decisiones…
(NO
A
LOS
INDICADORES
PORQUE
SÍ)

32. Ejemplos
de
indicadores
algo
más
complejos
-­‐ ¿Podemos
decir
que
un
concierto
experimental
con
35
asistentes
fue
peor
que
un
concierto
de
un
grupo
popular
con
70?
Si,
si
estandarizamos
las
variables
para
hacerlas
comparables.

33. Al
estandarizar,
transformamos
los
datos
que
tenemos
en
otros
que
son
comparables
entre
sí
Ejemplo
1:
valor
real
–
valor
mínimo
/valor
máximo-­‐valor
mínimo
Concierto
experimental:
35-­‐4/55-­‐4
=
0,6
Concierto
pop:
70-­‐10/250—10=
0,25

34. Al
estandarizar,
transformamos
los
datos
que
tenemos
en
otros
que
son
comparables
entre
sí
Ejemplo
2:
Valor
maximo
–
valor
real
/valor
máximo-­‐valor
mínimo
Concierto
experimental:
55-­‐35/55-­‐4
=
0,39
Concierto
pop:
250-­‐70/250—10=
0,75

35. Ejemplo
de
selección
de
destinatarios
Total
de
destinatarios
posibles
25
países
ALC
Objetivo:
Delección
de
2
países
donde
implementar
proyectos
culturales
basados
en
redes
sociales
distribuidas
Metodología
de
selección:
1. Creación
del
indicador
de
posibilidades
de
implementación
2. Selección
de
10
mejores
3. Profundización
en
perfil
país
+
industrias
culturales
4. Selección
de
5
mejores
5. Profundización
en
sector
cultural
local
:
2
ganadores

36. Los
datos
estadísticos
utilizados
para
la
creación
del
indicador
surgen
básicamente
de
la
ITU
(Internacional
Telecommunication
Union)
y
son
estadísticas
del
año
2006.
Estos
datos,
tras
ser
tratados
para
poder
ser
utilizados
en
un
único
indicador,
se
combinaron
de
la
siguiente
forma:
0,60*Penetración
de
Internet
+
0,35*Penetración
de
banda
ancha
+
0,05*penetración
de
telefonía
móvil.
Donde:
-­‐
Penetración
de
Internet:
usuarios
/
población
total
-­‐
Penetración
Banda
ancha:
suscriptores
banda
ancha/
población
total
-­‐
Penetración
telefonía
móvil:
suscriptores
de
teléfono
móvil/
población
total

38. IDH:
Índice
de
desarrollo
humano

39. IDH
-­‐
parámetros
1 - Vida larga y saludable: medida según la
esperanza de vida al nacer.
2 - Educación: medida por la
tasa de alfabetización de adultos y la tasa bruta
combinada de matriculación en educación primaria,
secundaria y superior, así como los años de
duración de la educación obligatoria.
3 - Nivel de vida digno: medido por el
PIB per cápita PPA en dólares internacionales.

40. IDH
-­‐
cálculo

41. Metodología
de
evaluación
 Formular
las
técnicas
e
instrumentos
para
la
obtención
de
datos:
 Técnicas
cualitativas:
 Entrevistas
en
profundidad
 Observación
directa
(y
material
visual)
 Juicio
de
expertos
(y
peer
review)
 Análisis
de
documentación
 Estudio
de
casos
 Focus
groups

42. Metodología
de
evaluación
 Formular
las
técnicas
e
instrumentos
para
la
obtención
de
datos:
 Desarrollo
de
las
herramientas
de
seguimiento
(monitoraje)
y
desarrollo
de
evaluación
 Establecimiento
estrategia
recogida
de
datos
 Periodificación
entrega
de
resultados
 Verificación
de
los
resultados
 Comparación
con
las
predicciones
 Análisis
de
resultados
 Redacción
del
informe
de
evaluación

43. Metodología
de
evaluación
 El
informe
de
evaluación
 Partes
básicas:
 Descripción
del
proyecto
de
evaluación
(marco,
objetivos,
metodología,
tipo
de
evaluación,
dimensiones,
indicadores,
instrumentos)
 Resultados
principales
(cumplimento
de
objetivos,
resultados
no
esperados)
 Conclusiones,
recomendaciones,
propuestas,
lecciones
obtenidas,
puntos
fuertes
y
débiles
 Apéndices

44. La
evaluación
y
su
momentum
 EVALUACIÓN
EX
ANTE
o
inicial
 EVALUACIÓN
IN
ITINERE
o
de
proceso
 EVALUACIÓN
EX
POST
o
final

45. BATERÍA
INDICADORES
UNESCO
 http://culturayeconomia.org/noticias/unesco-­‐presento-­‐el-­‐estudio-­‐de-­‐
indicadores-­‐en-­‐cultura-­‐y-­‐desarrollo-­‐para-­‐colombia/
FEMP
 http://www.femp.es/Portal/Front/Atencion_al_asociado/
BuenasPracticasDetalle/
_Q416TFyB0rLgu8Ibp07KmrDTXbuB1NzlZqOUAlHmbQSVwGSAouTsjX_
LThJgxK1I08ogWIR8xByU__eHlCrD_X1y_3ssghqpA1JoMEc12Mxf64O-­‐
OXu20Sd98AWqwe0e8Gp7ek5OctM
CULTURA
EUROPA
 http://europa.eu.int/comm/culture/eac/sources_info/evaluation/
evaluation_en.html
Teoria
del
cambio:
 http://www.theoryofchange.org/
E-­‐Herramienta
para
evaluación
 http://www.evaluationforall.org.uk/
Logical
Framework
tool:
http://europa.eu.int/comm/europeaid/qsm/project_en.htm
 /

46.  Logical
Framework
tool:
http://europa.eu.int/comm/europeaid/qsm/project_en.htm
New
Approaches
to
Evaluating
Community
Initiatives,
Vol.
1:
Concepts,
Methods,
and
Contexts
Edited
by
James
P.
Connell,
Anne
C.
Kubisch,
Lisbeth
B.
Schorr,
and
Carol
H.
Weiss
 http://www.theoryofchange.org/html/origins.html
 http://www.uv.es/~cursegsm/IIIbloque/indicadoresCult.pdf
LASI
PROJECT
 http://www2.warwick.ac.uk/fac/soc/wbs/research/lgc/research/lasi/
Projecte
Tibidabo
 http://tibidabo-­‐project.gesem.net/
Evaluate
Europe
handbook
 http://www.evaluate-­‐europe.net

47.  Curso
evaluacion
 http://www.eipa.eu/en/activities/show/&tid=2330
 Instituto
evaluacion
 http://www.institutodeevaluacion.mec.es/

48. BIBLIOGRAFÍA
 Rosselló
Cerezuela,
David.-­‐
Diseño
y
evaluación
de
proyectos
culturales.
Ariel,
Barcelona,
2004.
 Mille
Galán,
José
Manuel.-­‐
Manual
bàsic
d'elaboració
i
avaluació
de
projectes.-­‐
Ajuntament
de
Barcelona.
2002
 L'évaluation
à
la
Commission
Européenne.
Guide
des
procédures
et
structures
d'évaluation
actuellement
en
vigueur
dans
les
programmes
de
coopération
externes
de
la
Commission.
EuropeAid
Office
de
Cooperation.
Bruselas.
2001
 VV
AA.-­‐
Monogràfic:
la
qualitat
en
l'acció
socioeducativa.
Revista
Educació
Social.
Fundació
Pere
Tarrés.
Barcelona.
2002
 Monnier,
Eric.-­‐
Evaluación
de
la
acción
de
los
poderes
públicos.
Ministerio
de
Economía
y
Hacienda.
Instituto
de
Estudios
Fiscales.
Madrid
1995
 Nohria,
Nitin
y
G.
Eccles,
Robert
(edit).-­‐
Networks
and
Organizations.
Structure,
form
and
action.
Harvard
Business
School
Press.
Boston
1992
 Chen,
Huey-­‐Tsyh.-­‐
Theory-­‐driven
evaluations.
Sage
Publications.
Newbury
Park,
California.
1900
 New
Approaches
to
Evaluating
Community
Initiatives,
Vol.
1:
Concepts,
Methods,
and
Contexts
 Edited
by
James
P.
Connell,
Anne
C.
Kubisch,
Lisbeth
B.
Schorr,
and
Carol
H.
Weiss
 http://www.theoryofchange.org/html/origins.html
 Hugues,
Jenny
y
Nieuwenhuis,
Loek.-­‐
A
project
manager’s
guide
to
evaluation.
Universität
Bremen.
2006