1. LA EVALUACIÓN Y EL
SEGUIMIENTO DE LOS
PROYECTOS DE
DESARROLLO
Palma de Mallorca, junio 2010
Héctor Sainz Ollero
2. DEFINICIÓN DE EVALUACIÓN
La evaluación es una función que consiste en hacer una apreciación, tan
sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado,
un programa o un conjunto de líneas de acción, su concepción, su realización y
sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado
de realización, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la
viabilidad. Una evaluación debe proporcionar unas informaciones creíbles y
útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de
elaboración de las decisiones, tanto de los países de acogida como de los
donantes. (CAD/OCDE)
- Apreciación - opinión - investigación.
- Sistemática y objetiva.
- Proyecto en curso o acabado, programa o conjunto de líneas de acción.
- Su concepción (diseño), su realización (desempeño) y sus resultados (efectos).
- Determinar: pertinencia, eficacia, eficiencia, impacto y viabilidad.
- El fin es proporcionar información creíbley útil.
- Para la toma de decisiones.
- Tanto en receptores como en donantes.
CARACTERÍSTICAS
Organización de Cooperación y Desarrollo Económicos, 1995, Manual de ayuda al desarrollo: Principios del CAD para una ayuda
eficaz
3. LA EVALUACIÓN NO ES...
OPINIÓN
INVESTIGACIÓN
EVALUACIÓN ESCOLAR O CLÍNICA
AUDITORÍA
SEGUIMIENTO
4. EL SEGUIMIENTO
Función que mediante la recogida metódica de datos
tiene por fin conocer:
• Si las aportaciones materiales y financieras
comprometidas han sido suministradas y son
suficientes
• Si los cooperantes y homólogos sobre el terreno
poseen las competencias técnicas y personales para
ejecutar sus tareas.
• Si las actividades desarrolladas por los expertos y los
aportes, están de acuerdo con el plan de trabajo.
• Si el plan de trabajo está siendo realizado y produce
los objetivos a alcanzar de acuerdo a lo planificado;
Tomando las medidas necesarias para remediar las
insuficiencias encontradas
5. El seguimiento de proyectos es una función que consiste en utilizar un sistema de
información, basado en la formulación del proyecto de desarrollo (matriz de
planificación y plan de ejecución de las actividades), para que apoyándose en la
utilización de tres tipos de datos (sobre el progreso físico y financiero de las actividades,
sobre el contacto entre el proyecto y los usuarios y sobre la evolución de los factores
externos), la dirección del proyecto pueda comparar planificado y ejecutado en el nivel
de recursos y actividades, con la triple finalidad de:
1.- detectar desviaciones,
2.- anticipar desviaciones,
3.- y corregir desviaciones (reconducir el proyecto)
DEFINICIÓN DE SEGUIMIENTO
8. Las diferencias entre el seguimiento y la
evaluación
El seguimiento La evaluación
La periodicidad
El agente
Los elementos
Las decisiones
Proceso continuo Acción puntual
Habitualmente interno Generalmente externo
Actividades y recursos Resultados y objetivos
Contacto con destinatarios
Factores externos
Contacto con destinatarios
Factores externos
Reconducir Reorientar
9. Propósitos de la evaluación
Aprendizaje
Rendición de
cuentas
Lecciones
Enseñanzas extraídas
Buenas prácticas
Evaluación sumativa
Evaluación formativa
Transparencia
Accountability
Contribuyentes
Comunicación
UTILIDAD
CREDIBILIDAD
10. PROPÓSITOS DE LA EVALUACIÓN/ SEGUIMIENTO:
¿PARA QUÉ EVALUAR?
1) Para tomar mejores decisiones:
• Mejorar la gestión
• Aprender
1) Rendición de cuentas (control)
3) Compartir experiencias e informar
11. EVALUABILIDAD
Medida en que puede evaluarse una actividad o un
programa de manera fiable y creíble.
Para determinar la evaluabilidad es necesario un examen
anticipado de una evaluación propuesta para determinar
si sus objetivos están definidos adecuadamente y si sus
resultados pueden ser objeto de verificación.
OCDE (2004): Glosario de los principales términos sobre evaluación y gestión
basada en resultados
12. EVALUABILIDAD: EXIGENCIAS DEL PROYECTO
COMO HIPÓTESIS DE TRABAJO
• Descripción de la situación actual del problema a resolver:
- Magnitud y severidad del problema (LÍNEA DE BASE)
- Cómo afecta a los distintos grupos de población
- Posibles causas y consecuencias
• Estrategia de desarrollo:
- Vínculos entre medios y fines del desarrollo
- Selección / priorización de la alternativa más adecuada
• Imagen de la situación futura a alcanzar
- Definición de resultados y objetivos
- Sistemas de medición (indicadores y fuentes de verificación)
13. EL CICLO DEL PROYECTO: Fases centrales y circundantes,
pasos y principales contenidos.
14. 1º) Análisis de participación
2º) Análisis de problemas
3º) Análisis de objetivos
4º) Análisis de alternativas
5º) Matriz de planificación del Proyecto
EL ENFOQUE DEL MARCO LÓGICO.
PASOS DEL MÉTODO
15. LA IDENTIFICACIÓN Y EL ENFOQUE DEL MARCO
LÓGICO
Preguntas de la
identificación
Pasos del enfoque del
marco lógico
¿Qué sucede?
¿A quien le sucede?
¿Por qué sucede?
Análisis de la participación
Análisis de los problemas
¿Qué se puede hacer para
solucionarlo?
¿Qué vamos a hacer para
solucionarlo?
Análisis de los objetivos
Análisis de las alternativas
16. LA FORMULACIÓN Y EL ENFOQUE DEL MARCO
LÓGICO
Preguntas de la formulación Pasos del enfoque del
marco lógico
¿Para qué se lleva a cabo el proyecto?
¿Qué se desea lograr con el proyecto?
¿Cómo se alcanzará el objetivo del proyecto?
¿Qué factores externos son importantes para el
éxito del proyecto?
¿Cuáles son los niveles esperados de “éxito” del
proyecto?
¿Donde o cómo se mide ese “éxito”?
¿Cuándo se realizarán las actividades?
¿Quién hará las actividades?
¿Con qué y cuánto costará realizar las
actividades?
¿Qué posibilidades de permanencia en el tiempo
tienen los efectos generados por el proyecto?
MPP
•Cronograma de actividades
•Plan de ejecución
•Presupuesto
Análisis de los factores de viabilidad/
sostenibilidad
17. La Matriz de Planificación
Condiciones
Previas
Lógica de la
intervención
Indicadores
Objetivamente
Verificables
Fuentes de
Verificación
Hipótesis
Objetivo
Específico
Resultados
Actividades
Medios Costes
Objetivo
General
18. Eficacia:
En qué medida el objetivo específico ha sido alcanzado; si puede esperarse que esto
ocurra sobre la base de los resultados del proyecto.
Eficiencia:
Análisis de los resultados en relación con el esfuerzo realizado. Cómo los insumos se
convierten en resultados desde el punto de vista económico. Examinar si los mismos
resultados podrían haberse logrado de otra forma mejor.
Pertinencia:
En qué medida se justifica el proyecto en relación a las prioridades de desarrollo
locales y nacionales.
Impacto:
Los cambios y efectos positivos y negativos, previstos o no previstos en el proyecto,
analizados en relación con los beneficiarios y otros afectados.
Viabilidad/sostenibilidad:
Un análisis acerca de en qué medida los efectos positivos del proyecto continuarán
después de que la ayuda externa haya finalizado.
COMPONENTES DE LA EVALUACIÓN
19. Pertinencia: La pertinencia analiza si el
propósito del proyecto es coherente con las
prioridades de la comunidad y sociedad local,
así como de las entidades donantes y
receptoras. Es decir, se trata de apreciar si la
intervención analizada va a suponer una
aportación significativa a los procesos de
desarrollo de los que son actores los
beneficiarios tanto en el interior del propio
proyecto, como en su contexto.
20. Eficacia:
La eficacia refleja en qué medida se espera
alcanzar o se ha alcanzado el objetivo
específico del proyecto; teniéndose para ello
en cuenta tanto el nivel de logro, así como los
períodos temporales para hacerlo.
21. Eficiencia:
La eficiencia se refiere a la capacidad del
proyecto para transformar los insumos
financieros, humanos y materiales en
resultados; es decir, establece el rendimiento
o productividad con que se realiza esta
transformación.
22. Impacto:
El impacto se refiere -en contraposición a la eficacia
restringida a los efectos positivos sobre los
beneficiarios- a las consecuencias positivas y
negativas, que un proyecto genera. Es por lo tanto un
concepto más amplio que el de eficacia, cuyo análisis
se inicia a partir del de la eficacia; interrogándose
sobre las consecuencias económicas, sociales,
culturales, técnicas ambientales... que se registran en
el plano local o general, tanto en el corto como
-especialmente- en el medio y en el largo plazo.
23. Viabilidad/ Sostenibilidad: Se entiende por
viabilidad la capacidad de un proyecto para
“proporcionar un nivel aceptable de beneficios al
grupo destinatario [beneficiarios] durante un periodo
suficientemente largo una vez interrumpida la
asistencia financiera y técnica del proveedor de
fondos” (CCE 1993:65). El análisis de viabilidad
significa interrogarse sobre algo más allá de si el
proyecto ha alcanzado los objetivos que tenía
previstos; se debe responder a la cuestión de en qué
medida los resultados positivos alcanzados
permanecen en el tiempo.
25. FACTORES DE DESARROLLO
En cualquier examen previo debe tenerse en cuenta la viabilidad de los
proyectos. Puede decirse que un proyecto es viable cuando puede
beneficiar al grupo destinatario durante un largo período aún cuando
haya finalizado en lo esencial, la ayuda exterior proporcionada por los
donantes.
Fuente: Comisión de las Comunidades Europeas (1993)
Manual: Gestión del ciclo de un proyecto: Enfoque integrado y marco lógico. Bruselas, página 33.
LA VIABILIDAD DEL PROYECTO
La viabilidad de una intervención dependerá fundamentalmente de siete
factores, cuyo análisis nos permitirá tener una idea clara sobre sus
posibilidades de continuidad en el tiempo. Estos factores, también
llamados de desarrollo, son:
Políticas de apoyo Aspectos institucionales Aspectos socioculturales
Enfoque de género Factores tecnológicos Factores medioambientales
Factores económico financieros
Fuente: Agencia Española de Cooperación Internacional (2000),
Metodología de Gestión de Proyectos de la Cooperación Española, Madrid, páginas 26-27.
27. Otros criterios para la evaluación
• COBERTURA (1):
“La cobertura consiste en evaluar hasta qué punto un programa llega a
la población objeto del mismo. Se trata de calcular no sólo la tasa de
cobertura sino también de analizar si existe sesgo en la cobertura y
efectuar un análisis de las posibles barreras de acceso al programa”
Fuente: Alvira, F (1991) Metodología de Evaluación de Programas, Madrid
“La magnitud con la que una intervención alcanza a sus grupos metas
deseados”
Fuente: EUROPEAN MONITORING CENTRE FOR DRUGS AND DRUG
ADDICTION -E.M.C.D.D.A.- (1998) Guidelines for the evaluation of drug
prevention, Luxemburgo
28. Cobertura ( y 2) - ASPECTOS
BÁSICOS1. Tasa de cobertura: “La proporción que forma parte del grupo meta,
tiene la necesidad y recibe los servicios, dividida por la población total
del grupo meta que tiene la necesidad que el proyecto pretende
atender” Cohen & Franco (1993) Evaluación de proyectos sociales.
2. Sesgo de la cobertura: “Existe sesgo en la cobertura cuando el
proyecto llega a una población para la cual no estaba definido o
cuando interviene sólo en un determinado subgrupo de la población
definida, con unas características específicas” Ligero, J. A. (2001): Propuesta de
un nuevo criterio de evaluación de proyectos de ayuda al desarrollo, la cobertura, REDC
3. Accesibilidad: “La accesibilidad se disgrega en tres aspectos:
• Grado de conocimiento e información del mismo por parte de la
población objeto (implantación del proyecto, población
demandante...)
• Accesibilidad física, es decir facilidad de acceso al proyecto
• Aceptación social, actitudes de los usuarios ante el proyecto”
Alvira, F (1991) Metodología de Evaluación de Programas, Madrid
29. REPLICABILIDAD
• Se entiende por replicabilidad la capacidad
de un proyecto para generar
conocimientos capaces de ser utilizados
provechosamente en otros proyectos,
actuaciones o procesos autónomos de
desarrollo.
• Fuente: Cruz Roja Española (2001) Evaluación de proyectos.
Madrid
37. 3) Interpretación de datos y
tendencias
• La interpretación de los datos debe ser específica
para cada país. Patrones similares en un
dato/indicador pueden tener distintos significados en
diferentes países.
• Ejemplos:
1. Nº de denuncias de violaciones de derechos humanos
por cada 100.000 habitantes.
2. Porcentajes de participación electoral
38. Formulación del indicador
OBJETIVO: Aumentada la integración laboral de las
alumnas egresadas de la Escuela-Taller
Identificar el indicador/ variable: CONTRATOS LABORALES
Grupo beneficiario: EGRESADAS ESCUELA-TALLER
Cuantificar: AUMENTO CONTRATACIÓN EN AL
MENOS UN 25%
Calidad: CONTRATOS ANUALES, VINCULADOS
AL ÁREA DE PRESERVACIÓN
Tiempo: ENTRE MAYO 2005 Y MAYO 2006
Ubicación: ANTIGUA GUATEMALA
• “Los contratos laborales de carácter anual relacionados con la
preservación del patrimonio cultural de las alumnas egresadas
de la Escuela-Taller de Antigua Guatemala aumentan en un
25% entre mayo de 2005 y mayo de 2006”
39. Las fuentes de verificación
“Aparecen en la tercera columna del
marco lógico e indican donde y en qué
forma se pueden encontrar las
informaciones en cuanto a la realización
de los objetivos globales, del objetivo
específico y de los resultados
(operacionalizados en indicadores
verificables objetivamente)”
Fuente: EuropAid: Manual de Gestión del Ciclo de Proyecto
40. Las fuentes de verificaciónCostes
Complejidad
Informes
administrativos
Informes de
gestión
Estadísticas
disponibles
Estadísticas adaptadas
disponibles
Entrevistas con los
beneficiarios
Estudios
especializados
41. TIPOS DE EVALUACIÓN
MOMENTO DEL CICLO
• PREVIA (EX ANTE)
• SIMULTÁNEA
• INTERMEDIA
• FINAL
• POSTERIOR (EX POST)
ACTORES
• EXTERNA
• INTERNA
• MIXTA
• PARTICIPATIVA
PROPÓSITO
• MEJORA DEL PROYECTO
• APRENDIZAJE
• RENDICIÓN DE CUENTAS
OBJETO
• DE OBJETIVOS/RESULTADOS
• DE PROCESOS
NIVELES PLANIFICACIÓN
• NORMATIVA
• ESTRATÉGICA
• TÁCTICA
• OPERATIVA
ENFASIS EN HERRAMIENTAS
• CUANTITATIVAS
• CUALITATIVAS
• PARTICIPATIVAS
42. ITINERARIO DE UNA EVALUACIÓN/ FASE
PREVIA (1)
PASOS/
MOMENTOS
ACTORES DOCUMENTOS
Tomar la decisión de
evaluar
Institución responsable
(Unidad de evaluación ?)
Política de evaluación
Definir el ámbito y
alcance de la evaluación
Institución responsable
Términos de Referencia
Proponer las principales
preguntas de la
evaluación
Establecer los rasgos
principales del ejercicio
de evaluación
Institución responsable
Seleccionar al equipo
evaluador
Institución responsable Convocatoria/ Bases del
concurso
43. GUIÓN TÉRMINOS DE REFERENCIA
• Introducción
• Fundamento de la evaluación
• Antecedentes
• Cobertura temática
• Metodología y Plan de Trabajo
• Esquema de informe final, recomendaciones y
anexos
• Equipo de evaluación
• Disposiciones temporales y presupuestarias
• Otras disposiciones
Fuente: Metodología de evaluación de la Cooperación Española
44. ITINERARIO DE UNA EVALUACIÓN/ FASE
PREVIA (2)
PASOS/
MOMENTOS
ACTORES DOCUMENTOS
Adaptar los Términos de
Referencia
Institución responsable/
equipo de evaluación
Términos de Referencia
definitivos
Análisis documental y
establecimiento de
primeras hipótesis de
trabajo
Equipo de evaluación
Preparar la visita al
terreno y los contactos a
realizar
Equipo de evaluación /
Institución responsable
Plan de Trabajo de la
evaluación
45. ITINERARIO DE UNA EVALUACIÓN/ FASE
DE EJECUCIÓN (1)
PASOS/
MOMENTOS
ACTORES DOCUMENTOS
Recopilar datos e
informaciones según los
métodos establecidos
Equipo de evaluación
Ordenar y analizar los
datos
Equipo de evaluación
Preparar conclusiones y
recomendaciones
preliminares
Equipo de evaluación Borrador del informe de
evaluación
Presentar conclusiones y
recomendaciones
preliminares (taller,
reunión, etc.)
Equipo de evaluación
46. ITINERARIO DE UNA EVALUACIÓN/ FASE
DE EJECUCIÓN (2)
PASOS/
MOMENTOS
ACTORES DOCUMENTOS
Redactar el informe
preliminar
Equipo de evaluación Informe preliminar de
evaluación
Consultas y discusión
del informe
Equipo de evaluación/
Otras entidades
implicadas
Redacción del informe
definitivo de evaluación
Equipo de evaluación Informe definitivo de
evaluación
Presentación del
informe de evaluación
Equipo de evaluación/
Institución responsable
Presentaciones, resúmenes,
etc.
47. GUIÓN INFORME DE EVALUACIÓN
• Portada
• Resumen ejecutivo
• Introducción
– Antecedentes de la evaluación
– Objetivo de la evaluación
– Estructura de la documentación presentada
– Metodología empleada en la evaluación
– Condicionantes y límites del estudio realizado
– Presentación de equipo de trabajo
– Descripción de los trabajos ejecutados
• Capítulo I: Descripción de la intervención o intervenciones analizadas
– Concepción inicial
– Descripción detallada de su evolución
• Capítulo II: Metodología
• Capítulo III: Criterios de evaluación y factores de desarrollo
• Capítulo IV: Conclusiones y enseñanzas obtenidas
• Recomendaciones
• Anexos
Fuente: Metodología de evaluación de la Cooperación Española
48. ITINERARIO DE UNA EVALUACIÓN/ FASE
DE UTILIZACIÓN DE LOS RESULTADOS
• Difusión de la evaluación
• Retroalimentación
• Asunción de conclusiones y recomendaciones