1. Términos de Referencia
para la evaluación descentralizada/ “review” del programa para el Mejoramiento
de las Oportunidades de Desarrollo y las Condiciones de Vida de Niñas, Niños y
Jóvenes en Cuatro Países de América del Sur
Aparte de las evaluaciones externas encomendadas por la Sección de Evaluaciones en la sede
de Welthungerhilfe en Bonn, se realizan “evaluaciones descentralizadas” o “reviews” por
encargo de las Oficinas Regionales. Aquellas evaluaciones descentralizadas o “reviews” se
basan en Términos de Referencia estandarizados así como en un proceso estandarizado. Su
calidad es evaluada por la Sección de Evaluaciones en la Sede de Welthungerhilfe (muestras).
La evaluación descentralizada/ “review” se basa en las informaciones de la planificación del
proyecto (formulación vigente del sistema de objetivos) de la Welthungerhilfe y, eventualmente
el contrato con una entidad co-financiera, el monitoreo interno del proyecto, como también en
las investigaciones de la evaluadora / del evaluador.
La evaluación descentralizada/ “review” se orienta en los criterios DAC (eficiencia, efectividad,
relevancia, efecto, sostenibilidad) así como en los estándares del DAC (Definiciones anexadas,
referencia OECD DAC Guidelines). El objetivo principal de la evaluación descentralizada es el
aprendizaje a nivel del proyecto (mientras que la rendición de cuentas y el aprendizaje a nivel
institucional son los objetivos de las evaluaciones encomendadas por la sección de
evaluaciones en la sede de Welthungerhilfe). Para más detalles se hace referencia al Guía
“Orientación a Efectos e Impactos en los Proyectos y Programas de Welthungerhilfe” –
Welthungerhilfe 2009.
Los términos de referencia estandarizados de la Welthungerhilfe constan de dos elementos: (A)
La tabla estandarizada de contenidos del informe de evaluación y (B) de las preguntas
orientadoras.
País: Bolivia, Perú, Colombia, Brasil
Nombre del proyecto: Programa para el Mejoramiento de las Oportunidades de Desarrollo
y las Condiciones de Vida de Niñas, Niños y Jóvenes en Cuatro
Países de América del Sur
Número del proyecto: SAM 1007-09
Titular del proyecto: Deutsche Welthungerhilfe (Agro Acción Alemana)
Monto aprobado: € 1,395,836
Monto comprometido:
Co-financiera (Línea): Ministerio Alemán de Cooperación para el Desarrollo (BMZ)
Plazo del proyecto: Enero 2009 – Diciembre 2011
2. Introducción
1. Contexto y objetivos del Programa:
El Programa para el Mejoramiento de las Oportunidades de Desarrollo y las Condiciones de
Vida de Niñas, Niños y Jóvenes en Cuatro Países de América del Sur” se ejecuta en cuatro
países de América del Sur, con cinco organizaciones contrapartes. La Fundación la Paz (ciudad
La Paz) y la Comunidad Educativa Tiquipahya Wasi - CETWA (Cochabamba) en Bolivia, la
Asociación Puririsun (Cusco) en Perú, Corporación Región (Medellín) en Colombia y GAPA en
Fortaleza en Brasil son las organizaciones responsables para la ejecución de las actividades
planificadas en sus respectivos ámbitos. El programa se ejecuta en sus segunda fase, hasta
finales de 2011.
El Objetivo superior del programa es aportar al mejoramiento de las condiciones de vida y
oportunidades de desarrollo de niñas, niños y jóvenes en cuatro países de América del Sur,
garantizándoles por lo tanto ejercer sus derechos en el seno de la sociedad.
El Objetivo específico es: El programa logra mejoras para niñas, niños y jóvenes desfavorecidos
y les apoya en el reconocimiento y disfrute de sus derechos en torno a la formación/educación,
salud y representación de sus derechos e intereses en la sociedad.
Líneas principales del trabajo, que se realizan en las cinco zonas, con diferentes énfasis por
zona, son las siguientes:
• Información y capacitación de niñas, niños y adolescentes (NNA) sobre de sus
derechos
• Realización de ofertas de capacitación y formación y acciones para la promoción y
garantía del derecho a la educación
• Formación de jóvenes promotoras/es en derechos sexuales y reproductivos
• Capacitación y participación de garantes de los derechos: profesores, madres y
padres, empleados públicos
• Redes y cabildeo a nivel local, regional y internacional
2. Objetivo de la Evaluación
Obtener una evaluación independiente intermedia de los resultados de la intervención en
términos de relevancia, eficiencia, efectividad, efecto e impacto a la fecha, que sirva para
mejorar y optimizar la intervención y tener la posibilidad de tomar medidas de ajuste en la fase
restante de ejecución del programa, donde pueda resultar pertinente.
2
3. A Desglose del informe de evaluación
Tabla de contenidos
Tabla de abreviaciones
Registro de tablas, ilustraciones, casillas
Agradecimientos y responsabilidades por el informe
I. Resumen
1. Resumen del proyecto y de las condiciones básicas
2. Relevancia
3. Eficiencia
4. Efectividad
5. Efectos e impactos
6. Sostenibilidad
7. Recomendaciones más importantes
II. Texto principal
0. Notas preliminares
0.1 Razón y objetivo de la evaluación
0.2 Desarrollo de la evaluación
0.3 Método de la investigación
1. Descripción del proyecto
1.1 Descripción resumida del proyecto
1.2 Condiciones marco
1.3 Grupos meta
2. Relevancia
2.1 Relevancia para los problemas centrales del grupo meta
2.2 Relevancia para los objetivos de Welthungerhilfe
2.3 Relevancia para los objetivos de la entidad ejecutora y del país contraparte
2.4 Otros aspectos (por ejemplo relevancia en relación a los “technical notes” (notas
técnicas) de la UE).
3. Eficiencia
3.1 Relación costo – beneficio del proyecto
3.2 Relación costo – beneficio de las diferentes medidas
3.3 Calidad del sistema de M&E interno del proyecto
3.4 Otros aspectos
4. Efectividad
4.1 Consecución de los objetivos
4.2 Preparación y planificación del proyecto
4.3 Calidad del análisis de la entidad ejecutora
4.4 Seguimiento por la Sede Central y cooperación con la entidad ejecutora
4.5 Calidad de la implementación del proyecto
5. Efectos directos e impactos, a corto, mediano y largo plazo (outcome and impact)
5.1 Efectos e impactos económicos/ seguridad alimentaria
3
4. 5.2 Efectos e impactos socio-culturales
5.3 Efectos e impactos en el establecimiento de estructuras
5.4 Efectos e impactos ecológicos
5.5 Otros aspectos
6. Sostenibilidad
6.1 Sostenibilidad económica-financiera / seguridad alimentaria y nutricional
6.2 Sostenibilidad socio-cultural
6.3 Establecimiento de estructuras
6.4 Sostenibilidad ecológica
6.5 Otros aspectos
III. Recomendaciones y conclusiones globales
1. Conclusiones específicas con relación al proyecto
2. Recomendaciones
3. Conclusiones globales (incluyendo lecciones aprendidas y buenas prácticas)
IV. Anexo
• Términos de referencia
• Matriz de planificación del proyecto
• Itinerario del viaje y del trabajo
• Fuentes (personas contactadas, documentos, investigaciones, etc.)
• Acta de la reunión final
• Mapas
• otros
4
5. B Preguntas orientadoras:
Número del proyecto: SAM 107-09
Titulo del proyecto: Programa para el Mejoramiento de las Oportunidades de
Desarrollo y las Condiciones de Vida de Niñas, Niños y Jóvenes en
Cuatro Países de América del Sur
Las siguientes preguntas orientadoras, que fueron desarrolladas de manera participativa,
señalan a puntos de particular interés. Estas preguntas, que fueron formuladas por el titular del
proyecto, la contraparte, el respectivo grupo regional o la sección de evaluaciones, cobran
particular interés en el marco de la presente evaluación. Las respuestas a estas preguntas
orientadoras se deben presentar, conforme a sus contenidos, en los respectivos acápites de los
términos de referencia estandarizados.
Preguntas orientadoras:
• Las experiencias, resultados y conocimientos diversas de las contrapartes del
programa deben ser evaluadas en particular y también a nivel del programa. ¿Ha
sido posible realizar procesos de aprendizaje mutuo y efectos de sinergía en el
marco del programa?
• ¿En qué medida las organizaciones participantes del programa han podido introducir
cambios en sus sistemas de monitoreo, con mayor orientación a la medición de
impactos?
• ¿En qué medida el progama ha podido contribuir a mejoras tangibles para el grupo
meta?
• ¿En qué medida el programa contribuyó a cambios de políticas, marcos legales a
favor de derechos de NNA?
• ¿Sienten las organizaciones participantes del programa un progreso en esta
segunda fase de ejecución, en comparación con la primera fase? ¿En caso que si,
en qué medida y en qué aspectos?
La Welthungerhilfe realizó en 2006 una evaluación de su programa sectorial de apoyo a niñas,
niños y jóvenes. En el contexto de esta evaluación se elaboró el siguiente check-list, para que
sea tomado en cuenta también, sin necesidad de responder cada pregunta en detalle:
Lista FKJ-preguntas específicas
(de „Sektorevaluation Förderprogramm für Kinder und Jugendliche“, Scherrer 2006 - adaptado)
1. Orientación a las Necesidades
1.1.1 ¿Responde el proyecto a las necesidades del país y da las prioriades de la politica de fomento de Agro
Acción?
1.1.2 ¿Corresponde el proyecto a las necesidades del sector de educación, del mejoramiento de alimentación, de
la integración social y económica?
1.1.3 ¿Qué de los derechos de los niños (protección, desarrollo, participación ) son violados en el pais?
Cumple el proyecto con los critérios de calidad en las relaciones con los niños en circunstancias dificiles?
1.5 ¿Corresponde el proyecto con sus requisitos a las necesidades de los niños – acerca de su infancia, de su
edad, de género?
2. Efectividad – comparando los gastos con los efectos obtenidos
2.1 ¿Los gastos invertidos pueden ser justificacados con los resultados de cada actividad del
proyecto (será necesário separadamente calcular los gastos de la estadia de tiempo completo y la
de los centros de dia) p.ej.
- inversión de fondos financieros
5
6. - colocación de personal
- gastos de equipamiento?
2.1. ¿ Los gastos de inversión dentro de la institución que recibe fondos, pueden tener relación con la los
avances del proyecto?
3. Grupos meta alcanzados ?
3.1 ¿Cuáles son los critérios de la seleción de los niños /jovenes que forman parte del proyecto?
3.1 ¿Las actividades en particular son adecuadas para
- la edad
- el género
- la situación dé la vida de los niños?
3.2 ¿A cuantos niños y niñas alcanza realmente la estadia de tiempo completo y tiempo de dia? (¿ Cuál es la
realción en comparación a las necesiades totales y ofertas de otras instituciones del lugar?
3.3 ¿Cómo participan las muchachas y muchachos en decisiones sobre asuntos que les atañen ?
3.4 ¿Cuáles son los progresos/avances para las muchachas/niños de diferentes edades que se puede
identificar como consecuencia basados en las actividades del proyecto?
4 Calidad y adquisición de competencia
Cuáles son los métodos pedagógicos aplicados, de trabajo social etc, cuáles son las cuestiónes y
los conceptos profesionales del proyecto?
4.1 Cómo son formados correspondientemente los colaboradores responsables?
4.2 Cómo se mide y documenta el desarrollo individual de cada niño?
5 Análisis de los actores responsables
5.1 Cuáles son las calificaciones específicas de la institución para el trabajo con niños/jovenes? Quién capacita
a los actores responsables?
5.2 En qué forma se han alcancado la aceptación por parte de las autoridades locales (policia; administración
municipal etc)?
6 Observación de los efectos del programa
6.1 Qué contribución efectuó el programa al
- cambio estructural en el ámbito de la promoción , p.ej. en cuando
- al mejoramniento de la alimentación y el desarrollo de la capacidad cognitiva?
- mejoramiento del acceso a la educación para niños desaventejados?
- mayores chances justas de vida para niñas, para minoridades étnicas,..?
- desarrollo para que ellos/as mismos puedan crear un modo de existencia y de participación en la
sociedad?
6.2 Qué contribución efectuó en la reducción de la pobreza?
- Para ofrecerlos condiciones de existencia en el campo?
- Para desanimar la migración a las ciudades , paises vecinos...?
- Para la existencia economica de las familias?
- Para cambio del comportamiento socio-cultural?
- Para el manejo pacífico de conflictos?
6.3 Cómo se puede observar estos efectos y comprenderlos (como también se comprende el desarrollo al
terminar el fomento / actividades profesionales de los jovenes particpantes en el proyecto ?
- Monitoring
- Tracking-Sistemas etc.
6
7. Anexo:
a) Explicaciones:
Explicaciones generales acerca de la evaluación:
• Durante la evaluación, el evaluador / la evaluadora elabora los siguientes productos:
o Documentación de las constataciones y recomendaciones preliminares, así como de la
discusión final in situ (idioma oficial del país)
o Informe principal de la evaluación (idioma a ser determinado)
• En particular:
o Las principales constataciones y recomendaciones de los evaluadores / las
evaluadoras son presentadas a la entidad / el equipo contraparte (en forma escrita) y
discutidas. Los principales resultados de esta discusión final (consenso / divergencias)
son protocolizados. El acta final es firmado por el evaluador / la evaluadora y el
Director de la entidad contraparte o el jefe del proyecto. En lo posible, un representante
de la oficina regional deberá participar en esta discusión.
o El informe principal debe abarcar unas 40 páginas (sin anexos). Debe ser comprensible
por sí mismo y por personas externas.
• En la página portada del informe debe indicar claramente el tipo del informe y quiénes son
responsables: “Review encomendado por la Oficina Regional en Lima, Perú”
• La Welthungerhilfe muchas veces es denominada de otra manera en los idiomas locales.
En el informe sólo debe ser utilizado el nombre en alemán “Welthungerhilfe”.
• La versión final del informe principal debe ser entregada, en lo posible, en el formato
electrónico PDF y en un formato editable, sino en forma impresa. El informe principal
puede contener un máximo de 5 imágenes para la ilustración directa. Por lo demás se
debe prevenir un anexo separado.
Explicaciones específicas con respecto a diferentes contenidos del informe
Referente a I. El resumen debe abarcar un máximo de 5 páginas
Referente a II. Texto principal, en detalle:
Referente a 0) Notas preliminares: (0.2) Los siguientes puntos deben ser considerados: Plazo
de la evaluación, participación de la entidad ejecutora en la formulación de los términos de
referencia y la ejecución, acontecimientos especiales, composición del equipo de evaluadores.
Así como (0.3): Magnitud de la evaluación, qué métodos y, eventualmente, qué sondeos
participativos fueron utilizados, y qué triangulación fue aplicada. Por ejemplo, sería razonable
realizar una triangulación de “inspección in situ y análisis de evaluador / de la evaluadora”,
“sondeo participativo acerca de la percepción del grupo meta” y “entrevistas con informantes
clave” y “análisis de documentos”).
Referente a 1) Descripción del proyecto: (1.1) Descripción muy resumida del proyecto;
indicación si el proyecto es implementado por una entidad contraparte o por la Welthungerhilfe
7
8. misma; eventualmente se ubica dentro de un programa (1.2) Las condiciones marco relevantes
del proyecto deben ser descritas con referencia al nivel nacional y nivel del proyecto. En caso
de un proyecto de emergencia, se debe describir la catástrofe humanitaria. (1.3). Los grupos
meta directos e indirectos también deben ser cuantificados.
Referente a 2)(2.2) La relevancia del proyecto para los objetivos de la Welthungerhilfe se
orienta en los objetivos institucionales respectivos, conceptos técnicos, conceptos por país o
región, y marcos orientadores de la Welthungerhilfe, incluyendo la guía “Orientación a Efectos e
Impactos”. En los casos dados se acordará con la evaluadora / el evaluador cual de los
documentos debe servir de base. ¿El proyecto fue planificado conforme a estos documentos
conceptuales y orientadores? Bajo el punto “otros aspectos” (2.4) por ejemplo debe ser
precisado en el caso de proyectos co-financiados por la UE en qué medida el proyecto tiene
relevancia para los objetivos del co-financiador, tal como están formulados en la “Nota técnica”
(“technical note”) de la UE.
Referente a 3) Eficiencia: En lo posible, las constataciones con respecto a la eficiencia
deberían ser sustentadas con datos numéricos. Para algunos tipos de proyectos (por ejemplo la
construcción de infraestructuras sociales mediante “food for work” / comida para el trabajo) eso
sólo cobra sentido parcialmente. En estos casos es suficiente una estimación, y un eventual
razonamiento acerca de posibles alternativas más económicas.
El análisis de la relación costo – beneficio del proyecto (3.1) se refiere a la relación entre los
impactos y los recursos (insumos), mientras que el análisis costo – beneficio de las diferentes
actividades (3.2) se refiere a relación entre el producto (output) y los recursos (insumos)
prestados. En este análisis de la eficiencia de las diferentes actividades (3.2) se debería en lo
posible considerar cálculos de rentabilidad de la medida misma (eventualmente incluyendo
cálculos del margen bruto). (3.3) En la evaluación de los sistemas internos de M&E se debe
poner particular énfasis en la calificación del monitoreo de efectos e impactos. En ese caso no
es suficiente constatar si los datos son registrados sistemáticamente, sino también si son
utilizados para la gestión del proyecto.
Referente a 4)El capítulo “efectividad” abarca los aspectos de preparación y planificación del
proyecto, así como un análisis de la entidad ejecutora, de la gestión y de la ejecución. El
capítulo (4.1) comienza con una descripción del cumplimiento de objetivos. En lo referido a
efectos directos (outcome) pueden producirse traslapos con el capítulo 5: En el capítulo 4.1 sólo
aquellos efectos directos que habían sido descritos en el objetivo del proyecto, y de manera
muy resumida para evitar duplicidades. A continuación, todos los capítulos deben concentrarse
en una descripción de los factores que habían tenido influencia positiva o negativa con respecto
al logro de los objetivos.
Bajo el punto “preparación del proyecto” (4.2), entre otros, el análisis de problemas y
potencialidades, la selección del grupo meta, así como la coordinación y complementariedad
con las contrapartes deben ser analizados. La participación del grupo meta y la dimensión de
conceptos de ayuda para la autoayuda aplicadas son criterios de calidad en la evaluación de la
preparación del proyecto.
La calidad de la “matriz de planificación del proyecto” (MPP), el realismo de los objetivos y la
adecuación de la planificación de personal, logística y recursos financieros son, entre otros, los
aspectos para evaluar y analizar la calidad de la planificación del proyecto (4.2).
(4.3) En el caso de proyectos que son implementados por la Welthungerhilfe misma, la noción
“titular” se refiere al equipo local de la Welthungerhilfe. La evaluación de la entidad ejecutora
debe abarcar los siguientes aspectos: Estructura institucional y campos principales de trabajo;
8
9. personal, equipamiento y logística, gestión del proyecto y administración financiera, aspectos de
género.
(4.5) La descripción y calificación de la calidad de implementación del proyecto se atiene a la
MPP y los respectivos indicadores (planificado / realizado). Las eventuales subdivisiones del
capítulo 4.5 deberían realizarse conforme a las áreas de los resultados (productos/ outputs),
pudiéndose resumir las principales actividades en forma de tablas. En caso de que se efectúen
las hipótesis (factores externos) asumidas en la MPP u otros riesgos inesperados se deben
analizar la gestión de aquellas y las respectivas adaptaciones en la planificación.
Referente a 5) El capítulo “Efectos directos e impactos, a corto, mediano y largo plazo” es
una parte de alta importancia del informe. Aquí el aspecto más importante es el “buen uso”
(aprovechamiento) y el “beneficio del proyecto para el respectivo grupo meta”. Un proyecto de la
Welthungerhilfe se concentra en el primer nivel en los efectos directos (outcome), que
normalmente equivale al objetivo (específico) del proyecto: ¿Cómo son utilizado los productos
del proyecto por el grupo meta (use of output), y que efecto directo (outcome) es generado por
el proyecto? Este nivel debe ser analizado por el sistema interno de M&E (incluyendo datos de
línea de base), para ser utilizado por fines de gestión. Más amplios impactos de desarrollo
(impacts) pueden ser registrados por el sistema interno de M&E aunque no obligatoriamente.
Estos impactos deben ser analizados y calificados por el evaluador, valiéndose de adecuados
instrumentos. En el caso de proyectos de corto plazo para el alivio inmediato/ emergencia
(menos de 12 meses), el “monitoreo de productos” (output) se sitúa en primer plano, en vez del
“monitoreo de efectos directos e impactos”
El análisis de los efectos e impactos debe hacerse con un doble criterio: en relación a los
indicadores de los objetivos de la MPP, y en relación a la percepción de los involucrados en el
proyecto, particularmente el grupo meta (con sensibilidad para aspectos de género). Para
analizar los efectos e impactos desde el punto de vista de los grupos meta se debe utilizar
métodos participativos adecuados.
Referente a 6)El capítulo “sostenibilidad” debe ser desagregado de la misma manera como
el capítulo “efectos”. Si se trata de proyectos en curso, la sostenibilidad normalmente sólo
puede ser descrita como “sostenibilidad” potencial. (6.3) “Establecimiento de estructuras” puede
referirse tanto al mejoramiento de estructuras básicas (comités de agua, etc.) como al fomento
por estructuras estatales.
Referente a III. Recomendaciones y conclusiones generales
• Conclusiones: Conforme a DAC, las conclusiones “señalan los factores de éxito y fracaso
de la intervención evaluada, prestando atención especial a los resultados y repercusiones
intencionales o no y, de manera más general, a otras fortalezas y debilidades. Una
conclusión se apoya en los datos recopilados y en los análisis realizados mediante una
cadena transparente de enunciados.” Fortalezas y debilidades del proyecto evaluado deben
ser presentados de manera bien resumida (evitando duplicaciones!).
• Recomendaciones: Para evitar duplicidades las recomendaciones sólo son presentadas
(conjuntamente con el resumen) en el capítulo III. A través de referencias a los capítulos del
texto principal (II) se debe establecer una clara relación entre la constatación y
recomendación del caso. Las recomendaciones deben ser marcadas con una referencia a la
constatación respectiva. Se sugiere estructurar las recomendaciones según los siguientes
criterios: “¿A quién se dirige la recomendación (por ejemplo Welthungerhilfe o entidad
9
10. ejecutora)?”, ¿Qué prioridad tiene su puesta en práctica?”, ¿Cuándo debe ser puesta en
práctica?”.
• “Lecciones aprendidas”: Conforme a DAC las “lecciones aprendidas” (“lessons learned”)
son: Generalizaciones basadas en experiencias de evaluaciones respecto a proyectos,
programas o políticas, que conllevan de circunstancias específicas a situaciones más
globales. Frecuentemente las lecciones resaltan fortalezas y debilidades en la preparación,
el diseño y la implementación que afectan la actuación, los efectos e impactos
(“Generalisations based on evaluation experiences with projects, programmes or politics that
abstract from specific circumstances to broader situations. Frequently, lessons highlight
strengths or weaknesses in preparation, design and implementation that affect performance,
outcome and impact”). En este contexto también se debería mencionar aquellas lecciones
aprendidas que el evaluador sólo califica como potencialmente relevantes, recomendando a
la Welthungerhilfe que se les de seguimiento con respecto a su idoneidad como “lecciones
aprendidas consolidadas”.
10
11. Comentarios especiales acerca de la utilización de términos importantes en la
Welthungerhilfe
Los términos técnicos con relación a la cadena de efectos no son utilizados uniformemente por
las organizaciones de cooperación al desarrollo. Es por eso que en las siguientes ilustraciones
se pretende visualizar la utilización de los términos más importantes por la Welthungerhilfe,
relativo a la cadena de efectos (grafico 1) así como a la matriz de planificación (MPP / marco
lógico) (grafico 2). (Los gráficos son extraídos de la guía “Obtener Efectos” de la
Welthungerhilfe, 2007).
Grafico 1: Visión general de la cadena de efectos
Grafico 2: Compilación de términos relativos a la lógica de la cadena de efectos y planificación
de proyectos (según el glosario DAC)
11
12. Explicaciones generales de los criterios DAC para la evaluación de proyectos:
Fuente de la citación: www.oecd.org/document/22: DAC criteria for Evaluating Development
Assistance
When evaluating programmes and projects it is useful to consider the following DAC Criteria, as
laid out in the DAC Principles for Evaluation of Development Assistance:
Impact: The positive and negative changes produced by a development intervention, directly or
indirectly, intended or unintended (especially long term). This involves the main impacts and
effects resulting from the activity on the local social, economic, environmental and other
development indicators. The examination should be concerned with both intended and
unintended results and must also include the positive and negative impact of external factors,
such as changes in terms of trade and financial conditions. When evaluating the impact of a
programme or a project, it is useful to consider the following questions:
• What has happened as a result of the programme or project?
• What real difference has the activity made
Sustainability: Sustainability is concerned with measuring whether the benefits of an activity
are likely to continue after donor funding has been withdrawn. Projects need to be
environmentally as well as financially sustainable. When evaluating the sustainability of a
programme or a project, it is useful to consider the following questions:
• To what extent did the benefits of a programme or project continue after donor funding
ceased?
• What were the major factors which influenced the achievement or non-achievement of
sustainability of the programme or project?
Relevance: The extent to which the aid activity is suited to the priorities and policies of the
target group, recipient and donor. In evaluating the relevance of a programme or a project, it is
useful to consider the following questions:
• To what extent are the objectives of the programme still valid?
• Are the activities and outputs of the programme consistent with the overall goal and the
attainment of its objectives?
• Are the activities and outputs of the programme consistent with the intended impacts and
effects?
Effectiveness: A measure of the extent to which an aid activity attains its objectives.
In evaluating the effectiveness of a programme or a project, it is useful to consider the following
questions:
• To what extent were the objectives achieved / are likely to be achieved?
• What were the major factors influencing the achievement or non-achievement of the
objectives?
Efficiency: Efficiency measures the outputs -- qualitative and quantitative -- in relation to the
inputs. It is an economic term which signifies that the aid uses the least costly resources
possible in order to achieve the desired results. This generally requires comparing alternative
approaches to achieving the same outputs, to see whether the most efficient process has been
adopted. When evaluating the efficiency of a programme or a project, it is useful to consider the
following questions:
• Were activities cost-efficient?
• Were objectives achieved on time?
12
13. • Was the programme or project implemented in the most efficient way compared to
alternatives?
13