2. Conocer los distintos tipos de evaluación de proyectos y
programas que se pueden utilizar.
Conocer los distintos niveles donde se puede
evaluar, dependiendo de las fases del ciclo del proyecto.
Identificar los criterios implicados en la evaluación de un
proyecto de acción social desde el enfoque del marco lógico.
Profundizar en los conceptos de
eficiencia, eficacia, pertinencia, impacto y viabilidad aplicados a
la evaluación de un proyecto de acción social.
Analizar los factores implicados en la viabilidad de un proyecto.
3. Unidad Didáctica 1: ¿Qué es y cómo se aplica la evaluación?
1.1 Comprender el concepto de evaluación.
1.1.1 Qué es la evaluación y qué objetivos persigue.
1.1.2 Características de la evaluación.
1.1.3 Funciones de la evaluación.
1.2 Niveles de análisis de un proyecto.
Unidad didáctica 2: La evaluación desde el Enfoque del Marco
Lógico
2.1 Criterios de evaluación de un proyecto de acción social desde el
enfoque del Marco Lógico.
2.1.1 Componentes de la evaluación: eficiencia, eficacia,
impacto, pertinencia, viabilidad, cobertura.
2.2 Técnicas de evaluación
2.3 Informe de evaluación
4. La evaluación permite tomar decisiones a partir del análisis de diferentes
alternativas. Ya sea en la vida cotidiana o en la realización de un proyecto de
mayor o menor envergadura, la evaluación permite tomar decisiones
adecuadas y racionales.
Es por ello que en todo proyecto se debe integrar de forma transversal y
continua un proceso de evaluación. Prever desde el inicio un buen
sistema de evaluación del proyecto es una garantía más éxito.
A lo largo del presente módulo estudiaremos cómo la evaluación adopta
diferentes significados según la etapa del ciclo de vida del proyecto en la que
se utiliza. Si es durante la formulación, la evaluación permite elegir entre
diferentes alternativas; si se utiliza durante la ejecución permite modificar y
adaptar diferentes aspectos del proyecto; y si se utiliza cuando el proyecto ha
finalizado (ex post) puede medir el grado de consecución de los objetivos
propuestos y el nivel de satisfacción de los grupos beneficiarios.
5. Desde una perspectiva amplia definimos la evaluación de proyectos sociales como la
aplicación sistemática de métodos cualificados de las ciencias sociales con la intención
de conocer y juzgar el diseño, procesos, resultados y efectos de las intervenciones
causadas por un conjunto de medidas aplicadas en un tiempo y contexto determinado
• Rendir cuentasACCOUNTABILITY
• Perfeccionar un proyecto en
desarrollo
FORMATIVA
• Evaluar un proceso
SUMATIVA
• Comparar proyectos
ASSESSMET
Tipos y objetivos de la evaluación
6. Carácter útil y práctico: ha de servir para la mejora de la intervención y ha de estar
orientada a la acción.
Sistematicidad durante todo el proceso de evaluación: toda evaluación ha de
recoger de modo sistemático la información pertinente para la valoración de los
criterios de evaluación.
Necesidad de flexibilidad: junto con el cariz sistemático de la evaluación, ha de
primarse la flexibilidad metodológica a lo largo de todo el proceso de evaluación.
Ajuste a los plazos temporales: la evaluación tiene que responder a los plazos
temporales acordados con el fin de que pueda contribuir al aprendizaje y la mejora de la
intervención.
7. Emisión de juicios de valor: la evaluación exige el análisis valorativo de los
componentes estudiados.
Realización antes, durante o con posterioridad a la ejecución: se trata de una
actividad que puede llevarse a cabo en las distintas fases del ciclo de las intervenciones.
Variabilidad del objeto de evaluación: la evaluación puede estar referida al
diseño de una actividad, a los procesos de ejecución o a sus resultados y
efectos, previstos o no previstos, priorizando uno u otro enfoque según la finalidad del
trabajo.
Criterios de evaluación: en la evaluación se revisarán la eficacia, la eficiencia, la
pertinencia, el impacto y la viabilidad entre otros componentes.
8. IMPROVEMENT. Retroalimentación o mejora
• Perfeccionamiento o mejora del programa o política.
• Permite la retroalimentación y el aprendizaje sobre la propia
práctica.
• Garantiza la calidad del programa.
• Refuerza la atención en el contexto del programa, las
necesidades y naturaleza de los destinatarios y de todos los
agentes críticos.
9. ENLIGHTENMENT. Aprovechamiento de
experiencias del pasado
• Ejemplificación o iluminación para acciones futuras .
• La evaluación contribuye a construir conocimiento desde los
aportes teóricos, técnicos y metodológicos.
• Orienta sobre un modo de afrontar los problemas sociales.
10. ACCOUNTABILITY. Rendición de cuentas
• Práctica que forma parte del sistema democrático como
resultado del derecho a saber en qué y cómo se utilizan los
fondos públicos (idoneidad, eficacia, eficiencia).
• Perspectivas del accountability: política, técnico-organizativa,
perspectiva de la ciudadanía y perspectiva del cliente.
11. ÁMBITO DE LA
EVALUACIÓN
ÁMBITO DEL
PROYECTO
TIPOS DE
EVALUACIÓN
FASEI
Plan de Evaluación de un
contexto social
Realidad Social:
Necesidades
Evaluación de
diagnóstico
FASEII
Plan de Evaluación del
diseño de un proyecto
Diseño de proyectos Evaluación de diseño
FASEIII
Plan de evaluación de la
implementación del
proyecto
Implementación del
proyecto
Evaluación de
Implementación
FASEIV
Plan de evaluación de los
resultados del proyecto
Resultados
Evaluación de
resultados: impacto -
económica
12. Primera fase:
estudio y análisis
de las necesidades
sociales de un
contexto social
determinado.
Segunda fase:
diseño del
proyecto o
proyectos para
corregir o paliar
las demandas.
Tercera fase:
implementación del
proyecto o puesta
en funcionamiento
todo el conjunto de
medidas y
actividades
previstas por los
que han
confeccionado el
proyecto.
Cuarta fase:
recoge los
resultados y
efectos de las
medidas tomadas
para paliar las
necesidades
sociales.
13. El nivel I corresponde a la
realización de una evaluación
diagnóstico. Tiene por finalidad el
definir y conocer las necesidades de
una comunidad, contexto
social, pueblo o ciudad para hacerle
frente. Haremos un plan de
evaluación de un contexto
social.
El nivel II corresponde a la fase II
del ámbito del proyecto y a la
realización de una evaluación de
diseño. Tiene como finalidad
detectar y conocer las posibles
debilidades de la estructura interna
de un proyecto antes de su puesta
en práctica.
El nivel III del ámbito de la
evaluación corresponde con la fase
III del ámbito del proyecto y a la
evaluación de la
implementación. Ahora
queremos ver si el proyecto en su
desarrollo funciona como estaba
previsto.
El nivel IV corresponde con la
evaluación de resultados e
impacto económico. Evaluación
que pretende determinar si el
proyecto ha logrado los objetivos
que formulamos en su diseño, en
términos de resultados finales e
impacto.
Niveles de
análisis de la
evaluación
14. Los criterios de evaluación son los puntos críticos para la valoración de
proyectos y deben proporcionar conocimientos útiles para tomar
decisiones sobre las intervenciones consideradas.
EFICIENCIA EFICACIA IMPACTO PERTINENCIA VIABILIDAD COBERTURA
OBJETIVO
GENERAL
OBJETIVO
ESPECÍFICO
RESULTADOS
ACTIVIDADES
RECURSOS
15. La eficiencia se refiere a la capacidad del proyecto para transformar los
insumos financieros, humanos y materiales en resultados; es decir,
establece el rendimiento o productividad con que se realiza esta
transformación.
Para poder realizar la evaluación de la eficiencia de un proyecto es
imprescindible disponer del presupuesto desagregado, para la evaluación
previa, o de los costes reales por actividad, para las evaluaciones
simultánea,
Consideraciones en la evaluación de la eficiencia:
El nivel de calidad en la administración de los recursos a disposición del proyecto.
La adecuación de las actividades a la consecución resultados.
La eventual existencia de líneas de actuación que condujeran con menor coste o en
menor tiempo a los resultados.
La existencia de posibles solapamientos con otras intervenciones propias o ajenas, lo
que redundaría en dificultades de gestión y costes redundantes.
16. La eficacia refleja en qué medida se espera alcanzar o se ha alcanzado el
objetivo específico del proyecto; teniéndose para ello en cuenta tanto el
nivel de logro, así como los períodos temporales para hacerlo.
Los elementos de la matriz de planificación que deben ser más
cuidadosamente observados para evaluar la eficacia son los relacionados
con los resultados y el objetivo específico. Es esencial, por tanto, valorar la
lógica vertical y ver si las actividades conducen a los resultados y éstos son
condiciones necesarias y suficientes para el logro del objetivo específico.
Consideraciones en la evaluación de la eficacia
Trata de establecer una relación causal entre lo que se va a hacer o se ha hecho,
básicamente la transformación de los insumos en actividades, y el logro del objetivo
específico.
En qué medida las transformaciones positivas del logro de este objetivo específico
obedecen a lo realizado por el proyecto.
Entre los factores externos más relevantes deben estudiarse todos aquellos factores
externos que pasaron desapercibidos en su momento o que han adquirido especial
importancia durante la ejecución del proyecto
17. El impacto se refiere a los efectos positivos sobre las personas beneficiarias, a
las consecuencias positivas y negativas, que un proyecto genera. Es un concepto
más amplio que el de eficacia e interroga sobre las consecuencias económicas,
sociales, culturales, técnicas ambientales, etc., que se registran en el plano local
o general, tanto en el corto como, especialmente, en el medio y en el largo plazo.
La consideración del impacto de un proyecto se inicia a partir del objetivo
general y específico del mismo; una parte significativa de los impactos de un
proyecto no aparecerán recogidos en la matriz de planificación.
Consideraciones en la evaluación del impacto
Los efectos negativos, esperados e inesperados.
Los efectos positivos recogidos en los objetivos generales y específicos.
18. La pertinencia analiza si el propósito del proyecto es coherente con las
prioridades. Se trata de apreciar si la intervención analizada va suponer una
aportación significativa a los procesos de desarrollo de los que son actores las
personas beneficiarias tanto en el interior del propio proyecto, como en su
contexto.
La apreciación de la pertinencia de un proyecto debe iniciarse con un atento
estudio de las filas correspondientes a los resultados, objetivos específicos y
objetivos generales, comprobando que éstos responden a prioridades
claramente identificados por cada uno de los colectivos e instituciones
implicados en la intervención
Consideraciones en la evaluación de la pertinencia
Cómo encaja el proyecto con otros proyectos que eventualmente pueden solaparse con él, o
con relación al plan o programa en el que se haya inscrito.
En qué medida se ha alcanzado a las personas beneficiarias a través del proyecto y en las
temáticas que los implicados consideran prioritarias.
En qué medida son coherentes la jerarquía de los objetivos y la lógica interna del proyecto;
así como si se han valorado adecuadamente las hipótesis u otros factores externos.
19. Se entiende por viabilidad la capacidad de un proyecto para proporcionar
un nivel aceptable de beneficios al grupo destinatario durante un periodo
suficientemente largo una vez interrumpida la asistencia financiera y técnica
del proveedor de fondos. La evaluación de la viabilidad se plantea un
interrogante que van más allá del proyecto; es decir, se plantea sobre la
capacidad del proyecto de generar desarrollo: transformaciones cuantitativas
y cualitativas que permanecen en el tiempo y se ramifican afectando a todos
los niveles de la vida social.
La viabilidad se constituye como el producto final de la lógica vertical de la
matriz de planificación.
Consideraciones en la evaluación de la viabilidad
Contexto propicio desde el punto de vista de la política llevada a cabo.
Objetivos precisos y realistas
Concepción adaptada a la capacidad administrativa y técnica de las personas beneficiarias.
Racionalidad y viabilidad económica del proyecto.
Participación activa de las autoridades locales y de los grupos objetivo, incluidas las mujeres.
Elección de tecnologías adaptadas a las condiciones económicas y sociales de las personas
beneficiarias.
20. Factores básicos para la viabilidad de un proyecto
Políticas
de Apoyo
Prioridades, compromisos específicos.
Iniciativas que apoyan las posibilidades de éxito del proyecto.
Aspectos
Institucionales
Capacidad institucional que contribuya a los objetivos del
proyecto y en el grado esperado.
Personal estable, adecuadamente cualificado y motivado.
Apoyo y participación directos por parte de las personas
beneficiarias.
Aspectos
Financieros y
Económicos
Financiación adecuada disponible para cubrir
funcionamiento, mantenimiento y depreciación.
Análisis de costes y rentabilidad.
Factores
Tecnológicos
Elección y adaptación de tecnología apropiada a las
condiciones existentes.
21. Factores básicos para la viabilidad de un proyecto
Aspectos
Socioculturales
Integración del proyecto en la comunidad local.
Impacto del proyecto sobre distintos grupos y su acceso al uso
de recursos.
Dimensión
de
género
Muy a menudo, los proyectos se han identificado y diseñado
sin tener en cuenta las relaciones establecidas entre hombres
y mujeres dentro del grupo de personas beneficiarias, lo que
ha provocado que, en ocasiones, los efectos para unos y otras
hayan sido radicalmente diferentes.
Medio
Ambiente
Explotación, gestión y desarrollo de la dotación de recursos
de acuerdo con la capacidad del medio ambiente local.
22. La visibilidad es la apreciación del proyecto, la institución y sus acciones en el rol
social que está desempeñando tanto en la población beneficiaria, en la población en
general así como en otras instituciones de su campo de acción. Conviene revisar:
• Correcta difusión del proyecto e institución.
• Adecuación de los canales de información a las personas beneficiarias.
• Si el proyecto y la institución han sido referentes en el sector de intervención.
La participación, valora y recoge el grado de implicación de los actores directos de
la acción. La evaluación participada tiende a incluir en el diseño, la ejecución y
elaboración final, a los diferentes “actores sociales” que afectan o han sido
afectados/as por la intervención. Es un factor clave que facilita y puede garantizar la
viabilidad de una acción o proyecto, debemos tener en cuenta:
• Si la participación se ha incluido en todas las fases del proyecto.
• Si se han dispuesto los canales de participación para hombres y mujeres, niños y niñas.
• Si la participación ha sido simbólica (sólo han expresado su opinión con respecto al
proyecto), si tienen un papel más significativo, si sus opiniones se tienen en cuenta, o
incluso si tienen capacidad de decisión en el proyecto.
23. La perspectiva de género, sirve para medir los efectos, consecuencias y beneficios
diferenciados que un programa ha tenido, o puede tener, para hombres y
mujeres, niños y niñas. Evalúa si las necesidades prácticas e intereses estratégicos de
las mujeres y hombres se reflejan en el proyecto o programa de forma
diferenciada, así como su control y su acceso a los recursos, debemos tener en cuenta:
• Si se ha incluido la perspectiva de género en todas las fases del proyecto.
• La contribución de los distintos agentes al proyecto, su rol en los procesos de toma de
decisiones y la distribución del tiempo.
• El acceso y control a los recursos distinguiendo entre hombres y mujeres.
• El grado de organización del grupo beneficiario y su capacidad adquirida para buscar
nuevas soluciones a sus necesidades y problemas.
• Si se han dispuesto los canales de participación para hombres y mujeres, niños y niñas.
• Si se han contemplado medidas.
24. Las técnicas de evaluación son muchas y variadas; podemos resumirlas
en los siguientes tipos: cuantitativas, cualitativas y participativas.
Cuantitativas
• Encuesta
• Medición directa
• Censo
Cualitativas
• Observación
estructurada.
• Entrevista en
profundidad o
semiestructurada
• Grupos de
discusión.
• Análisis
documental.
Participativas
• Análisis de
acontecimientos
críticos.
• Ranking de riqueza
o bienestar.
• Matrices de
clasificación o
puntuación.
• Diagramas de
Venn.
25. Las técnicas cuantitativas son aquellas que ponen el
énfasis en la medición objetiva. Persiguen obtener
resultados extrapolables a un grupo específico de la
población, bien mediante la selección de una muestra
del mismo, un número estadísticamente significativo de
dicha población, o bien mediante el estudio de todo el
grupo.
El censo es un elemento crucial en un proyecto, nos permite conocer, en una fecha
dada, el efectivo de la población en un territorio con algunas de sus características:
distribución por edad, sexo, estado civil, situación familiar, etc.
La medición directa u observación cuantitativa consiste en recopilar datos de
acuerdo a un esquema determinado, es muy utilizada es contextos de proyectos de
desarrollo. Va directamente relacionada con el establecimiento y con la comprobación
de los indicadores objetivamente verificables que se recogen en la matriz de
planificación del proyecto.
La encuesta. Es una de las técnicas más utilizadas ,realizada sobre una muestra de
sujetos representativa de un colectivo más amplio utilizando procedimientos
estandarizados de interrogación. Para realizar una encuesta se utilizan básicamente
dos técnicas: la entrevista y el cuestionario.
26. Las técnicas cualitativas son las que permiten obtener
información significativa e inmediata sobre las percepciones y
prioridades de las partes interesadas y las condiciones y
procesos que pueden haber afectado el desarrollo de un
programa o proyecto.
El análisis documental consiste en la búsqueda de información a través de la revisión de
diversos documentos.
Los grupos de discusión son como una conversación cuidadosamente planeada, diseñada
para obtener información de un área definida de interés, en un ambiente permisivo, no
directivo. Se lleva a cabo con aproximadamente siete a diez personas, guiadas por una
persona que modera.
La entrevista en profundidad o semi-estructurada es una entrevista abierta y en
profundidad, donde quien evalúa conversa libre y espontáneamente con la persona
entrevistada, y sólo interviene realizando precisiones, ordenando mínimamente el diálogo.
La observación estructurada u observación directa de un entorno permite el registro
de acontecimientos e impresiones por el/la analista de acuerdo con patrones explícitos de
comportamientos y acciones sociales previamente especificados. Algunos instrumentos son:
cuadros de trabajo, diarios, mapas y dispositivos técnicos.
27. Las técnicas participativas son aquellas que se
orientan a favorecer la participación interactiva. Se
caracterizan por requerir la interacción activa y
continua entre el equipo evaluador y los agentes
críticos a lo largo del todo el proceso del proyecto/
programa que se está evaluando.
Hay varias técnicas participativas: análisis de acontecimientos críticos, ranking
de bienestar, matrices de clasificación o puntuación, diagramas de Venn,
diagramas de flujos, etc.
El contexto más habitual en torno al cual se desarrollan gran parte de las
técnicas participativas se denomina “taller” y suele desarrollarse en un espacio
cerrado, amplio, que permita el movimiento y el trabajo colectivo, así como el
desarrollo de actividades de dinamización grupal.
28. El informe de evaluación es el documento que recoge el producto final
de la evaluación.
Debe contener al menos
Portada: con el titulo del proyecto, tipo de evaluación, fecha y equipo evaluador
Resumen donde se detallaran los elementos esenciales del informe.
Introducción con una breve descripción del proyecto, objetivos de la evaluación, enfoque metodológico y
ámbito de aplicación, limitaciones y obstáculos detectados, principales técnicas utilizadas para la recogida y
procesamiento de la información y estructura del Informe.
Descripción de la información de forma agrupada y sistematizada.
Valoración de la información.
Conclusiones y recomendaciones.
Anexos.
29. El informe de evaluación es el documento que recoge el producto final
de la evaluación. Debe contener al menos los siguientes apartados:
Portada
Título y código del proyecto.
Tipo de evaluación: externa, interna, mixta, participativa;
simultánea, final, de impacto; etc.
Situación del Informe: borrador, preliminar, final.
Fecha.
Equipo evaluador.
Resumen Se detallarán, en un espacio reducido, las características y elementos
centrales del informe.
30. Introducción
Breve descripción del proyecto.
Objetivos de la evaluación.
Enfoque metodológico.
Ámbito de aplicación.
Limitaciones y obstáculos detectados.
Principales técnicas utilizadas para la recogida y procesamiento de la
información
Estructura del Informe.
Descripción
de la
información
Se trata de presentar, de forma agrupada y sistematizada, la información
recogida. En esta fase el equipo evaluador se limita a describir y ordenar
los datos más sobresalientes por componentes, resultados o estrategias.
31. Valoración
de la
información
Se trata de incorporar las explicaciones necesarias en cuanto a la
información descrita, estableciendo las relaciones de causas y efectos
que procedan. Estas explicaciones deben ser presentadas,
deseablemente, atendiendo a los criterios y componentes clásicos de la
evaluación: eficiencia, eficacia, impacto, pertinencia, viabilidad.
Conclusiones y
recomendaciones
Se trata, por un lado, de plantear las principales conclusiones del
proceso de evaluación. Por otro, de establecer recomendaciones y
sugerencias para mejorar la calidad de la ejecución del proyecto en sus
siguientes fases, absorber determinados obstáculos detectados o
extraer aprendizajes para intervenciones futuras.
Anexos Se adjuntará toda aquella documentación de interés que ilustre el
desarrollo del proceso de evaluación (encuestas, cuestionarios,
referencias documentales, etc).