Cómo llevar a cabo un proceso de metaevaluación.

1. TALLER SOBRE
RICARDO DE LA VEGA ALEMPARTE
METAEVALUACIÓN
Ricard de la Vega Alemparte 1

2. RICARDO DE LA VEGA ALEMPARTE
¿qué expectativa tienes?
¿qué te habrás llevado o
qué habrá pasado para
considerarlo un éxito?
2

3. Para cubrir el trayecto de hoy …..
RICARDO DE LA VEGA ALEMPARTE
1. ¿Qué es ese horizonte? ¿qué es?
2. ¿Porqué queremos llegar hasta allí?
¿Para qué habrá servido llegar hasta
allí? ¿propósito?
3. ¿Cómo es ese horizonte? ¿enfoques,
herramientas y centrado?
4. ¿Cómo iremos de aquí a allí? ¿Qué
problemas nos encontraremos?
Integrarlo en nuestra cotidianeidad a
través de una práctica
3

4. 1. ¿Qué es la MTV?
La MTV es una evaluación de la evaluación, es una fase posterior,
terminal, que trasciende a la fase de la evaluación.
RICARDO DE LA VEGA ALEMPARTE
Es un juicio sobre la evaluación como resultado que consiste en la
aplicación de listas de comprobación (KEC Key Evaluation
Checklist) para construir un juicio sobre el resultado de la
evaluación original.
Michael Scriven 1968
“Los evaluadores tienen la obligación profesional de que las evaluaciones
propuestas o finalizadas estén sujetas a una evaluación competente, la
metaevaluación”.
4

5. ¿Qué es la MTV?
Una evaluación de la evaluación en términos de fiabilidad, validez y
calidad …... sobre el uso y utilidad de la información derivada del proceso
de evaluación ….. en respuesta a la demanda social sobre la calidad de la
evaluación.
RICARDO DE LA VEGA ALEMPARTE
Es como un termómetro de la veracidad, viabilidad, objetividad y la
fiabilidad de la información recopilada y arrojada por la diversidad de
instrumentos utilizados en la práctica evaluativa.
La evolución de la evaluación con la que se trata de averiguar hasta qué punto
la evaluación utilizada ha ampliado sus objetivos y hasta qué punto se ha
cumplido la misión que se le había encomendado y hasta qué punto los
instrumentos utilizados son adecuados para obtener la información deseada.
Ha sido y es comúnmente considerada como aquella investigación sistemática
cuyo objetivo es emitir un juicio acerca de la calidad o los méritos de una
evaluación.
Más allá de los datos, más allá de los métodos…
Ética y política, más allá de la técnica !!
5

6. ¿Qué es la MTV?
Dos visiones opuestas ¿? sobre la MTV
RICARDO DE LA VEGA ALEMPARTE
Sobre la eficacia del programa en cuestión
(pretende comprobar el impacto del programa en la
realidad; ex: rentabilidad)
como un proceso técnico
Sobre la evaluación en sí
(pretende analizar y cuestionar sus supuestos
implícitos de la evaluación para mejorarla)
como un proceso social complejo
6

7. 2. ¿Para qué sirve la MTV?
"El objetivo de la metaevaluación es asegurar la
calidad de los servicios evaluativos, evitar o
RICARDO DE LA VEGA ALEMPARTE
enfrentarse a las prácticas ilegales o a los servicios
que no son de interés público, señalar
el camino para el perfeccionamiento de la profesión
y promover una mayor comprensión de la empresa
evaluativa”.
Daniel Stufflebeam (1987)
Sirve para eliminar de la evaluación
la parcialidad, el error técnico,
dificultades administrativas o
el mal uso de la misma.
7

8. ¿Para qué sirve la MTV?
RICARDO DE LA VEGA ALEMPARTE
1. Meditar sobre lo que pasa
2. Mentir / Manipular sobre lo que pasa
3. Medir lo que pasa
4. Consensuar / Mediar entre stakeholders
Mejorar la evaluación para alterar lo que pasará en el futuro
8

9. RICARDO DE LA VEGA ALEMPARTE
Antes de hablar de los
enfoques, herramientas y fases
una reflexión previa
9

10. RICARDO DE LA VEGA ALEMPARTE
10
¿Qué es la calidad?

11. RICARDO DE LA VEGA ALEMPARTE
¿Cómo medir LA CALIDAD?
Todo juicio sobre la realidad implica de manera inherente unos
valores previos e implícitos que “limitan” “nuestra caja”
Think out of the box
11

12. Medir, pero……
¿Qué medir? ¿Cómo medirlo?
RICARDO DE LA VEGA ALEMPARTE
VS
¿Por qué medirlo de esa manera?
(supuestos implícitos no sólo respecto a los
indicadores sino a su utilidad, su finalidad,
quién NO los mide y el proceso en sí)
12

13. Calidad como
ajuste al
RICARDO DE LA VEGA ALEMPARTE
contexto
No como algo inherente al
producto o servicio evaluado
¿Sobre qué contexto centrar la MTV?
El mapa de actores: más allá de los stakeholders
13

14. El mapa de actores (más allá de los stakeholders)
MUNDO ACADÉMICO PROFESORES
Ayuda sin coartar libertad para el avance del conocimiento. No burocracia.
RICARDO DE LA VEGA ALEMPARTE
ESTUDIANTES
Empleabilidad
EMPLEADORES MTV
Profesionalidad
POLÍTICOS SOCIEDAD
GESTORES Rendición de cuentas
Tomar decisiones de financiación
Diferentes perspectivas
Diferentes motivaciones
Diferentes usos de la información (internos, externos)
http://www.qaa.ac.uk/enhancement/qualityMatters/QMNovember08.asp 14

15. El mapa de actores (más allá de los stakeholders)
AGENTES AGENTES
INTERNOS EXTERNOS
PRODUCTOR
RICARDO DE LA VEGA ALEMPARTE
CO-PRODUCTOR
PROMOTOR Recibe activamente el
ASOCIADO
resultado
DESTINATARIO DESTINATARIO
ASESOR
PROVEEDOR USUARIO
Recibe pasivamente el
resultado
AGENTE REGULADOR AGENTE DE INTERES
15

16. Diferentes perspectivas
Diferentes motivaciones
Diferentes usos de la información (internos, externos)
RICARDO DE LA VEGA ALEMPARTE
MARCO DE REFERENCIA UTILIDAD FUTURA
16

17. 3. ¿Cómo llevar a cabo la MTV?
RICARDO DE LA VEGA ALEMPARTE
1. Enfoques
2. Herramientas
3. Centrado del proceso
4. Dimensiones
17

18. ¿Cómo llevar a cabo la MTV? Enfoques
Tres grandes paradigmas:
RICARDO DE LA VEGA ALEMPARTE
1. Cuantitativo
• la MTV debe ser veraz
• fuente positivista: lo que no se mide no se mejora
2. Cualitativo
• la MTV debe ser creíble y “justa”
• fuente humanista – político: valores y propósitos
inherentes
3. Mixto
18

19. ¿Cómo llevar a cabo la MTV? Herramientas
1. Cuantitativas
RICARDO DE LA VEGA ALEMPARTE
• Meta estadística
• Estadística cuantitativa (análisis factorial)
• Preocupaciones metodológicas (fiabilidad y validez; origen y
calidad de los datos)
2. Cualitativas
• Análisis textual o hermenéutico (comprender un texto en su
contexto) (SPAD, SPSS,..)
• Grupos focales con stakeholders externos a la universidad
(mapa de actores en contexto)
• Delphi u otros métodos basados en expertos
• Aspectos éticos, políticos y otros valores inherentes
3. Mixtas
19

20. ¿Herramientas? La caja de proceso
RICARDO DE LA VEGA ALEMPARTE
Guias
Inputs Outputs
Recursos
20

21. ¿Herramientas? El mapa de actores
AGENTES AGENTES
INTERNOS EXTERNOS
PRODUCTOR
RICARDO DE LA VEGA ALEMPARTE
CO-PRODUCTOR
PROMOTOR Recibe activamente el
ASOCIADO
resultado
DESTINATARIO DESTINATARIO
ASESOR
PROVEEDOR USUARIO
Recibe pasivamente el
resultado
AGENTE REGULADOR AGENTE DE INTERES
21

22. ¿Sobre qué centrar la MTV? Centrado
1. el proceso de evaluación en sí (lo diseñado)
2. los resultados obtenidos o ayuda a la toma de decisiones que
apoya (lo deseado)
RICARDO DE LA VEGA ALEMPARTE
3. los evaluadores y sus valores y conducta (ética)
4. los modelos y las herramienta/s que se utiliza/n
5. los valores inherentes al enfoque o marco del proceso evaluativo
que usamos (por ejemplo, qué perfil tienen quienes forman parte
del comité de evaluadores)
6. la mejora conseguida en términos acumulativos
7. Outputs o outcomes (intangibles)
8. La ideología y filosofía del proceso en sí (lo que transciende)
22

23. ¿Cómo llevar a cabo la MTV? Dimensiones
Exploraremos los siguientes ámbitos:
RICARDO DE LA VEGA ALEMPARTE
1. Génesis del informe (origen y porqué del inicio)
2. Veracidad del informe (datos y método)
3. Credibilidad del informe (autoridad y fundamento moral)
4. Persuasión del informe
5. Justicia o equidad del informe (equilibrio interno)
6. Estética y belleza del informe
7. Equidad del informe (intereses en conflicto)
8. Impacto social del informe (actores concernidos)
9. Comunicación del informe (audiencia)
10. ……..
Para ofrecer recomendaciones de futuro
23

24. ¿Cómo construir la MTV?
Reflexión de lo que ha pasado
+
RICARDO DE LA VEGA ALEMPARTE
Propósito que queremos cubrir con la MTV
Centrado
+ Dimensiones
= Protocolo y herramienta de MTV
24

25. ¿Cómo construir la MTV?
Phi Delta Kappa Study Committee
RICARDO DE LA VEGA ALEMPARTE
Para medir la suficiencia técnica cuatro criterios:
validación interna, validación externa, fiabilidad y la objetividad;
y
para medir la utilidad se plantean siete criterios: pertinencia,
trascendencia, alcance, credibilidad, oportunidad
y la accesibilidad, costo / efectividad.
Daniel Stufflebeam
Para realizar una MTV, debemos contemplar seis elementos:
- conceptuales, - socio-políticos, - legales-contractuales, - técnicos,
- administrativos, - consideraciones morales, éticas y de utilidad.
25

26. ¿Cómo construir la MTV? Categorías
RICARDO DE LA VEGA ALEMPARTE
26

27. ¿Cómo construir la MTV? Impactos
RICARDO DE LA VEGA ALEMPARTE
27

28. Toda evaluación o MTV genera realidad
Dime cómo me
mides y te diré
RICARDO DE LA VEGA ALEMPARTE
cómo me comporto.
Eliyahu Goldratt.
Los comportamientos cambian cuando notamos que
somos observados (y medidos) evidencia empírica
El observador siempre influye en lo observado !
28

29. El ciclo de mejora continuo o Caminante no hay camino…
RICARDO DE LA VEGA ALEMPARTE
29

30. RICARDO DE LA VEGA ALEMPARTE
30

31. Por otra parte la evaluación educativa se va plegando cada vez más a intereses políticos y
es por eso que muy acertadamente describe ese proceso de influencia
cuando dice:
RICARDO DE LA VEGA ALEMPARTE
“Filosóficamente, los evaluadores dejaron de creer que su disciplina era una disciplina
neutral y asumieron que su práctica implicaba promover los valores e intereses de unos
grupos sobre otros; aunque no acostumbran tener claro en absoluto, qué hacer con
semejante descubrimiento. Los evaluadores tuvieron que hacer frente a la disyuntiva, en
apariencia conflictiva, entre ser científicos por un lado, y útiles, por otro.
Políticamente, por último, se movieron de una esfera en la que se concebían a sí mismos
como técnicos expertos opuestos a los males de la política, a otra en la que ahora
admiten, francamente que la evaluación misma es una actividad con efectos e
implicaciones políticas. Estos cambios conceptuales fueron estimulados por la rápida
evolución del contexto social, en relación con el cambio del carácter en la sociedad
norteamericana”.
Ernest House (1992)
31

32. Dudas, sugerencias, preguntas, interrogantes,..
RICARDO DE LA VEGA ALEMPARTE
32