Estudio realizado por el Dr Javier Merchán Iglesias

1. Las pruebas de diagnóstico y las nuevas políticasLas pruebas de diagnóstico y las nuevas políticas
educativaseducativas
Análisis de resultados en los centros de SecundariaAnálisis de resultados en los centros de Secundaria
Sevilla, 7 de junio de 2010
F. Javier Merchán Iglesias

2. Las pruebas de diagnóstico y las nuevas políticas
educativas
Análisis de resultados en los centros de Secundaria
Las pruebas de diagnóstico en su contexto
 Siempre ha habido evaluaciones y pruebas
 Generalización y nuevo significado: las pruebas de diagnóstico como
instrumento de la política educativa
 El “Estado evaluador”: la evaluación para el mantenimiento del sistema,
la evaluación como estrategia de cambio

3. Las pruebas de diagnóstico y las nuevas políticas
educativas
Análisis de resultados en los centros de Secundaria
TESIS 1ª
Las dos caras de las pruebas de diagnóstico: evaluación y
control
Evaluar para conocer y mejorar
(AGAEVE)
 El sistema educativo ¿siempre en crisis?
 La evaluación como estrategia de cambio: diagnóstico, conocimiento,
actuaciones para mejorar.
 La evaluación (o pruebas) como medición de resultados: ¿realmente aporta
conocimiento para la mejora de la educación?

4. Las pruebas de diagnóstico y las nuevas políticas
educativas
Análisis de resultados en los centros de Secundaria
TESIS 2ª
Las dos caras de las pruebas de diagnóstico: evaluación y
control parte del dispositivo de las nuevas políticas
educativas
“Como la evaluación es tan importante, se dice, les vamos a
evaluar a ustedes”
(M. A. Santos Guerra)
 Redefinen el sentido de la educación
 Aplican nuevos mecanismos de control sobre el sistema.
 Establecen una nueva relación entre el estado y los centros escolares.

5. La política educativa: de la reforma pedagógica a la
gestión empresarial de le escuela
Su puesta en marcha
 En el contexto de la “modernización conservadora”: Tatcher, Balir,
Bush, Clinton, Bush y Obama.
 El papel de los organismos internacionales: OCDE, PISA, Tratado y
Estrategia de Lisboa.
 En España: Planes de Autoevaluación y gestión de calidad, LOCE,
LOE, LEA, Programa de calidad y Estrategia para la mejora de la
competitividad en Andalucía.

6. La política educativa: de la reforma pedagógica a la
gestión empresarial de le escuela
Bases y principios teóricos
 La educación como inversión en capital humano.
 La perspectiva de las escuelas eficaces: el “efecto escuela”.
 La gestión empresarial como modelo de eficacia.
 La gestión eficaz del servicio público

7. La política educativa: de la reforma pedagógica a la
gestión empresarial de le escuela
Un dispositivo para el cambio y el control de la educación
Elementos del dispositivo
 La mejora de la educación se define como logro de resultados cuantificables.
 El logro se traduce en empleabilidad: lo importante no son los conocimientos
sino las competencias.
 Los centros escolares deben adaptarse a las formas de gestión empresarial
 Rendición de cuentas e incentivos.

8. La política educativa: de la reforma pedagógica a la
gestión empresarial de le escuela
Un dispositivo para el cambio y el control de la educación
Elementos del dispositivo (II)
 La dinámica de la evaluación y la autoevaluación como estrategias de mejora.
 Discurso de la autonomía de los centros y mayor control del estado: el
dispositivo como mando a distancia (definición y fijación de objetivos,
evaluación de resultados, atribución de responsabilidad a los centros y
profesores)
 El papel de los órganos intermedios: el director-gerente y las agencias.

9. La política educativa: de la reforma pedagógica a la
gestión empresarial de le escuela
El papel de las pruebas de diagnóstico en el dispositivo
 Un referente “científico” y objetivo del éxito y del fracaso: aportan legitimidad
 Inciden sobre el contenido y el método de la enseñanza.
 Activan los procesos de autoevaluación, emplazando a los centros a formular
propuestas de mejora.

10. Las pruebas de diagnóstico en Andalucía: legislación,
contenido, aplicación y uso
El marco legislativo
 LOCE, 2002 (art. 97); LOE, 2006 (art. 144); Orden de 28 de Junio de 2006;
LEA, diciembre 2006; Orden de 27 de Octubre de 2009.
Contenido
 Sobre competencias básicas:
 Competencia en comunicación lingüística.
 Competencia de razonamiento matemático.
 Competencia en el conocimiento y la interacción con el
mundo físico y natural (2008).

11. Las pruebas de diagnóstico en Andalucía: legislación,
contenido, aplicación y uso
Aplicación
 Evaluación interna (corregida por los docentes) y externa (con pruebas confeccionadas por
la Administración
Uso (explícito e implícito)
 Análisis, reflexión y propuestas de mejora del rendimiento del alumnado.
 Valoración del efecto de las medidas adoptadas.
 Control de los contenidos y métodos de enseñanza
 La mejora es un problema de los centros y los docentes
 Apoyo de la política educativa

12. Las pruebas de diagnóstico en Andalucía: análisis de
resultados
DATOS QUE SE UTILIZAN:
-Valor promedio de cada centro en las tres pruebas (2006, 2007 y 2008).
-Índice Socieconómico y Cultural (ISC).
-Valor promedio de cada centro en Comunicación lingüística, 2008.
-Valor promedio de cada centro en Com. Lingüística, detrayendo el ISC.
-Valor esperable en la competencia Comunicación lingüística en 2008.
-Diferencia entre valor esperable y valor obtenido.

13. Las pruebas de diagnóstico en Andalucía: análisis de
resultados
CATEGORÍAS DEL ANÁLISIS:
 Centros que obtienen, como media, una puntuación inferior o superior a la media (500).
 Valores positivos o negativos en la relación entre el valor esperable y el valor obtenido en
competencia lingüística.
 Progresión en los resultados de las tres pruebas analizadas.

14. Las pruebas de diagnóstico en Andalucía: análisis de
resultados
VARIABLES ANALIZADAS:
 Contexto socieconómico y cultural.
 Número de Programas educativos
 Plan de Lectura y Biblioteca.
 Tipo de enseñanza que imparten los centros (con o sin Bachillerato).
 Planes de Autoevaluación y Mejora (PAM)

15. Las pruebas de diagnóstico en Andalucía: análisis de
resultados
COMENTARIO ACLARATORIO SOBRE INFORMES OFICIALES
¿QUÉ VARIABLES SE ANALIZAN? ¿FACTORES DE EFICACIA?
 Actitudes y comportamientos del alumnado: género, idoneidad, autoconcepto como estudiante,
expectativas académicas, afición por el colegio y tiempo dedicado al estudio
 Hábitos del alumnado en lectura y uso de tecnologías
 Contexto familiar: perfil familiar –nivel educativo de los padres, estatus ocupacional-, importancia de
la lectura en las familias
 Contexto escolar nivel económico de las familias, servicio de biblioteca y clima de convivencia en el
centro

16. Evolución del porcentaje de centros con puntuación
superior a 500
56% 55%
51%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
2006 2007 2008

17. Porcentaje de centros públicos según ISC
35%
28%
21%
16%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1
ISC Bajo
ISC Medio.Bajo
ISC Medio-Alto
ISC Alto

18. Centros con puntuación superior a 500, según ISC
10%
14%
20%
56%
12% 11%
19%
58%
8% 8%
22%
62%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISC Bajo ISC Medio Bajo ISC Medio-Alto ISC Alto
2006
2007
2008

19. Centros públicos con puntuación superior a 500, según ISC
20%
26%
21%
32%
25%
21% 21%
33%
16% 15%
29%
40%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISC Bajo ISC Medio Bajo ISC Medio-Alto ISC Alto
2006
2007
2008

20. Centros públicos con puntuación superior a 500 en relación a su
grupo ISC
23%
37%
42%
85%
26% 27%
35%
78%
13% 14%
41%
78%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
ISC Bajo ISCMedio.Bajo ISCMedio-Alto ISCAlto
2006
2007
2008

21. Resultados en Comunicación lingüísticasin detraer ISC
47% Porcentajes de centros con PT
superior a 500
Porcentajes de centros con PT
inferior a500
Resultados en Comunicación lingüisticadetrayendo ISC
39%
61%

22. 16%
45%
20%
33%
43%
35%
89%
40%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo Medio-Bajo Medio-Alto Alto
Porcentaje de centros con puntuación superior a 500 en C. lingüistica, con y
sin ISC
Porcentajes de centros con PT
superior a 500
Porcentajes de centros con PT
superior a 500, detraido ISC

23. 16%
44%
16%
29% 30%
19%
64%
18%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo Medio-Bajo Medio-Alto Alto
Porcentaje de centros públicos Comunicación superior a 500 con
y sin ISC
Porcentajes de centros con PT
superior a 500
Porcentajes de centros con PT
superior a 500, detraido ISC

24. Diferencia en la PT Comunicación, con y sin ISC
-160
-110
-60
-10
40
90
140
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2

25. Diferenciaresultadoscon ysin ISC. Comunicación 2008. Centrospúblicos
-1,75
-1,25
-0,75
-0,25
0,25
0,75
1,25
1,75
-140 -90 -40 10 60 110
ISC

26. Diferencia entre valor esperable y resultados 2008 en relación ISC.
Centros públicos
-1,5
-1
-0,5
0
0,5
1
1,5
-120 -105 -90 -75 -60 -45 -30 -15 0 15 30 45 60 75 90 105 120

27. Centros públicos con diferencia positiva entre Valor esperable yvalor
obtenido
79%
63%
32%
7%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo
Medio-Bajo
Medio-Alto
Alto

28. Centros conpuntuaciónsuperior a 500 enlas tres pruebas,segúngrupoISC
76,59%
15,95%
4,25% 3,19%
Alto
Medio-Alto
Medio-Bajo
Bajo

29. Centros públicos con puntuación superior a 500 en las tres pruebas, según
grupo ISC
62,50%
20,83%
12,50%
4,16%
Alto
Medio-Alto
Medio-Bajo
Bajo

30. Resultados e ISC 2006
300
350
400
450
500
550
600
650
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2
Puntuación
ISC

31. Resultados e ISC, 2007
300
350
400
450
500
550
600
650
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2
ISCn
Puntuación

32. Resultados e ISC 2008
300
350
400
450
500
550
600
650
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2
Puntuación
ISC

33. 16,50%
83,50%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Centros públicos
Progresan
No progresan

34. Centros públicos que progresan según ISC. Porcentaje sobre el total
35%
24%
14%
27%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo
Medio-Bajo
Medio-alto
Alto

35. Centros públicos que progresan según ISC. Porcentaje sobre el total de su
grupo
16% 14%
11%
29%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo
Medio-Bajo
Medio-alto
Alto

36. Resultados 2008 y Programas
0
1
2
3
4
5
6
7
8
9
10
300 350 400 450 500 550 600 650
Puntuación
NúmerodeProgramas

37. 43%
37% 37% 34%
28%
32%
0%
20%
40%
60%
80%
Más de 500
2006
Más de
5002007
Más de 500
2008
Centros con ysin PLB. Porcentaje con puntuación total
superior a la media
Centros con PLB
Centros sin PLB

38. 26,50% 28,57%
0,00%
10,00%
20,00%
30,00%
40,00%
50,00%
60,00%
Centros con ysin PLB. Porcentaje que supera la media
en competencia lingüistica (2008)
Centros con PLB
Centros sin PLB

39. Centros con PLB
Centros sin PLB
22%
11,50%
0%
10%
20%
30%
40%
Porcentaje de centros con ysin PLB que progresa en las tres pruebas
realizadas (2006, 7 y8)
Centros con PLB
Centros sin PLB

40. ISC según tipo de enseñanza
49%
25%
13% 11%
26%
29%
26%
19%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISC Bajo ISC Medio-Bajo ISC Medio-Alto ISC Alto
Centro sin Bachillerato
Centros con Bachillerato

41. Porcentaje de centroscon puntuación superior a lamedia
37% 39%
24%
42% 40%
34%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3
Pruebas2006, 2007 y 2008
Centro sin Bachillerato
Centros con Bachillerato

42. Porcentaje de centros que progresan en los tres años
17%
15%
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
1
Centro sin Bachillerato
Centros con Bachillerato

43. Porcentaje de centros con diferencia positiva entre valor esperable yvalor
obtenido
55%
52%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Centro sin Bachillerato
Centros con Bachillerato

44. sconPAMporcentajequealcanzamásde500enlastrespruebas
0% 0% 0%
100%
Bajo
Medio-bajo
Medio-alto
Alto
CentrossinPAM.Porcentajequealcanzamásde500enlastrespru
15%
5%
0%
80%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%

45. Centroscon PAM que progresan en lastrespruebas, según ISC
28,57%
14,28%
0%
57%
ISCB ISCMB ISCMA ISCA
Centrossin PAM que progresan en lastrespruebas, segú
42%
21%
10,52%
26,30%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISCB ISCMB ISCMA ISCA

46. Las pruebas de diagnóstico en Andalucía: análisis de
resultados
Conclusiones sobre los resultadosConclusiones sobre los resultados
 Los resultados coinciden con las evaluaciones.
 La variable fundamental es el ISC, los demás factores no influyen
significativamente.
 En algunas competencias el género es un factor relevante.
 No se produce mejoría significativa. No hay datos empíricos que avalen
la bondad del dispositivo-

47. Las pruebas de diagnóstico y las nuevas políticas
educativas
ALGUNAS CONCLUSIONES SOBRE EL DISPOSITIVO: RAZONESALGUNAS CONCLUSIONES SOBRE EL DISPOSITIVO: RAZONES
DE SU APLIACIÓNDE SU APLIACIÓN
 No hay evidencias de que el dispositivo de cambio produzca mejores
resultados, ni más equidad.
 De los resultados no se desprenden políticas ni propuestas de mejora
 Su vigencia y aplicación obedece a razones de rentabilidad política:
 Legitiman las decisiones previas y las revisten de cientificidad, calidad, etc.
 Traslada la responsabilidad a los centros y profesores.
 Control sobre el contenido de la enseñanza en el aula-

48. Las pruebas de diagnóstico y las nuevas políticas
educativas
ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (I)ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (I)
-Aumenta las diferencias entre centros y alumnos con buenos y malos resultados.
-Los profesores tienden abandonar a los alumnos con más dificultades.
-Desmoraliza a los docentes que trabajan con alumnos con más dificultades.
-Desprofesionaliza a los docentes: agentes externos de un mecanismo en el que poco
tienen que decir.
-Devalúa el significado de la educación.

49. Las pruebas de diagnóstico y las nuevas políticas
educativas
ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (II)ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (II)
-Minusvalora los conocimientos no evaluados.
-Orienta la investigación educativa.
-Promueve comportamientos tramposos:
 Falsear los resultados
 Sesgar los estudios
 Bajar los niveles