Procedimientos para la planificación en los Centros Educativos tipo V ( multi...
Evaluación del modelo educativo. Presentación XVI JAEM (2013), Palma de Mallorca
1. SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN
PROFESIONAL Y UNIVERSIDADES
DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN
TERRITORIAL
http://www.mecd.gob.es/inee
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
4 de julio de 2013
ISMAEL SANZ LABRADOR
2. I. Instituto Nacional de Evaluación Educativa
II. Finalidad de las evaluaciones
III. Evaluaciones Nacionales
IV. Evaluaciones Internacionales
V. Resultados PISA 2009 y TIMSS 2011
VI. Materiales, recursos y difusión de los
estudios
Índice
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
3. ● El Instituto Nacional de Evaluación Educativa es el organismo responsable de
la evaluación del sistema educativo en el MECD
● Sus funciones son:
Evaluación general del sistema educativo y realización, en colaboración
con las Administraciones educativas, de las evaluaciones generales de
diagnóstico.
Coordinación de la participación del Estado español en las evaluaciones
internacionales
Elaboración del Sistema Estatal de Indicadores de la Educación y
participación en la elaboración de los indicadores internacionales de la
educación
Difusión de la información: publicación de informes, boletines etc.
Revista de Educación
I. Instituto Nacional de Evaluación Educativa
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
4. • Inspeccionar la calidad de la oferta educativa
• Criterio de medición del rendimiento de:
- los alumnos: reconocer y certificar su trabajo
- centros escolares
- sistemas educativos
• Obtener “Indicadores educativos”: puntos de referencia para
valorar la eficacia de la educación
• “Identificar competencias clave” que permitan a los estudiantes
y posibles trabajadores tener un papel activo en esta sociedad
del conocimiento
II. Finalidad de las evaluaciones
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
5. CONOCER
a través de la valoración de
los aprendizajes de los
estudiantes
RENDIR
CUENTAS
Innovar y
mejorar el
sistema
educativo
Evaluaciones ¿para qué?
II. Finalidad de las evaluaciones
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
6. III. Evaluaciones Nacionales
Evaluaciones de diagnóstico ED
Al finalizar 4º de primaria y 2º de
ESO . Todos los centros realizarán una
evaluación de diagnóstico de las
competencias básicas alcanzadas por
sus alumnos.
•competencia de las administraciones
educativas
•carácter formativo y orientador para
los centros e informativo para las
familias y para el conjunto de la
comunidad educativa
Datos representativos tanto del alumnado
y de los centros de las comunidades
autónomas, como del conjunto del Estado
Evaluaciones generales de
diagnóstico EGD
2009-Alumnos de 4º de Educación
Primaria
2010-Alumnos de 2º de ESO
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
7. III. Evaluaciones de diagnóstico
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
Responsabilidad de
• Subdirección General de Promoción Exterior y Subdirección
General de Cooperación Internacional (Centros en el exterior)
• Administraciones Educativas (Comunidades Autónomas)
• Subdirecciones generales de Cooperación Territorial (Ceuta y
Melilla)
4º de Educación Primaria / 2º de ESO Competencias básicas
Censales
Anuales
Información sobre alumnos, centros y comunidad/ciudad
autónoma:
formativa y orientadora para los centros
informativa para las familias y la comunidad educativa
8. III. Evaluaciones Generales de Diagnóstico (EGD)
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
Organiza el INEE
Competencias básicas
• Matemática
• Comunicación Lingüística
• Conocimiento e interacción con el mundo físico
• Social y ciudadana
4º de Educación Primaria / 2º de ESO
Muestral: Representativa de alumnos , centros, CCAA y conjunto del Estado
Información sobre el sistema educativo y políticas educativas
2009: 4º de E. Primaria. 2010: 2º de ESO.
Resultados publicados
Evaluación general de diagnóstico 2009. Educación Primaria. Cuarto curso.
Informe de resultados
Evaluación general de diagnóstico 2010. Educación Secundaria Obligatoria.
Segundo curso. Informe de resultados
9. UNIÓN EUROPEA
Destinatarios Periodicidad Última realizada
EECL o ESLC (Estudio Europeo de Competencia
Lingüística / European Survey Language Competence)
4º ESO
5 años (próxima
2016)
2011
OCDE (Organización para la Cooperación y Desarrollo Económico)
Destinatarios Periodicidad
Última
realizada
PISA
(Programa para la Evaluación Internacional de Estudiantes / Programme for
International Student Assessment)
Alumnos que
cumplen 16
años en el año
de realización
3 años 2012
TALIS
(Estudio Internacional de Enseñanza y Aprendizaje /Teaching and Learning
International Survey)
Profesores y
directores de
Educación
Secundaria
2013
PIAAC
(Programa para la Evaluación Internacional de las competencias de Adultos /
Programme for International Assessment of Adult Competences)
Población
adulta
(16 a 65 años)
10 años 2012
IV. Evaluaciones Internacionales
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
10. IEA (International Association for the Evaluation of Educational Achievement)
Destinatarios Periodicidad
Última
realizada
PIRLS
(Estudio Internacional de Progreso en Comprensión Lectora / Progress in
International Reading Literacy Study)
4º EP 5 años 2011
TIMSS
(Estudio International de Matemáticas y Ciencias / Trends in International
Mathematics and Science Study)
4º EP 4 años 2011
ICILS
(Estudio Internacional sobre Competencia Digital / International Computer
and Information Literacy Study)
2º ESO Primera
vez en
2013
ICCS
(Estudio Internacional sobre Educación Cívica y Ciudadana / International
Civic and Citizenship Education Study)
2º ESO 2009
TEDS-M
(Estudio Internacional sobre la Formación Inicial del Profesorado de
Matemáticas / Teacher Education and Development Study in Mathematics)
Futuros
profesores de
Primaria y
Secundaria
Primera
vez en
2008
IV. Evaluaciones Internacionales
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
11. Programa para la Evaluación Internacional de Estudiantes (PISA)
Organiza la OCDE. Responsable español: INEE
Alumnos que cumplan 16 años en el año de realización
Se realiza cada 3 años (último año de realización: 2012)
Carácter muestral
Competencias evaluadas:
• Formato papel: Matemática, Científica, Lectura, Financiera
• Formato digital: Matemática, Lectura, Resolución problemas
Próxima publicación del informe: diciembre de 2013
Nº de centros: 970. Nº alumnos por centro: 35 (42 si se aplica Financiera)
Cuestionarios de contexto de alumnos y Director
CBA : Computer Based Assessment (178 muestra nacional)
IV. Evaluaciones Internacionales
Estudio Internacional sobre la Enseñanza y el Aprendizaje (TALIS)
Organiza la OCDE
Cuestionario a profesores y directores de Educación Secundaria. Link con PISA
Formato digital
Carácter muestral
Prueba principal: primavera de 2013
Publicación del informe en 2014
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
12. Programa para la Evaluación Internacional de las Competencias
de los Adultos (PIAAC)
Organiza la OCDE
Población adulta. Prueba a domicilio
Año de realización: 2011 y 2012. Piloto en 2010
Carácter muestral: 6.000 individuos. Resultados a nivel nacional
Nivel de conocimientos y destrezas de población adulta (16 y 65 años)
Publicación del informe en 2013
Estudio Europeo de Competencia Lingüística (EECL)
Organiza la UE
Alumnos de 4º curso de ESO
Año de realización: 2011
Carácter muestral. Resultados a nivel nacional
Ampliaron muestra Andalucía, Canarias y Comunidad Foral de Navarra
Competencia evaluada: competencia en lengua extranjera en distintos idiomas de la UE. En
España evalúa inglés y francés
Publicación del informe en 2012
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
IV. Evaluaciones Internacionales
13. IV. Evaluaciones Internacionales
Estudio Internacional de Progreso en Comprensión Lectora
(PIRLS)
Organiza la IEA
Alumnos de 4º curso de Educación Primaria (9-10 años)
Se realiza cada 5 años (año de realización: 2011*)
Carácter muestral. Resultados a nivel nacional. Ampliaron muestra Andalucía y Canarias
Competencias evaluadas: Comprensión lectora
España participa en 1990, 2006 y 2011
Publicación del informe en 2012 *coincidencia con TIMSS
Estudio Internacional de Matemáticas y Ciencias
(TIMSS)
Organiza la IEA
Alumnos de 4º curso de Educación Primaria (9-10 años)
Se realiza cada 4 años (año de realización: 2011*)
Carácter muestral. Resultados a nivel nacional
Competencias evaluadas: Competencia matemática y Competencia científica
Publicación del informe en 2012 *coincidencia con PIRLS
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
14. IV. Evaluaciones Internacionales
Estudio sobre Formación Inicial del Profesorado de
Matemáticas (TEDS-M)
Organiza la IEA
Futuros profesores de Educación Primaria y Secundaria
Se analizan las políticas y el currículo de formación del profesorado de matemáticas
Se evalúa el conocimiento matemático y de Didáctica de la Matemática de los futuros
profesores
Se realizó por primera vez en 2008
Publicación del informe en 2012
Publicación del informe de análisis secundarios (España)
el 19 de septiembre de 2013 (UNED)
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
16. V. PISA 2009 y TIMSS 2011. Resultados
Evaluación de lectura, matemáticas y ciencias
Alumnos de 15 años de edad.
Participantes:
65 países.
14 regiones con muestra ampliada
España Internacional
Alumnos 26000 475.000
Centros 910 17000
España Internacional
Alumnos 4.183 261.339
Centros 151 923
Profesores 200 2.854
Grupos 200 2.953
PISA 2009
TIMSS 2011
Evaluación de matemáticas y ciencias
Alumnos de 4º grado internacional
(en España 4º de Educación Primaria)
Participantes:
50 países y sistemas educativos.
7 regiones con muestra ampliada
3 participantes en 6º grado
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
17. 325 350 375 400 425 450 475 500 525 550 575
Corea del Sur
Finlandia
Japón
Canadá
Países Bajos
Castilla y León
Alemania
Navarra
País Vasco
Aragón
La Rioja
Francia
Madrid
Austria
Cataluña
Cantabria
Suecia
Asturias
Reino Unido
Galicia
Estados Unidos
Portugal
España
Italia
Murcia
Federación Rusa
Grecia
Baleares
Andalucía
Canarias
Uruguay
Ceuta
Chile
México
Melilla
Argentina
Brasil
Colombia
Perú
Panamá
Total OCDE
Promedio OCDE
<1 1 2 3 4
PISA 2009: Matemáticas
En Matemáticas …
España …
… Corea, Finlandia y Japón obtienen los mejores
resultados
… consigue 483 puntos y se sitúa por debajo del
promedio de la OCDE (488)
Por Regiones…
… se observan tantas diferencias entre
comunidades como entre los países de la OCDE.
19. Los resultados de España en matemáticas se mantienen estables a lo largo del
tiempo ya que entre 2003 y 2009 el descenso en Matemáticas no es
estadísticamente significativo.
La distancia que separa los resultados españoles del promedio de la OCDE se
ha reducido en 2 puntos, diferencia no significativa.
485
480
483
500
498
496
475
500
525
2003 2006 2009
España Promedio OCDE
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
PISA 2009: Evolución de resultados
20. Niveles bajos: La OCDE ha pasado del 21% en 2003 al 22% en 2009, mientras
que en España se ha pasado del 23% en 2003 al 24% en 2009.
Niveles altos: La OCDE ha descendido del 15% en 2003 al 13% en 2009,
mientras que España se ha mantenido en el 8%, un porcentaje más modesto que
el de la OCDE.
23
25 24
21 21 22
0%
10%
20%
30%
40%
2003 2006 2009
España OCDE
8 7 8
15
13 13
0%
5%
10%
15%
20%
25%
2003 2006 2009
España OCDE
Niveles bajos (1 e inferior a 1) Niveles altos (5 y 6)
PISA 2009: Evolución de porcentajes en niveles de
rendimiento
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
21. En Matemáticas …
… consigue 482 puntos y se sitúa por debajo del
promedio de la OCDE (522)
España …
… Singapur, Corea, Hong Kong-China obtienen los
mejores resultados
TIMSS 2011: Matemáticas
… la distancia de España con la
media OCDE es de 40 puntos
… Corea consigue el mejor
rendimiento de los países de la
OCDE con 83 puntos por encima de
la media
… en España hay menos
alumnos/as excelentes y más
estudiantes rezagados que la
OCDE
De la OCDE…
22. 375 400 425 450 475 500 525 550 575 600 625
Hong Kong - China (602)
Irlanda del Norte (562)
Bélgica (C. flamenca) (549)
Finlandia (545)
Inglaterra (542)
Federación Rusa (542)
Estados Unidos (541)
Países Bajos (540)
Dinamarca (537)
Lituania (534)
Portugal (532)
Alemania (528)
Irlanda (527)
Australia (516)
Hungría (515)
Eslovenia (513)
República Checa (511)
Austria (508)
Italia (508)
Eslovaquia (507)
Suecia (504)
Malta (496)
Noruega (495)
Croacia (490)
Nueva Zelanda (486)
España (482)
Rumanía (482)
Polonia (481)
Turquía (469)
Azerbaiyán (463)
Chile (462)
Georgia (450)
Irán (431)
Catar (413)
Arabia Saudí (410)
Media OCDE (522)
Media UE (519)
1 2 3 4Niveles
1
1
1
2
3
3
3
3
4
4
4
5
6
6
7
7
7
7
9
10
10
10
10
12
13
13
15
21
23
23
28
28
36
45
45
7
10
3
10
11
13
15
15
16
17
11
15
17
25
17
22
15
21
24
24
28
20
20
21
30
25
31
31
27
22
26
33
26
31
31
26
31
20
21
16
39
44
36
35
38
44
40
26
34
36
44
36
41
29
42
41
44
42
33
35
39
41
38
39
39
35
29
30
30
25
29
24
19
17
40
41
43
40
39
37
34
34
32
32
35
34
33
24
32
27
31
26
23
22
19
27
25
25
17
21
15
16
19
21
17
12
16
10
8
8
5
28
24
37
10
5
12
13
10
5
8
24
13
10
2
9
4
18
4
5
3
2
10
10
5
2
4
2
1
4
7
4
2
5
2
1
2
2
5
4
Hong Kong - China
Bélgica (C. flamenca)
Países Bajos
Finlandia
Federación Rusa
Dinamarca
Alemania
Portugal
Irlanda del Norte
Estados Unidos
Lituania
Austria
Irlanda
Eslovenia
Inglaterra
República Checa
Italia
Suecia
Noruega
Hungría
Australia
Eslovaquia
Croacia
Malta
Polonia
España
Nueva Zelanda
Rumanía
Turquía
Chile
Azerbaiyán
Georgia
Irán
Catar
Arabia Saudí
Mediana OCDE
Mediana Internacional
Muy bajo Bajo Intermedio Alto Avanzado
TIMSS 2011: Intervalos de confianza
y distribución por niveles
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
23. 487
482
475
480
485
490
495
500
505
510
515
520
525
1995 (8º Grado) 2011 (4º Grado)
Matemáticas
Punto de referencia
En Matemáticas los resultados de España se mantienen estables a lo largo del
tiempo ya que el descenso de los resultados de TIMSS-2011 respecto al año
1995* no es estadísticamente significativo.
* En Matemáticas la comparación es difícil, porque la anterior prueba en la que participó España
fue en 1995 y además se evaluó a los alumnos/as de la entonces 8º de EGB, y no a los de 4º de
Primaria.
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
TIMSS 2011: Tendencias
24. España es uno de los países donde
menos influye el nivel socioeconómico
en el rendimiento académico de los hijos
Por ejemplo, la diferencia de puntuación
entre los hijos de padres con estudios
universitarios y sin estudios es menor en
España que en OCDE
TIMSS-Matemáticas
España es uno de los países en
donde se estima un menor
aumento de puntuación por una
unidad de incremento en el ISEC
Variación en el rendimiento de los alumnos por cada punto de incremento del ISEC
480
474
496 498
515
531526
556551
578
430
450
470
490
510
530
550
570
España Internacional
Sinestudios o estudios básicos
Estudios obligatorios
Bachilleratooformación profesional de grado medio
Formaciónprofesional de grado superior o primer ciclo universitario
Estudios universitarios de segundo cicloo superior
7% 21% 34% 18% 20% 4% 14% 41% 27% 14%
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
TIMSS 2011: Otros resultados
25. En España en todos los centros hay
alumnos excelentes, intermedios y
rezagados
18
19
20
2
8
7
6
3
0
10 5 0 5 10 15 20 25
PIRLS
TIMMS MATEMÁTICAS
TIMMS CIENCIAS
Global DescontandoISEC de alumnos DescontandoISEC de alumnos y centros
Diferencia a favor de
los centros públicos
Diferencia a favor de
los centros privados
La diferencia en puntuación a favor
de los centros privados desaparece al
descontar el índice socioeconómico y
cultural
Relación entre el rendimiento y el ISEC de los centros españoles
R² = 0,436
400
425
450
475
500
525
550
575
600
-2 -1 0 1 2
ISEC
TIMSS-matemáticas
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
TIMSS 2011: Otros resultados
26. Otros factores que explican la variación en el rendimiento del alumnado (% de
varianza explicada):
• lectura fuera del colegio (17%)
• la lectura por placer (8%)
• valoración del centro (satisfacción de los docentes con sus compañeros,
con el proyecto del centro, con los padres y sus alumnos) (7,5%)
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
• el porcentaje de alumnos que muestran
interés en las clases. España tiene menos
alumnos interesados (81%) que la media
internacional (90%).
• el porcentaje de alumnos disruptivos es
igual al internacional.
TIMSS 2011: Otros resultados
2
58
40
8
58
34
0%
10%
20%
30%
40%
50%
60%
70%
Muy alto Alto Medio
Énfasis en el éxito académico
España Internacional
27. VI. Materiales, recursos y difusión
de los estudios
RECURSO PARA EL PROFESORADO que recoge
diversos estímulos e ítems que han sido liberados
después de formar parte de un estudio
internacional o nacional.
Todas las pruebas de estas recopilaciones forman
parte de otras publicaciones más completas
donde se desarrollan los marcos teóricos, las
características, los resultados, el diseño, etc. de
cada estudio.
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
28. VI. Ítems liberados. Evaluaciones de educación
primaria
Competencia en
comunicación lingüística
•Evaluación general de diagnóstico 2009
•Evaluación de la educación primaria 2007
•Evaluación de la educación primaria 2003
•Evaluación de la educación primaria 1999
•PIRLS 2006 y PIRLS 2011
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
29. VI.Ítems liberados. Evaluaciones de educación
primaria
Competencias matemática
y en el conocimiento y la
interacción con el mundo
físico (ciencias)
•Evaluación general de diagnóstico 2009
•Evaluación de la educación primaria 2007
•Evaluación de la educación primaria 2003
•Evaluación de la educación primaria 1999
•TIMSS 2011
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
30. VI. Ítems liberados. Evaluaciones de educación
secundaria
Competencia en
comunicación lingüística
•Evaluación general de diagnóstico 2010
•La lectura en PISA 2009
•Evaluación de la educación secundaria
obligatoria 2000
•Evaluación de habilidades de los alumnos en
inglés en ocho países europeos. 2002
•Evaluación de la enseñanza y el aprendizaje
de la lengua inglesa. ESO 2001
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
31. VI. Ítems liberados. Evaluaciones de educación
secundaria
Competencia matemática y competencia
en el conocimiento y la interacción con
el mundo físico (ciencias)
•Evaluación general de diagnóstico 2010
•Evaluación de la educación secundaria
obligatoria 2000
•PISA 2006. Informe español
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
32. VI.Otras publicaciones de ítems liberados
Publicaciones
PISA
EECL
TIMSS
PIRLS
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
33. http://www.mecd.gob.es/inee/ Estudios en elaboración
Programa de visitas
Ítems liberados y otros recursos
Bases de datos
Ponencias y comunicaciones
Documentos de trabajo
PISA, Indicators, Teaching in Focus
Boletín de educación
Sistema Estatal de Indicadores
Publicaciones
Revista de Educación
Comunidades autónomas
Link a Blog del INEE y Twitter
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
34. VI. Recursos para el profesorado
Ítems liberados.
Evaluaciones de educación primaria
1º http://www.mecd.gob.es/inee
2º Ítems liberados y
otros recursos
Ítems liberados.
Evaluaciones de educación secundaria
Guía de recursos y publicaciones del
INEE
Recursos PISA
Recursos EECL, TIMSS, PIRLS
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación
35. VI. Web del INEE
http://www.mecd.gob.es/inee
Evaluación del modelo educativo: desarrollo y
aplicación de pruebas de evaluación