PISA OCDE. Jornada "PISA más allá de los datos" 24 de julio de 2014. Marco Teórico

1. SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN
PROFESIONAL Y UNIVERSIDADES
DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN
TERRITORIAL
http://www.mecd.gob.es/inee
David Cervera
Consejero Técnico del Área Internacional del INEE
@dcerverao
Instituto Nacional de
Evaluación Educativa
MECD
PISA, más allá de los datos

2. ¿QUÉ ES INEE?
● El Instituto Nacional de Evaluación Educativa es el organismo responsable
de la evaluación del sistema educativo en el Ministerio de Educación,
Cultura y Deporte.
● Sus funciones son:
 Evaluación general del sistema educativo y realización, en
colaboración con las Administraciones educativas, de las evaluaciones
generales de diagnóstico.
 Coordinación de la participación del Estado español en las
evaluaciones internacionales.
 Elaboración del Sistema Estatal de Indicadores de la Educación.
 Participación en la elaboración de los indicadores internacionales de
la educación
 Revista de Educación: publicación científica del MECD para la difusión
de los avances en la investigación y en la innovación educativa.
 Boletín de Educación: resumen informativo de los temas de mayor
relevancia de los últimos informes publicados por el INEE.

3. ¿Has visto que
prueba han hecho?
¿A quién se le habrá
ocurrido?
Mira este ítem.
¡Qué barbaridad!

4. LO DESEABLE DE UN SISTEMA EDUCATIVO
Currículum
Competencias y
habilidades
para la vida
Evaluación

5. LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN EXTERNA
Currículum
Competencias y
habilidades
para la vida
Evaluación

6. Video: Finalidad objetivos y diseño de una prueba
http://www.youtube.com/watch?v=QHzpPflDiMY
Evaluaciones externas internacionales
Curso de formación INEE-INTEF
Video: Evaluaciones Externas Internacionales
http://www.youtube.com/watch?v=mKTpCsvYJus
Video Aplicación y trabajo de campo
http://www.youtube.com/watch?v=VL5dl_clJqk
Video: Análisis de resultados
http://www.youtube.com/watch?v=imTfIyeX7_8
Todas las preguntas PISA liberadas en http://recursostic.educacion.es/inee/pisa

7. MAPA DE EVALUACIONES
INTERNACIONALES
Evaluación Externa Internacional Competencias Destinatarios Periodicidad
Última
realizada
OCDE
PISA
Programa para la Evaluación Internacional de Estudiantes
Programme for International Student Assessment
Lectora
Matemática
Científica
Alumnos que
cumplen 16
años en el año
de realización
3 años
2012
Siguiente
2015
TALIS
Estudio Internacional de Enseñanza y Aprendizaje
Teaching and Learning International Survey
Encuesta al
profesorado
Profesores y
directores de
Educación
Secundaria
5 años 2013
IEA
PIRLS
Estudio Internacional de Progreso en Comprensión
Lectora
Progress in International Reading Literacy Study
Lectora 4º EP 5 años
2011
Siguiente
2016
TIMSS
Estudio International de Matemáticas y Ciencias
Trends in International Mathematics and Science Study
Matemática
Científica
4º EP 4 años
2011
Siguiente
2015
TIMSS
ADVANCED
Estudio International de Matemáticas y Ciencias
Trends in International Mathematics and Science Study
Matemáticas y
Física avanzadas
2º Bachillerato
No
definida
2008
Siguiente
2015

8. EVALUACIONES EXTERNAS
INTERNACIONALES

9. http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5http://www.youtube.com/watch?v=QHzpPflDiMY
PONGÁMONOS A PRUEBA

10. PONGÁMONOS A PRUEBA

11. PONGÁMONOS A PRUEBA

12.  Evaluaciones muestrales, cíclicas, a gran escala
 Cuadernillo de prueba + cuestionarios de contexto
 Rigor metodológico:
• Marco teórico: Qué evaluar, elaboración de ítems,
distribución de ítems y cuadernillos…
• Selección de la muestra
• Traducción de materiales, aplicación, corrección,
limpieza de datos…
• Análisis TRI de las respuestas  Dificultad de los
ítems y puntuación lograda por los alumnos
 Informes internacionales comparativos
RASGOS COMUNES DE LOS
ESTUDIOS DE EVALUACIÓN

13. EJEMPLO DE CONSTRUCCIÓN
DE PRUEBAS

14. ítems
Prepilotaje
Pilotaje
Estudio principal
Análisis de resultados
Elaboración de una prueba
Respuesta de elección múltiple
Respuesta cerrada
Respuesta abierta construida
Respuestas abiertas
Matriz de
especificaciones
EJEMPLO DE CONSTRUCCIÓN
DE PRUEBAS
estímulo
UNIDAD

15. DESCRIPTOR
BLOQUES DE CONTENIDOS
• Números
• Álgebra
• Geometría
• Funciones y Gráficas
• Estadística y Probabilidad
• Contenidos comunes
Ejemplo: Contenidos y Procesos
para Matemáticas 2º ESO
EJEMPLO DE CONSTRUCCIÓN
DE PRUEBAS

16. NIVEL 1
NIVEL 2
NIVEL 3
NIVEL 4
NIVEL 5
NIVEL 6
Mayordificultaddentrodelproceso
CONSTRUCCIÓN DE PRUEBAS

17. CONSTRUCCIÓN DE PRUEBAS

18. Marcos Teóricos
Evaluaciones internacionales
¿Qué es un marco teórico?
• Explica lo que trata de medir la evaluación
• Objetivos del marco teórico:
 Servir de guía para la elaboración de unidades y preguntas
 Compartir un lenguaje sobre el que los implicados puedan
discutir el tema
 Asegurar una continuidad en un estudio a largo plazo
 Establecer y hacer públicas las características del programa
de evaluación

19. El Estudio PISA: Marco Teórico
Definición de LECTURA en PISA
Lectura (competencia lectora) es la comprensión, el
uso, la reflexión y el interés por los textos escritos,
para conseguir los propios objetivos, desarrollar el
conocimiento y el potencial individuales, y participar
en la sociedad

20. El Estudio PISA: Marco Teórico
Para elaborar las preguntas, PISA atiende a
4 características de los textos:
– Contexto (escolar, personal, profesional, etc)
– Tipo (continuo, discontinuo, mixto, múltiple)
– Aspecto (acceder y recabar, integrar e interpretar,
reflexionar y valorar)
– Formato (impreso o digital)

21. El Estudio PISA: Marco Teórico
Tipos de texto
Continuo
Discontinuo
Mixto
Múltiple
Aspecto
 Acceder y recabar información
 Integrar e interpretar
 Reflexionar y valorar

22. El Estudio PISA: Marco Teórico
Tipos de texto
Continuo
La información se presenta
en frases y párrafos
– Argumentativo
– Descriptivo
– Expositivo
– Narrativo
Mixto
Discontinuo
La información se presenta
en otros formatos
- Tablas
- Gráficos
- Diagramas
- Mapas

23. El Estudio PISA: Marco Teórico
Ejemplo de texto mixto
Formado por textos
continuos
y discontinuos

24. El Estudio PISA: Marco Teórico
Aspectos:
 Acceder y recabar información
 Integrar e interpretar
 Reflexionar y valorar

25. El Estudio PISA: Marco Teórico
Ejemplo de “acceder y recabar información”
MACONDO
Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía
por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas
bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo
viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se
indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi
proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y
sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción,
reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba
dos centavos para compartir las vicisitudes de los personajes, no pudo soportar
aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno
Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no
merecía los desbordamientos pasionales del público. Ante la desalentadora
explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso
asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que
ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres
imaginarios.
¿Cuánto costaba ir al cine en
Macondo?
o Un centavo
o Dos centavos
o Tres centavos
o Cuatro centavos

26. El Estudio PISA: Marco Teórico
Ejemplo de “integrar e interpretar ”
MACONDO
Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía
por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas
bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo
viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se
indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi
proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y
sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción,
reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba
dos centavos para compartir las vicisitudes de los personajes, no pudo soportar
aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno
Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no
merecía los desbordamientos pasionales del público. Ante la desalentadora
explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso
asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que
ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres
imaginarios.
Al final del pasaje, ¿por qué la gente
de Macondo decide no volver al
cine?

27. El Estudio PISA: Marco Teórico
Ejemplo de “reflexionar y valorar”
MACONDO
Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía
por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas
bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo
viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se
indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi
proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y
sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción,
reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba
dos centavos para compartir las vicisitudes de los personajes, no pudo soportar
aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno
Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no
merecía los desbordamientos pasionales del público. Ante la desalentadora
explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso
asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que
ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres
imaginarios.
¿Estás de acuerdo con el criterio final de la
gente de Macondo sobre el valor del cine?
Explica tu respuesta comparando tu propia
actitud hacia el cine con la de ellos.

28. La LECTURA en PISA
 Sí, estoy de acuerdo, ya hay bastante sufrimiento en el
mundo sin que haya que inventárselo.
 No, la gente no entiende que cuando vas al cine lo que ocurre
en la pantalla no es de verdad.
 Depende. Si la peli es “aburrida” me dan ganas de irme, pero si
es buena te enganchas y no me importa si no es de verdad.
Ejemplo de respuestas de alumnos a la pregunta de “reflexionar y valorar”
¿Estás de acuerdo con el criterio final de
la gente de Macondo sobre el valor del
cine?
Explica tu respuesta comparando tu
actitud hacia el cine con la de ellos.

29. La LECTURA en PISA
Educación Secundaria: PISA digital
¿Qué es la lectura digital?
 En el siglo XXI, la competencia lectora incluye saber
leer en los formatos impreso y digital (o electrónico)
 La lectura digital no es sólo leer texto impreso en una
pantalla de ordenador
 La lectura digital añade al proceso de textos una
faceta específica: la navegación

30. CBA en PISA
Educación Secundaria: PISA digital
Preguntas liberadas CBA (Computer-Based
Assessment)
(navegador: Firefox)
Lectura
http://erasq.acer.edu.au/index.php?cmd=home
Matemáticas
http://erasq.acer.edu.au/index.php?cmd=toMaths
Resolución de Problemas
http://erasq.acer.edu.au/index.php?cmd=toProble
mSolving

31. La Lectura en PISA: Ejemplo de
unidad

32. La Lectura en PISA: Ejemplo de
unidad

33. La Lectura en PISA: Ejemplo de
unidad

34. La Lectura en PISA: Ejemplo de
unidad

35. La Lectura en PISA: Ejemplo de
unidad

36. La Lectura en PISA: Ejemplo de
unidad

37. La Lectura en PISA: Ejemplo de
unidad

38. La Lectura en PISA: Ejemplo de
unidad

39. La Lectura en PISA: Ejemplo de
unidad

40. Elaboración de unidades y
preguntas
La elección de textos y la elaboración de preguntas para
evaluar la comprensión lectora
¿Cómo hacer?

41. Elaboración de preguntas para un
estudio a gran escala
Redacción
preliminar de
preguntas
Revisión de
preguntas
Laboratorios cognitivos
(Cog Labs)
Revisiones de
preguntas
Revisión externa (países) Pregunta aceptada o
rechazada (después
de Cog Labs))
Estudio Piloto
Análisis
psicométrico y
revisión
Elaboración del
marco teórico
Pregunta para
el Estudio
Principal

42. Elaboración de unidades y
preguntas
Textos que no sirven: lo que tenemos que evitar
Ofender o molestar:
• Trauma (accidentes de tráfico, violencia)
• Sexo, religión, política u otros temas polémicos o
delicados
• Mal comportamiento, agresividad, racismo,
inmoralidad o irresponsabilidad
• Modelos indeseables (drogas, alcohol, inducción a
diversos posibles peligros)
• Palabrotas
Esperar demasiado o demasiado poco de los alumnos:
• Textos con lenguaje enrevesado
• Textos que ofrecen un conocimiento que los alumnos
ya deberían saber
• Textos aburridos!!

43. Elaboración de unidades y
preguntas
Lo importante es saber elegir un texto
Un buen texto…
• es interesante y motivador
• plantea retos – no es muy fácil ni muy difícil
• no plantea retos artificiales (lenguaje retorcido,
p.e.)
• es (más o menos) igualmente accesible para
diferente tipo de alumnos
• ofrece oportunidades para plantear cuestiones
inquisitivas, cuya respuesta no sea obvia

44. Elaboración de unidades y
preguntas
MACONDO
Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no
sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas
bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el
segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo
acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante
don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un
personaje muerto y sepultado en una película y por cuya desgracia se derramaron
lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente.
El público que pagaba dos centavos para compartir las vicisitudes de los personajes,
no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias
de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de
ilusión que no merecía los desbordamientos pasionales del público. Ante la
desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo
y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine,
considerando que ya tenían bastante con sus propias penas, para llorar por fingidas
desventuras de seres imaginarios.
Una frase inicial que nos
intriga...
¿¿Qué invenciones??
¿De qué va esto? ... Algo
familiar desde una perspectiva
extraña
Esto es de locos... ¿Pero hay
algo de cierto en ello?

45. Elaboración de unidades y
preguntas
Y, por último, lo importante es redactar unidades
Una unidad es un grupo de preguntas construidas a
partir de un texto / estímulo o parte del mismo

46. Elaboración de unidades y
preguntas
¿Qué caracteriza a una buena unidad?
• Las preguntas cubren un amplio espectro de
dificultad
• Las preguntas responden a distintos aspectos del
marco teórico
• Cada pregunta es independiente de las demás
• El grupo de preguntas consigue llegar al “corazón”
del texto

47. MARCO TEÓRICO DEL
ESTUDIO PISA
Cambioyrelaciones
Expresiones
algebraicas,
ecuaciones e
inecuaciones,
representaciones
tabulares y gráficas.
Representar datos y
relaciones utilizando
estadísticas.
Medidas
geométricas.
Relaciones entre
longitudes de los
lados de triángulos.
Espacioyforma
Reconocer las formas en
diferentes
representaciones y
diferentes dimensiones.
Comprender las
propiedades de los
objetos y sus posiciones
relativas.
Orientarnos por el
espacio y a través de las
construcciones y formas.
Relación entre formas e
imágenes.
Representación en dos
dimensiones de objetos
tridimensionales.
La formación de las
sombras y cómo
interpretarlas.
Qué es la perspectiva y
cómo funciona.
Cantidad
Comprensión del tamaño
relativo.
Reconocimiento de las
regularidades numéricas.
Utilización de los
números para representar
cantidades y atributos
cuantificables de los
objetos del mundo real.
Procesamiento y
comprensión de los
números.
Representación de los
números de diferentes
maneras.
Comprensión del
significado de las
operaciones.
Percepción de la
magnitud de los números.
Cálculos
matemáticamente
elegantes.
La estimación y el cálculo
mental
Incertidumbreydatos
Estadística y
probabilidad.
Recogida de datos y
error en la medida.
Análisis y
presentación de
datos.
Deducción.
Crear, interpretar y
evaluar conclusiones
extraídas de
situaciones donde se
presenta
incertidumbre.

48. PISA. PROCESOS COGNITIVOS
FORMULACIÓN
matemática
EMPLEO de conceptos,
datos, procedimientos y
razonamientos
matemáticos
INTERPRETACIÓN,
aplicación y
valoración de los
resultados

49. PISA. PROCESOS COGNITIVOS
FORMULACIÓN EMPLEO INTERPRETACIÓN
Comunicación Leer, descodificar e interpretar
enunciados, preguntas, tareas,
objetos, imágenes o animaciones (en
la evaluación electrónica) para crear
un modelo mental de la situación
Articular una solución, mostrar el
trabajo asociado a la obtención de la
misma y/o resumir y presentar los
resultados matemáticos intermedios
Elaborar y presentar explicaciones y
argumentos en el contexto del
problema
Matematización Identificar las variables y estructuras
matemáticas subyacentes al problema
del mundo real y formular supuestos
de modo que puedan utilizarse
Utilizar la comprensión del contexto
para guiar o acelerar el proceso de
resolución matemático, p. ej.,
trabajando a un nivel de precisión
apropiado al contexto
Comprender el alcance y los límites de
una solución matemática que son el
resultado del modelo matemático
empleado
Representación Crear una representación matemática
de información del mundo real
Interpretar, relacionar y utilizar
distintas representaciones cuando se
interactúa con un problema
Interpretar los resultados
matemáticos en distintos formatos
con relación a una situación o uso;
comparar o valorar dos o más
representaciones con relación a una
situación
Razonamiento
y argumentación
Explicar, defender o facilitar una
justificación de la representación
identificada o elaborada de una
situación del mundo real
Explicar, defender o facilitar una
justificación de los procesos y
procedimientos utilizados para
determinar un resultado o solución
matemática.
Relacionar datos para llegar a una
solución matemática, hacer
generalizaciones o elaborar un
argumento de varios pasos
Reflexionar sobre la soluciones
matemáticas y elaborar explicaciones
y argumentos que apoyen, refuten o
proporcionen una solución
matemática a un problema
contextualizado
Diseño de estrategias para resolver
problemas
Seleccionar o diseñar un plan o
estrategia para reformular
matemáticamente problemas
contextualizados
Activar mecanismos de control
eficaces y sostenidos en un
procedimiento con múltiples pasos
conducente a una solución, conclusión
o generalización matemática
Diseñar e implementar una estrategia
para interpretar, valorar y validar una
solución matemática a un problema
contextualizado

50. MATEMÁTICAS
MARCO TEÓRICO DEL
ESTUDIO PISA
Cambio y
relaciones
25 %
Espacio y
forma
25%
Cantidad
25%
Incertidumbre y
datos
25%
Formulación 25% 6,25% 6,25% 6,25% 6,25%
Empleo 50% 12,5% 12,5% 12,5% 12,5%
Interpretación 25% 6,25% 6,25% 6,25% 6,25%

51. CIENCIAS
MARCO TEÓRICO DEL
ESTUDIO PISA
Versión on line de PIAAC, Education and Skills on line, modelo de
prueba por medios informáticos.
http://www.starttest.com/templates/StartTest/esol/demo-
launch.htm

52. MÉTODO DE CORRECCIÓN
EECL
 Comparación de las producciones de los alumnos con pruebas de referencia
(exemplars, copies-étalon).
Comparación en relación a dos criterios: comunicación y lenguaje.
Ventaja de este método: Neutraliza en gran medida la subjetividad del
corrector (severidad-benevolencia) ya que los juicios son comparativos y no
absolutos.
Corrección de las tareas de nivel B1-B2Corrección de las tareas de nivel A1-A2
Producción escrita

53. http://www.mecd.gob.es/inee
WEB INEE

54. 1º http://www.mecd.gob.es/inee
2º Ítems liberados de pruebas de evaluación y otros recursos
RECURSOS PARA
EL PROFESORADO
http://www.oecd.org/pisa/test/

55. BOLETINES DE EDUCACIÓN

56. PROGRAMA DE VISITAS

57. Síguenos en Twitter:
@educaINEE
@sanz_ismael
@dcerverao
En nuestro blog:
http://blog.educalab.es/inee/
Y en slideshare:
http://www.slideshare.net/INEE_MECD
http://www.mecd.gob.es/inee/
GRACIAS