1. PISA
Resultados y uso de ítems
OECD Septiembre 2013
Guillermo Montt
guillermo.montt@oecd.org

2. Esta presentación
• Objetivo:
– Resaltar que para estudios de medición
educacional la formulación de ítems (su
contribución) es fundamental.
– La calidad del estudio depende de la calidad del
instrumento.
(lo es para estudios internacionales como para estudios nacionales
como para evaluaciones dentro de la escuela)
– Al desarrollar ítems se especifican las
competencias y habilidades que se consideran
necesarias: reflexionamos sobre qué es lo que
esperamos de nuestros alumnos (y de nuestros
docentes)

3. Esta presentación
• ¿Qué es PISA?
– Resultados para España
– Características del estudio
• Cómo se construye PISA
– Construcción participativa
– Proceso cognitivo en la respuesta de ítems
– Tipos de ítems
– Uso de ítems individuales
• Implicancias de PISA en la sala de clases
• PISA para centros educativos

4. ¿Qué es PISA?
• Estudio internacional de medición de rendimiento
educacional en lectura, matemáticas y ciencia
El Gobierno pide un pacto de Estado, tras el fracaso educativo de PISA
09/12/2010 M. MORENO Por último, añaden que «la nefasta política educativa
de los últimos diez años llevada a cabo por la Consejería de Educación nos llevará
a un pozo del que difícilmente podremos salir».«Pisa certifica el fracaso de la Logse y la LOE del Gobierno de
Zapatero»
08/12/2010 C. F. Por qué sube Madrid?—Se debe, principalmente, a la buena
dirección de las políticas de Esperanza Aguirre en materia de educación. Pisa
certifica el fracaso de la Logse y la LOE del Gobierno de Zapatero.
Estancados en la mediocridad
08/12/2010 A.M. SANZ Subimos tres con relación a Pisa 2006 (480), pero
seguimos por debajo de los 485 puntos de 2003. Iniciativa del PPAnte el
estancameinto de la educación española, las reacciones no se han hecho esperar.La educación española continúa por debajo de la media en el informe
PISA
07/12/2010 EFE Esta es una de las principales conclusiones de los resultados de
España en el Informe PISA 2009, que ha sido presentado este martes por el
secretario de Estado de Educación y Formación Profesional, Mario Bedera.

5. ¿Qué es PISA?
• En PISA 2009:
– 75 países
– +500 000 alumnos de 15 años que representan
una población de más de 30 millones de alumnos
– Lectura / Matemáticas / Ciencia
• En España
– Desde el año 2000, cada tres años
– 30 000 alumnos en el 2009
– También en el 2012: resultados en diciembre

6. Resultados PISA 2009: Lectura
300
400
500
600
Shanghai-China
Korea
Finland
HongKong-China
Singapore
Canada
NewZealand
Japan
Australia
Netherlands
Belgium
Norway
Estonia
Switzerland
Poland
Iceland
UnitedStates
Liechtenstein
Sweden
Germany
Ireland
France
ChineseTaipei
Denmark
UnitedKingdom
Hungary
Portugal
Macao-China
Italy
Latvia
Slovenia
Greece
Spain
CzechRepublic
SlovakRepublic
Croatia
Israel
Luxembourg
Austria
Lithuania
Turkey
Dubai(UAE)
RussianFederation
Chile
CostaRica
Serbia
Bulgaria
Uruguay
Mexico
Romania
Miranda
Thailand
TrinidadandTobago
Colombia
Brazil
Montenegro
Jordan
Tunisia
Indonesia
Argentina
Kazakhstan
Albania
Qatar
Panama
Peru
Azerbaijan
Kyrgyzstan
Promedio OCDE: 493
20% de los alumnos españoles
no superan las competencias
básicas en lectura
3% de los alumnos españoles
superan las competencias más
altas en lectura

7. Tendencia en lectura: 2000-2009
-50
-40
-30
-20
-10
0
10
20
30
40
50
60
Peru
Chile
Albania
Indonesia
Latvia
Israel
Poland
Portugal
Liechtenstein
Brazil
Korea
Hungary
Germany
Greece
HongKong-China
Switzerland
Mexico
Belgium
Bulgaria
Italy
Denmark
Norway
RussianFederation
Japan
Romania
UnitedStates
Iceland
NewZealand
France
Thailand
Canada
Finland
Spain
Australia
CzechRepublic
Sweden
Argentina
Ireland
Aumento en lectura es
estadísticamente significativo
Disminución en lectura es
estadísticamente significativa

8. Tendencia en lectura: España 2000-09
200
250
300
350
400
450
500
550
600
650
700
2000 2003 2006 2009
Percentil 10
Percentil 25
Percentil 75
Percentil 90
Promedio
Percentil 90: 588
puntos
Percentil 10: 364
puntos

9. Tendencia en lectura: España y Portugal 2000-
09
España Portugal
200
250
300
350
400
450
500
550
600
650
700
2000 2003 2006 2009 2000 2003 2006 2009
Percentil 10
Percentil 25
Percentil 75
Percentil 90
Promedio

10. Resultados PISA 2009: Matemáticas
300
400
500
600
Shanghai-China
Singapore
HongKong-China
Korea
ChineseTaipei
Finland
Liechtenstein
Switzerland
Japan
Canada
Netherlands
Macao-China
NewZealand
Belgium
Australia
Germany
Estonia
Iceland
Denmark
Slovenia
Norway
France
SlovakRepublic
Austria
Poland
Sweden
CzechRepublic
UnitedKingdom
Hungary
Luxembourg
UnitedStates
Ireland
Portugal
Spain
Italy
Latvia
Lithuania
RussianFederation
Greece
Croatia
Dubai(UAE)
Israel
Turkey
Serbia
Azerbaijan
Bulgaria
Romania
Uruguay
Chile
Thailand
Mexico
TrinidadandTobago
CostaRica
Kazakhstan
Montenegro
Miranda
Argentina
Jordan
Brazil
Colombia
Albania
Tunisia
Indonesia
Qatar
Peru
Panama
Kyrgyzstan
Promedio OCDE: 496
24% de los alumnos españoles
no superan las competencias
básicas en matemáticas
8% de los alumnos españoles
superan las competencias más
altas en matemáticas

11. Resultados PISA 2009: Matemáticas
400
450
500
550
600
CastileandLeon
Navarre
BasqueCountry
Aragon
LaRioja
Madrid
Catalonia
Cantabria
Asturias
Galicia
Murcia
BalearicIslands
Andalusia
CanaryIslands
CeutaandMelilla
Promedio OCDE: 496

12. Resultados PISA 2009: Ciencias
300
400
500
600
Shanghai-China
Finland
HongKong-China
Singapore
Japan
Korea
NewZealand
Canada
Estonia
Australia
Netherlands
ChineseTaipei
Germany
Liechtenstein
Switzerland
UnitedKingdom
Slovenia
Macao-China
Poland
Ireland
Belgium
Hungary
UnitedStates
CzechRepublic
Norway
Denmark
France
Iceland
Sweden
Austria
Latvia
Portugal
Lithuania
SlovakRepublic
Italy
Spain
Croatia
Luxembourg
RussianFederation
Greece
Dubai(UAE)
Israel
Turkey
Chile
Serbia
Bulgaria
CostaRica
Romania
Uruguay
Thailand
Miranda
Mexico
Jordan
TrinidadandTobago
Brazil
Colombia
Montenegro
Argentina
Tunisia
Kazakhstan
Albania
Indonesia
Qatar
Panama
Azerbaijan
Peru
Kyrgyzstan
Promedio OCDE: 501
18% de los alumnos españoles
no superan las competencias
básicas en ciencias
4% de los alumnos españoles
superan las competencias más
altas en ciencias

13. Dimensiones de equidad en PISA
300
400
500
600
700
800
-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5
300
400
500
600
700
800
-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5
Mayor predictibilidad del nivel socio económico en el rendimiento
Menor equidad Mayor equidad

14. Predictibilidad del NSE y rendimiento a nivel
país
Iceland
Japan
Argentina
Thailand
Peru
Russian Federation
Italy
Norway
Lithuania
Colombia
Liechtenstein
Macao-China
Netherlands
Bulgaria
Germany
Switzerland
Dubai (UAE)
Belgium
United Kingdom
Romania
Denmark
Singapore
Sweden
Albania
Latvia
Brazil
Croatia
Israel
Kazakhstan
Panama
Montenegro
Finland
Luxembourg
AustriaTurkey
Kyrgyzstan
Uruguay
ChineseTaipei
Canada
Poland
Portugal
Spain
Mexico
Greece
Hungary
Korea
Czech Republic
SlovakRepublic
Hong Kong-China
Tunisia
Estonia
Jordan
Qatar
Ireland
Chile
United States
Azerbaijan
France
New Zealand
Indonesia
Shanghai-China
Serbia
Slovenia
Trinidad and Tobago
Australia
Miranda Costa Rica
300
350
400
450
500
550
600
051015202530
Porcentaje de la varianza en el rendimiento en lectura explicado por el nivel socioeconómico
(r-cuadrado x 100)
Promedio
OCDE
Promedio
OCDE
Rendimiento bajo el promedio
Rendimiento por sobre el promedio
Predictibilidad por debajo del promedio
En España, el 14% de la
varianza en lectura se
explica por el NSE
Menor equidad Mayor equidad

15. 200
493
-3 -2 -1 0 1 2 3
Puntaje lectura
700
Escuela privada o subvencionada
Escuela pública rural
Escuela pública urbana
A nivel de escuelas: España

16. Diversidad social dentro de la escuela
0
10
20
30
40
50
60
70
80
90
100
Chile
Thailand
Peru
Miranda
Hungary
Mexico
Panama
Bulgaria
Argentina
Uruguay
Colombia
CostaRica
Indonesia
Dubai(UAE)
Turkey
Brazil
Macao-China
Romania
Shanghai-China
Tunisia
Albania
Greece
Austria
Belgium
HongKong-China
Qatar
UnitedStates
RussianFederation
Kazakhstan
Azerbaijan
Kyrgyzstan
Portugal
Luxembourg
Poland
Lithuania
Italy
Korea
Slovenia
CzechRepublic
Latvia
Germany
Netherlands
Australia
Jordan
Serbia
SlovakRepublic
Ireland
Israel
Spain
Montenegro
Croatia
TrinidadandTobago
Japan
NewZealand
ChineseTaipei
Estonia
UnitedKingdom
Singapore
Canada
Iceland
Denmark
Switzerland
Sweden
Liechtenstein
Finland
Norway
En España los índices de
diversidad social son
buenos: en la escuela los
niños en desventaja
social tienden a
compartir espacio con
sus pares aventajados
Muchos países con alto rendimiento en PISA
son países con alta diversidad social: la
inclusión social y el alto rendimiento no son
objetivos contrapuestos

17. Diferencias por estatus migratorio
(rendimiento no-migrantes - migrantes)
-20
0
20
40
60
80
100
Austria
Belgium
Sweden
Denmark
France
Spain
Greece
Germany
Luxembourg
Norway
Switzerland
Slovenia
Netherlands
OECDaverage
Estonia
Liechtenstein
Ireland
RussianFederation
UnitedKingdom
UnitedStates
Croatia
NewZealand
Canada
HongKong-China
Israel
Singapore
Kazakhstan
Montenegro
Macao-China
Australia
Jordan
Serbia
En España los alumnos
con origen extranjero
tienen casi 60 puntos
menos en lectura; son
casi el 10% de la
población (en el 2000
eran solo el 2%)
En la mayoría de los
países los migrantes
tienen peor rendimiento
en lectura que los niños

18. Lecciones de PISA para España
• La repitencia escolar (35%) atenta contra el rendimiento y la equidad
• Que el uso de evaluaciones, exámenes, libertad de elección favorezcan
mejoren la calidad dependen de cómo se implementan estas políticas
(por sí solas ellas no traen beneficio alguno)
• La inyección de recursos no es tan importante como el dónde se
destinan estos recursos
– Calidad docente, calidad de directivos
• Los mejores sistemas escolares
– Atraen los mejores alumnos a la profesión docente y les entregan una
preparación rigurosa y de alta calidad
– Convencimiento que todos los alumnos pueden rendir: no diferencian a sus
alumnos a temprana edad, apoyo constante a aquellos que quedan atrás
– Coherencia entre políticas y programas en educación con todos los actores
relevantes alineados en torno a estas políticas

19. ¿Cómo llegamos a estos resultados?
• Programme for International Student
Assessment
– Evaluación del aprendizaje acumulado de alumnos (no de
la educación secundaria)
– Dirigido a alumnos al final de lo que para muchos países
representa la educación básica/obligatoria (15 años)
– 2 horas de evaluación + 30 minutos para el cuestionario
• Colaboración entre la OCDE y los países
participantes
• Primer estudio: 2000 y luego cada tres años
– España a participado desde el primer estudio, con
resultados a nivel de comunidades

20. ¿Qué mide PISA?
• PISA mide las competencias de alumnos
para identificar, reorganizar y aplicar sus
conocimientos en distintos contextos
– No es una evaluación de la reproducción de contenidos

21. ¿Cómo se construye PISA?
1. Marco teórico (framework)
2. Desarrollo de preguntas /ítems
3. Traducción
4. Pilotaje de preguntas
5. Selección de preguntas para el estudio
principal
(en paralelo, desarrollo de cuestionarios contextuales para
alumnos y directores)

22. Marco teórico de PISA
• Tres marcos: matemáticas, lectura y
ciencia
– Define el dominio (y sub-dominios)
• En matemáticas:
– Delimita lo que puede medir la evaluación
– Especifica la estructura de la prueba
Contenido Procesos
Cantidades Formulación
Incertidumbre y datos Uso
Cambio y relaciones Interpretación
Espacio y figuras
Desarrollado en consulta constante con un conjunto de
expertos internacionales en la materia
Marco es evaluado y adaptado cada nueve años

23. Desarrollo de ítems: Proceso cognitivo
El mundo real El mundo de las matemáticas
Una situación real
Un modelo de la realidad Un modelo matemático
Resultados reales
Comprensión de la
situación, estructuración y
simplificación
Transformación del problema para
ser abordado con matemáticas
Interpretación de los
resultados matemáticos
Utilización de
herramientas
matemáticas para
resolver el
problema
Validación de los
resultados Resultados de la operación
(matemáticos)

24. Desarrollo de ítems: Estructura y tipos
• Estructura:
– Estímulo (entrega el contexto a las preguntas)
– Pregunta
– Guía de respuesta

25. Desarrollo de ítems: Estructura y tipos
Estímulo
3 preguntas
de opción
múltple

26. Desarrollo de ítems: Estructura y tipos
• Estructura:
– Estímulo (entrega el contexto a las preguntas)
– Pregunta
– Guía de respuesta
• Tipos de ítems:
– Cerrada: opción múltiple (A / B / C / E)
– Cerrada: opción múltiple compleja (I / II /
III)
– Abiertas

27. Desarrollo de ítems: Estructura y tipos

28. Desarrollo de ítems: proceso
1. Primeras ideas (tres años antes)
1. Equipo de desarrolladores profesionales
2. Sugerencias de países
2. Revisión de desarrolladores
3. Paneles de estudiantes
1. Entrevistas individuales y grupales, ―en voz alta‖
4. 2a Revisión de desarrolladores
5. Pilotaje local
6. Panel internacional
7. Pilotaje internacional
8. Revisión final

29. ¿Uso de preguntas individuales?
• Ítems miden no solo los contenidos de la
materia que quieren medir
• Distintos tipos de preguntas miden
distintos tipos de habilidades
– Estudiantes japoneses tienen más dificultad
con preguntas abiertas que de opción múltiple
• Mejoras observadas en PISA en Japón son
justamente en estas dimensiones
– Mujeres tienden a tener menor dificultad en
preguntas abiertas

30. ¿Uso de preguntas individuales?
• Predictibilidad a largo plazo: ¿qué tipos de ítems
están mejor relacionados con resultados a largo
plazo (estudios universitarios, empleo, etc.)
– Preguntas que requieren de alumnos la capacidad de
comprender e interpretar información que aparece en
un contexto o formato no familiar
• En matemáticas:
• Conocimiento, comprensión y aplicación de estadísticas
• Preguntas relacionadas con tasas, proporciones y porcentajes
– Preguntas que requieren que los alumnos piensen la
solución en varios momentos del proceso
(reverse/flexible thinking)

31. Implicancias en la sala de clases
• Las habilidades que mide PISA no son la repetición de
formulas y materias, sino la aplicación del conocimiento a
situaciones reales
• Esto implica, en la sala de clases:
– Enseñanza más interactiva: discutir problemas en su solución y
sus implicancias
– Reducir la repetición: desincentiva la aplicación de conceptos y
la independencia en resolución de problemas
– Utilizar ejercicios con contextos del mundo real
– Promover el aprendizaje de matemáticas a través de la solución
de problemas
– Utilizar el lenguaje en todas las materias: en la vida real los
problemas científicos, matemáticos y demases están inmersos en
el lenguaje y requieren habilidades lingüísticas

32. PISA para centros educativos
• Desde este año estará disponible una
evaluación para escuelas basada en PISA
que cada escuela en el mundo puede
implementar libremente

33. PISA para centros educativos
• Herramienta de apoyo a los esfuerzos de
centros educativos, redes de escuelas y
educadores locales por realizar
comparaciones internacionales
(―benchmarking‖) para mejorar
• Brindar los resultados y el análisis
comparativo sobre las competencias, los
conocimientos, la actitud y la
disposición de los alumnos hacia el
aprendizaje
…parte de un proceso local de
reflexión, discusión y transformación

34. PISA para centros educativos
Sí es...
• Una herramienta en apoyo a los
procesos de ―benchmarking‖
• Una herramienta que brinda
información útil a los centros
educativos - y comparables a las
escalas PISA
• Una herramienta que ayude a
vincular los centros educativos y los
educadores con las discusiones de
políticas educativas
• Una herramienta a disposición de
las autoridades educativas para su
uso apropiado…
No pretende…
• Ser una prueba estandarizada
obligatoria
• Ser una prueba que influya – por sí
misma - en las practicas docentes
cotidianas
• Ser una alternativa a la prueba PISA
nacional o regional
• Ser una prueba que este alineada
completamente con los contenidos o
los estándares de un país en
especifico, si bien hay coincidencias
• Ser una herramienta meramente para
los rankings

35. I. Introducción: Cómo interpretar los resultados de su
escuela en la prueba PISA for Schools
II. Resultados: Lo que los alumnos de su escuela conocen y
saben hacer en Lectura, Matemáticas y Ciencias
III. El clima de aprendizaje en su centro escolar y la disposición
de los alumnos hacia el aprendizaje
IV. Comparaciones de su centro educativo con otros centros en
su país
V. Comparaciones internacionales: Los resultados de su
escuela en un contexto internacional
PISA para centros educativos

36. Esta presentación
• Objetivo:
– Resaltar que para estudios de medición educacional la
formulación de ítems (su contribución) es
fundamental.
– La calidad del estudio depende de la calidad del
instrumento.
(lo es para estudios internacionales como para estudios nacionales como
para evaluaciones dentro de la escuela)
– Al desarrollar ítems se especifican las competencias y
habilidades que se consideran necesarias:
reflexionamos sobre qué es lo que esperamos de
nuestros alumnos (y de nuestros docentes)

37. Más información
• PISA ( http://www.oecd.org/pisa/ )
– ―Take the Test‖ / Banco de preguntas
– Informe técnico
– Marco teórico 2012
– Resultados 2009
– Resultados 2012: 3 de diciembre, 2013
• PISA para centros educativos