El monitoreo de los resultados de aprendizaje. Desafíos y oportunidades en la Agenda 2030.

UNESCOInstituteforStatistics
El Monitoreo de
los Resultados de Aprendizaje
Desafíos y Oportunidades en la
Agenda 2030
Silvia Montoya, PhD
Instituto de Evaluación, INEE
Madrid, España
3 de Julio, 2015

Índice
 El contexto político: Objetivos de Desarrollo
Sostenible (ODS) y la agenda post-2015
 ¿Qué sabemos sobre evaluaciones nacionales
de aprendizaje?
 ¿Qué sabemos sobre la economía política de
las evaluaciones?
 El monitoreo de los resultados de aprendizaje
en los ODS
 Próximos pasos 2

El IEU y el monitoreo de los
acuerdos internacionales
 Rol clave en el monitoreo de Educación Para Todos y
de los Objetivos de Desarrollo del Milenio
 El desafío para la agenda de desarrollo post-2015: los
Objetivos de Desarrollo ODS:
 Equidad, pobreza
 Incluyen más objetivos, metas e indicadores
 Nuevas áreas
3

La agenda post-2015: los
Objetivos de Desarrollo Sostenible
 La agenda post-2015 reconoce de manera explícita
la pobreza, la inequidad, la seguridad alimentaria, la
sustentabilidad del medio ambiente y la
universalidad de los derechos humanos
 El desarrollo sostenible requiere información
sostenible
 Se necesita más información a nivel local para
contribuir con planeamiento e inversión
estratégicos, monitoreo y rendición de cuentas
 Cambio de paradigma: estadísticas nacionales sobre
desarrollo deben estar basadas en datos
subnacionales desagregados
4

La agenda post-2015: Complejidades
en la era del big data
Información
inconsistente,
poco efectiva y
no interpretada
para la política
pública
Riesgo de
infobesidad:
información en
demasía,
dispersa y de
mala calidad
Medir
competencias
complejas de
una manera
estandarizada y
útil
Los hacedores
de política no
utilizan la
información
5

La agenda post-2015: Desafíos
 Problemas diversos:
 Falta de uso de información para diseñar,
implementar y evaluar políticas
 Poco entendimiento de la información y su
utilización
 Falta de infraestructura y habilidad de equipos
técnicos dificulta que haya unidades de estadística
sustentables
6

El alcance de los objetivos educativos
de los ODS
0-5 6-14 15-24 25+ Edades
Objetivo 4.3
Objetivo 4.6
Objetivo 4.4
Objetivo 4.2
Objetivo 4.5 EquidadTransversal
Medios de implementación Objetivos 4.8, 4.9 y 4.104.8,
4.9, 4.10
Objetivo 4.1
Objetivo 4.7

Contexto – niveles de aprendizaje
 Preocupación creciente acerca de bajos niveles de
aprendizajes (a pesar de incrementar el acceso)
 Heterogeneidad en el uso de evaluaciones como
herramientas de planeamiento y monitoreo
 Escepticismo acerca del rigor técnico de ciertos
enfoques o requerimientos evaluativos de manera que
que
 Hay países con sus propias mediciones de aprendizaje
 Otras mediciones diferentes al conocimiento podrían ser
importantes
8

Índice
 El contexto político: ODS y la agenda post-2015
de aprendizaje?
 ¿Qué sabemos sobre la economía política de las
evaluaciones?
en los ODS
 Próximos pasos
9

Algunos países no cuentan con
evaluaciones
0
20406080
100
0 2 4 6 8 10
Number of Evaluations
Source: UIS based on UIS, GMR and WDI databases
10

Y algunas asignaturas son más
evaluadas que otras0
.1.2.3.4.5
Literacy Writing
Reading Language
Math Sciences
Social Studies Civc Studies
Source: UIS based on UIS, GMR and WDR databases.
11

UNESCOInstituteforStatistics Evaluaciones en los dos ciclos de
educación básica más frecuente en
en países desarrollados
0 .2 .4 .6 .8 1
Upper middle income
Lower middle income
Low income
High income: nonOECD
High income: OECD
Primay High School
Both Levels International
Source: UIS based on UIS, GRM, and WDI databases.
12

Transformado en un Índice de
Resultados de Aprendizaje…
0
204060
0 1 2 3 4
Learning Outomces Index
Source. UIS based on UIS, GMR and WDI databases. 13

…la correlación con niveles de
ingreso per cápita no es tan elevada
0
50000
100000150000
0 1 2 3 4
Learning Outomces Index
Source: UIS based on UIS, GMR and WDR Databases
14

El índice muestra variación entre
las regiones
15
0 5 10 15 20 25 0 5 10 15 20 25
0 5 10 15 20 25
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
4
3
2
1
0
East Asia & Pacific Europe & Central Asia Latin America & Caribbean
Middle East & North Africa North America South Asia
Sub-Saharan Africa
frequency
Graphs by Region

Pero no conocemos las características
 Información detallada sobre la evaluación:
 Propósito
 Alcance
 Actores principales interesados
 Diseño de la evaluación
 Cobertura
 Reporte y uso de los resultados
 Con la excepción de algunas fuentes con:
 Información detallada sobre la cultura de evaluación en
países
 Ciertos reportes en catálogo dle IEU, Saber, OCDE y otros
esfuerzos

Catalogo de cobertura a fines de 2015
Datos online
Datos a recolectar en 2015

Primeras estadísticas del catálogo de
datos
 La mayoría de las evaluaciones tienen como objetivo tanto
escuelas estatales como privadas
 Los 3 exámenes nacionales (Zimbawe y Brunei Darussalam) y
10 evaluaciones (Botswana, Cambodia, Myanmar y Vietnam)
no incluyen a las escuelas privadas.
0
2
4
6
8
10
12
1 2 3 4 5 6 7 8 9 10 11
Assessment Examination
 Las evaluaciones
nacionales son en su
mayoría en el nivel
primario
 Exámenes al final de los
ciclos

La mayoría de las evaluaciones son
administradas de manera regular
Cicle de administración Porcentaje
Cada año 37,0 %
Cada 2 años 25,9 %
Cada 3 años 25,9 %
Cada 4 años 3,7 %
Cada 5 años 3,7 %
Variable 3,7 %
Total 100 %

Índice
de aprendizaje?
evaluaciones?
en los ODS
 Próximos pasos
20

Lo que sí conocemos. La economía política de
las evaluaciones internacionales
 La psicometría importa, pero...
 El muestreo, la administración y la logística son
fuentes de error y sesgo más importantes
 Hay necesidad para asegurar la calidad de los
aspectos
 Los resultados son políticamente sensibles y difíciles de
manejar: la complacencia no puede ser el camino de
países en vías de desarrollo
 No se trata solo de métodos, se trata de política
educativa

También sabemos que es un asunto donde
queda mucho por hacer
 Incorporar actores clave
 Comunicación
 Respetar el ciclo de vida de la información
 Diseño conceptual y metodológico
 Recolección de información
 Procesamiento de datos y control cruzado
 Diseminación de la información

Y es necesario pasar hacia una política y
práctica educativa basada en la información
 Alimentar decisiones sobre política y gestión
educativa
 Modificar comportamientos donde hay desafíos
 La mayoría del tiempo tenemos problemas invisibles cuyos efectos se
manifiestan años después
 La mejora de resultados de aprendizaje depende de factores y actores
múltiples que no participan de la discusión
 Maneras diferentes de trabajar para modificar
comportamiento:
 Deberías hacer X (versión A): regulaciones y castigos
 Deberías hacer X (versión B): incentivos
 Cambios sistémico y cultural donde X es “¿Qué hacemos?”

La pieza que falta en el planeamiento
educativo: el uso de los datos
24
https://www.youtube.com/watch?v=VRWw4JjNNAg

Diseminación de la información: ¿Por qué es
importante para la mejora?
Ciudad de Buenos Aires 2012-2014

Cambios en las herramientas de recolección
de la información: carga online de matrícula

Website institucional:
observatorio de datos

Boletines por escuela

Portal Tu Escuela:
Gestión escolar

Mejorá tu escuela con Astor

UNESCOInstituteforStatistics Mejora con acompañamiento:
Astor ayuda a entender y simular resultados
www.mejoratuescuela.com.ar

App del IECEP

Practicá con Astor

Un sitio dedicado a los padres
https://www.youtube.com/watch?v=4ThHopW5Zx4

Inversión por escuela: datos sobre
estructura de costos

Índice
de aprendizaje?
evaluaciones?
en los ODS
 Próximos pasos
36

UNESCOInstituteforStatistics Propuestas de indicadores para
objetivos mundiales en educación
 Porcentaje de niños que logran mínimos
estándares de competencia en lectura y
matemática al final de: i) primaria y ii)
secundaria básica
 Porcentaje de jóvenes/adultos
competentes en habilidades de lectura y
matemática
 Índices de paridad (mujer/varón,
urbano/rural, primer/último quinto de
ingreso) para todos los indicadorees que
pueden ser desgregados
Criterios clave
Relevancia: refleja los temas
de política más críticos en
cuanto a metas
Alineamiento: el constructo
a medir debe ser válido y
fiable y tener el mismo
significado en todos los
contextos
Comparabilidad: la
información es recolectada
de manera regular
Comunicabilidad: el
indicador es entendido de
manera sencilla y permite
una narración clara respecto
del progreso hacia las metas

UNESCOInstituteforStatistics Niveles propuestos de monitoreo
(UNSG*)
*UN Secretary General’s Synthesis Report, Dicembre 2014
Nacional
Relación con el plan nacional;
consulta a actores clave del
ámbito nacional; reconocimiento
del contexto y búsqueda de
inclusión y nuevos objetivos de
aprendizaje
Global Focos en indicadores de comparación
global basados en criterios claros (10-15
indicadores)
Temático Conjunto más amplio de indicadores que
cubren diferentes prioridades sectoriales
(42 indicadores)
Regional Indicadores para monitorear
marcos validades por las regiones
(AU Education decades, EU2020)

Foco en temas de calidad y equidad
reflejados en los indicadores globales
 Calidad
 Se debería hacer foco en un conjunto pequeño de
medidas de resultados
 Debería tener medidas directas de aprendizaje y
habilidades
 Otras medidas de calidad también deben considerarse
 Equidad
 Desagregar, cuando es posible, indicadores para
fortalecer cuestiones en equidad de género
 Asegurar que la desventaja múltiple es capturada
 Asegurar que grupos y contextos desfavorecidos
difíciles de medir tengan atención especial

Monitoreo: “las” opciones
 Definir puntos de referencia e indicadores basados en
estándares nacionales (derivados de evaluaciones
nacionales)
 Desarrollar mecanismos globales para medir y
enmarcar los indicadores en un punto del tiempo (por
ejemplo, “fotos” en diferentes grados o edades
basados en los instrumentos actuales)
 Indicadores derivados de una escala validada de
manera empírica
40

A favor de un enfoque… En contra de un enfoque…
41
… basado en “fotos” en grados o niveles educativos específicos
Tiene el potencial de proveer la
información más válida y fiable en un
marco de tiempo realista (ej: equidad en
resultados de aprendizaje
Foco en un número limitado de grado que
podrían implicar recursos dicionales para esos
grados
Se apoya y construye sobre evaluaciones
existentes
Podría requerir el desarrollo de instrumentos
de evaluación específicos
Se pueden prever los costos de una
manera fiable
Instrumentos/definiciones diferentes usados
para cada uno de los niveles educativos a
monitorear
Las implicancias para los países
(financieras, logísticas) pueden ser
reltivamente bien definidas o explicadas
Podría ser costos si solo es una “solución
intermedia”
Fortalece la colaboración entre diferentes
organizaciones de evaluación
Necesita apoyarse en una métrica exitente
por lo cual la negociación política puede ser
compleja

A favor de un enfoque… Against an approach that …
42
… que resulte en el monitoreo de indicadores derivados de una escala
validada empíricamente
La ventaja de la escala es que no es
un instrumento pero “solo” una
escala en la que todos pueden
participar
Se requiere mucho tiempo y recursos. Hay
implicancias técnicas, políticas y financieras
relacionadas
Establecer las bases para la
información comparable y de alta
calidad que los gobiernos pueden
utilizar para mejorar los resultados
de aprendizaje de sus niños mientras
establecen puntos de referencia para
el progreso
Los niveles de competencia lectora podrían variar
entre países y el progreso podría no ser lineal. Es
difícil pero no imposible adaptar competencias de
lectura de base en todos los idiomas
En la ausencia de información más completa
sobre trayectorias de aprendizaje en varios países,
parece limitado en su habilidad para medir
aprendizaje de manera correcta
Necesita de mucha más investigación
Las implicancias para los países (financieras, de
logística) no están definidar de manera clara. La
participación es “opcional”

Objetivos
finales
Qué camino seguir ?
1.Reportesobreprogresosenresultadosdeaprendizaje
hacielosobjetivoseducativos2030
2.Lospaísesusanlasevaluacionesparamejorarel
aprendizaje
Para lograrlo, es necesario elegir un camino
que sea…
Técnicamente
robusto
Proporcione
resultados en
el tiempo
necesario
Enfoque sostenible
Responda a
las
demandas
nacionales
Simple de
comunicar
Responda a las
demandas de
la comunidad
internacional
Sensible a la
economía
politica

En el mismo camino, a diferentes
velocidades
 Muchas preguntas a responder
 Algunas más simples que otras
 Debate sobre la cuestión temporal (¿restringir a ciertos
aspectos en el corto plazo mientras de intenta desarrollar en
paralelo una escala global de aprendizaje?)
 Definir el alcance
 Dominios: ¿con qué dominios de aprendizaje comenzar?
 ¿Debería ser una escala evolutiva?
 Población objetivo
 Cobertura geográfica 44

¿Qué se requiere?
 Herramientas de medición que provean información
sobre resultados
 Evaluaciones usadas para establecer líneas de base y,
aún más imprtante, retroalimentación
 Saber que la medición regular es necesaria
 Foco en resultados bien definidos y puntos de
referencias
 Conocimiento sobre la relevancia de mediciones para los
diferentes actores
 Capacidad para la acción
 Recursos y políticas consistentes para lograr los objetivos

Dosobjetivos
Con independencia del camino elegido, se debe trabajar
sobre…
Trabajar con
otros actores
Definir la visión
Promover la
transparencia
Ser efectivos
Llevar a cabo
consultas formales
Sostener una comunidad
global de las prácticas

Índice
• El contexto político: ODS y la agenda post-2015
• ¿Qué sabemos sobre evaluaciones nacionales
de aprendizaje?
• ¿Qué sabemos sobre la economía política de las
evaluaciones?
• El monitoreo de los resultados de aprendizaje
en los ODS
• Próximos pasos 47

Próximos pasos: consultas formales a los
países
 Cuestiones políticas
 Percepción de una escala universal para lectura y
habilidades numéricas
 Expectativas sobe el impacto de indicadores de aprendizaje
y usabilidad en el ámbito nacional
 Deseo de colaborar con diferentes actores en el ámbito
nacional
 Cuestiones técnicas
 Enfoques para desarrollar los indicadores
 Robustez de los métodos propuestos
 Implicancias financieras 48

Próximos pasos – el Technical Advisory
Group (TAG-Grupo de trabajo) extendido
Fecha objetivo Actividad Propósito
Presente Proceso de consulta
regional
Obtener miradas regionales sobre la
propuesta existente antes de la primera
reunión en persona
16-17 Julio Primera reunión en
persona
Presentar las posiciones regionales y definir
próximos pasos
Julio-Septiembre Reuniones virtuales, si
es necesario
Obtener miradas regionales adicionales sobre
la propuesta existente
24-25/28-29 Sept. Segunda reunión en
persona
Presentar propuesta que contemple las
posiciones regionales
Eventos
relacionados
1-2 Octubre Comité de EPT Revisar Marco para la Acción
6 Noviembre Reunión de altos
cargos de UNESCO
Adoptar el Marco para la Acción
Fin de noviembre Decha límite para
insumos para UNSC
IAEG-ODS provee borrador del marco de
indicadores
49

Próximo pasos: procesos de ONU
relacionados con indicadores
• Primera reunión de la Inter-Agency and Expert
Group sobre indicadores de ODS (Junio)
• Reunión entre gobiernos sobre objetivos y metas
(Junio-Julio)
• Asamblea General de la ONU para establer
objetivos y asoptar metas (Septiembre)
• 47a Comisión de Estadísticas de la ONU para
considerar le nuevo marco de indicadores (Marzo
2016)
• Marco enviado al ECOSOC para adopción final
(Julio 2016)

Monitoreo global: foco en los usuarios
de información no en los productores
 Generar conciencia sobre los bajos niveles de aprendizaje
de los niños
 Construir apoyo acerca de la relevancia de utilizar
herramientas de medición robustas
 Proveer evidencia para desarrollar enfoques con
objetivos para mejores prácticas en el aula y en la
escuela
 Generar una comunidad global de prácticas
 Definir indicadores para monitorear el progreso en los
resultados de aprendizaje hacia los objetivos educativos
de 2030 51

Una reflexión final...
 Edwards Deming dijo que “Existimos para construir
otro mundo”.
 Sistemas de información y medidas son importantes
 Pero lo intangible es lo más relevante la mayoría de las veces
 Combinación de ambos: sistema efectivo de recolección de
información con entendimiento sobre el poder de lo
intangible producirán el cambio deseado.
 Lo intangibles es el liderazgo de la comunidad internacional,
líderes políticas, directores de escuelas, docentes y padres
para producir cambios en los resultados de aprendizaje
52

53

¡Gracias!
Silvia Montoya
Directora, Instituto de Estadísticas de la UNESCO
s.montoya@unesco.org
@montoya_sil
@UNESCOstat
54

El monitoreo de los resultados de aprendizaje. Desafíos y oportunidades en la Agenda 2030.

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a El monitoreo de los resultados de aprendizaje. Desafíos y oportunidades en la Agenda 2030.

Similar a El monitoreo de los resultados de aprendizaje. Desafíos y oportunidades en la Agenda 2030. (20)

Más de Instituto Nacional de Evaluación Educativa

Más de Instituto Nacional de Evaluación Educativa (15)

Último

Último (20)

El monitoreo de los resultados de aprendizaje. Desafíos y oportunidades en la Agenda 2030.