1. La evaluación de competencias en
Educación Superior
Margarita Peña Borrero
Directora General del ICFES
Foro Educativo Nacional
“Educación de calidad camino para la prosperidad”
Bogotá, noviembre 10 de 2011

2. Antecedentes
 Ley 1324 de 2009 transformó al ICFES en el
Instituto Colombiano para la Evalaución de la
Educación
 Bajo su responsabilidad está el diseño y
administración de dos exámenes de Estado:
― Educación Media – SABER 11
― Educación Superior – SABER PRO
 Ambos exámenes ofrecen oportunidades muy
significativas para evaluar la calidad de la
educación superior desde la perspectiva del
aprendizaje

3. SISTEMA DE CALIDAD DE LA EDUCACION SUPERIOR
INFORMACIÓN EVALUACIÓN EXTERNA DE PROGRAMAS E APOYO
INSTITUCIONES
Fortalecimiento
institucional
SNIES CNA
Consejo Nacional de Acreditación CERES
(Programas, Institutciones)
Nuevas
Observatorio Laboral Acreditación de Alta Calidad tecnologías
CALIDAD
Asesoría para
planes de
SPADIES CONACES mejoramiento
Comisión Nacional de
Aseguramiento de la Calidad de la Programas
Educación Superior técnicos y
SABER 11º Y PRO tecnológicos
Registro Calificado: requerimientos
mínimos de calidad

4.  Los resultados de los exámenes de Estado son
una medida del logro educativo en un
momento dado
 Combinados, permiten una estimación del
cambio del logro en el tiempo (aprendizaje) y
del valor agregado de las instituciones
educativas.

5. Las expectativas
 La evaluación de aprendizajes en educación
superior es muy amplia, y es necesario acotarla
de algún modo, de acuerdo con propósitos
establecidos:
 Estudios recientes coinciden en ir más allá de la
simple evaluación de conocimientos:
― Conocimiento y razonamiento en las disciplinas
(específico)
― Habilidades de pensamiento de alto nivel
(genéricas): razonamiento crítico, toma de
decisiones, comunicación, solución de problemas…
Shavelson, R.J. (2011). Measuring college learning
responsibly : accountability in a new era

6. Las expectativas
 Un solo tipo de medición es insuficiente: se
requiere un balance entre evaluaciones
externas, “estandarizadas” (para efectos de
comparación) y mediciones internas (para
efectos de mejoramiento)
 La perspectiva del ICFES es la de las
evaluaciones estandarizadas

7. Propósitos de SABER PRO
Decreto 3963 de 2009
 Servir de fuente de información para la construcción de indicadores de
evaluación de la calidad de los programas e instituciones de educación
superior y del servicio público educativo, que soporten la cualificación de
los procesos institucionales, la formulación de políticas y el proceso de
toma de decisiones en todos los órdenes y componentes del sistema
educativo.
 Comprobar el grado de desarrollo de las competencias de los estudiantes
próximos a culminar los programas que ofrecen las instituciones de
educación superior de tal manera que sirva como insumo para el
mejoramiento continuo.
 Producir indicadores de valor agregado de la educación superior en
relación con el nivel de competencias de quienes ingresan a este nivel.

8. Qué se evalúa
Decreto 3963 de 2009
 Las competencias de los estudiantes que están próximos a culminar los
distintos programas de pregrado, en la medida en que puedan ser valoradas
con exámenes externos de carácter masivo, incluyendo aquellas genéricas
que son necesarias para el adecuado desempeño profesional o académico
independientemente del programa que hayan cursado.
 Las competencias específicas serán definidas por el MEN con la participación
de la comunidad académica, profesional y del sector productivo, teniendo
en cuenta los elementos disciplinares fundamentales de la formación
superior que son comunes a grupos de programas en una o más áreas del
conocimiento.
 No se excluyen evaluaciones más especializadas, pero ya no como parte del
examen de Estado

9. Competencias del MEN y del ICFES
MINISTERIO DE EDUCACIÓN ICFES
Establece los propósitos de la Diseña y construye las pruebas, las
evaluación, sus efectos y, a través aplica y produce reportes de
de las resoluciones, qué debe resultados (individuales y
evaluarse: agregados):
 Competencias genéricas  Instrumentos (módulos)
 Competencias comunes  Resultados por grupos de
 Competencias específicas referencia
En cooperación con:
 Comunidad académica
 Sector productivo

10. Estructura de los exámenes
 Los exámenes SABER PRO se estructuran por
módulos (componentes combinables ) de
evaluación de dos tipos de competencias:
― Competencias genéricas
― Competencias específicas comunes a grupos de
programas
 Algunos módulos de competencias genéricas se
incorporarán también a SABER 11º para producir
medidas de valor agregado.

11. Módulos de Competencias Genéricas
 Lectura Crítica
 Razonamiento Cuantitativo
 Cultura Ciudadana y Entendimiento del
Entorno
 Redacción
 Inglés
Obligatorios para todos

12. Módulos de Competencias Genéricas
 Lectura Crítica: desempeños asociados a Lectura,
Pensamiento Crítico y Entendimiento Interpersonal
― Leer analítica y reflexivamente
― Comprender los planteamientos expuestos en un
texto e identificar sus perspectivas y juicios de valor
― Identificar y recuperar información presente en uno o
varios textos, construir su sentido global, establecer
relaciones entre enunciados y evaluar intencionalidad
 Se evaluará también en SABER 11º

13. Lectura crítica
NIVEL 1 NIVEL 2 NIVEL 3
Realiza deducciones Realiza deducciones Realiza deducciones
Detección de
válidas sobre las válidas sobre las profundas y
significados y
relaciones explícitas relaciones implícitas convincentes sobre
relaciones
relaciones implícitas y
perspicaces
Líneas principales, Líneas de Líneas de
evidencias e razonamiento, razonamiento,
Identificación y
inconsistencias lógicas inconsistencia lógicas y inconsistencias lógicas
análisis de
básicas otras deficiencias y otras deficiencias
razonamientos
moderadamente sutiles o complejas
complejas
Argumentos Argumentos Evidencias o
relacionados con moderadamente argumentos complejos
Evaluación de criterios establecidos complejos y sutiles
credibilidad y explícitamente relacionados con Generación de criterios
validez de criterios de evaluación ajustados de
argumentos implícitos evaluación según
necesidades

16. Módulos de Competencias Genéricas
 Razonamiento Cuantitativo: desempeños relacionados
con uso lenguaje cuantitativo y solución de problemas
― Comprensión de conceptos básicos de las matemáticas
para analizar, modelar y resolver problemas, aplicando
métodos y procedimientos cuantitativos y esquemáticos
― Interpretación de datos, la formulación de problemas y la
ejecución, evaluación y validación de procedimientos y
estrategias.
 Se evaluará también en SABER 11º

17. Razonamiento cuantitativo
NIVEL 1 NIVEL 2 NIVEL 3
Utiliza información Analiza y clasifica Analiza y clasifica
estructurada de forma información de manera información de manera
Análisis y simple lógica profunda y sistemática
clasificación de Identificar problemas Identifica y hace Identifica e interpreta
información básicos y deducciones deducciones en problemas de
directas problemas de relaciones relaciones complejas
y patrones estándar
Procesa y reorganiza datos Analiza y reorganiza Analiza y sintetiza datos
Procesamiento Identifica relaciones de patrones presentados de complejos
y dos variables manera estándar Realiza generalizaciones
reorganización Identifica relaciones con abstractas con diversas
pocas variables variables
Información estructurada Aísla información clave Aplica estrategias para
de forma simple para resolver problemas solucionar problemas de
Problemas bien definidos de bien definidos que relaciones abstractas y
Aplicación de la
de hasta 2 pasos requieren pocos pasos complejas y varios pasos
información
Evalúa las soluciones a Evalúa las soluciones a y condiciones
esos problemas esos problemas Evalúa las soluciones a
esos problemas
Nivel básico Desempeño adecuado Alto nivel de desempeño
Habilidades en problemas rutinarios, numérico para
numéricas no especializados problemas no rutinarios,
no especializados

20. Módulos de Competencias Genéricas
 Competencias Ciudadanas y Entendimiento del
Entorno (en desarrollo)
― Reconocer y valorar la diversidad cultural y los derechos
individuales y colectivos.
― Entender, en el contexto nacional y global, los grandes
problemas sociales, económicos, políticos y ambientales
contemporáneos.
― Identificar dilemas éticos en situaciones concretas.

21. Módulos de Competencias Genéricas
 Escritura: Comunicar ideas por escrito referidas a un
tema dado. Los escritos se califican teniendo en
cuenta los siguientes criterios:
― Elaboración de la intención y el propósito.
― Claridad de la estructura y la organización.
― Manejo del lenguaje y las convenciones.

22. Módulos de Competencias Genéricas
 Inglés
― Comunicarse efectivamente en inglés.
― Permiten clasificar a los evaluados en cuatro categorías de
desempeño, según las bandas del Marco Común Europeo.
 Se evalúa en SABER 11º.

23. Inglés
B+ Supera el nivel B1
Es capaz de comprender los puntos principales de textos claros y en lengua
estándar que tratan de cuestiones cotidianas
Usuario Sabe desenvolverse en la mayor parte de las situaciones que pueden surgir
independiente durante un viaje
B1
Es capaz de producir textos sencillos y coherentes sobre temas que le son
familiares o en los que tiene un interés personal
Puede describir experiencias, acontecimientos, deseos y aspiraciones, así como
justificar brevemente sus opiniones o explicar sus planes
Es capaz de comprender frases y expresiones de uso frecuente relacionadas con
áreas de experiencia que le son especialmente relevantes (información básica
sobre sí mismo y su familia, compras, lugares de interés, ocupaciones, etc.)
A2 Sabe comunicarse a la hora de llevar a cabo tareas simples y cotidianas que no
requieran más que intercambios sencillos y directos de información
Sabe describir en términos sencillos aspectos de su pasado y su entorno así
Usuario básico como cuestiones relacionadas con sus necesidades inmediatas
Es capaz de comprender y utilizar expresiones cotidianas de uso muy frecuente
así como frases sencillas destinadas a satisfacer necesidades de tipo inmediato
Puede presentarse a sí mismo y a otros, pedir y dar información personal básica
A1
sobre su domicilio, sus pertenencias y las personas que conoce
Puede relacionarse de forma elemental siempre que su interlocutor hable
despacio y con claridad
Nivel inferior A- No alcanza el nivel A1

24. Módulos de Competencias Específicas comunes de grupos
de programas
 Cada módulo evalúa un saber hacer complejo en contexto que se
define con base en las competencias fundamentales de grupos de
programas o áreas de conocimiento.
 Se refieren a problemas que son comunes a distintos programas,
más que a contenidos curriculares específicos.
 Corresponden a una definición de cada formación, no de forma
aislada, sino a partir de sus interacciones y sus elementos comunes
con las demás.
 Se usan para evaluar estudiantes de distintos programas, incluso
de distintas áreas del conocimiento.

25. Módulos de competencias comunes
 Ejemplos:
― Diseño en ingeniería
― Indagación
― Investigación en ciencias sociales
― Salud pública
― Gestión de recursos
 El Ministerio determinará, a partir de 2012, para cada programa, los
módulos que serán obligatorios para sus estudiantes, con base en lo
establecido en las resoluciones de características mínimas.
 De acuerdo con su orientación propia, cada programa podrá
seleccionar módulos adicionales (sujeto a limitaciones de tamaño
de estos) en los que evaluar a sus estudiantes.

26. Producción de resultados
 No se pretende que los estudiantes de todas las formaciones
desarrollen a un mismo nivel las competencias genéricas, ni
aún las comunes a grupos de programas
 Entregar solo un puntaje o un promedio no es informativo, es
preciso ubicarlo con respecto a una referencia
 Para que la referencia tenga sentido, es preciso conformar
grupos de referencia
 Se deben definir niveles de desempeño para los módulos

27. Grupos de referencia
Agrupación de programas con características similares entre los que se
compararán los resultados de la evaluación.
Los grupos de referencia se definieron según la clasificación de programas del
Sistema Nacional de Información de la Educación Superior (SNIES) del
Ministerio de Educación Nacional y la Clasificación Internacional Normalizada
de la Educación (CINE) de la Unesco.
Se han conformado 30 grupos de referencia según nivel de formación:
 14 de nivel universitario
 6 de nivel tecnológico
 6 de nivel técnico
 2 para niveles técnicos y tecnólogos
 1 para todos los niveles
 1 para el ciclo de normalistas superiores

28. Grupos de referencia
Número de programas por nivel clasificados en cada grupo de referencia
Administración y turismo 2.568 Ciencias económicas y administrativas 2.160
Técnico 905 Universitario 2.160
Tecnológico 1.663 Ciencias militares y navales 13
Arquitectura y urbanismo 160 Universitario 13
Universitario 160 Ciencias naturales y exactas 346
Artes – diseño - comunicación 850 Universitario 346
Técnico 405 Ciencias sociales 633
Tecnológico 445 Universitario 633
Bellas artes y diseño 388 Comunicación, periodismo y publicidad 345
Universitario 388 Universitario 345
Ciencias agropecuarias 814 Derecho 416
Técnico 169 Universitario 416
Tecnológico 393 Educación 2.194
Universitario 252 Universitario 2.194

29. Grupos de referencia
Número de programas por nivel clasificados en cada grupo de referencia
Humanidades 222 Recreación y deportes 120
Universitario 222 Todas 120
Ingeniería 2.384 Salud 916
Universitario 2.384 Técnico 127
Ingeniería, industria y minas 1.431 Tecnológico 226
Técnico 387 Universitario 563
Tecnológico 1.044 TIC 1.026
Judicial 168 Técnico 293
No universitario 168 Tecnológico 733
Medicina 151
Universitario 151 TOTAL GENERAL 17.823
Militar y policial 26
No universitario 26
Normales superiores 492

30. Las dificultades que quedan atrás…
 Sesgo por no presentación del examen de una parte importante de la
población (cerca del 25% entre individuales y programas enteros).
 Imposibilidad para comparar las medidas entre programas: los
exámenes evalúan cosas distintas en poblaciones distintas. Ni los
promedios, ni las distribuciones, ni las variaciones son comparables.
 Posibilidades restringidas de uso para la toma de decisiones en los
niveles altos de la administración del sistema (por encima de programa:
facultades, rectorías, MEN, público en general) debido a la atomización
de resultados.

31.  Posibilidades restringidas de interpretación pedagógica de los
resultados de los exámenes particulares. No se asocian a los puntajes
descripciones pedagógicas sobre qué pueden hacer los estudiantes y
qué les falta.
 Con excepción de Inglés y de una evaluación limitada de Comprensión
Lectora, no se da cuenta del desarrollo de competencias transversales,
requeridas para cualquier profesional.
 Orientación a la producción de resultados brutos, no medidas de valor
agregado. Los mejores puntajes corresponden sistemáticamente a las
instituciones con procesos de selección más estrictos.
 Problemas técnicos que afectan la calidad de las mediciones debidos a
los tamaños demasiado pequeños de las poblaciones que se evalúan
con algunos de ellos.

32. Los desafíos
 Culminar el diseño de los nuevos exámenes,
para adoptar las estructuras definitivas para
los próximos 12 años
 Incorporar los resultados en las decisiones que
se tomen en materia de registros calificados y
acreditación de alta calidad
 Lograr adecuada utilización de los resultados
para toma de decisiones sobre mejoramiento

33. ¡Gracias!
www.icfes.gov.co