1. Introducción a la estandarización
de la evaluación
Dr. José Antonio Ruy-Díaz Reynoso
1

2. Estableciendo los estándares
Puntuaciones y estándares
Características de estándares creíbles
Métodos
Métodos relativos
Métodos absolutos
Métodos de contemporización
2

3. Examen de matemáticas
2683
57
15781
13415
149931
3

4. Definición de la puntuación
Una puntuación es un número o una letra que representa
que tan bien se ha desempeñado el alumno a lo largo de un
continuum
Es el grado de exactitud de la respuesta / grupo de
respuestas del alumno (para MCQ’s, la puntuación se basa
en la respuesta correcta del alumno)
Para formatos que reproducen situaciones clínicas
complejas (OSCE)
4

5. La puntuación…
Puede implicar ponderación (grados de
exactitud)
Puede implicar una interpretación de las
respuestas del alumno
5

6. Definición de estándar
Un estándar es una aseveración acerca de si el
desempeño de una evaluación es lo
suficientemente bueno para un propósito en
particular.
Es una puntuación especial que sirve como
frontera entre pasar o reprobar
6

7. Estándares
Los estándares se basan en juicios acerca del
desempeño del alumno sobre un constructo
educativo o social.
Requiere del juicio de expertos
Depende del contexto (ej. practicante competente o
estudiante listo para graduarse)
7

8. Problemática para establecer el
estándar
Competente Incompetente
Pasa
Reprueba
Resultado
De la
prueba
8

9. ¿Cómo establecer la calificación de
“pase”?: características de un estándar
creíble
El método debe ser:
❑ Defendible
❑ Creíble
❑ Apoyado por un cuerpo de evidencia en la literatura
❑ Factible
❑ Aceptable para todas las partes interesadas
Norcini, J. J. (2003). Setting standards on educational tests. Medical Education, 37, 464-469.
9

10. Tipos de métodos para establecer
estándares
Estándares relativos / métodos de normas de
referencia
Estándares absolutos / métodos de criterios de
referencia
Métodos de contemporización
10

11. Estándares relativos / métodos de
normas de referencia
Se basan en una comparación entre los
desempeños de los alumnos
Una proporción establecida de candidatos
reprueba, independientemente de que tan bien
se desempeñen (ej. El 84% superior pasa)
11

12. Estándares absolutos / métodos de
criterios de referencia
Se basan en qué tanto saben los alumnos
El alumno pasa o reprueba dependiendo si
cumple o no determinados criterios específicos
(ej. El alumno debe contestar correctamente el
60% de las preguntas)
12

13. Métodos de criterios de referencia : juicio acerca
de elementos individuales de la prueba
Método de Angoff
Método de Ebel
13

14. Método de Angoff
De 100 alumnos mínimamente competentes ¿cuántos
cree Ud. que responderían correctamente? (no
cuántos “deberían” responder correctamente).
Un alumno mínimamente competente ¿respondería
correctamente a esta pregunta?
(Si = 1, No = 0)
14

15. Método de Angoff
Cada examinador estima la probabilidad de un alumno
mínimamente competente que responda correctamente cada
pregunta.
Multiplicando por 100 tenemos el tanto por ciento de alumnos
mínimamente competentes que responderían correctamente.
La suma de estas probabilidades es la puntuación mínima de
cada examinador
La puntuación mínima global es la mediana del conjunto de
examinadores
15

16. Determinación de la puntuación
mínima para el competente
16

17. Método de Ebel
Distingue tres categorías de items:
Esenciales
Importantes
No tan importantes
17

18. Determinación de la puntuación
18