Este documento describe el diseño y la formación de evaluadores para una prueba de eficacia comunicativa oral en español (PECOLE) para trabajadores inmigrantes en la Comunidad de Madrid. Explica las fases del proyecto, que incluyen el análisis de necesidades, el diseño de la prueba y las especificaciones, y la formación de evaluadores. La prueba evalúa la capacidad de los candidatos para comunicarse oralmente en español a nivel A1 mediante una entrevista y usa una escala de calificación de apt

1. Diseño y formación de
evaluadores de una prueba
de eficacia comunicativa oral
en lengua española para
trabajadores inmigrantes
(PECOLE)
Susana Martín Leralta
Universidad Nebrija
smartinl@nebrija.es

2. PECOLE
Dirección General de Inmigración de la CM
Grupo de investigación LAELE de la Universidad Nebrija
Dª Sheila Dra. Susana
Dra. Marta Baralo Estaire Martín
Noviembre 2011 – febrero 2012

3. PECOLE
Prueba de eficacia comunicativa oral en lengua española
Trabajadores inmigrantes en la Comunidad de Madrid
Marco común europeo de referencia para las lenguas
Evaluar la eficacia comunicativa oral inicial de los candidatos
Enfoque por tareas
Orientación a la acción
Inclusión de criterios sociopragmáticos, socioculturales y estratégicos

4. ANTECEDENTES DE LA PECOLE
Programa de formación y certificación lingüística de
español para inmigrantes (Diploma LETRA)
Grupo de investigación LAELE
2008-2011
Véase Baralo y Guerra (2010), Martín (2011) y
Baralo y Estaire (2011)

5. www.diplomaletra.com

6. FUNDAMENTOS DE LA PECOLE
Estudios sobre la evaluación de la competencia oral
en LE (Bachmann, 1990; Alderson, Clapman y Wall,
1998; Luoma, 2004 y Bordón, 2006)
Estándares de ALTE y EALTA
Asegurar
Validez
Fiabilidad
Autenticidad situacional
Impacto positivo

7. FASES DEL PROYECTO
1. Estado de la cuestión y análisis de
necesidades
2. Diseño de la prueba PECOLE y elaboración
del documento de especificaciones
3. Diseño e implantación del curso de
Formación de evaluadores

8. FASES DEL PROYECTO
1. Estado de la cuestión y análisis de
necesidades
a)Inserción social
b)Resolución de necesidades
comunicativas básicas
c) Características del grupo meta
d)Nivel de dominio lingüístico

9. FASES DEL PROYECTO
1. Estado de la cuestión y análisis de
necesidades
2. Diseño de la prueba PECOLE y elaboración
del documento de especificaciones

10. DEFINICIÓN DE “EFICACIA
COMUNICATIVA ORAL”
 Según el MCER
 La lengua como herramienta de comunicación
 Importancia de la competencia pragmática
 Dimensiones del aprendiz de LE:
• agentes sociales
• hablantes interculturales

11. DEFINICIÓN DE “EFICACIA
COMUNICATIVA ORAL” INICIAL
Marco Común Europeo de Referencia para las Lenguas.
Enseñanza, aprendizaje, evaluación (MCER)
A1
Participa en conversaciones de forma sencilla, pero la
comunicación depende totalmente de que haya repeticiones
a ritmo más lento, reformulaciones y rectificaciones. Sabe
plantear y contestar preguntas sencillas, realizar
afirmaciones sencillas y responder a las afirmaciones que se
le hacen en áreas de necesidad inmediata o sobre temas
muy cotidianos.

12. ESPECIFICACIONES DE LA PECOLE
Definición del constructo
Equivalencia en la medición
Orientación a la lengua
Orientación a la comunicación
Orientación a la situación
Luoma (2004)

13. ESPECIFICACIONES DE LA PECOLE
a. Descripción de la tarea de interacción oral
b. Capacidades evaluadas
c. Duración estimada
d. Formato de la prueba
e. Procedimiento de realización y directrices
para los evaluadores
f. Procedimiento de calificación: criterios de
evaluación y descriptores de la escala de
calificación

14. ESPECIFICACIONES DE LA PECOLE
1) La tarea de interacción oral
Participar en una CONVERSACIÓN con el examinador para
hablar:
de sus datos personales (nombre, edad,nacionalidad,
domicilio, idiomas que habla, familia, etc.)
de sus estudios / formación laboral
de su experiencia laboral en su país y en España, de su
trabajo u ocupaciones cotidianas actuales

15. ESPECIFICACIONES DE LA PECOLE
2) Capacidades evaluadas
El examinando PUEDE:
Participar en una conversación de forma muy sencilla, apoyándose
ocasionalmente en la cooperación del interlocutor, en la que demuestre que
puede:
comprender a su interlocutor cuando éste le habla despacio y de forma clara,
utilizando un nivel de lengua estándar y, en caso de necesidad, haciendo uso
de repeticiones a ritmo más lento, reformulaciones, mímica o gestos para
señalar, asentir, etc.;
proporcionar los datos requeridos por el entrevistador (datos personales y
familiares, de estudio o formación laboral, de su experiencia laboral o intereses
profesionales, de su situación laboral actual, etc.), cumpliendo así la finalidad
comunicativa;
utilizar enunciados breves, sencillos, aislados haciendo uso de un repertorio de
vocabulario y estructuras gramaticales básico que no impide la comprensión a
pesar de los errores que comete; con una pronunciación y entonación que no
impiden la comprensión a pesar de un fuerte acento extranjero;
deletrear su nombre o apellido y dar algún número (por ejemplo, teléfono, código
postal) que el entrevistador pueda requerir si fuera necesario.

16. El examinando PUEDE:
Utilizar fórmulas de cortesía sencillas y cotidianas para establecer un
contacto social básico acorde con la situación (ejemplo: saludos,
despedidas, agradecimientos).
Hacer uso eficaz de estrategias compensatorias para solucionar problemas
de comprensión y de expresión que puedan aparecer.

17. ESPECIFICACIONES DE LA PECOLE
3) Duración estimada
5-7 minutos

18. ESPECIFICACIONES DE LA PECOLE
4) Formato de la prueba
Entrevista uno a uno entre el evaluador y el candidato
VENTAJAS
Flexible  adaptable a la realización del candidato
Evaluadores  Alto control de lo que sucede
Estructurada
INCONVENIENTES
Poder del evaluador sobre el candidato
Costoso en tiempo y cantidad de evaluadores
Requiere formación de evaluadores

19. ESPECIFICACIONES DE LA PECOLE
5) Criterios de evaluación
Grado de comunicación
Relación con el interlocutor
Control lingüístico

20. ESPECIFICACIONES DE LA PECOLE
6) Escala de calificación: Apto / No apto
Manejable para los evaluadores
Reflejar todas las posibles actuaciones de los candidatos
Consensuada e interpretada de manera homogénea

21. Respuesta satisfactoria: APTO
• Grado de comunicación - El candidato cumple adecuadamente los objetivos comunicativos de
la prueba: comprende al interlocutor y se hace comprender en relación con lo tratado, aunque
evidenciando un cierto grado de dificultad. A pesar de esta dificultad, su mensaje es suficiente
para satisfacer la necesidad comunicativa planteada.
• Relación con el interlocutor – Para su actuación, el candidato depende ocasionalmente de la
cooperación del interlocutor (discurso lento y claro, uso de repeticiones, reformulaciones, de
mímica, gestos, señales). Un interlocutor acostumbrado a tratar con hablantes de otras lenguas
puede comprenderle con cierto esfuerzo y concentración.
• Control lingüístico – En su discurso manifiesta cierta dificultad en la utilización de los recursos
lingüísticos y estratégicos básicos de un nivel A1+ correspondientes a un repertorio reducido:
necesita algunas pausas y reformulaciones de su mensaje, a menudo demuestra dudas y
solicita ayuda del interlocutor y comete numerosos errores lingüísticos, la mayoría propios de su
nivel, que no interfieren en el cumplimiento de la finalidad comunicativa planteada.
Respuesta insatisfactoria: NO APTO
• Grado de comunicación - El candidato tiene serias dificultades o es incapaz de reaccionar
comunicativamente a la situación planteada: serias dificultades para comprender al interlocutor y
para hacerse comprender en relación con lo tratado. En caso de responder a la situación
planteada, su respuesta es comunicativamente ajena a dicha situación.
• Relación con el interlocutor - La cooperación del interlocutor no es suficiente para establecer
la comunicación con el candidato. Aún para un interlocutor acostumbrado a tratar con hablantes
de otras lenguas es prácticamente imposible comprenderle.
• Control lingüístico – El uso de los recursos lingüísticos y estratégicos básicos de un nivel A1+
correspondientes a un repertorio muy reducido es prácticamente nulo.

22. FASES DEL PROYECTO
1. Estado de la cuestión y análisis de
necesidades
2. Diseño de la prueba PECOLE y elaboración
del documento de especificaciones
3. Diseño e implantación del curso de
Formación de evaluadores

23. FORMACIÓN DE EVALUADORES
PROBLEMAS DE LA EVALUACIÓN ORAL (Karavas y Delieza, 2009)
El comportamiento del interlocutor puede afectar a la
realización del candidato y a la puntuación.
La inconsistencia y la variación afectan a la validez y
fiabilidad de la prueba.
– Forma de adaptarse al nivel de dominio lingüístico de
los candidatos.
– Apoyo que ofrecen a los candidatos para facilitar la
comprensión y la producción.
– Modo de “provocar” la realización comunicativa de los
candidatos.

24. FORMACIÓN DE EVALUADORES
RECOMENDACIONES (Karavas y Delieza, 2009)
– Formación específica y entrenamiento
– Uso de una Guía para el entrevistador
• Estandarizar el discurso del examinador  reducir
variación
• Autocontrol de la actuación del examinador
durante la prueba
– Aplicación de criterios y descriptores de evaluación
comprendidos por igual por todos los evaluadores

25. FORMACIÓN DE EVALUADORES
Taller: teórico y práctico
Visionado de exámenes reales:
Análisis del papel del evaluador
 Evitar la variación y la inconsistencia
Aplicación de la escala de calificación
 Entendimiento común de los criterios y la
escala de calificación

26. FORMACIÓN DE EVALUADORES
14 talleres
14.11.2011 – 23.02.2012
383 participantes
Ayuntamientos (Asuntos Sociales), CM (CEPI/CASI)
1. Totalmente en desacuerdo 5. Totalmente de acuerdo

27. FORMACIÓN DE EVALUADORES
1. Totalmente en desacuerdo 5. Totalmente de acuerdo

28. FORMACIÓN DE EVALUADORES
1. Totalmente en desacuerdo 5. Totalmente de acuerdo

29. CONCLUSIONES
Definición previa del objeto de medición: eficacia
comunicativa oral inicial
Responsabilidades del evaluador: intervenir como
entrevistador, manejar criterios de evaluación, calificar
Prueba de alto impacto: evitar variación e inconsistencia
entre evaluadores.
Documentación para los evaluadores + formación =
refuerzo de la validez, fiabilidad y viabilidad de la prueba

30. BIBLIOGRAFÍA de referencia
• Alderson J. C., Clapham C., Wall D. 1998. Exámenes de idiomas. Elaboración y
evaluación. Madrid, Cambridge University Press.
• Bachman L. F. 1990. Fundamental considerations in language testing. Oxford, Oxford
University Press.
• Baralo M., Guerra M. R. 2010. “Criterios pragmáticos y socioculturales para la
selección de textos y géneros discursivos en un examen de certificación de nivel inicial
(A2-n) de lengua española para trabajadores inmigrantes. En Actas del XXI Congreso
Internacional de ASELE. Del texto a la lengua: la aplicación de los textos a la
enseñanza-aprendizaje del español L2-LE. Salamanca: Universidad de Salamanca.
• Baralo M., Estaire S. 2011. “Variables socioculturales y comunicativas en el diseño
curricular de una certificación de español para trabajadores inmigrantes”. En Lengua y
Migración, 3, vol. 2.
• Bordón T. 2006. La evaluación de la lengua en el marco de E/L2: Bases y
procedimientos. Madrid, Arcolibros.
• Consejo de Europa. 2002. Marco común europeo de referencia para las lenguas:
aprendizaje, enseñanza, evaluación. Madrid, Ministerio de Educación, Cultura y
Deporte, y Anaya.
• Karavas E., Delieza X. 2009. “On site observation of KPG oral examiners: Implications
for oral examiner training and evaluation”. Apples-Journal of Applied Language Studies,
3:1: 51:77.
• Luoma S. 2004. Assessing speaking. Cambridge, Cambridge University Press.
• Martín Leralta S. 2011. “Certificación lingüística de nivel inicial para inmigrantes en
contexto laboral: ejemplo de una prueba del examen DILE”. En Lengua y Migración, 3,
vol. 1.

31. Gracias por la atención
smartinl@nebrija.es