Analíticas de aprendizaje: tecnología, profesores, entorno, juegos Que es learning analytics o las analíticas de aprendizaje y como se puede usar para mejorar el proceso educativo En concreto como se puede usar para ayudar al profesor a entender que es lo que está pasando cuando se usa tecnología en la clase Incluye ejemplos que implican el uso y despliegue de juegos en la clase.

1. Learning Analytics
Analíticas de aprendizaje:
tecnología, profesores, entorno, juegos
Baltasar Fernandez-Manjon
Grupo de Investigación e-UCM, www.e-ucm.es
balta@fdi.ucm.es @BaltaFM
Universidad Autónoma de Sinaloa, Mexico, 24/02/2015
http://www.slideshare.net/BaltasarFernandezManjon/

2. Sobre mi y el grupo de investigación e-UCM
• Catedrático informática Univ. Complutense
• Director del grupo e-UCM
• Tecnologías educativas e-UCM
• 12 investigadores
• Serious games
• Desarrollo de tecnología
• eAdventure, GLEANER, Mokap
• Aplicaciones en el campo médico
• Proyectos nacionales y europeos
• H2020 – RAGE
•www.e-ucm.es
2
www.mockap.es

3. Abundancia de nuevas tecnologías y
entornos educativos
¿Qué pasa cuando se introduce una
nueva tecnología en el aula?
Sistemas de gestión de enseñanza (LMS, e.g. Moodle)
Sistemas web (Khan Academy, Codeacademy, Duolingo, …)
Cursos masivos abiertos en internet (MOOCs, e.g. EdX, Coursera, FutureLearn, …)

4. Tecnología en el aula: Expectativas vs realidad
http://upload.wikimedia.org/wikipedia/commons/thumb/6/6c/PDiP.JPG/1024px-PDiP.JPG
http://ep01.epimg.net/economia/imagenes/2013/02/12/actualidad/1360659571_769199_1360662011_noticia_normal.jpg
¿Resultados?
¿El éxito es sólo
responsabilidad del
profesor?

5. Juegos educativos en el aula: juego
• The Radix Endeavor (MIT)
• https://www.radixendeavor.org
• Juego MMOG orientado al
aprendizaje de ciencia,
tecnología, ingeniería y
matemáticas (STEM)
• Muchas misiones o “quests”
• Adaptado al curriculum escolar
• Incorpora funcionalidades para
los profesores
• Configuración de clase
• Asignación de misión o tarea
• Actualmente en evaluación en
entornos reales

6. Juegos educativos en el aula: prueba
• Estudiantes de la clase de Master
en e-learning
• 13 estudiantes, 8 nacionalidades
• No se les proporciona información
sobre el uso del juego
• Si tienen problemas pueden
preguntar al profesor o ver los videos
de ayuda
• Una hora de juego libre
• ¿Quién lo ha hecho mejor a la media
hora y al final?
• Tienen que publicar las capturas
que demuestran lo que han hecho
en el foro de Moodle de la clase

7. Juegos educativos en el aula: resultados
• Los estudiantes se mostraron muy activos y motivados durante toda
la hora
• Les gustó la experiencia
• Consideraron que el juego tenía una calidad comercial
• Nadie solicitó ayuda o visualizó los videos de ayuda disponibles
• Todos publicaron las capturas de pantalla en el foro Moodle de la
clase
• Resultados educativos
• Sólo 4 de los estudianes completaron mas de 2 tareas o misiones
• La mayoría de los estudiantes simplemente se dedicaron a explorar el entorno
de juego pero sin hacer nada “útil” ni aprender nada
• Los datos reales pueden contradecir la observación simple

8. El profesor y las nuevas tecnologías educativas
• Exigen un esfuerzo para el que muchas veces los docentes no se
sienten preparados
• Dominio de la tecnología
• Forma de uso efectivo
• Subversión de autoridad
• Alumnos que pueden controlar mejor la tecnología que el profesor
• Se pierde, al menos en parte, el control de la clase
• Evaluación del conocimiento adquirido
• ¿Están aprendiendo los alumnos?
• Aunque los alumnos aprendan, ¿serán capaces de hacerlo bien en el examen?

9. Definición informal de analíticas de aprendizaje
• Saber mas y entender mejor que es lo que sucede cuando se utiliza
tecnología aplicada a la educación de modo que se pueda mejorar
dicho proceso
• Cuando se introduce una nueva tecnología o una nueva aplicación se
modifica el entorno educativo
• Por ejemplo, los canales de comunicación, acceso al contenido, la forma de
interactuar con los estudiantes
• Consiste en usar la propia tecnología para “mejorar” el proceso
educativo que usa tecnología
Learning analytics is the collection and analysis of data generated during the
learning process in order to improve the quality of both learning and teaching.
http://solaresearch.org/core/improving-the-quality-and-productivity-of-the-higher-education-sector/

10. Learning analytics
The NMC Horizon Report: 2013
Higher Education Edition
• Tecnologías nuevas y emergentes
para la enseñanza, el aprendizaje
y la investigación
• Horizonte de adopción: de dos a
tres años
• Juegos educativos y
gamificación
• Analíticas de aprendizaje
(Learning Analytics)
1
http://www.nmc.org/publications/2013-horizon-report-higher-ed

11. Learning Analytics
• Mejora de la educación basada
en el análisis de datos
• Dirigido por los datos
• Educación basada en evidencias
• Las teorías o enfoques educativos
se pueden contrastar con los
resultados reales
• Relacionado con…
• Minería de datos educativa
• Inteligencia de negocio (Business
intelligence)
• Analíticas visuales
11www.ed.gov/edblogs/technology/files/2012/03/edm-la-brief.pdf

12. Pasos o etapas de la analítica de aprendizaje
• 1. Recolectar grandes cantidades de datos de distintos canales
• Interacción con el sistema
• 2. Traducir esos datos en información, indicaciones o señales sobre lo que
está realmente sucediendo
• Puede no ser posible saber lo que está aprendiendo realmente un alumno en una
lección pero si se puede observar lo que hace y usarlo como un indicador de lo que
está pasando
• 3. Uso de la información con distintos propósitos
• Personalización y adaptación. El sistema puede usar esas señales para personalizar
el sistema para cada alumno concreto
• Evaluación (Assessment). Usar la información para realizar una evaluación formativa
o sumativa
• Predictivo. Si el usuario usa el sistema durante un periodo largo de tiempo, los
educadores pueden averiguar que funciona y que no funciona y ajustarlo para que
funcione mejor
http://www.edudemic.com/grades-2-0-how-learning-analytics-are-changing-the-teachers-role/

13. Los 4 niveles del Learning Analytics
• Descriptivo
• ¿Qué ha pasado?
• Diagnostico
• ¿Por qué ha pasado?
• Predictivo
• ¿Qué va a pasar?
• Prescriptivo
• ¿Qué debería hacer?
http://www.edudemic.com/4-levels-learning-analytics-graphic/

14. Distintos usos
• Analíticas de aprendizaje
• Análisis de datos que ayuda a los estudiantes a mejorar sus resultados de aprendizaje
• Analítica académica o de programa (Academic/program analytics)
• Análisis de datos que proporciona información sobre lo que pasa en un determinado
programa y como corregir errores o ajustarlo para evitar disfunciones
• Analítica Institucional (Institutional analytics)
• Análisis de datos que ayuda a tomar decisiones sobre como mejorar a un nivel
institucional o de organización
14
Learning Impact Blog, Big data: Cool; Small data: Cooler http://www.imsglobal.org/blog/?p=258

15. http://www.educause.edu/ero/article/penetrating-fog-analytics-learning-and-education

16. ¿Cuándo se analizan los datos?
• Off-line
• Los datos se analizan una vez que se ha acabado el uso real
• Se trata de descubrir patrones de uso
• Permite mejoras a futuro o en nuevas ediciones de un curso
• En tiempo real
• Se analizan los datos mientras el sistema está en uso para mejorar o adaptar la
experiencia de aprendizaje de esos usuarios
• Permite su uso en las clases presenciales
• Enfoque mixto
• Análisis mas simple en tiempo real que permite tomar decisiones rápidas combinado
con un análisis posterior para poder descubrir problemas o identificar mejoras
16

17. Tipos de datos: Extensive Data
• Gran número de participantes
• Un número relativamente bajo de variables
• Normalmente poca información demográfica sobre los usuarios
• Muchos datos totales pero pocos datos por cada uno de los usuarios
concretos
17
Adapted from: Learning Analytics and Educational Data Mining Workshop
New York University – CREATE Lab April 4–5, 2013

18. Tipos de datos: Intensive Data
• Número relativamente pequeño de participantes
• Un gran número de variables para cada participante. Por ejemplo:
• Interacciones de los usuarios
• Respuestas a formularios; Mucha información demográfica
• Grabaciones de video
• Seguimiento de la mirada (Eye-tracking)
• Datos biométricos (HR, RESP, GSR, EEG, EKG)
• Muchas medidas para cada una de las variables
• ¿Se pueden encontrar correlaciones entre distintos tipos de datos?
18
Adapted from : Learning Analytics and Educational Data Mining Workshop
New York University – CREATE Lab April 4–5, 2013

19. Elementos fundamentales en LA
Obtenido en http://publications.cetis.ac.uk/2012/529 y adaptado de T. H. Davenport, J. G. Harris, and
R. Morison, Analytics at Work: Smarter Decisions, Better Results. Harvard Business Press, 2010

20. El ciclo de realimentación
• No sólo es importante proporcionar realimentación si no también
cuando se proporciona
• Learning analytics puede ayudar a mejorar la realimentación
http://www.wired.com/2011/06/ff_feedbackloop/ http://safety.fhwa.dot.gov/speedmgt/ref_mats/fhwasa12004/

21. Ejemplos de analíticas de
aprendizaje

22. Khan Academy: videos educativos y ejercicios

23. Analíticas de aprendizaje en Khan Academy

24. Signals – Purdue U – LMS BlackBoard

25. Analíticas de aprendizaje en
juegos educativos

26. eAdventure
• Desarrollo de la plataforma eAdventure
• Creación sencilla de juegos y simulaciones
educativas
• Características propias para educación
(evaluación, accesibilidad, despliegue, etc)
• Fácil incorporar analíticas de aprendizaje
(learning analytics)
• Gratis, codigo abierto
• http://e-adventure.e-ucm.es

27. Plataforma eAdventure
Entorno de autoría para la creación de juegos de aventura gráfica y simulaciones
con estrategia de juego sin necesidad de programar

28. http://www.chermug.eu
CheckListhttp://first-aid-game.e-ucm.es
Trasplantes
Descarga desde
www.e-ucm.es
Juegos
desarrollados

29. Usos de analíticas de aprendizaje en juegos
• Probar el juego
• ¿Fiabilidad del juego?
• ¿Cuántos estudiantes acaban el juego?
• ¿tiempo medio para completarlo?
• Evaluación del juego
• De los test pre-post a una evaluación basada en analíticas de aprendizaje
• Despliegue de los juegos en la clase
• Información en tiempo real para apoyo al profesor
• Evaluación “sigilosa” de los estudiantes
• Saber que es lo que pasa cuando se despliega el juego en la clase

30. GLEANER
• GLEANER: Game Learning Analytics for education research
• Entorno de código abierto para obtener trazas de juegos
30
Modelo de referencia en la red europea GALA, http://e-ucm.github.io/gleaner/
Ángel Serrano-Laguna, Javier Torrente, Pablo Moreno-Ger, Baltasar Fernández-Manjón (2014): Application of
Learning Analytics in Educational Videogames. Entertainment Computing 5 (4), 313-322.

31. eAdventure + Learning Analytics
Game Engine
Communication
API
{
type: 'input',
timeStamp: some_timestamp,
device: 'some_device',
action: 'some_action',
target: 'target_id',
data: { key1: value, ...}
}
{
type: 'logic',
timeStamp: some_timestamp,
event: 'some_event',
target: 'some_id',
data: { key1: value, ...}
}
Learning Analytics
Database

32. GLEANER Arquitectura

33. Análisis de GLEANER
• Reporter tiene acceso a la base de datoa y y presenta los datos mediante
informes
• Gráficos, mapas de interacción, tablas …
• Evaluator tiene acceso a la base de datos y comprueba los objetivos
educativos en el modelo de evaluación

34. Analíticas de aprendizaje en
juegos educativos: ejemplos

35. Un juego para aprender XML
http://gleaner.e-ucm.es/lostinspace/play/index.html

36. En qué consiste el juego …
objetivo
Nave principal
Nuevas funcionalidades o
Power-ups
(nuevos elementos sintacticos)
Escribir fragmentos XML
para mover la nave hacia
el objetivo

37. Informe de GLEANER
37

38. Informe de progreso
38
Sesión de
usuario
Fases
completadas
Puntuación
actual
Objetivos de
aprendizaje
Logros se actualizan y
destacan en tiempo real

39. Trazas detalladas
39
Filtros XML
fragmentos
Los fragmentos se actualizan en tiempo real cuando los
envían los estudiantes. El profesor los puede filtrar para
ver solo los errors o todo lo que ha enviado un alumno
concreto

40. LA para simplificar el despliegue en la clase
• Experimento: experiencia gamificada
Objetivos
• El primero en completar el juego
• Quién obtiene el mayor número de puntos
Pero …
• Los alumnos no fueron informados de que se usaba LA
‣ El profesor sabía lo que pasaba en la clase
Después de un rato de juego se les mostro en el proyector la información del Sistema de
análiticas
‣ Se produjo un cambio de actitud en los alumnus cuando supieron lo de LA
• Mas orientados al éxito y menos a la exploración o el juego por el juego
Ángel Serrano-Laguna, Baltasar Fernández-Manjón (2014): Applying learning analytics to simplify serious games deployment in the
classroom. Proceedings of the 2014 IEEE Global Engineering Education Conference (EDUCON) Pages 872-877.

41. La Dama Boba : Juego educacional para promover
el interes de los jóvenes por el teatro clásico
Basado en La Dama Boba de Lope de Vega
Juego disponible en http://damaboba.e-ucm.es
Y en el Android Market

42. Experimento: juego vs clase
• Profesor con un contenido
estándar previamente
preparado
• 757 estudianes
• De 8 colegios e institutos de la
región de Madrid
• Grupo de control y grupo
experimental

43. Evaluación formal pre-post
• Learning analytics Off-line
• La evaluación formal de juegos
es muy cara y compleja
• Pre-test
• Post-test
• Muy pocos juegos se han
evaluado formalmente
• Se pueden lograr resultados
similares con la analítica de
aprendizaje que con los test pre-
post?
43

44. Resultados learning analytics : puntuaciones, tiempo, ...

45. Como juega el alumno?
45

46. Analíticas de aprendizaje:
especificaciones emergentes

47. ADL eXperience API (xAPI)
‣ Resultado del proyecto Tin Can
‣ Traza experiencias, aprendizaje informal, experiencias en el
mundo real (no solo cuando se ha completado una tarea)
‣ Permite almacenamiento de datos y acceso a los datos (esto
posibilita el uso de otras herramientas de informes y de análisis)
‣ Permite la traza de experiencias moviles, juegos, tutores
inteligentes, mundos virtuales, etc
‣ Desarrollado por una comunidad de código abierto
47
Adaptado de la presentación de Damon Regan (ADL) en el SINTICE2013

48. 48
Flujos de actividad: Activity Streams
• http://activitystrea.ms
• Colaboración entre Google, Facebook, Microsoft y otros
• Permite describer experiencias y actividades y no solo cuando
se ha completado alguna tarea
• Formato: <Actor> <Verbo> <Objecto> (yo hice esto):
Frase simple :
yo (actor) ví (verb) un video sobre protección de dato personales (object)
Compleja:
en el contexto de [information assurance certification training] con
resultado [timestamp:2013-0618T18:30:32.360Z ].
Adaptado de la presentación de Damon Regan (ADL) en el SINTICE2013

49. Reporting
Systems
Assessme
nt Services
Semantic
Analysis
Statistical
Services
xAPI Learning Record Store (LRS)
49
Adaptado de la presentación de Damon Regan (ADL) en el SINTICE2013

50. • Los datos de interacción pueden alimentar distintos sistemas
• Un LRS
• Un Sistema de analíticas de aprendizaje propio
eAdventure + LA con xAPI
Raw data
LRS
Sistema de
Learning
Analytics
Analizador de
expresiones
Analizador de
expresiones
EXPERIENCE
API
EXPERIENCE
API
www.mockap.es

51. IMS Global Learning Analytics Interoperability Framework
http://www.imsglobal.org/IMSLearningAnalyticsWP.pdf

53. Aspectos a tener en cuenta en analíticas de aprendizaje
• Aspectos éticos y legales sobre la información obtenida y su uso
• Modelo de seguridad para garantizar el acceso correcto a los datos
• Propiedad de la információn
• Informar al usuario de que se están obteniendo datos
• Anonimización de la información
• Estos aspectos son especialmente importantes si se trabaja con menores de
edad o en el entorno médico
• Muy importante a la hora de diseñar experimentos
53

54. Conclusiones
• Consideramos que las analíticas de aprendizaje tienen un gran potencial tanto
desde el punto de vista de aplicación como de investigación sobre los propios
procesos educativos
• Mejorar el uso de la tecnología educativa
• Simplificar distintos procesos (e.g. evaluación, despliegue, control)
• Es crucial para apoyar al profesor en logra un uso mas efectivo de la
tecnología en el aula
• Todavía es una línea de investigación a desarrollar para lograr mejores
productos
• Los estándares y especificaciones pueden ayudar a simplificar este proceso
54

55. ¿Preguntas?
Proyectos en los que estamos implicados
www.mockap.es
Realising an Applied Gaming Eco-System