https://imatge.upc.edu/web/publications/personalized-image-classi-cation-eeg-signals-using-deep-learning This thesis explores the semantic classication of images based processing of electroencephalogram (EEG) signals generated by the viewer's brain. The work extends an existing solution by exploring the gains obtained when the parameters of the classier are adapted to the user. Firstly, we developed an universal end-to-end model based on deep learning that extracts features from the EEG raw signals predicts the semantic content of the image between 40 possible classes from the ImageNet dataset. Our main contribution aims at adapting this universal model to new users, in order to build a personalized model based on the minimum feedback from the new user. We explored different deep learning architectures and hyperparameters to obtain a better accuracy than the baseline by Spampinato et al (CVPR 2017). We achieve a result of 89.03 % and 90.34 % of the universal and personalized model respectively.

1. Personalized Image Classification from EEG
Signals using Deep Learning
Author: Alberto Bozal Advisor: Xavier Giró-i-Nieto

2. Índice
1. Introducción
2. Estado del Arte
3. Base de Datos
4. Metodología
5. Resultados
6. Conclusiones
2

3. Introducción: Motivación
3
Leer la actividad cerebral
+
Inteligencia Artificial
(Deep Learning)

4. Introducción: Aplicaciones
4

5. Introducción: Crecimiento
5
15 feb. 201718 abr. 2017
30 dic. 2016 Selección del tema de la Tesis

6. Introducción: Trabajo de fin de grado
6
Dos enfoques diferentes:
- Modelo Universal
- Modelo Personalizado

7. Estado del arte: ERP P300
7
Cecotti, H., & Graser, A. (2011). Convolutional neural networks for P300
detection with application to brain-computer interfaces. IEEE transactions on
pattern analysis and machine intelligence, 33(3), 433-445.
Bashivan, P., Rish, I., Yeasin, M., & Codella, N. (2015). Learning
representations from EEG with deep recurrent-convolutional neural
networks. (CVPR)

8. Estado del arte: Clasificación de emociones
8
Zheng, W. L., Zhu, J. Y., Peng, Y., & Lu, B. L. (2014, July). EEG-based
emotion classification using deep belief networks. In Multimedia and Expo
(ICME), 2014 IEEE International Conference on (pp. 1-6). IEEE.
Jirayucharoensak, S., Pan-Ngum, S., & Israsena, P. (2014). EEG-based
emotion recognition using deep learning network with principal component
based covariate shift adaptation. The Scientific World Journal, 2014.

9. Estado del arte: Trabajo de Spampinato
9
- Clasificador de EEG de Imágenes
- Raw EEG
- Alta tasa de aciertos
- Reusar el espacio EEG para
clasificar imágenes
directamente
Spampinato, C., Palazzo, S., Kavasidis, I., Giordano, D., Shah, M., &
Souly, N. (2016). Deep Learning Human Mind for Automated Visual
Classification. (CVPR 2017)

10. Base de Datos
● 4 Sujetos - 40x50=2000 Imágenes
○ + 2 Sujetos - 30x50=1500 Imágenes
● 128 Canales
● 500 muestras - 1 muestra/ms
● ImageNet Clases (dog, cat, butterfly, sorrel, capuchin, elephant, panda, fish,
airliner, broom, canoe, phone, mug, convertible, computer, watch, guitar, locomotive, espresso, chair,
golf, piano, iron, jack, mailbag, missile, mitten, bike, tent, pajama, parachute, pool, radio, camera, gun,
shoe, banana, pizza, daisy and bolete (fungus))
10

11. Metodología:
11
● Seleccionar Framework de Deep Learning
● Generar Modelo Universal
● Mejorar/optimizar el Modelo
● Solventar problemas creando el Modelo Personalizado

12. Metodología: Arquitecturas Deep Learning
12
● DENSE
● LSTM
● Dropout

13. Metodología: Arquitecturas Deep Learning
13
● Capa DENSE (Fully-Connected neural network layer)

14. Metodología: Arquitecturas Deep Learning
14
● Dropout

15. Metodología: Arquitecturas Deep Learning
15
● LSTM (Long Short Term Memory)

16. Metodología: Modelo Universal
16
● Modelo Inicial
○ Offset: 50 muestras
○ Ventana: 200 muestras
*Offset: muestra inicial sobre las 500 muestras totales
● Tipos de entrenamiento:
○ Épocas y Batches
○ Optimizadores: Rmsprop y Adam

17. Metodología: Modelo Universal
17
● Modelo Universal Final

18. Metodología: Modelo Universal vs Personalizado
18
● Modelo Universal
○ Varios Sujetos
○ Diversidad en actividad cerebral
● Modelo Personalizado
○ Solución a problemas de diversidad
○ Modelo versátil
○ Modelo más preciso que el Universal

19. Metodología: Modelo Personalizado
19
● Modelo Personalizado Final: Fine-Tune

20. Resultados: Training
20
● Gráficas de “Loss”
○ Loss: Categorical Cross entropy

21. Resultados: Training
21
● Distribución de Clases y “confusion matrix”

22. Resultados: Modelo Universal
22
● Evaluando Modelo Universal

23. Resultados: Modelo Personalizado
23
● Evaluando Fine-Tuning

24. Resultados: Modelo Personalizado
24
● Entrenar modelos universales para
personalizarlos

25. Resultados: Modelo Personalizado
25
● Evaluar evolución del modelo personalizado
Ar

26. Resultados: Modelo Personalizado
26
● Evaluando resultados del Modelo
Personalizado
● Un incremento de precisión respecto al
Modelo Universal

27. Resultados: Significancia estadística
27
● Evaluando resultados del Modelo Personalizado
○ Rechazar la hipótesis nula
○ Estadísticamente significativa p-valor < 0.05
○ Usando una herramienta de Cálculo para Análisis de la
Varianza (ANOVA) p-valor << 0.001

28. Conclusiones
28
● El procesamiento de señales EEG tiene un gran potencial en futuras
aplicaciones como el BCI.
● El modelo general resuelve la clasificación de señales EEG con una gran
precisión, 89,03 %, superando a un paper CVPR 2017.
● El modelo personalizado aporta un nuevo enfoque resolviendo el
problema en la diversidad de la base de datos, obteniendo mejores
resultados, 90,34 %.
● Este trabajo ha logrado el objetivo de tratar de procesar señales EEG.

29. Preguntes?
29