Thèse "Deep learning pour les données séquentielles de grande dimension" par Nicolas GRANGER, lors de la journée Futur & Ruptures du 31 janvier 2019. Une journée scientifique pour présenter l’ensemble des travaux de thèses aboutis portant sur des thématiques prospectives du programme de l’IMT.

1. DEEP LEARNING POUR
LES DONNÉES
SÉQUENTIELLES DE
GRANDE DIMENSION
APPLICATION À LA
RECONNAISSANCE GESTUELLE
NICOLAS GRANGER

3. CHAPITRE 1
•COMPARAISON ENTRE
HIDDEN MARKOV MODELS ET
RECURRENT NEURAL NETWORKS

4. CHAPITRE 1
•COMPARAISON ENTRE HMM ET RNN

5. COMPARAISON ENTRE HMM ET RNN
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
5Architecture générale des modèles de reconnaissance séquentielle
Modélisation temporelle
et classification
Apprentissage de
représentations
Acquisition et
prétraitements

6. COMPARAISON ENTRE HMM ET RNN
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
6Problématiques
• Qualité de la modélisation temporelle
• Caractéristiques de la modélisation temporelle
• Capacité à entraîner de bout en bout
(y compris l’apprentissage de représentations)
• Dépendance du modèle temporel aux représentations

7. COMPARAISON ENTRE HMM ET RNN
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
7Apprentissage de représentations sur les gestes
● données multimodales
● en grande dimension
● peu d’expertise sur leur structure
► réseau de neurone profond (CNN WideResNet pour les images, MLP pour la pose)
► traitement temporel local (𝑁𝑒𝑡: 𝒙 𝑡 ↦ 𝒉 𝑡)
► même architecture pour l’approche HMM ou RNN

8. COMPARAISON ENTRE HMM ET RNN
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
8Dépendance au contexte
► Ajout de contexte dans les entrées: 𝑁𝑒𝑡: (𝒙 𝑡−𝑤, … , 𝒙 𝑡+𝑤) ↦ 𝒉 𝑡

9. COMPARAISON ENTRE HMM ET RNN
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
9Dépendance au contexte
► Ajout de contexte dans les entrées: 𝑁𝑒𝑡: (𝒙 𝑡−𝑤, … , 𝒙 𝑡+𝑤) ↦ 𝒉 𝑡

10. COMPARAISON ENTRE HMM ET RNN
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
10Performances et interprétations

11. COMPARAISON ENTRE HMM ET RNN
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
11Performances et interprétations
HMM :
• Modèle de transition interprétable
• Valorisation de l’expertise
• Temps de calcul
• Dépendance au contexte dans les
représentations
• État de l’art du modèle de représentation
désuet
RNN:
• Meilleures performances
• Robustesse aux type d’entrées
• Flexibilité
• Boite noire

12. CHAPITRE 2
•ONE-SHOT LEARNING SUR DES
DONNÉES SÉQUENTIELLES

13. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
13One-shot Learning: Définition
Épisode :
Pour n’importe quel sous-ensemble de classes d’un
domaine, un classifieur one-shot doit fonctionner en
utilisant un seul exemple d’apprentissage pour chaque
classe.
► Pré-entrainement générique du modèle pour limiter
la dépendance aux exemples épisoques

14. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
14Architecture générale

15. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
15Architecture générale
Large réutilisation de l’approche
pour la reconnaissance continue

16. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
16Pré-entrainement et méthode de Shepard
Pré-apprentissage
• Optimise les embeddings pour le plus proche voisin
• plus proche voisin non-différentiable
→ entrainement sur une tâche secondaire artificielle
Remplacement du plus proche voisin par la méthode de Shepard :
• Fonctionnement équivalent
• Complètement différentiable
• Pré-apprentissage sur des épisodes possible
• Prédictions moins bruitées

17. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
17Pré-entrainement et méthode de Shepard

18. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
18Résultats et interprétations

19. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
19Conclusion
• Faisabilité du one-shot learning sur des séquences
• Démonstration du transfert des modèles vers les conditions one-shot
• Comparaison des méthodes de pré-apprentissage
Perspectives :
• Spécialisation épisodique plus fine
• Reconnaissance continue / transcription

20. PUBLICATIONS
DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION
20
Granger, N., & el Yacoubi, M. A. (2017). Comparing Hybrid NN-HMM and RNN for Temporal Modeling in
Gesture Recognition. In D. Liu, S. Xie, Y. Li, D. Zhao, & E.-S. M. El-Alfy (Éd.), Neural Information
Processing (p. 147–156). Cham: Springer International Publishing.
Granger, N., & Yacoubi, M. (2018). SeqTools: A python package for easy transformation, combination and
evaluation of large datasets. Journal of Open Source Software, 3(30), 1006.
https://doi.org/10.21105/joss.01006