Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Deep learning pour les données séquentielles de grande dimension

139 Aufrufe

Veröffentlicht am

Thèse "Deep learning pour les données séquentielles de grande dimension" par Nicolas GRANGER, lors de la journée Futur & Ruptures du 31 janvier 2019. Une journée scientifique pour présenter l’ensemble des travaux de thèses aboutis portant sur des thématiques prospectives du programme de l’IMT.

Veröffentlicht in: Ingenieurwesen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Deep learning pour les données séquentielles de grande dimension

  1. 1. DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION APPLICATION À LA RECONNAISSANCE GESTUELLE NICOLAS GRANGER
  2. 2. CHAPITRE 1 •COMPARAISON ENTRE HIDDEN MARKOV MODELS ET RECURRENT NEURAL NETWORKS
  3. 3. CHAPITRE 1 •COMPARAISON ENTRE HMM ET RNN
  4. 4. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 5Architecture générale des modèles de reconnaissance séquentielle Modélisation temporelle et classification Apprentissage de représentations Acquisition et prétraitements
  5. 5. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 6Problématiques • Qualité de la modélisation temporelle • Caractéristiques de la modélisation temporelle • Capacité à entraîner de bout en bout (y compris l’apprentissage de représentations) • Dépendance du modèle temporel aux représentations
  6. 6. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 7Apprentissage de représentations sur les gestes ● données multimodales ● en grande dimension ● peu d’expertise sur leur structure ► réseau de neurone profond (CNN WideResNet pour les images, MLP pour la pose) ► traitement temporel local (𝑁𝑒𝑡: 𝒙 𝑡 ↦ 𝒉 𝑡) ► même architecture pour l’approche HMM ou RNN
  7. 7. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 8Dépendance au contexte ► Ajout de contexte dans les entrées: 𝑁𝑒𝑡: (𝒙 𝑡−𝑤, … , 𝒙 𝑡+𝑤) ↦ 𝒉 𝑡
  8. 8. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 9Dépendance au contexte ► Ajout de contexte dans les entrées: 𝑁𝑒𝑡: (𝒙 𝑡−𝑤, … , 𝒙 𝑡+𝑤) ↦ 𝒉 𝑡
  9. 9. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 10Performances et interprétations
  10. 10. COMPARAISON ENTRE HMM ET RNN DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 11Performances et interprétations HMM : • Modèle de transition interprétable • Valorisation de l’expertise • Temps de calcul • Dépendance au contexte dans les représentations • État de l’art du modèle de représentation désuet RNN: • Meilleures performances • Robustesse aux type d’entrées • Flexibilité • Boite noire
  11. 11. CHAPITRE 2 •ONE-SHOT LEARNING SUR DES DONNÉES SÉQUENTIELLES
  12. 12. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 13One-shot Learning: Définition Épisode : Pour n’importe quel sous-ensemble de classes d’un domaine, un classifieur one-shot doit fonctionner en utilisant un seul exemple d’apprentissage pour chaque classe. ► Pré-entrainement générique du modèle pour limiter la dépendance aux exemples épisoques
  13. 13. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 14Architecture générale
  14. 14. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 15Architecture générale Large réutilisation de l’approche pour la reconnaissance continue
  15. 15. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 16Pré-entrainement et méthode de Shepard Pré-apprentissage • Optimise les embeddings pour le plus proche voisin • plus proche voisin non-différentiable → entrainement sur une tâche secondaire artificielle Remplacement du plus proche voisin par la méthode de Shepard : • Fonctionnement équivalent • Complètement différentiable • Pré-apprentissage sur des épisodes possible • Prédictions moins bruitées
  16. 16. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 17Pré-entrainement et méthode de Shepard
  17. 17. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 18Résultats et interprétations
  18. 18. APPRENTISSAGE ONE-SHOT SUR DES DONNÉES SÉQUENTIELLES DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 19Conclusion • Faisabilité du one-shot learning sur des séquences • Démonstration du transfert des modèles vers les conditions one-shot • Comparaison des méthodes de pré-apprentissage Perspectives : • Spécialisation épisodique plus fine • Reconnaissance continue / transcription
  19. 19. PUBLICATIONS DEEP LEARNING POUR LES DONNÉES SÉQUENTIELLES DE GRANDE DIMENSION 20 Granger, N., & el Yacoubi, M. A. (2017). Comparing Hybrid NN-HMM and RNN for Temporal Modeling in Gesture Recognition. In D. Liu, S. Xie, Y. Li, D. Zhao, & E.-S. M. El-Alfy (Éd.), Neural Information Processing (p. 147–156). Cham: Springer International Publishing. Granger, N., & Yacoubi, M. (2018). SeqTools: A python package for easy transformation, combination and evaluation of large datasets. Journal of Open Source Software, 3(30), 1006. https://doi.org/10.21105/joss.01006

×