Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie Modélisation et gestion de concepts, en particulier temporels, pour l'assistance à la caractérisation de séquences d'images
Ähnlich wie Modélisation et gestion de concepts, en particulier temporels, pour l'assistance à la caractérisation de séquences d'images (13)
Modélisation et gestion de concepts, en particulier temporels, pour l'assistance à la caractérisation de séquences d'images
- 1. Modélisation et gestion de concepts, en particulier temporels, pour l’assistance à la caractérisation de séquences d’images Alain Simac-Lejeune 14 juin 2011 Direction : Patrick Lambert et Michèle Rombaut Laboratoire LISTIC Annecy et GIPSA-Lab Grenoble
- 2. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Introduction Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2 / 43
- 3. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Introduction Contexte production-numérisation / stockage / haut-débit => explosion du volume de documents numériques Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2 / 43
- 4. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Introduction Contexte production-numérisation / stockage / haut-débit => explosion du volume de documents numériques Problème organiser (classement) et recherche de documents Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2 / 43
- 5. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Introduction Contexte production-numérisation / stockage / haut-débit => explosion du volume de documents numériques Problème organiser (classement) et recherche de documents Solution : l’indexation étiqueter chaque document afin de permettre la recherche par navigation/requête Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2 / 43
- 6. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Introduction Contexte production-numérisation / stockage / haut-débit => explosion du volume de documents numériques Problème organiser (classement) et recherche de documents Solution : l’indexation étiqueter chaque document afin de permettre la recherche par navigation/requête texte : OK Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2 / 43
- 7. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Introduction Contexte production-numérisation / stockage / haut-débit => explosion du volume de documents numériques Problème organiser (classement) et recherche de documents Solution : l’indexation étiqueter chaque document afin de permettre la recherche par navigation/requête texte : OK video : ? Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 2 / 43
- 8. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 9. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant INDEXATION MANUELLE Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 10. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant INDEXATION MANUELLE exemples : mots-clés, INA Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 11. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant INDEXATION MANUELLE exemples : mots-clés, INA problèmes : - long - subjectif - liée à la langue Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 12. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant INDEXATION MANUELLE exemples : mots-clés, INA problèmes : - long INDEXATION AUTOMATIQUE - subjectif - liée à la langue Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 13. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant INDEXATION MANUELLE exemples : mots-clés, INA problèmes : - long INDEXATION AUTOMATIQUE - subjectif - liée à la langue machine learning Etape 1 Etape 2 Création base apprentissage Classification supervisée Etape Manuelle Etape Automatique Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 14. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant INDEXATION MANUELLE exemples : mots-clés, INA problèmes : - long INDEXATION AUTOMATIQUE - subjectif - liée à la langue machine learning Etape 1 Etape 2 Création base apprentissage Classification supervisée Etape Manuelle Etape Automatique annotation manuelle annotation collaborative visionnage actif annotation assistée Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 15. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant INDEXATION MANUELLE exemples : mots-clés, INA problèmes : - long INDEXATION AUTOMATIQUE - subjectif - liée à la langue machine learning Etape 1 Etape 2 Création base apprentissage Classification supervisée Etape Manuelle Etape Automatique annotation manuelle AdaBoost annotation collaborative SVM visionnage actif HMM annotation assistée k-plus proches voisins Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 16. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Existant INDEXATION MANUELLE exemples : mots-clés, INA problèmes : - long INDEXATION AUTOMATIQUE - subjectif - liée à la langue machine learning Etape 1 Etape 2 Création base apprentissage Classification supervisée Etape Manuelle Etape Automatique annotation manuelle AdaBoost annotation collaborative SVM visionnage actif HMM annotation assistée k-plus proches voisins constitution de la base d’apprentissage : par annotation manuelle Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 3 / 43
- 17. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Approche proposée concept = élément de contenu de niveau sémantique élevé par exemple, concept dans la suite : ‘courir’ On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ? oui peut-être non Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4 / 43
- 18. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Approche proposée concept = élément de contenu de niveau sémantique élevé par exemple, concept dans la suite : ‘courir’ On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ? oui peut-être non notre approche : sélectionner des segments vidéos qui correspondent à un concept Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4 / 43
- 19. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Approche proposée concept = élément de contenu de niveau sémantique élevé par exemple, concept dans la suite : ‘courir’ On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ? oui peut-être non notre approche : sélectionner des segments vidéos qui correspondent à un concept annotation d’une base plus petite Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4 / 43
- 20. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Approche proposée concept = élément de contenu de niveau sémantique élevé par exemple, concept dans la suite : ‘courir’ On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ? oui peut-être non notre approche : sélectionner des segments vidéos qui correspondent à un concept annotation d’une base plus petite => construction de la base d’apprentissage Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 4 / 43
- 21. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 22. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION Extraction d’attributs Attributs Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 23. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION Extraction d’attributs Attributs Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 24. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION MODELISATION Expert en Traitement d’Images Extraction Modèles d’attributs Attributs Structuration de la base Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 25. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION MODELISATION Expert en Traitement d’Images Extraction Modèles d’attributs Attributs Structuration de la base Phase ‘offline’ Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 26. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION MODELISATION Expert en Traitement d’Images Extraction Modèles d’attributs Attributs Structuration de la base Phase ‘offline’ Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 27. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION MODELISATION DEFINITION Expert en Interactions par QR Traitement d’Images Expert Applicatif Extraction Modèle Modèles de concept d’attributs Attributs Structuration Extraction de la base de segments vidéo Phase ‘offline’ Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 28. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION MODELISATION DEFINITION Expert en Interactions par QR Traitement d’Images Expert Applicatif Extraction Modèle Modèles de concept d’attributs Attributs Structuration Extraction de la base de segments vidéo Phase ‘offline’ Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 29. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION MODELISATION DEFINITION VALIDATION Expert en Interactions par QR Expert Traitement d’Images Applicatif Expert Applicatif Extraction Modèle Validation Modèles de concept d’attributs Attributs Structuration Extraction Prototypes de la base de segments vidéo Phase ‘offline’ Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 30. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION MODELISATION DEFINITION VALIDATION Expert en Interactions par QR Expert Traitement d’Images Applicatif Expert Applicatif Extraction Modèle Validation Modèles de concept d’attributs Attributs Structuration Extraction Prototypes de la base de segments vidéo Phase ‘offline’ Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 31. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Système proposé OBJECTIF : faciliter la construction de la base d'apprentissage EXTRACTION MODELISATION DEFINITION VALIDATION Expert en Interactions par QR Expert Traitement d’Images Applicatif Expert Applicatif Extraction Modèle Validation Modèles de concept d’attributs Attributs Structuration Extraction Prototypes de la base de segments vidéo Phase ‘offline’ Phase interactive Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 5 / 43
- 32. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Plan de la présentation EXTRACTION MODELISATION DEFINITION VALIDATION Expert en Interactions par QR Expert Traitement d’Images Applicatif Expert Applicatif Extraction Modèle Validation Modèles de concept d’attributs Attributs Structuration Extraction Prototypes de la base de segments vidéo Phase ‘offline’ Phase interactive Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 6 / 43
- 33. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Informations bas niveau Image compensée Flot optique Lignes (Hough) SIP STIP Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 7 / 43
- 34. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Informations bas niveau Image compensée Flot optique Lignes (Hough) SIP STIP SIP : Spatial Interest Points - Points d’intérêt spatiaux (statiques) STIP : Spatio-Temporal Interest Points - Points d’intérêt spatio-temporels (dynamiques) Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 7 / 43
- 35. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Informations bas niveau Image compensée Flot optique Lignes (Hough) SIP STIP SIP : Spatial Interest Points - Points d’intérêt spatiaux (statiques) STIP : Spatio-Temporal Interest Points - Points d’intérêt spatio-temporels (dynamiques) D’autres opérateurs mis en place et utilisés : couleurs dominantes, contraste, luminance, forme/taille/position des objets Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 7 / 43
- 36. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Attributs Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 8 / 43
- 37. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Attributs Attributs plan Attributs image Attributs objet type caméra orientation caméra taille objet (fixe ou mobile) zoom caméra position verticale nombre de lignes position horizontale nombre de SIP nombre de SIP nombre de STIP nombre de STIP intensité du flot optique intensité du flot optique orientation du flot optique compacité nombre d’objets Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 8 / 43
- 38. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Attributs Attributs plan Attributs image Attributs objet type caméra orientation caméra taille objet (fixe ou mobile) zoom caméra position verticale nombre de lignes position horizontale nombre de SIP nombre de SIP nombre de STIP nombre de STIP intensité du flot optique intensité du flot optique orientation du flot optique compacité nombre d’objets exemple : compacité (0-1) Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 8 / 43
- 39. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Point d’intérêt : définition Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
- 40. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Point d’intérêt : définition une couleur Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
- 41. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Point d’intérêt : définition une couleur un contour Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
- 42. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Point d’intérêt : définition une couleur un contour un coin Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
- 43. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Point d’intérêt : définition une couleur un contour un coin notion de zone intéressante ou d’intérêt Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
- 44. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Point d’intérêt : définition une couleur un contour un coin notion de zone intéressante ou d’intérêt Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
- 45. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Point d’intérêt : définition une couleur un contour un coin notion de zone intéressante ou d’intérêt zone où le gradient varie dans plusieurs directions Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
- 46. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Point d’intérêt : définition une couleur un contour un coin notion de zone intéressante ou d’intérêt zone où le gradient varie dans plusieurs directions intérêt : résume l’information utile en quelques points Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 9 / 43
- 47. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Points d’intérêt spatio-temporels Extension spatio-temporelle des points d’intérêt Matrice du filtre Hessian-Laplace Filtrage gaussien spatial et temporel Critère de saillance Extrema locaux positifs saillance > seuil [ref] : On space-time interest points. International Journal of Computer Vision, Ivan Laptev, 2005. Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 10 / 43
- 48. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Evaluation des STIP : intérêt / saillance cartes de saillance points d’impact carte d’intérêt et points d’intérêt a) image originale Eye-tracker b) saillance statique impact = zone rouge c) saillance dynamique comparaison à l’aide d’une métrique (adaptée à la saillance) 324 plans de 1 à 3 secondes, 50 personnes STIP [ref] : Relevance of Interest Points for Eye Position Prediction on videos, Simac-Lejeune, Marat, Pellerin, Lambert, Rombaut, Guyader, ICVS, 2009 Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 11 / 43
- 49. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Evaluation des STIP : résultats STIP pertinents : mouvement rapide et désordonné SIP pertinents : visage et main Mouvement de foule : pas de corrélation [ref] : Relevance of Interest Points for Eye Position Prediction on videos, Simac-Lejeune, Marat, Pellerin, Lambert, Rombaut, Guyader, ICVS, 2009 Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 12 / 43
- 50. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Evaluation des STIP : détection de changements 2 courbes : - bleue : instantanée - rouge : lissée base de 125 séquences d’athlétisme précision moyenne 0.87 rappel moyen 0.86 (tolérance 3 images) [ref] : Points d’intérêt spatio-temporels pour la détection de mouvement dans les vidéos, Simac-Lejeune, Rombaut, Lambert, MajecSTIC, 2010 Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 13 / 43
- 51. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Plan de la présentation EXTRACTION MODELISATION DEFINITION VALIDATION Expert en Interactions par QR Expert Traitement d’Images Applicatif Expert Applicatif Extraction Modèle Validation Modèles de concept d’attributs Attributs Structuration Extraction Prototypes de la base de segments vidéo Phase ‘offline’ Phase interactive Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 14 / 43
- 52. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Nécessité de la modélisation Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 15 / 43
- 53. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Modèle de briques 1 modèle de brique basique = 1 attribut + 1 propriété exemple : compacité-faible = compacité + intervalle[0;0,4] 1 attribut => n modèles de briques basiques exemple : compacité - 3 briques (faible / moyenne / forte) Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 16 / 43
- 54. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration en briques modèle brique basique ‘compacité’ - faible (0 à 0,4) - moyenne (0,4 à 0,6) - forte (0,6 à 1,0) suivi d’une variable dans le temps => segmentation temporelle segment cohérent = briques [ref] : Spatio-Temporal block model for video indexation assistance, Simac-Lejeune, Rombaut, Lambert, KDIR, 2010 Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 17 / 43
- 55. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Opérateurs Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
- 56. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Opérateurs construction de modèle de briques élaborées par combinaison de modèle de briques Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
- 57. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Opérateurs construction de modèle de briques élaborées par combinaison de modèle de briques 4 types d’opérateurs Exemples Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
- 58. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Opérateurs construction de modèle de briques élaborées par combinaison de modèle de briques 4 types d’opérateurs Exemples Algèbre temporelle (relations de Allen) x puis y x suivi de y x pendant y Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
- 59. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Opérateurs construction de modèle de briques élaborées par combinaison de modèle de briques 4 types d’opérateurs Exemples Algèbre temporelle (relations de Allen) x puis y x suivi de y x pendant y ‘INterval and DUration’ x<y INDU (<,>,=) Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
- 60. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Opérateurs construction de modèle de briques élaborées par combinaison de modèle de briques 4 types d’opérateurs Exemples Algèbre temporelle (relations de Allen) x puis y x suivi de y x pendant y ‘INterval and DUration’ x<y INDU (<,>,=) Opérateurs logiques (et, ou exclusif) x et y Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
- 61. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Opérateurs construction de modèle de briques élaborées par combinaison de modèle de briques 4 types d’opérateurs Exemples Algèbre temporelle (relations de Allen) x puis y x suivi de y x pendant y ‘INterval and DUration’ x<y INDU (<,>,=) Opérateurs logiques (et, ou exclusif) x et y Autres opérateurs (*, n ) (x suivi de y)* Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 18 / 43
- 62. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple de construction d’un modèle de brique élaborée Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
- 63. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple de construction d’un modèle de brique élaborée modèle de briques de bases compacité faible compacité moyenne compacité forte Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
- 64. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple de construction d’un modèle de brique élaborée modèle de briques de bases opérateurs compacité faible compacité moyenne suivi de ou exclusif compacité forte Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
- 65. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple de construction d’un modèle de brique élaborée modèle de briques de bases opérateurs compacité faible compacité moyenne suivi de ou exclusif compacité forte Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
- 66. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple de construction d’un modèle de brique élaborée modèle de briques de bases opérateurs compacité faible compacité moyenne suivi de ou exclusif compacité forte définition d’un modèle alternance de modèles de briques de compacité de brique élaborée (une seule à la fois) Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 19 / 43
- 67. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Plan de la présentation EXTRACTION MODELISATION DEFINITION VALIDATION Expert en Interactions par QR Expert Traitement d’Images Applicatif Expert Applicatif Extraction Modèle Validation Modèles de concept d’attributs Attributs Structuration Extraction Prototypes de la base de segments vidéo Phase ‘offline’ Phase interactive Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 20 / 43
- 68. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion But du système Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
- 69. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion But du système problème comment définir un concept à partir des briques extraites ? Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
- 70. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion But du système problème comment définir un concept à partir des briques extraites ? => récupérer la connaissance de l’expert applicatif Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
- 71. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion But du système problème comment définir un concept à partir des briques extraites ? => récupérer la connaissance de l’expert applicatif système de Q/R Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
- 72. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion But du système problème comment définir un concept à partir des briques extraites ? => récupérer la connaissance de l’expert applicatif Expert en Traitement d’Images Celui qui connaît les modèles de briques construit système de Q/R Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
- 73. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion But du système problème comment définir un concept à partir des briques extraites ? => récupérer la connaissance de l’expert applicatif Expert en Expert Traitement d’Images Applicatif Celui qui connaît les modèles de briques Celui qui connaît l’application construit utilise système de Q/R Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
- 74. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion But du système problème comment définir un concept à partir des briques extraites ? => récupérer la connaissance de l’expert applicatif Expert en Expert Traitement d’Images Applicatif Celui qui connaît les modèles de briques Celui qui connaît l’application construit utilise système de Q/R résultat du système : modèle de concept Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 21 / 43
- 75. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
- 76. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple Question 1 : quel est le type d’activité du concept à définir ? Réponses : communication / déplacement / mouvement / ... réponse : mouvement => réponses active ou désactive des thèmes de questions Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
- 77. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple Question 1 : quel est le type d’activité du concept à définir ? Réponses : communication / déplacement / mouvement / ... réponse : mouvement => réponses active ou désactive des thèmes de questions Question 2 : quelle est la vitesse du mouvement ? Réponses : lent / plutôt lent / assez rapide / rapide réponse : rapide => réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
- 78. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple Question 1 : quel est le type d’activité du concept à définir ? Réponses : communication / déplacement / mouvement / ... réponse : mouvement => réponses active ou désactive des thèmes de questions Question 2 : quelle est la vitesse du mouvement ? Réponses : lent / plutôt lent / assez rapide / rapide réponse : rapide => réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide ... Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
- 79. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Exemple Question 1 : quel est le type d’activité du concept à définir ? Réponses : communication / déplacement / mouvement / ... réponse : mouvement => réponses active ou désactive des thèmes de questions Question 2 : quelle est la vitesse du mouvement ? Réponses : lent / plutôt lent / assez rapide / rapide réponse : rapide => réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapide ... «y a-t-il plusieurs phases ?» et de la réponse oui Question 12 : combien y a-t-il de phases distinctes ? Réponses : 1 / 2 / 3 / 4 ou plus réponse : 3 => nombre de phases : sélection de l’opérateur m ‘suivi de’, et de n (nombre) Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 22 / 43
- 80. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Définition et fonctionnement Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
- 81. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Définition et fonctionnement Question Réponses Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
- 82. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Définition et fonctionnement Question Réponses Modèle de brique(s) Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
- 83. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Définition et fonctionnement Question Réponses Modèle de brique(s) Opérateur(s) Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
- 84. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Définition et fonctionnement Question Réponses Modèle de brique(s) Opérateur(s) Navigation Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
- 85. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Définition et fonctionnement Question Réponses Modèle de brique(s) Opérateur(s) Navigation 1 réponse = 1 nouvelle information pour la définition du concept Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 23 / 43
- 86. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Liens : briques et opérateurs Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
- 87. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Liens : briques et opérateurs question Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
- 88. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Liens : briques et opérateurs question réponse A réponse B réponse C réponse D réponse E Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
- 89. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Liens : briques et opérateurs question réponse A réponse B réponse C réponse D réponse E sélection des modèles de briques no-1 et c-f Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
- 90. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Liens : briques et opérateurs question réponse A réponse B réponse C réponse D réponse E sélection des modèles de briques no-1 et c-f sélection des modèles de briques no-1 et c-f et liaison m Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
- 91. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Liens : briques et opérateurs question réponse A réponse B réponse C réponse D réponse E sélection des modèles de briques no-1 et c-f sélection des modèles de briques no-1 et c-f et liaison m sélection de la liaison m Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
- 92. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Liens : briques et opérateurs question réponse A réponse B réponse C réponse D réponse E ne sais pas sélection des modèles de briques no-1 et c-f sélection des modèles de briques no-1 et c-f et liaison m sélection de la liaison m sélection de plusieurs modèles de briques avec un ou exclusif Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
- 93. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Liens : briques et opérateurs question réponse A réponse B réponse C réponse D réponse E question ne sais pas sélection des modèles inutile de briques no-1 et c-f sélection des modèles de briques no-1 et c-f et liaison m sélection de la liaison m sélection de plusieurs modèles de briques avec un ou exclusif sélection d’aucun modèle ni opérateur mais application d’une règle / modèle fo Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 24 / 43
- 94. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
- 95. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
- 96. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt structuration arborescente ordonnancement des questions - par thème - séquentiel et/ou aléatoire Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
- 97. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt question initiale structuration arborescente ordonnancement des questions - par thème - séquentiel et/ou aléatoire Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
- 98. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt question initiale thème 1 questions 1.x structuration arborescente ordonnancement des questions - par thème - séquentiel et/ou aléatoire Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
- 99. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt question initiale thème 1 thème 2 questions 1.x questions 2.x structuration arborescente ordonnancement des questions - par thème - séquentiel et/ou aléatoire Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
- 100. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt question initiale thème 1 thème 3 thème 2 questions 1.x questions 2.x questions 3.x structuration arborescente ordonnancement des questions - par thème - séquentiel et/ou aléatoire Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
- 101. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Structuration problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt question initiale thème 1 thème 3 thème 2 questions 1.x questions 2.x questions 3.x Q 1.1 Q 1.2 Q 1.3 Q 1.4 Q 1.7 structuration arborescente ordonnancement des questions Q 1.5 - par thème Q 1.6 - séquentiel et/ou aléatoire Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 25 / 43
- 102. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Résultat final de la phase de QR automatique : quand il n’y a plus de questions à poser manuelle : l’utilisateur souhaite s’arrêter résultat : un modèle de concept exemple : définition de la marche marche = (rectiligne) ET (lent) ET REPETITION(compacité-faible PUIS compacité-moyenne) {fo-(1)} d fo-io-lent d {c-f + c-m,m} Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 26 / 43
- 103. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Plan de la présentation EXTRACTION MODELISATION DEFINITION VALIDATION Expert en Interactions par QR Expert Traitement d’Images Applicatif Expert Applicatif Extraction Modèle Validation Modèles de concept d’attributs Attributs Structuration Extraction Prototypes de la base de segments vidéo Phase ‘offline’ Phase interactive Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 27 / 43
- 104. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 105. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 106. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 107. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 108. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 109. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept système de requête Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 110. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept système de requête Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 111. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept système de requête prototypes potentiellement intéressants validation Expert Applicatif Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 112. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept système de requête prototypes potentiellement intéressants validation Expert Applicatif Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 113. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept système de requête système d’analyse prototypes potentiellement intéressants validation Expert Applicatif Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 114. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept système de requête système d’analyse prototypes potentiellement intéressants validation Expert Applicatif Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 115. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept système de requête système d’analyse prototypes potentiellement intéressants validation Expert Applicatif Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 116. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Recherche de prototypes et rétroaction base de données système QR Expert Applicatif de séquences Définition du concept Définition finale système de requête du concept système d’analyse prototypes potentiellement intéressants validation Expert Applicatif Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 28 / 43
- 117. Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion Validation : algorithme de correction = définition initiale briques prototypes validés algorithme de recherche de ‘modèle’ ajout de briques et d’opérateurs ajout d’informations de séquentialité modification opérateurs Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011 29 / 43