Support de communication de Laure Tougne présenté à la journée "Archives audiovisuelles et recherche" organisée par le Consortium Archives des Mondes Contemporains (ArcMC), le 29 septembre 2014.

1. Laboratoire d'InfoRmatique en Image et Systèmes d'information
LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon
http://liris.cnrs.fr
Indexation automatique
d’images et de vidéos
Laure Tougne, Serge Miguet
29 septembre 2014
1

2. Plan de la présentation
! Le LIRIS, l’équipe IMAGINE
! Indexation automatique ou semi-automatique
! Des exemples
˜ Le projet AMRIA : aide à l’indexation de grands corpus
audio-visuels
˜ L’ANR ReVeS : indexation et reconnaissance d’arbres et
arbustes à partir de leurs feuilles
2Laure Tougne29/09/14

3. Deux mots sur le LIRIS et
sur l’équipe IMAGINE…
16 juin 2014
3

4. Laboratoire d’InfoRmatique en Image
et Systèmes d’Information
! 5 tutelles
˜ CNRS (UMR5205)
˜ INSA de Lyon
˜ Université Lyon 1
˜ Université Lyon 2
˜ ECL
! 3 implantations physiques
˜ Villeurbanne
˜ Bron
˜ Ecully
http://liris.cnrs.fr
4Laure Tougne29/09/14

5. Quelques chiffres …
! 262 membres :
˜ 118 enseignants-chercheurs, 6 chercheurs (5 CNRS, 1 INRIA)
˜ 17 personnels administratifs et techniciens (en équivalent temps
plein)
˜ 121 doctorants, 11 post-docs
˜ Une moyenne de 30 thèses soutenues chaque année
! Un budget annuel d’environ 2M€/an (non consolidé) :
˜ 10% soutien de base
˜ 12% programmes (région, Europe, organismes)
˜ 5% contrats industriels
˜ 73% ANR
Laure Tougne29/09/14 5

6. D’un point de vue scientifique
! Champ scientifique : Informatique / Sciences et Technologies de
l’Information
! 6 pôles de compétences reconnus au niveau international
˜ Vision intelligente et reconnaissance visuelle
˜ Géométrie et modélisation
˜ Data Science (Science des données)
˜ Services, Systèmes distribués et Sécurité
˜ Simulation, virtualité et sciences computationnelles
˜ Interactions et cognition
! Savoir-faire au service de la société en liaison étroite avec les
disciplines Ingénierie, Sciences Humaines et Sociales, Science
de l’Environnement et Science de la vie
Laure Tougne29/09/2014 6

7. Organigramme
7Laure Tougne29/09/14

8. Equipe Imagine
! Analyse et le traitement automatique ou semi-automatique des
médias visuels (images, vidéos, objets 3D)
! Objectifs
˜ Une meilleure compréhension et interprétation du contenu ;
˜ La reconnaissance, voire de l'identification de certains objets d'intérêt ;
˜ l'indexation intelligente qui faciliterait l'accès à des masses de
données ;
˜ la compression & transmission & stockage avec de nouveaux modèles
! Des domaines applicatifs nombreux, dont
˜ Multimédia
˜ Documentique
˜ Vidéosurveillance
˜ L’environnement
˜ La pédagogie
8Laure Tougne29/09/14

9. Indexation automatique
ou semi-automatique
L. tougne
9

10. Recherche d’images par le contenu
10
Comparateur
Calcul de
signature
Base d’images Base de signatures
Calcul de
la
signature
Requête
Images de
la base similaires
à la requête
INDEXATIONRECHERCHE
Laure Tougne29/09/14
Segmentation
Segmentation

11. Segmentation
! Extraction de l’objet d’intérêt
˜ Automatique / Semi-automatique
˜ Basée contours / régions
˜ Basée couleur / texture / mouvement
˜ Avec ou sans a priori
11Laure Tougne29/09/14

12. Extraction de caractéristiques (1)
! Descripteurs génériques de formes
˜ Mesures géométriques « simples » (aire, périmètre, diamètre,
aspect ratio, compacité, etc.)
˜ Caractérisation géométriques du contour (CSS-contour, HoCS, etc.)
˜ Descripteurs statistiques de forme (moments, inner-distance shape
context (IDSC), etc.)
12Laure Tougne29/09/14

13. Extraction de caractéristiques (2)
! Descripteurs spécifiques de formes
˜ Un exemple : feuilles d’arbres
Laure Tougne29/09/2014 13
• Position relative du centre
• Largeur maximale relative
• Longueur relative des côtés
• Angle à la base
• Angle à l’apex
• Nombre de lobes
• Longueur et angle de chaque paire de lobes

14. Extraction de caractéristiques (3)
! Descripteurs de contextes locaux
˜ Sur l’objet segmenté ou sur l’image entière
˜ Objectif : extraire des descripteurs sur des points caractéristiques
afin de les retrouver sur des vues quasi-similaires
˜ Exemples : descripteurs SIFT, SURF, etc.
Laure Tougne29/09/2014 14

15. Extraction de caractéristiques (4)
! Couleur et texture
˜ Histogramme dans divers espaces (RGB, HSL, L*a*b)
˜ Bins groupés, n bins les plus représentés, Bag-of-colors
˜ Ondelettes de Gabor, Local Binary Pattern (LBP), champs aléatoire
de Markov (MRF).
Laure Tougne29/09/2014 15

16. Comparateur
! Comparaison et recherche d’images par le contenu
˜ Exemple : plus proche voisin
˜ Associer à l’exemple proposé, l’exemple de la base le plus
ressemblant ou le représentant de la base le plus ressemblant
à Souvent métrique spécifique à la signature
à Grand nombre de comparaisons
! Méthodes de classification automatique
˜ Entraîner un système prenant en entrée un ensemble d’attributs et
donnant en sortie une information de classe
˜ Exemples : réseaux de neurones, support vector machines (SVM),
forêts aléatoires, etc.
! La performance repose sur la pertinence des descripteurs
Laure Tougne29/09/2014 16

17. Des exemples…
L. Tougne
17

18. Le projet AMRIA :
Analyse du Monde Rural par
l’Image animée
L. Tougne
18

19. Le Projet AMRIA
Analyse du Monde Rural par l’Image Animée
! AMRIA : Projet du BQR Lyon 2 : 2011-2013
˜ Porteur : Edouard Lynch, Laboratoire d’Etudes du Monde Rural
˜ Partenaires :
˜ Mihaela Scuturici, Serge Miguet, LIRIS
˜ Béatrice Maurines, Centre Max Weber
˜ Christian Dury, ISH
˜ Objectifs
˜ Collecte de données en provenance de différentes institutions
dépositaires
˜ Expérimentation d’outils logiciels d’aide à l’indexation des images
19Laure Tougne29/09/14

20. Aide à l’indexation audiovisuelle du monde rural
˜ Stage de Clémence LOP sous la direction de Serge Miguet (2012)
˜ Détection de visages
˜ Détection / Reconnaissance de textes
˜ Stage de Van-Hau Phan sous la direction de Serge Miguet (2013)
˜ Classification Artificiel / Naturel
˜ Classification Intérieur / Extérieur
20Laure Tougne29/09/14

21. Aide à l’indexation de grands
corpus audio-visuels
L. Tougne
21
Stage de Clémence Lop
Stage de fin d’études, IUT de Valence
mars 2012-juin 2012

22. Exemple de documents (source : INA)
22
C’est arrivé en Limousin…
Campagnes Françaises
Laure Tougne29/09/14

23. Advene :
un logiciel libre pour l’annotation de séquences vidéos
23Laure Tougne29/09/14

24. Exemple d’annotations automatisables :
Classification du « type de scènes »
! Intérieur / extérieur
! Naturel / artificiel
! Jour / nuit
! Présence d’animaux / de machines
! Caractérisation du mouvement
! Présence de visages
24Laure Tougne29/09/14

25. Exemple de réalisation : détection de visages
25
Vrai Positif Faux Positif
Laure Tougne29/09/14

26. Prise en compte de la cohérence temporelle :
Sensibilité / Spécificité
26Laure Tougne29/09/14

27. Autres contributions réalisées pendant le stage
! Détection des changements de plans
! Détection des silhouettes humaines
! Détection des zones de texte
! Retranscription grâce à la reconnaissance
optique de caractères
27Laure Tougne29/09/14

28. Aide à l’indexation de grands
corpus audio-visuels
L. Tougne
28
Stage de Van-Hau PHAN
Stage de 3ème année d’école
INSA de Lyon, département Informatique
Juin 2013 – Septembre 2013

29. Catégorisation de vidéos
! Trois séquences utilisées
˜ La Terre est leur problème
˜ La Maison du Vigneron
˜ C’est arrivé en Limousin
! Création manuelle de deux pistes d’annotation :
˜ Naturel – Artificiel
˜ Intérieur – Extérieur
! Recherche d’indices visuels permettant de reproduire
automatiquement les annotations
˜ Sur les données d’apprentissage
˜ En généralisation, sur des données non-apprises
29Laure Tougne29/09/14

30. Classification entre Scène Artificielle / Scène Naturelle
! Une scène artificielle contient des objets construits par l’homme
˜ Présence importante d’éléments géométriques
˜ Lignes droites
˜ Eléments anguleux
˜ Textures régulières (ou uniformes)
! Une scène naturelle contient des éléments irréguliers
˜ Formes
˜ Texture granuleuse
30Laure Tougne29/09/14

31. Boîte à outils, pour mettre en œuvre ces idées
! Détection des lignes de contraste
˜ Filtre de Canny
! Détection des alignements
˜ Transformée de Hough
! Caractérisation de la régularité des
textures
˜ Local Binary Patterns (LBP)
31Laure Tougne29/09/14

32. Bonne détection de scène artificielle (1/2)
32Laure Tougne29/09/14

33. Bonne détection de scène artificielle (2/2)
33Laure Tougne29/09/14

34. Bonne détection de scène naturelle
34Laure Tougne29/09/14

35. Exemple de mauvaise classification (1/2)
35Laure Tougne29/09/14

36. Exemple de mauvaise classification (2/2)
36Laure Tougne29/09/14

37. Le projet ANR REVES :
Reconnaissance de Végétaux
pour des Interfaces
Smartphones
L. Tougne
37

38. Contexte
! Constats
˜ Urbanisation + attrait pour les nouvelles technologies
à l’homme méconnaît de plus en plus son environnement
˜ De nos jours : tout le monde possède un Smartphone
à outil intégrant de nombreuses fonctionnalités
! Projet ReVeS : utiliser cet outil pour (ré)apprendre à l’homme à
connaître les végétaux qui l’entourent
! Partenaires :
˜ LIRIS (Lyon) : traitement d’images et de vidéos
˜ EVS (St Etienne) : connaissances phytogéographiques / étude des
usages
˜ LISTIC (Annecy) : fusion des données
! Autres participants
➠ Base de données botaniques – Société Linéenne de Lyon
➠ Contraintes liées au matériel / portage –Société Trydéa
Laure Tougne29/09/14

39. Scénario typique
Une personne, lors d'une promenade,
prend une photo / vidéo d'une plante
(feuille(s) et éventuellement fleur(s))
avec son smartphone afin d’obtenir
des informations à son sujet.
Laure Tougne29/09/14

40. Schéma du scénario
Laure Tougne29/09/14

41. Une approche pour un outil pédagogique
! Public visé : non spécialistes
! Combiner des données images avec d’autres données
! Sortie :
˜ Une liste d’espèces probables
˜ Pouvoir expliquer ce qui a conduit à reconnaître
Laure Tougne29/09/14

42. Quelques Résultats
Feuilles Simples
Base Pl@ntLeaves I (5668 photos, 80 espèces extraites)
85% dans les 5 premières réponses
Feuilles composées
Base Pl@ntLeaves II (1140 photos, 17 espèces extraites)
86% dans les 5 premières réponses
Laure Tougne29/09/14

43. Folia sur l’App Store et le Google store
Laure Tougne29/09/14

44. Merci pour votre attention !
L. Tougne
44
Laure.Tougne@liris.cnrs.fr