SlideShare ist ein Scribd-Unternehmen logo
1 von 46
Downloaden Sie, um offline zu lesen
Université de Monastir                  Unité de recherche
    Faculté des Sciences de Monastir             PRINCE




 Une approche d’indexation
  et de recherche d’images
      pulmonaires TDM
    par le contenu visuel
Préparé par : Mohamed Belhassen
Co-encadré par :       Pr. Béchir El Ayeb
               Dr. Karim Kalti


                                                                 1
Plan

 Introduction
 Approche proposée
 Evaluation de l’approche
 Conclusion et perspectives




                               2
Introduction
 Limites des approches textuelles d’indexation
  d’images
 Description des images grâce à son contenu visuel
  de bas niveau
 Phase d’indexation



                             Extraction
          Images à              des
           indexer                            BDD
                            descripteurs

 Phase de la recherche



                             Extraction    Comparaison        Afficher le
           Image                des            des           résultat de
          requête           descripteurs   descripteurs     la recherche



    Schéma standard d’une approche d’indexation par le contenu visuel

Introduction             Approche proposée     Evaluation       Conclusion   3
Classification des approches
d’indexation d’images


   Approches génériques
                                           Images hétérogènes


   Approches spécifiques
                                            Images médicales


   Approches très spécifiques
                                        Images scanner de cerveau



Introduction   Approche proposée   Evaluation     Conclusion        4
Objectif du travail

   Proposition d’une approche d’indexation et de recherche
    d’images pulmonaires tomodensitométriques (TDM)

                  Régions pathologiques (RP)




               Exemples d’images pulmonaires TDM



Introduction   Approche proposée   Evaluation      Conclusion   5
Approche proposée
          Phase d’indexation                   Phase de recherche




                   Délimitation des régions d’intérêt

                Extraction des descripteurs physiques

         Représentation de l’image sous forme d’un arbre
                              attribué
                                  Paramétrage de la procédure de
                                           recherche

                BDD                    Mesure de similarité


                                       Affichage du résultat


Introduction     Approche proposée       Evaluation            Conclusion   6
Contributions

   Proposition d’une approche spécifique
    d’indexation:
    ◦ Choix et adaptation des descripteurs de texture aux images
      indexées
    ◦ Proposition d’un modèle de représentation du contenu visuel
      dédié aux images pulmonaires TDM

   Proposition d’une approche spécifique de
    recherche d’images
   Amélioration du temps de la recherche

Introduction   Approche proposée   Evaluation   Conclusion     7
Choix des descripteurs physiques
•   La texture des RP est
    importante dans la
    détermination des pathologies
•   La forme, la taille et la
    localisation des RP
    influencent le diagnostic
                                        Pathologie d’emphysème     Pathologie de cancer



   Familles de descripteurs de texture
    ◦ Gabor, Histogramme, Cooccurrence, Longueurs de plages, Moments de
      niveaux de gris, Différences de niveaux de gris, Auto-corrélogramme de
      couleurs
   Descripteurs géométriques et de forme
    ◦ Périmètre , Surface, Circularité, Rectangularité, « edginess », Moments
      invariants, Descripteurs de Fourier


Introduction      Approche proposée        Evaluation            Conclusion               8
Adaptation des descripteurs de
texture aux images indexées

   Variation de la pertinence         Préparation d’une vérité
    des descripteurs de texture         terrain pour l’adaptation des
    suivant :                           familles de descripteurs de
    ◦ Paramètres d’entrée               texture
    ◦ Images indexées                              22%

                                    
→ Nécessité de choisir les              9%                        5%
  paramètres d’entrée
                                                    BDD:
  appropriés aux images                           122 images
                                                    198 RP
  indexées
                                        8%                        43%


                                                    11%
Introduction    Approche proposée   Evaluation       Conclusion     9
Principe de l’approche d’adaptation des
familles des descripteurs de texture
                                   Illustration:
                                     198 RP
                                     6 classes de texture
                                     Vecteur de descripteurs de cooccurrence :
                                          VDC= (Homogénéité, Energie, Contraste )




                                      Classe 1
                                      Classe 2
                                      Classe 3
                                      Classe 4
                                      Classe 5
                                      Classe 6




                                   DMC=( 0,25+1+0,2+0,95+1+0,7)/6=0,68
                                   CMC=(0,085+0,039+0,061+0,029+0,02+0,061)/6=0,05

                           DCci : 0,25     1         0,2       0,95       1          0,7
                           CCci : 0,085    0,039     0,061     0,029      0,02       0,061
                                             Distribution spatiale des RP
                                     Paramètres d’entrée: angle = 0, déplacement=1

Introduction   Approche proposée       Evaluation             Conclusion              10
Adaptation des descripteurs de texture
aux images pulmonaires TDM
   Synthèse des résultats
    ◦ Détermination des paramètres d’entrée adéquats des différentes
      familles de descripteurs de texture
                     Descripteurs               Paramètres d’entrée
           Histogramme                                 256 NG
           « Color autocorrelogram »            256 NG, DistanceL1=1
           Longueurs de plages              32 NG, Direction : horizontale
           Différences de niveaux de gris            dx=1, dy=3
           Cooccurrences                      Déplacement=1, Angle=0

    ◦ Estimation des performances des familles de descripteurs
                 1
               0.8
               0.6
               0.4                                       Détachement
               0.2                                       moyen des…
                 0




Introduction       Approche proposée            Evaluation                   Conclusion   11
Proposition d’un modèle de représentation
     des images pulmonaires TDM

                                                   Image
                                                 pulmonaire                  Nœud fictif




Poumon droit   Poumon gauche           Poumon                 Poumon         Vecteurs de
                                        droit                 gauche         descripteurs

                                                                             Coordonnées
                                                                             des centres
                                                                             de gravité
     RP1         RP2   RP3                                                   des RP

                                 RP1     …   RPN        RPN+1   …      RPM
                                                                             Vecteurs de
                                                                             descripteurs
Régions d’intérêt d’une image          Modèle de représentation des
      pulmonaire TDM                    images pulmonaires TDM


     Introduction      Approche proposée        Evaluation       Conclusion           12
Proposition d’une approche
spécifique de recherche d’images
    But :
     o Mesurer le degré de similarité entre l’image requête et les
       images indexées
            Tirer profit des connaissances à priori du domaine
       d’imagerie pulmonaire TDM

    Principe de l’approche de mesure de similarité:


    Image requête       Détermination
                       de l’appariement
                            optimal



    Images de la BDD




Introduction            Approche proposée   Evaluation   Conclusion   13
Appariement optimal entre deux arbres
d’images pulmonaires
   Pourquoi?:
    • Plusieurs possibilités d’appariement
             Maximisation du critère de similarité de la texture des nœuds appariés
   Principe :
                                                Coût initial d’appariement (CIA)

                                                                                      Eq 5




                                               Coût initial minimal d’appariement
                                                                                      Eq 6




Introduction        Approche proposée         Evaluation         Conclusion            14
Calcul des coûts des options
 d’appariement
     Options d’appariement

       ◦   La distribution spatiale des RP appariées
       ◦   La forme des RP appariées
       ◦   La texture des RP non appariées
       ◦   La distribution spatiale des RP non appariées




Image requête       Détermination     Calcul des coûts
                   de l’appariement     des options
                        optimal       d’appariement



Images de la BDD     Principe de l’approche de mesure de similarité
Introduction             Approche proposée               Evaluation   Conclusion   15
Normalisation des coûts
 d’appariement

                                                                  Eq 7




Image requête                 Calcul des coûts   Normalisation
                                des options         des coûts
                              d’appariement      d’appariement



Images de la BDD   Principe de l’approche de mesure de similarité
Introduction         Approche proposée           Evaluation      Conclusion   16
Calcul des coûts totaux d’appariement
 (CTA)

                                                                       Eq 8



          avec:




Image requête                              Normalisation   Calcul des coûts
                                              des coûts        totaux
                                           d’appariement   d’appariement



Images de la BDD   Principe de l’approche de mesure de similarité
Introduction         Approche proposée     Evaluation          Conclusion     17
Amélioration du temps de la
 recherche 1/2
                                  Famille de descripteurs       Dimension
                               Forme                                22
                               Gabor                                40
                               Histogramme                           8
 RI1               RI2         Coccurrence                           7
                               Longueurs de plages                  11
                               Moments de niveaux de gris            4
                               Différences de niveaux de gris        5
 RI3         RI4         RI5
                               Auto-corrélogramme de                32
                               couleurs
                               Vecteur global de Texture            107
Régions d’intérêt d’une           Dimension des vecteurs des descripteurs
image pulmonaire TDM

                                                                            18
Amélioration du temps de la recherche
2/2
   Problème :
    Ralentissement de la procédure de recherche
   Objectif:
    Réduction de la dimension → Réduction du temps de
     recherche
   Méthode:
    Analyse en composantes principales (ACP)
     Choix de nombre de composantes à retenir

       Indicateur de qualité global
       Utilisation de la mesure de détachement des classes




Introduction    Approche proposée      Evaluation   Conclusion   19
Réduction de la dimension des
vecteurs des descripteurs
Dimension
 120                                   107→1
 100
                                                Dimension des vecteurs
 80                                             des descripteurs:
 60         40→3                                     Avant la réduction des
                                                     dimensions
 40


 20


   0                                           Famille des descripteurs




        Nombre des dimensions des vecteurs des descripteurs

Introduction       Approche proposée    Evaluation         Conclusion         20
Amélioration de la performance des
descripteurs de texture
                         0,87→0,9        0,86→0,97
          DMC
           1
         0.9                                  Performance des descripteurs de
         0.8
         0.7                                  texture:
         0.6                                      avant la réduction
         0.5                                      des dimensions
         0.4
         0.3                                      après la réduction
         0.2                                      des dimensions
         0.1
           0
                                         Famille des descripteurs




               « Détachement Moyen des Classes(DMC)»
                 des familles de descripteurs de texture


Introduction       Approche proposée    Evaluation          Conclusion          21
Illustration de la phase de
recherche

                                                                           RP
                                                                           1
                                                                           RP
                                                                           2

     Image requête              Segmentation            Sélection des RP




Introduction         Approche proposée     Evaluation      Conclusion          22
Evaluation de la performance
du système 1/2
   Composition de la BDD :
    ◦ 122 images
    ◦ 198 RP classifiées
    ◦ 75 RP non classifiées

                                          3
                                         2.5
                                          2
                                         1.5                                   RI de la classe 1

                                          1                                    RI de la classe 2
                                                                               RI de la classe 3
                                         0.5
                                                                               RI de la classe 4
                                          0
                                                                               RI de la classe 5
                -3       -2        -1   -0.5 0        1         2        3     RI de la classe 6

                                          -1                                   RI non classées

                                        -1.5
                                          -2
                                        -2.5


 La distribution des RP de la BDD selon les deux premières CP de vecteur global de descripteurs de texture


Introduction             Approche proposée                   Evaluation                  Conclusion          23
Evaluation de la performance
du système 2/2

       Précision
         1
                                                               color autocorrelogram
        0.9
                                                               coccurrence
        0.8
                                                               différence de niveaux de gris
        0.7
                                                               Gabor
        0.6
                                                               histogramme
        0.5                                                    longueurs des plages
        0.4                                                    moments de couleur
        0.3                                                    tous les descripteurs
        0.2
        0.1
         0                                                  Rappel
              0   0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9   1




                   Courbes de « Précision et Rappel »


Introduction        Approche proposée              Evaluation             Conclusion           24
Conclusion

   Proposition d’une approche spécifique d’indexation
    ◦ Choix et adaptation des descripteurs visuels
    ◦ Proposition d’un modèle de représentation d’images spécifique

   Proposition d’une approche spécifique de recherche d’images
   Amélioration du temps de la recherche par réduction des
    dimensions des vecteurs de descripteurs
   Evaluation de la performance globale du système




Introduction      Approche proposée       Evaluation       Conclusion   25
Perspectives


   Intégration d’une procédure de recherche basée
    sur les paramètres cliniques du patient
   Proposition d’un langage d’interrogation capable
    de traiter les requêtes de haut niveau




Introduction   Approche proposée   Evaluation   Conclusion   26
27
 Algorithme de segmentation
 Calcul des options d’appariement
 Evaluation de la performance du
  système
 Principe de l’approche d’évaluation
  des descripteurs
 Appariement des arbres attribués
 Illustration de la phase de la
  recherche
                                        28
Algorithme de segmentation
   But :
    ◦ Isoler et identifier les deux régions
      pulmonaires droite et gauche




         Image en entrée          Image en sortie



                                                    29
Diagramme de l’algorithme de
 segmentation proposé
                         Image TDM pulmonaire

                            Seuillage itératif


                      Etiquetage des régions noires


                  Elimination des petites régions noires
Temps moyen de
 segmentation :      Elimination des régions noires
    625 ms            touchant le bord de l’image

                    Etiquetage des régions blanches

                         Elimination des petites
                            régions blanches

                    Amélioration de la segmentation
                    en utilisant les courbes B-Spline

                     Image pulmonaire segmentée
                                                           30
Apport de l’approche de
segmentation proposée :
   Utilisation de la technique d’étiquetage dans
    l’élimination des régions parasites




                                 l'image à segmenter après
    l'image résultante de
                                    l’élimination des régions
        l'opération du
                                    parasites et des régions
           seuillage
                               touchant les bords de l’images
                                                                31
Apport de l’approche de
segmentation proposée :
   Lissage des bords des deux régions pulmonaires
    en utilisant les courbes B-Spline et correction de la
    segmentation

                                       Avant le lissage




                                       Après le lissage




                                                            32
Facteurs influençant la précision
du calcul du coût de la
distribution spatiale
   La position des coordonnées de l’origine du
    repère




                                              34
Facteurs influençant la précision
du calcul du coût de la
distribution spatiale
   Variation de la taille des deux régions
    pulmonaires selon l’individu et selon la coupe
    du scan




       L1≠ L2      Nécessité de la normalisation
                   de la taille des régions
                                                     35
                   pulmonaires
Normalisation de la position des
régions pathologiques (RP)
 Choisir une hauteur fixe à tous les
  poumons : H=300 pixels
 Soit L la hauteur du poumon courant
 Normaliser les coordonnées        du centre
  de gravité de l’ième RP de ce poumon
  comme suit :




                                                36
Précision et Rappel




                      39
Evaluation de la performance du
système




                                  40
Temps moyens des différentes étapes
de la phase de recherche d’images

                                                Durée
                     Etape
                                             moyenne (ms)
   Segmentation automatique de la région
                                                 625
   pulmonaire
   Calcul des descripteurs et réduction de
                                                 447
   leur dimension en utilisant l’ACP
   Construction du graphe de l’image
                                                  10
   pulmonaire
   Recherche d’images en utilisant la
                                                  22
   méthode d’appariement global
   Recherche d’images en utilisant la
                                                  27
   méthode d’appariement local
   Recherche d’images en utilisant la
                                                  41
   méthode d’appariement global /local


                                                            41
Principe de la méthode d’évaluation de
performances des descripteurs de texture 1/2
    Considération du vecteur de descripteurs de texture
     décrivant chaque RP classée de la BDD comme étant un
     point dans un espace multidimensionnel
    Approximation de la région occupée par les éléments de
     chaque classe c par son hyper-sphère minimale
     englobante :         s   c          i

      Le centre : c’est l’élément               (EPPCc) permettant de minimiser la
       somme s
                     s                   d ( si , s j )                  Eq 9
                            s   j   Sc




      Le rayon : le rayon est égale à RHC

                     RH c       max d EPPC c , s j                      Eq 10
                                s j Sc




                                                                                  42
Principe de la méthode d’évaluation de
performances des descripteurs de texture 2/2

     Mesure des propriétés spatiales :
        Condensation de la classe : mesure le degré de proximité des
         éléments de la classe de texture de son centre


                            card s i          S  S c / d EPPC c , s i       RH   c
                  DC c                                                                Eq 11
                                               card s i     S  Sc
        Détachement de la classe : mesure le degré de séparation de cette
         classe de texture des autres classes


                                     d EPPC    c
                                                   ,sj
                            s j Sc
                   CC   c
                                                          ,sj   EPPC     c
                                                                                      Eq 12
                               n      1   Dim

→ un bon descripteur permet d’avoir une valeur de DC proche
 de 1 et une valeur de CC proche de 0


                                                                                              43
Appariement des arbres
attribués
   Quel est l’appariement retenu (optimal)?
    Minimiser le coût initial d’appariement
   Comment peut-on trouver l’appariement
    optimal?
    Décomposer l’appariement de graphes en deux
    appariements de sous-graphes




                                                  44
Appariement des arbres
     attribués
         Décomposition de l’appariement
                    R                           Rd                   Bd             Rg                Bg



                              Rg        Rd      Rd      Rd      Bd        Bd        Rg           Bg            Bg
          Rd                                1       2       3   1         2             1        1             2




Rd        Rd        Rd        Rg                                               ou
1         2         3          1




                                                Rd                   Bg             Rg               Bd
                    B

                                        Rd      Rd      Rd      Bg        Bg        Rg      Bd            Bd
          Bd                  Bg        1       2       3       1         2         1       1              2




     Bd        Bd        Bg        Bg
     1         2         1         2
                                                                                                                    45
Appariement des arbres
attribués
   Plusieurs possibilités d’appariement entre les
    régions pathologiques

                   Rd                  Bd        Rg             Bg



         Rd        Rd   Rd        Bd        Bd   Rg        Bg        Bg
         1         2    3         1         2    1         1         2




                             Rd
                             1

                                                                     Bg
                                                                     1
              Bd
              1

                             Rd                       Rg
                             2                        1

              Bd                                                     Bg
              2                                                      2


                             Rd
                             3




                                                                          46
Appariement des arbres
attribués
   Le vecteur de descripteurs de textures TRI de chaque RI est
    un vecteur unidimensionnel ayant les valeurs suivant :
    TRd=2, TRg=1, TRd1=2, TRd2=5, TRd3=1, TRg1=3, TBd=4, TBg=3, T
    Bd1=1, TBd2=3, TBg1=2, TBg2=1

               Rd
               1


                                               Bd1,Rd1                        Bd1,Rd2                       Bd1,Rd3
    Bd                                           [1]                            [4]                           [0]
    1

               Rd
               2                      Bd2,Rd2        Bd2,Rd3           Bd2,Rd1      Bd2,Rd3          Bd2,Rd1        Bd2,Rd2
                                        [2]            [2]               [1]          [2]              [1]            [2]
    Bd
    2
                       Coût Total:      3                3               Chemins non                    1             2
               Rd                                                        prometteurs
               3
                                                                        (a)

                                                                                   Légende:

               Bg                                                                             Appariement optimal
               1
                                     Rg1,Bg1                 Rg1,Bg2                          Sens du parcourt de l’arbre
                                       [1]                     [2]
     Rg
         1
                       Coût Total:     1                       2
               Bg
               2                                                        (b)



                                                                                                                              47
Complexité de l’appariement
initial
        P1

                         1   1         …      N
1       …    N



                         2             1     …     N-1



        P2



        …                …                                     …
1            K           K                             1           N-(k-1)




                                  N!
       Complexité                         tel que K       N
                             (N    K )!
        d’appariement:
                                                                             48
49

Weitere ähnliche Inhalte

Andere mochten auch

Java J2EE project titles, .NET project titles with abstract,Java J2EE projec...
 Java J2EE project titles, .NET project titles with abstract,Java J2EE projec... Java J2EE project titles, .NET project titles with abstract,Java J2EE projec...
Java J2EE project titles, .NET project titles with abstract,Java J2EE projec...Suresh Radhakrishnan
 
A signature based indexing method for efficient content-based retrieval of re...
A signature based indexing method for efficient content-based retrieval of re...A signature based indexing method for efficient content-based retrieval of re...
A signature based indexing method for efficient content-based retrieval of re...Mumbai Academisc
 
Content Based Image Retrieval
Content Based Image RetrievalContent Based Image Retrieval
Content Based Image RetrievalAman Patel
 
Content based image retrieval using clustering Algorithm(CBIR)
Content based image retrieval using clustering Algorithm(CBIR)Content based image retrieval using clustering Algorithm(CBIR)
Content based image retrieval using clustering Algorithm(CBIR)Raja Sekar
 
App indexing at #SMXParis 2015
App indexing at #SMXParis 2015App indexing at #SMXParis 2015
App indexing at #SMXParis 2015Alexandre Jubien
 
Introduction to indexing
Introduction to indexingIntroduction to indexing
Introduction to indexingDaryl Superio
 
Image segmentation ppt
Image segmentation pptImage segmentation ppt
Image segmentation pptGichelle Amon
 
Satellites presentation
Satellites presentationSatellites presentation
Satellites presentationVikas Sharma
 
Introduction à la Recherche d'information
Introduction à la Recherche d'informationIntroduction à la Recherche d'information
Introduction à la Recherche d'informationSaïd Radhouani
 
5013 Indexing Presentation
5013 Indexing Presentation5013 Indexing Presentation
5013 Indexing Presentationlmartin8
 
Content based image retrieval(cbir)
Content based image retrieval(cbir)Content based image retrieval(cbir)
Content based image retrieval(cbir)paddu123
 
Classification of malocclusion
Classification of malocclusionClassification of malocclusion
Classification of malocclusionSapeedeh Afzal
 

Andere mochten auch (19)

Java J2EE project titles, .NET project titles with abstract,Java J2EE projec...
 Java J2EE project titles, .NET project titles with abstract,Java J2EE projec... Java J2EE project titles, .NET project titles with abstract,Java J2EE projec...
Java J2EE project titles, .NET project titles with abstract,Java J2EE projec...
 
Innovation sociale avec le design Thinking.
Innovation sociale avec le design Thinking. Innovation sociale avec le design Thinking.
Innovation sociale avec le design Thinking.
 
A signature based indexing method for efficient content-based retrieval of re...
A signature based indexing method for efficient content-based retrieval of re...A signature based indexing method for efficient content-based retrieval of re...
A signature based indexing method for efficient content-based retrieval of re...
 
Content Based Image Retrieval
Content Based Image RetrievalContent Based Image Retrieval
Content Based Image Retrieval
 
Content based image retrieval using clustering Algorithm(CBIR)
Content based image retrieval using clustering Algorithm(CBIR)Content based image retrieval using clustering Algorithm(CBIR)
Content based image retrieval using clustering Algorithm(CBIR)
 
App indexing at #SMXParis 2015
App indexing at #SMXParis 2015App indexing at #SMXParis 2015
App indexing at #SMXParis 2015
 
Ajs 4 a
Ajs 4 aAjs 4 a
Ajs 4 a
 
Introduction to indexing
Introduction to indexingIntroduction to indexing
Introduction to indexing
 
Image segmentation ppt
Image segmentation pptImage segmentation ppt
Image segmentation ppt
 
Indexing
IndexingIndexing
Indexing
 
Satellites presentation
Satellites presentationSatellites presentation
Satellites presentation
 
Introduction à la Recherche d'information
Introduction à la Recherche d'informationIntroduction à la Recherche d'information
Introduction à la Recherche d'information
 
5013 Indexing Presentation
5013 Indexing Presentation5013 Indexing Presentation
5013 Indexing Presentation
 
Teledetection Sig
Teledetection SigTeledetection Sig
Teledetection Sig
 
Rapport de stage du fin d'étude
Rapport de stage du fin d'étudeRapport de stage du fin d'étude
Rapport de stage du fin d'étude
 
Content based image retrieval(cbir)
Content based image retrieval(cbir)Content based image retrieval(cbir)
Content based image retrieval(cbir)
 
What is Document Indexing? A tutorial for intelligent data capture.
What is Document Indexing? A tutorial for intelligent data capture.What is Document Indexing? A tutorial for intelligent data capture.
What is Document Indexing? A tutorial for intelligent data capture.
 
Classification of malocclusion
Classification of malocclusionClassification of malocclusion
Classification of malocclusion
 
Types of indexes
Types of indexesTypes of indexes
Types of indexes
 

Une approche d’indexation et de recherche d’images pulmonaires TDM par le contenu visuel

  • 1. Université de Monastir Unité de recherche Faculté des Sciences de Monastir PRINCE Une approche d’indexation et de recherche d’images pulmonaires TDM par le contenu visuel Préparé par : Mohamed Belhassen Co-encadré par : Pr. Béchir El Ayeb Dr. Karim Kalti 1
  • 2. Plan  Introduction  Approche proposée  Evaluation de l’approche  Conclusion et perspectives 2
  • 3. Introduction  Limites des approches textuelles d’indexation d’images  Description des images grâce à son contenu visuel de bas niveau Phase d’indexation Extraction Images à des indexer BDD descripteurs Phase de la recherche Extraction Comparaison Afficher le Image des des résultat de requête descripteurs descripteurs la recherche Schéma standard d’une approche d’indexation par le contenu visuel Introduction Approche proposée Evaluation Conclusion 3
  • 4. Classification des approches d’indexation d’images  Approches génériques Images hétérogènes  Approches spécifiques Images médicales  Approches très spécifiques Images scanner de cerveau Introduction Approche proposée Evaluation Conclusion 4
  • 5. Objectif du travail  Proposition d’une approche d’indexation et de recherche d’images pulmonaires tomodensitométriques (TDM) Régions pathologiques (RP) Exemples d’images pulmonaires TDM Introduction Approche proposée Evaluation Conclusion 5
  • 6. Approche proposée Phase d’indexation Phase de recherche Délimitation des régions d’intérêt Extraction des descripteurs physiques Représentation de l’image sous forme d’un arbre attribué Paramétrage de la procédure de recherche BDD Mesure de similarité Affichage du résultat Introduction Approche proposée Evaluation Conclusion 6
  • 7. Contributions  Proposition d’une approche spécifique d’indexation: ◦ Choix et adaptation des descripteurs de texture aux images indexées ◦ Proposition d’un modèle de représentation du contenu visuel dédié aux images pulmonaires TDM  Proposition d’une approche spécifique de recherche d’images  Amélioration du temps de la recherche Introduction Approche proposée Evaluation Conclusion 7
  • 8. Choix des descripteurs physiques • La texture des RP est importante dans la détermination des pathologies • La forme, la taille et la localisation des RP influencent le diagnostic Pathologie d’emphysème Pathologie de cancer  Familles de descripteurs de texture ◦ Gabor, Histogramme, Cooccurrence, Longueurs de plages, Moments de niveaux de gris, Différences de niveaux de gris, Auto-corrélogramme de couleurs  Descripteurs géométriques et de forme ◦ Périmètre , Surface, Circularité, Rectangularité, « edginess », Moments invariants, Descripteurs de Fourier Introduction Approche proposée Evaluation Conclusion 8
  • 9. Adaptation des descripteurs de texture aux images indexées  Variation de la pertinence  Préparation d’une vérité des descripteurs de texture terrain pour l’adaptation des suivant : familles de descripteurs de ◦ Paramètres d’entrée texture ◦ Images indexées 22%  → Nécessité de choisir les 9% 5% paramètres d’entrée BDD: appropriés aux images 122 images 198 RP indexées 8% 43% 11% Introduction Approche proposée Evaluation Conclusion 9
  • 10. Principe de l’approche d’adaptation des familles des descripteurs de texture Illustration:  198 RP  6 classes de texture  Vecteur de descripteurs de cooccurrence : VDC= (Homogénéité, Energie, Contraste ) Classe 1 Classe 2 Classe 3 Classe 4 Classe 5 Classe 6 DMC=( 0,25+1+0,2+0,95+1+0,7)/6=0,68 CMC=(0,085+0,039+0,061+0,029+0,02+0,061)/6=0,05 DCci : 0,25 1 0,2 0,95 1 0,7 CCci : 0,085 0,039 0,061 0,029 0,02 0,061 Distribution spatiale des RP Paramètres d’entrée: angle = 0, déplacement=1 Introduction Approche proposée Evaluation Conclusion 10
  • 11. Adaptation des descripteurs de texture aux images pulmonaires TDM  Synthèse des résultats ◦ Détermination des paramètres d’entrée adéquats des différentes familles de descripteurs de texture Descripteurs Paramètres d’entrée Histogramme 256 NG « Color autocorrelogram » 256 NG, DistanceL1=1 Longueurs de plages 32 NG, Direction : horizontale Différences de niveaux de gris dx=1, dy=3 Cooccurrences Déplacement=1, Angle=0 ◦ Estimation des performances des familles de descripteurs 1 0.8 0.6 0.4 Détachement 0.2 moyen des… 0 Introduction Approche proposée Evaluation Conclusion 11
  • 12. Proposition d’un modèle de représentation des images pulmonaires TDM Image pulmonaire Nœud fictif Poumon droit Poumon gauche Poumon Poumon Vecteurs de droit gauche descripteurs Coordonnées des centres de gravité RP1 RP2 RP3 des RP RP1 … RPN RPN+1 … RPM Vecteurs de descripteurs Régions d’intérêt d’une image Modèle de représentation des pulmonaire TDM images pulmonaires TDM Introduction Approche proposée Evaluation Conclusion 12
  • 13. Proposition d’une approche spécifique de recherche d’images  But : o Mesurer le degré de similarité entre l’image requête et les images indexées Tirer profit des connaissances à priori du domaine d’imagerie pulmonaire TDM  Principe de l’approche de mesure de similarité: Image requête Détermination de l’appariement optimal Images de la BDD Introduction Approche proposée Evaluation Conclusion 13
  • 14. Appariement optimal entre deux arbres d’images pulmonaires  Pourquoi?: • Plusieurs possibilités d’appariement Maximisation du critère de similarité de la texture des nœuds appariés  Principe : Coût initial d’appariement (CIA) Eq 5 Coût initial minimal d’appariement Eq 6 Introduction Approche proposée Evaluation Conclusion 14
  • 15. Calcul des coûts des options d’appariement  Options d’appariement ◦ La distribution spatiale des RP appariées ◦ La forme des RP appariées ◦ La texture des RP non appariées ◦ La distribution spatiale des RP non appariées Image requête Détermination Calcul des coûts de l’appariement des options optimal d’appariement Images de la BDD Principe de l’approche de mesure de similarité Introduction Approche proposée Evaluation Conclusion 15
  • 16. Normalisation des coûts d’appariement Eq 7 Image requête Calcul des coûts Normalisation des options des coûts d’appariement d’appariement Images de la BDD Principe de l’approche de mesure de similarité Introduction Approche proposée Evaluation Conclusion 16
  • 17. Calcul des coûts totaux d’appariement (CTA) Eq 8 avec: Image requête Normalisation Calcul des coûts des coûts totaux d’appariement d’appariement Images de la BDD Principe de l’approche de mesure de similarité Introduction Approche proposée Evaluation Conclusion 17
  • 18. Amélioration du temps de la recherche 1/2 Famille de descripteurs Dimension Forme 22 Gabor 40 Histogramme 8 RI1 RI2 Coccurrence 7 Longueurs de plages 11 Moments de niveaux de gris 4 Différences de niveaux de gris 5 RI3 RI4 RI5 Auto-corrélogramme de 32 couleurs Vecteur global de Texture 107 Régions d’intérêt d’une Dimension des vecteurs des descripteurs image pulmonaire TDM 18
  • 19. Amélioration du temps de la recherche 2/2  Problème : Ralentissement de la procédure de recherche  Objectif: Réduction de la dimension → Réduction du temps de recherche  Méthode: Analyse en composantes principales (ACP)  Choix de nombre de composantes à retenir  Indicateur de qualité global  Utilisation de la mesure de détachement des classes Introduction Approche proposée Evaluation Conclusion 19
  • 20. Réduction de la dimension des vecteurs des descripteurs Dimension 120 107→1 100 Dimension des vecteurs 80 des descripteurs: 60 40→3 Avant la réduction des dimensions 40 20 0 Famille des descripteurs Nombre des dimensions des vecteurs des descripteurs Introduction Approche proposée Evaluation Conclusion 20
  • 21. Amélioration de la performance des descripteurs de texture 0,87→0,9 0,86→0,97 DMC 1 0.9 Performance des descripteurs de 0.8 0.7 texture: 0.6 avant la réduction 0.5 des dimensions 0.4 0.3 après la réduction 0.2 des dimensions 0.1 0 Famille des descripteurs « Détachement Moyen des Classes(DMC)» des familles de descripteurs de texture Introduction Approche proposée Evaluation Conclusion 21
  • 22. Illustration de la phase de recherche RP 1 RP 2 Image requête Segmentation Sélection des RP Introduction Approche proposée Evaluation Conclusion 22
  • 23. Evaluation de la performance du système 1/2  Composition de la BDD : ◦ 122 images ◦ 198 RP classifiées ◦ 75 RP non classifiées 3 2.5 2 1.5 RI de la classe 1 1 RI de la classe 2 RI de la classe 3 0.5 RI de la classe 4 0 RI de la classe 5 -3 -2 -1 -0.5 0 1 2 3 RI de la classe 6 -1 RI non classées -1.5 -2 -2.5 La distribution des RP de la BDD selon les deux premières CP de vecteur global de descripteurs de texture Introduction Approche proposée Evaluation Conclusion 23
  • 24. Evaluation de la performance du système 2/2 Précision 1 color autocorrelogram 0.9 coccurrence 0.8 différence de niveaux de gris 0.7 Gabor 0.6 histogramme 0.5 longueurs des plages 0.4 moments de couleur 0.3 tous les descripteurs 0.2 0.1 0 Rappel 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Courbes de « Précision et Rappel » Introduction Approche proposée Evaluation Conclusion 24
  • 25. Conclusion  Proposition d’une approche spécifique d’indexation ◦ Choix et adaptation des descripteurs visuels ◦ Proposition d’un modèle de représentation d’images spécifique  Proposition d’une approche spécifique de recherche d’images  Amélioration du temps de la recherche par réduction des dimensions des vecteurs de descripteurs  Evaluation de la performance globale du système Introduction Approche proposée Evaluation Conclusion 25
  • 26. Perspectives  Intégration d’une procédure de recherche basée sur les paramètres cliniques du patient  Proposition d’un langage d’interrogation capable de traiter les requêtes de haut niveau Introduction Approche proposée Evaluation Conclusion 26
  • 27. 27
  • 28.  Algorithme de segmentation  Calcul des options d’appariement  Evaluation de la performance du système  Principe de l’approche d’évaluation des descripteurs  Appariement des arbres attribués  Illustration de la phase de la recherche 28
  • 29. Algorithme de segmentation  But : ◦ Isoler et identifier les deux régions pulmonaires droite et gauche Image en entrée Image en sortie 29
  • 30. Diagramme de l’algorithme de segmentation proposé Image TDM pulmonaire Seuillage itératif Etiquetage des régions noires Elimination des petites régions noires Temps moyen de segmentation : Elimination des régions noires 625 ms touchant le bord de l’image Etiquetage des régions blanches Elimination des petites régions blanches Amélioration de la segmentation en utilisant les courbes B-Spline Image pulmonaire segmentée 30
  • 31. Apport de l’approche de segmentation proposée :  Utilisation de la technique d’étiquetage dans l’élimination des régions parasites l'image à segmenter après l'image résultante de l’élimination des régions l'opération du parasites et des régions seuillage touchant les bords de l’images 31
  • 32. Apport de l’approche de segmentation proposée :  Lissage des bords des deux régions pulmonaires en utilisant les courbes B-Spline et correction de la segmentation Avant le lissage Après le lissage 32
  • 33. Facteurs influençant la précision du calcul du coût de la distribution spatiale  La position des coordonnées de l’origine du repère 34
  • 34. Facteurs influençant la précision du calcul du coût de la distribution spatiale  Variation de la taille des deux régions pulmonaires selon l’individu et selon la coupe du scan L1≠ L2 Nécessité de la normalisation de la taille des régions 35 pulmonaires
  • 35. Normalisation de la position des régions pathologiques (RP)  Choisir une hauteur fixe à tous les poumons : H=300 pixels  Soit L la hauteur du poumon courant  Normaliser les coordonnées du centre de gravité de l’ième RP de ce poumon comme suit : 36
  • 37. Evaluation de la performance du système 40
  • 38. Temps moyens des différentes étapes de la phase de recherche d’images Durée Etape moyenne (ms) Segmentation automatique de la région 625 pulmonaire Calcul des descripteurs et réduction de 447 leur dimension en utilisant l’ACP Construction du graphe de l’image 10 pulmonaire Recherche d’images en utilisant la 22 méthode d’appariement global Recherche d’images en utilisant la 27 méthode d’appariement local Recherche d’images en utilisant la 41 méthode d’appariement global /local 41
  • 39. Principe de la méthode d’évaluation de performances des descripteurs de texture 1/2  Considération du vecteur de descripteurs de texture décrivant chaque RP classée de la BDD comme étant un point dans un espace multidimensionnel  Approximation de la région occupée par les éléments de chaque classe c par son hyper-sphère minimale englobante : s c i  Le centre : c’est l’élément (EPPCc) permettant de minimiser la somme s s d ( si , s j ) Eq 9 s j Sc  Le rayon : le rayon est égale à RHC RH c max d EPPC c , s j Eq 10 s j Sc 42
  • 40. Principe de la méthode d’évaluation de performances des descripteurs de texture 2/2  Mesure des propriétés spatiales :  Condensation de la classe : mesure le degré de proximité des éléments de la classe de texture de son centre card s i S S c / d EPPC c , s i RH c DC c Eq 11 card s i S Sc  Détachement de la classe : mesure le degré de séparation de cette classe de texture des autres classes d EPPC c ,sj s j Sc CC c ,sj EPPC c Eq 12 n 1 Dim → un bon descripteur permet d’avoir une valeur de DC proche de 1 et une valeur de CC proche de 0 43
  • 41. Appariement des arbres attribués  Quel est l’appariement retenu (optimal)? Minimiser le coût initial d’appariement  Comment peut-on trouver l’appariement optimal? Décomposer l’appariement de graphes en deux appariements de sous-graphes 44
  • 42. Appariement des arbres attribués  Décomposition de l’appariement R Rd Bd Rg Bg Rg Rd Rd Rd Bd Bd Rg Bg Bg Rd 1 2 3 1 2 1 1 2 Rd Rd Rd Rg ou 1 2 3 1 Rd Bg Rg Bd B Rd Rd Rd Bg Bg Rg Bd Bd Bd Bg 1 2 3 1 2 1 1 2 Bd Bd Bg Bg 1 2 1 2 45
  • 43. Appariement des arbres attribués  Plusieurs possibilités d’appariement entre les régions pathologiques Rd Bd Rg Bg Rd Rd Rd Bd Bd Rg Bg Bg 1 2 3 1 2 1 1 2 Rd 1 Bg 1 Bd 1 Rd Rg 2 1 Bd Bg 2 2 Rd 3 46
  • 44. Appariement des arbres attribués  Le vecteur de descripteurs de textures TRI de chaque RI est un vecteur unidimensionnel ayant les valeurs suivant : TRd=2, TRg=1, TRd1=2, TRd2=5, TRd3=1, TRg1=3, TBd=4, TBg=3, T Bd1=1, TBd2=3, TBg1=2, TBg2=1 Rd 1 Bd1,Rd1 Bd1,Rd2 Bd1,Rd3 Bd [1] [4] [0] 1 Rd 2 Bd2,Rd2 Bd2,Rd3 Bd2,Rd1 Bd2,Rd3 Bd2,Rd1 Bd2,Rd2 [2] [2] [1] [2] [1] [2] Bd 2 Coût Total: 3 3 Chemins non 1 2 Rd prometteurs 3 (a) Légende: Bg Appariement optimal 1 Rg1,Bg1 Rg1,Bg2 Sens du parcourt de l’arbre [1] [2] Rg 1 Coût Total: 1 2 Bg 2 (b) 47
  • 45. Complexité de l’appariement initial P1 1 1 … N 1 … N 2 1 … N-1 P2 … … … 1 K K 1 N-(k-1) N!  Complexité tel que K N (N K )! d’appariement: 48
  • 46. 49