Pendant la dernière décennie, plusieurs systèmes d’indexation et de recherche d’images par le contenu visuel ont émergé afin de combler les limites de l’indexation textuelle des images. Dans ce travail, nous proposons une approche d’indexation et de recherche d’images pulmonaires tomodensitométriques (TDM) par le contenu visuel. Dans cette approche, nous modélisons le contenu visuel des images pulmonaires par un graphe (arbre) attribué. Ce dernier nous permet de bien représenter les différents aspects de similarité sur lesquels peut porter les requêtes des utilisateurs. En outre, nous nous intéressons à l'adaptation des descripteurs de texture aux images pulmonaires. En plus, nous utilisons une technique de réduction de la dimension des vecteurs de descripteurs dans le but d’accélérer la phase de la recherche.
Une approche d’indexation et de recherche d’images pulmonaires TDMpar le contenu visuel
1. Université de Monastir Unité de recherche
Faculté des Sciences de Monastir PRINCE
Une approche d’indexation
et de recherche d’images
pulmonaires TDM
par le contenu visuel
Préparé par : Mohamed Belhassen
Co-encadré par : Pr. Béchir El Ayeb
Dr. Karim Kalti
1
3. Introduction
Limites des approches textuelles d’indexation
d’images
Description des images grâce à son contenu visuel
de bas niveau
Phase d’indexation
Extraction
Images à des
indexer BDD
descripteurs
Phase de la recherche
Extraction Comparaison Afficher le
Image des des résultat de
requête descripteurs descripteurs la recherche
Schéma standard d’une approche d’indexation par le contenu visuel
Introduction Approche proposée Evaluation Conclusion 3
4. Classification des approches
d’indexation d’images
Approches génériques
Images hétérogènes
Approches spécifiques
Images médicales
Approches très spécifiques
Images scanner de cerveau
Introduction Approche proposée Evaluation Conclusion 4
5. Objectif du travail
Proposition d’une approche d’indexation et de recherche
d’images pulmonaires tomodensitométriques (TDM)
Régions pathologiques (RP)
Exemples d’images pulmonaires TDM
Introduction Approche proposée Evaluation Conclusion 5
6. Approche proposée
Phase d’indexation Phase de recherche
Délimitation des régions d’intérêt
Extraction des descripteurs physiques
Représentation de l’image sous forme d’un arbre
attribué
Paramétrage de la procédure de
recherche
BDD Mesure de similarité
Affichage du résultat
Introduction Approche proposée Evaluation Conclusion 6
7. Contributions
Proposition d’une approche spécifique
d’indexation:
◦ Choix et adaptation des descripteurs de texture aux images
indexées
◦ Proposition d’un modèle de représentation du contenu visuel
dédié aux images pulmonaires TDM
Proposition d’une approche spécifique de
recherche d’images
Amélioration du temps de la recherche
Introduction Approche proposée Evaluation Conclusion 7
8. Choix des descripteurs physiques
• La texture des RP est
importante dans la
détermination des pathologies
• La forme, la taille et la
localisation des RP
influencent le diagnostic
Pathologie d’emphysème Pathologie de cancer
Familles de descripteurs de texture
◦ Gabor, Histogramme, Cooccurrence, Longueurs de plages, Moments de
niveaux de gris, Différences de niveaux de gris, Auto-corrélogramme de
couleurs
Descripteurs géométriques et de forme
◦ Périmètre , Surface, Circularité, Rectangularité, « edginess », Moments
invariants, Descripteurs de Fourier
Introduction Approche proposée Evaluation Conclusion 8
9. Adaptation des descripteurs de
texture aux images indexées
Variation de la pertinence Préparation d’une vérité
des descripteurs de texture terrain pour l’adaptation des
suivant : familles de descripteurs de
◦ Paramètres d’entrée texture
◦ Images indexées 22%
→ Nécessité de choisir les 9% 5%
paramètres d’entrée
BDD:
appropriés aux images 122 images
198 RP
indexées
8% 43%
11%
Introduction Approche proposée Evaluation Conclusion 9
10. Principe de l’approche d’adaptation des
familles des descripteurs de texture
Illustration:
198 RP
6 classes de texture
Vecteur de descripteurs de cooccurrence :
VDC= (Homogénéité, Energie, Contraste )
Classe 1
Classe 2
Classe 3
Classe 4
Classe 5
Classe 6
DMC=( 0,25+1+0,2+0,95+1+0,7)/6=0,68
CMC=(0,085+0,039+0,061+0,029+0,02+0,061)/6=0,05
DCci : 0,25 1 0,2 0,95 1 0,7
CCci : 0,085 0,039 0,061 0,029 0,02 0,061
Distribution spatiale des RP
Paramètres d’entrée: angle = 0, déplacement=1
Introduction Approche proposée Evaluation Conclusion 10
11. Adaptation des descripteurs de texture
aux images pulmonaires TDM
Synthèse des résultats
◦ Détermination des paramètres d’entrée adéquats des différentes
familles de descripteurs de texture
Descripteurs Paramètres d’entrée
Histogramme 256 NG
« Color autocorrelogram » 256 NG, DistanceL1=1
Longueurs de plages 32 NG, Direction : horizontale
Différences de niveaux de gris dx=1, dy=3
Cooccurrences Déplacement=1, Angle=0
◦ Estimation des performances des familles de descripteurs
1
0.8
0.6
0.4 Détachement
0.2 moyen des…
0
Introduction Approche proposée Evaluation Conclusion 11
12. Proposition d’un modèle de représentation
des images pulmonaires TDM
Image
pulmonaire Nœud fictif
Poumon droit Poumon gauche Poumon Poumon Vecteurs de
droit gauche descripteurs
Coordonnées
des centres
de gravité
RP1 RP2 RP3 des RP
RP1 … RPN RPN+1 … RPM
Vecteurs de
descripteurs
Régions d’intérêt d’une image Modèle de représentation des
pulmonaire TDM images pulmonaires TDM
Introduction Approche proposée Evaluation Conclusion 12
13. Proposition d’une approche
spécifique de recherche d’images
But :
o Mesurer le degré de similarité entre l’image requête et les
images indexées
Tirer profit des connaissances à priori du domaine
d’imagerie pulmonaire TDM
Principe de l’approche de mesure de similarité:
Image requête Détermination
de l’appariement
optimal
Images de la BDD
Introduction Approche proposée Evaluation Conclusion 13
14. Appariement optimal entre deux arbres
d’images pulmonaires
Pourquoi?:
• Plusieurs possibilités d’appariement
Maximisation du critère de similarité de la texture des nœuds appariés
Principe :
Coût initial d’appariement (CIA)
Eq 5
Coût initial minimal d’appariement
Eq 6
Introduction Approche proposée Evaluation Conclusion 14
15. Calcul des coûts des options
d’appariement
Options d’appariement
◦ La distribution spatiale des RP appariées
◦ La forme des RP appariées
◦ La texture des RP non appariées
◦ La distribution spatiale des RP non appariées
Image requête Détermination Calcul des coûts
de l’appariement des options
optimal d’appariement
Images de la BDD Principe de l’approche de mesure de similarité
Introduction Approche proposée Evaluation Conclusion 15
16. Normalisation des coûts
d’appariement
Eq 7
Image requête Calcul des coûts Normalisation
des options des coûts
d’appariement d’appariement
Images de la BDD Principe de l’approche de mesure de similarité
Introduction Approche proposée Evaluation Conclusion 16
17. Calcul des coûts totaux d’appariement
(CTA)
Eq 8
avec:
Image requête Normalisation Calcul des coûts
des coûts totaux
d’appariement d’appariement
Images de la BDD Principe de l’approche de mesure de similarité
Introduction Approche proposée Evaluation Conclusion 17
18. Amélioration du temps de la
recherche 1/2
Famille de descripteurs Dimension
Forme 22
Gabor 40
Histogramme 8
RI1 RI2 Coccurrence 7
Longueurs de plages 11
Moments de niveaux de gris 4
Différences de niveaux de gris 5
RI3 RI4 RI5
Auto-corrélogramme de 32
couleurs
Vecteur global de Texture 107
Régions d’intérêt d’une Dimension des vecteurs des descripteurs
image pulmonaire TDM
18
19. Amélioration du temps de la recherche
2/2
Problème :
Ralentissement de la procédure de recherche
Objectif:
Réduction de la dimension → Réduction du temps de
recherche
Méthode:
Analyse en composantes principales (ACP)
Choix de nombre de composantes à retenir
Indicateur de qualité global
Utilisation de la mesure de détachement des classes
Introduction Approche proposée Evaluation Conclusion 19
20. Réduction de la dimension des
vecteurs des descripteurs
Dimension
120 107→1
100
Dimension des vecteurs
80 des descripteurs:
60 40→3 Avant la réduction des
dimensions
40
20
0 Famille des descripteurs
Nombre des dimensions des vecteurs des descripteurs
Introduction Approche proposée Evaluation Conclusion 20
21. Amélioration de la performance des
descripteurs de texture
0,87→0,9 0,86→0,97
DMC
1
0.9 Performance des descripteurs de
0.8
0.7 texture:
0.6 avant la réduction
0.5 des dimensions
0.4
0.3 après la réduction
0.2 des dimensions
0.1
0
Famille des descripteurs
« Détachement Moyen des Classes(DMC)»
des familles de descripteurs de texture
Introduction Approche proposée Evaluation Conclusion 21
22. Illustration de la phase de
recherche
RP
1
RP
2
Image requête Segmentation Sélection des RP
Introduction Approche proposée Evaluation Conclusion 22
23. Evaluation de la performance
du système 1/2
Composition de la BDD :
◦ 122 images
◦ 198 RP classifiées
◦ 75 RP non classifiées
3
2.5
2
1.5 RI de la classe 1
1 RI de la classe 2
RI de la classe 3
0.5
RI de la classe 4
0
RI de la classe 5
-3 -2 -1 -0.5 0 1 2 3 RI de la classe 6
-1 RI non classées
-1.5
-2
-2.5
La distribution des RP de la BDD selon les deux premières CP de vecteur global de descripteurs de texture
Introduction Approche proposée Evaluation Conclusion 23
24. Evaluation de la performance
du système 2/2
Précision
1
color autocorrelogram
0.9
coccurrence
0.8
différence de niveaux de gris
0.7
Gabor
0.6
histogramme
0.5 longueurs des plages
0.4 moments de couleur
0.3 tous les descripteurs
0.2
0.1
0 Rappel
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Courbes de « Précision et Rappel »
Introduction Approche proposée Evaluation Conclusion 24
25. Conclusion
Proposition d’une approche spécifique d’indexation
◦ Choix et adaptation des descripteurs visuels
◦ Proposition d’un modèle de représentation d’images spécifique
Proposition d’une approche spécifique de recherche d’images
Amélioration du temps de la recherche par réduction des
dimensions des vecteurs de descripteurs
Evaluation de la performance globale du système
Introduction Approche proposée Evaluation Conclusion 25
26. Perspectives
Intégration d’une procédure de recherche basée
sur les paramètres cliniques du patient
Proposition d’un langage d’interrogation capable
de traiter les requêtes de haut niveau
Introduction Approche proposée Evaluation Conclusion 26
28. Algorithme de segmentation
Calcul des options d’appariement
Evaluation de la performance du
système
Principe de l’approche d’évaluation
des descripteurs
Appariement des arbres attribués
Illustration de la phase de la
recherche
28
29. Algorithme de segmentation
But :
◦ Isoler et identifier les deux régions
pulmonaires droite et gauche
Image en entrée Image en sortie
29
30. Diagramme de l’algorithme de
segmentation proposé
Image TDM pulmonaire
Seuillage itératif
Etiquetage des régions noires
Elimination des petites régions noires
Temps moyen de
segmentation : Elimination des régions noires
625 ms touchant le bord de l’image
Etiquetage des régions blanches
Elimination des petites
régions blanches
Amélioration de la segmentation
en utilisant les courbes B-Spline
Image pulmonaire segmentée
30
31. Apport de l’approche de
segmentation proposée :
Utilisation de la technique d’étiquetage dans
l’élimination des régions parasites
l'image à segmenter après
l'image résultante de
l’élimination des régions
l'opération du
parasites et des régions
seuillage
touchant les bords de l’images
31
32. Apport de l’approche de
segmentation proposée :
Lissage des bords des deux régions pulmonaires
en utilisant les courbes B-Spline et correction de la
segmentation
Avant le lissage
Après le lissage
32
33. Facteurs influençant la précision
du calcul du coût de la
distribution spatiale
La position des coordonnées de l’origine du
repère
34
34. Facteurs influençant la précision
du calcul du coût de la
distribution spatiale
Variation de la taille des deux régions
pulmonaires selon l’individu et selon la coupe
du scan
L1≠ L2 Nécessité de la normalisation
de la taille des régions
35
pulmonaires
35. Normalisation de la position des
régions pathologiques (RP)
Choisir une hauteur fixe à tous les
poumons : H=300 pixels
Soit L la hauteur du poumon courant
Normaliser les coordonnées du centre
de gravité de l’ième RP de ce poumon
comme suit :
36
38. Temps moyens des différentes étapes
de la phase de recherche d’images
Durée
Etape
moyenne (ms)
Segmentation automatique de la région
625
pulmonaire
Calcul des descripteurs et réduction de
447
leur dimension en utilisant l’ACP
Construction du graphe de l’image
10
pulmonaire
Recherche d’images en utilisant la
22
méthode d’appariement global
Recherche d’images en utilisant la
27
méthode d’appariement local
Recherche d’images en utilisant la
41
méthode d’appariement global /local
41
39. Principe de la méthode d’évaluation de
performances des descripteurs de texture 1/2
Considération du vecteur de descripteurs de texture
décrivant chaque RP classée de la BDD comme étant un
point dans un espace multidimensionnel
Approximation de la région occupée par les éléments de
chaque classe c par son hyper-sphère minimale
englobante : s c i
Le centre : c’est l’élément (EPPCc) permettant de minimiser la
somme s
s d ( si , s j ) Eq 9
s j Sc
Le rayon : le rayon est égale à RHC
RH c max d EPPC c , s j Eq 10
s j Sc
42
40. Principe de la méthode d’évaluation de
performances des descripteurs de texture 2/2
Mesure des propriétés spatiales :
Condensation de la classe : mesure le degré de proximité des
éléments de la classe de texture de son centre
card s i S S c / d EPPC c , s i RH c
DC c Eq 11
card s i S Sc
Détachement de la classe : mesure le degré de séparation de cette
classe de texture des autres classes
d EPPC c
,sj
s j Sc
CC c
,sj EPPC c
Eq 12
n 1 Dim
→ un bon descripteur permet d’avoir une valeur de DC proche
de 1 et une valeur de CC proche de 0
43
41. Appariement des arbres
attribués
Quel est l’appariement retenu (optimal)?
Minimiser le coût initial d’appariement
Comment peut-on trouver l’appariement
optimal?
Décomposer l’appariement de graphes en deux
appariements de sous-graphes
44