1. Recherche d’images similaires dans des bases
radiologiques :
Application aux séquences d’IRM des
masses ovariennes
Stage de Recherche financé dans le cadre du projet interdisciplinaire "Imageries du Vivant"
Encadrants :
Correspondante de stage :
Responsable de stage :
Yankı SESYILMAZ
Florence CLOPPET, Dr. Laure FOURNIER, Camille KURTZ
Isabelle BLOCH
Sévérine DUBUISSON
12 Septembre 2016
2. Plan
1. Introduction
• Contexte et objectifs du stage
• Approches existantes
2. Méthode proposée de recherches multi-séquences
3. Évaluation expérimentale
4. Conclusion et perspectives
2/18
3. Interprétation des masses ovariennes
● Types de kystes :
● Types de sequence IRM :
• T2
• T1
• T1 Fat Sat
• T1 Fat Sat Gadolinium
● Types de signal :
Kystes simples Kystes dermoïdes Kystes hémorragiques
T2 T1 T1 FS T1 FS Gd
KYSTES SIMPLES Hyper Hypo Hypo Hypo
KYSTES DERMOÏDES Variable Hyper Hypo Hypo
KYSTES HÉMORRAGIQUES Variable Hyper Hyper Hyper
Hyper Hypo Iso
3/18
4. Sujet du stage
● Fournir une aide aux radiologues pour l’interprétation de séquences d'images IRM pour
l’analyse des masses ovariennes.
● Les difficultés :
• Besoin de recherche multi-séquences
• Besoin d'outils "objectifs" basés sur le contenu visuel des images
• Taille importante des bases de données des images médicales
• Fusion des caractéristiques qualitatives (sémantiques) et quantitatives des images
??
Cyste
Endométriome
Tératome
4/18
5. Objectifs du stage
● Méthodologique en Informatique (Analyse d’images)
• Développement d'une méthode de recherche d'images par le contenu combinant
descripteurs visuels et sémantiques.
• Développement d'une méthode de recherche d'images par le contenu permettant des
recherches multi-images (la requête est représentée par plusieurs séquences).
● Technologique
• Implémentation dans la librairie open-source LIRE.
(http://www.lire-project.net/)
● Vers une application pour des besoins cliniques
• Validation de ces outils et méthodes à la recherche d’images similaires de masses
ovariennes dans un PACS.
5/18
6. Objectifs du stage
● Création et annotation de la base d’images
Actuellement la base contient 25 cas annotés soit 90 images au total
(10 kystes simples, 8 endométriomes et 7 tératomes)
6/18
7. Approches existantes
• Recherche d'images par méta-données [1]
(nom de patient, date d’acquisition, sexe, age, etc..)
• Recherche d'images" par le contenu (en anglais : Content Based Image Retrieval - CBIR) [2] [3]
7/18
[1] M. Möller, S. Regel, and M. Sintek. Radsem : Semantic annotation and retrieval for medical images. In Proceedings of the European Semantic Web Conference – ESWC, pages
21–35, 2009.
[2] T. Kato. Database architecture for content-based image retrieval. In Proceedings of the Symposium on Electronic Imaging : Science and Technology – IS&T/SPIE, pages 112–
123, 1992.
[3] H. Müller, N. Michoux, D. Bandon, and A. Geissbuhler. A review of content-based image retrieval systems in medical applications—clinical benefits and future directions.
International Journal of Medical Informatics, 73(1) :1–23, 2004.
8. Approches existantes
● Approches de fusion des caractéristiques visuelles et sémantiques
• Fusion des descripteurs avant la recherche [1] [2]
• Fusion des résultats issus des recherches pour différentes caractéristiques visuelles [3]
• Recherches successives [4]
● Approches de recherche multi-images
• Pondération des images requêtes [5]
• Combiner les mesures de similarité des images requêtes avec la base [6]
8/18
[1] T. Gevers and A. W. Smeulders. Pictoseek : Combining color and shape invariant features for image retrieval. IEEE Transactions on Image Processing, 9(1) :102–119, 2000.
[2] M. Huang, H. Shu, Y. Ma, and Q. Gong. Content-based image retrieval technology using multifeature fusion. Optik-International Journal for Light and Electron Optics,
126(19) :2144–2148,
2015.
[3] T. Gevers and A. W. Smeulders. Pictoseek : Combining color and shape invariant features for image retrieval. IEEE Transactions on Image Processing, 9(1) :102–119, 2000.
[4] D. Zhang. Improving image retrieval performance by using both color and texture features. In Proceedings of the International IEEE Conference on Image and Graphics –
ICIG, pages 172–175, 2004.
[5] Y. Ishikawa, R. Subramanya, and C. Faloutsos. Mindreader : Querying databases through multiple examples. Computer Science Department, page 551, 1998.
[6] X. Jin and J. C. French. Improving image retrieval effectiveness via multiple queries. Multimedia Tools and Applications, 26(2) :221–245, 2005.
9. Problèmes des méthodes existantes
8/18
● Ils n’existe pas beaucoup de méthodes pour la recherche multi-images voir
aucun système pour la recherche multi-séquences.
● Le domaine médical est très spécifique et un seul système ne peut pas convenir
à toutes sortes d’images médicales.
● Nous ne voulons pas faire de la classification mais de la recherche pour aider les
radiologues à diagnostiquer les cas rares.
11. Méthode proposée
● Indexation sur des ROIs : extraction des descripteurs
𝑡1, 𝑡2, … , 𝑡 𝑛
histogramme de
niveaux de gris (GLH)
motifs binaires
locaux (LBP)
pyramide d’histogrammes de
gradients orientés (PHOG)
termes
sémantiques
(TS)
[1] A. S. M. Sohail, P. Bhattacharya, S. P. Mudur, S. Krishnamurthy, and L. Gilbert. Content based retrieval and classification of ultrasound medical images of ovarian cysts.
In Proceedings of the Workshop on Artificial Neural Networks in Pattern Recognition – ANNPR, pages 173–184, 2010. 10/18
17. Évaluation expérimentale
● Mesure de performance
● Étant un cas requête avec un certain diagnostic, on évalue le nombre de cas
retrouvés ayant le même diagnostic : Précision/Rappel/F-mesure
𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 =
𝑁𝑏. 𝑑𝑒 𝑐𝑎𝑠 𝑝𝑒𝑟𝑡𝑖𝑛𝑒𝑛𝑡𝑠 𝑟𝑒𝑡𝑟𝑜𝑢𝑣é𝑠
𝑁𝑏. 𝑡𝑜𝑡𝑎𝑙 𝑑𝑒 𝑐𝑎𝑠 𝑟𝑒𝑡𝑟𝑜𝑢𝑣é𝑠
𝑟𝑎𝑝𝑝𝑒𝑙 =
𝑁𝑏. 𝑑𝑒 𝑐𝑎𝑠 𝑝𝑒𝑟𝑡𝑖𝑛𝑒𝑛𝑡𝑠 𝑟𝑒𝑡𝑟𝑜𝑢𝑣é𝑠
𝑁𝑏. 𝑡𝑜𝑡𝑎𝑙 𝑑𝑒 𝑐𝑎𝑠 𝑝𝑒𝑟𝑡𝑖𝑛𝑒𝑛𝑡𝑠 𝑑𝑎𝑛𝑠 𝑙𝑎 𝑏𝑎𝑠𝑒
𝑓𝑚𝑒𝑠𝑢𝑟𝑒 = 2 ∙
𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 ∙ 𝑟𝑎𝑝𝑝𝑒𝑙
𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑎𝑝𝑝𝑒𝑙
15/18
18. ● Approche mono-descripteur, multi-séquences
63,35%
52,69%
57,14%58,21% 58,21%
50,19%
53,63%
0,00%
10,00%
20,00%
30,00%
40,00%
50,00%
60,00%
70,00%
80,00%
90,00%
100,00%
Précision Rappel F-mesure
Mesure de performance avec l'histogramme de niveaux de gris
Tanimoto Manhattan Euclidienne
16/18
Évaluation expérimentale
20. ● Approche mono-descripteur, multi-séquences
40,67%
35,32%
37,62%
48,51%
38,82%
42,84%
46,87%
38,39%
41,91%
0,00%
10,00%
20,00%
30,00%
40,00%
50,00%
60,00%
70,00%
80,00%
90,00%
100,00%
Précision Rappel F-mesure
Mesure de performance avec la pyramide des histogrammes de
gradients orientés
Tanimoto Manhattan Euclidienne
16/18
Évaluation expérimentale
21. ● Approche multi-descripteurs, multi-séquences
71,94%
45,22%
55,02%
62,82%
43,12%
47,88%
59,87%
35,57%
44,22%
56,32%
32,75%
38,40%
64,91%
39,53%
48,68%
61,10%
37,13%
42,58%
0,00%
10,00%
20,00%
30,00%
40,00%
50,00%
60,00%
70,00%
80,00%
90,00%
100,00%
des rangs des distances de similarité des rangs de distance de
similarité et des rangs
des rangs des distances de similarité des rangs de distance de
similarité et des rangs
Moyenne arithmétique Moyenne harmonique
Mesure de performance avec l’approche descripteurs -> séquence
Précision Rappel F-mesure
17/18
Évaluation expérimentale
22. ● Approche multi-descripteurs, multi-séquences
78,77%
76,87%
73,06%
70,82%
65,74%
64,21%
60,61% 59,32%
71,18%
69,50%
65,79%
63,56%
0,00%
10,00%
20,00%
30,00%
40,00%
50,00%
60,00%
70,00%
80,00%
90,00%
100,00%
des moyennes des rangs générale de tous les rangs des moyennes des rangs générale de tous les rangs
Moyenne aithmétique Moyenne hamonique
Mesure de performance avec l’approche descripteurs -> séquence
Précision Rappel F-mesure
17/18
Évaluation expérimentale
23. Conclusion
● Bilan sur l’approche multi-descripteurs, multi-séquences
● Limites
● Données manquantes
● Termes sémantiques doivent être saisis à la main
● Perspectives
● Automatisation de la détéction des ROIs et prédiction des termes sémantiques
● Pondérer les poids donnés aux descripteurs et aux séquences grâce à l’aide d'un
mécanisme de retour de pertinence
18/18
