The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...
Tesi specialistica Informatica
1. Random Walker for Content-Based Image Retrieval
with Relevance Feedback
Massimo Rabbi
Universit` Ca’ Foscari di Venezia
a
Dipartimento di Informatica
Laurea Specialistica in Informatica
16 aprile 2010
2. Image Retrieval - La ricerca di immagini
• Perch` cercare immagini?
e
◦ Le immagini sono informazioni
◦ Cataloghi pubblici e privati di foto/immagini
• Come cercare immagini?
◦ Contenuto (Content-Based Image Retrieval)
◦ Descrizione (Text-Based Image Retrieval)
◦ Sistemi misti
• Possibili applicazioni
◦ Sistemi di ricerca web
◦ Sicurezza e biometria
◦ Diagnostica medicale
◦ GIS
◦ Giornalismo e pubblicit`
a
◦ Beni culturali
2 of 20
3. CBIR - La ricerca basata sul contenuto
• Content-Based VS Text-Based
• Concetto di “informazione visuale”
◦ visuale ` la query
e
◦ visuale ` il ragionamento che guida la similitudine
e
◦ visuali sono i criteri utilizzati per l’indicizzazione
• Elementi percettivi per “descrivere” l’immagine
◦ features basate su colore, forma, texture, etc.
◦ features complesse, vedi SIFT o GIST
• Problemi e ambiti di ricerca aperti:
◦ la questione “semantic gap”
◦ domini delle immagini: narrow VS broad
◦ features e misure di similarit` a
◦ interazione dell’utente
3 of 20
4. Relevance Feedback
• Tecnica nata negli anni ’60 nell’ambito del document retrieval e
ripresa con interesse dalla comunit` CBIR verso inizio-met` anni
a a
’90.
• Metodo fondamentale per attaccare il problema del “semantic
gap”.
• Concetto chiave di “user-in-the-loop”.
4 of 20
5. Analisi del lavoro di tesi svolto
• Algoritmo di relevance feedback per l’image retrieval, in particolare
CBIR.
• Approccio graph-based:
◦ i nodi rappresentano le immagini;
◦ i pesi sugli archi rappresentano la similarit`.
a
• Concetto di base: random walker.
• Analogie con algoritmo gi` esistente nel campo dell’image
a
segmentation.
• Legami tra la teoria dei random walk su grafi, la teoria del
potenziale nel discreto e i circuiti elettrici.
5 of 20
6. Formulazione basata sulla teoria dei grafi 1/2
• Input del sistema: grafo pesato G = (V , E , w ), insieme di vertici
(r )
VL ⊆ V , funzione Ψ : V → {0, 1}.
• Output del sistema: ranking vector x(r ) .
• Problema di ottimizzazione:
x(r ) = arg min (xi − xj )2 wij
x
(i,j)∈E
• con i vincoli:
(r )
(a) 0 ≤ xi ≤ 1, for all i ∈ V
(r ) (r )
(b) xi = Ψ(i), for all i ∈ VL
6 of 20
7. Formulazione basata sulla teoria dei grafi 2/2
• Riscrivendo in forma matriciale:
x(r ) = arg min x Lx ,
x
(r )
con xi = Ψ(i) per tutti i ∈ VL
• e pi` precisamente come:
u
LUU LUM xU
x(r ) = arg min [xU xM ]
LMU LMM xM
xU
• Derivando rispetto a xU :
LUU xU = −LUM xM
• Risoluzione di un sistema di equazioni lineari nelle variabili xU .
7 of 20
8. Random walk su grafi
• I grafi come struttura per rappresentare i dati di un problema.
• Un random walk su un grafo indiretto corrisponde ad una catena di
Markov time-reversible.
• Il random walk soddisfa infatti la cosiddetta Propriet` di Markov :
a
P (Xt+1 |X0 , X1 , ..., Xt ) = P (Xt+1 |Xt ) .
• Dato un grafo indiretto G = (V , E , w ), i pesi sugli archi indicano
la probabilit` di spostarsi verso il nodo vicino.
a
• Esempio di random walker: la navigazione di un utente nel web.
8 of 20
9. Random walker per l’image segmentation
• Algoritmo per l’image segmentation interattivo introdotto da Leo
Grady (2006).
• L’immagine ` un grafo di pixel.
e
• Fondamenta nella teoria dei random walk su grafi.
• Input: un numero di pixel predefiniti dall’utente, chiamati seed.
• Output: immagine segmentata
9 of 20
10. Il problema di Dirichlet
• Le probabilit` del random walker possono essere ottenute
a
risolvendo il problema di Dirichlet.
• La sua formulazione combinatoria ` la seguente:
e
1 1
D[x] = xT Lx = wij (xi − xj )2
2 2
eij ∈E
• Riscrivendo otteniamo:
1 T LM B xM
D[xU ] = x xT
2 M U BT LU xU
• Derivando rispetto a xU :
LU xU = −B T xM
10 of 20
12. Random walker per l’image retrieval
• I nuovi nodi del grafo sono le immagini.
• Gli unici due seed necessari sono le categorie “rilevante” e “non
rilevante”.
• I pesi sugli archi rappresentano la similarit` tra coppie di immagini:
a
||Ii − Ij ||
wij = exp −
σ
• I round di feedback per “popolare” l’insieme di seed.
12 of 20
14. Test sperimentali - Features, algoritmi e impostazioni
• Features utilizzate:
◦ Color Histogram 32-D
◦ Color Histogram Layout 32-D
◦ Color Moments 9-D
◦ Gray Level Co-Occurrence Matrix 20-D
◦ Global Scene (GIST) 60-D
• Algoritmi usati per i confronti:
◦ Feature Re-Weighting
◦ Relevance Score
◦ Relevance Score Stabilized
◦ Multiple Random Walk
• 8 round di feedback.
• Dimensioni dello scope: 20,30,40.
14 of 20
17. Test sperimentali - Perfomance sui tempi
10 1000
100 RS
RS-S
RW
1 10 100 MRW
Average time per round
Average time per round
Average time per round
FR
0.1 1 10
0.1
0.01 1
0.01
0.001 0.1
0.001
RS RS
0.0001 RS-S RS-S 0.01
RW 0.0001 RW
MRW MRW
FR FR
1e-05 1e-05 0.001
0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8
Feedback Rounds Feedback Rounds Feedback Rounds
(a) Wang Dataset (b) Oliva Dataset (c) Custom Caltech Dataset
• Feature usata: Color Histogram.
• Random query: 500 query per (a) e (b), 100 query (c).
• Dimensione scope: 20 elementi.
17 of 20
18. Test sperimentali - Implementazione sparsa
100 1
90
Average time per round
80
Precision (%)
70 0.1
60
50
40 0.01
30
20 Original G Original G
Sparse G Sparse G
10 0.001
0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8
Feedback Rounds Feedback Rounds
(a) Precisione (b) Tempi per round
• Feature scelta: Color Moments.
• Query random: 500 query random su dataset Oliva.
• Dimensione scope: 20 elementi.
• Versione sparsa: regola di approssimazione k-nn con k=20.
18 of 20
19. Conclusioni e sviluppi futuri
• Proposto un nuovo algoritmo per il CBIR con relevance feedback.
• Bont` dei risultati sperimentali ottenuti.
a
• Metodo semplice da implementare e parameter-free.
• Possibilit` di utilizzo in versione sparsa in dataset pi` grandi.
a u
• 11th European Conference on Computer Vision (ECCV 2010) -
S.Rota Bul`, M.Rabbi, M.Pelillo - Paper Submitted.
o
• Future works:
◦ Modello di feedback: es. Ψ = {0, 0.5, 1}
◦ Query multi-immagine.
◦ Estendere la parte sperimentale: implementazione sparsa, datasets e
features.
◦ Implementazione di un sistema completo di image retrieval.
19 of 20
20. Bibliografia
R. Datta, D. Joshi, J. Li, J.Z. Wang.
Image retrieval: Ideas, influences, and trends of the new age.
ACM Computing Surveys 40, 1-60, 2008.
M.S. Lew, N. Sebe, C. Djerba, R. Jain.
Content-based multimedia information retrieval: State-of-the-art and
challenges.
ACM Transactions on Multimedia Computing, Communications and
Applications 2, 1-19, 2006.
L. Grady.
Random Walks for Image Segmentation.
IEEE Trans. on Pattern Analysis and Machine Intelligence, 1768-1783, 2006.
L. Lov´sz.
a
Random Walks on Graphs: A survery.
Combinatorics, Paul Erd¨s is Eighty (Vol. 2), 1-46, 1993.
o
20 of 20