SlideShare a Scribd company logo
1 of 20
Download to read offline
Random Walker for Content-Based Image Retrieval
          with Relevance Feedback




                                  Massimo Rabbi

                            Universit` Ca’ Foscari di Venezia
                                     a
                              Dipartimento di Informatica


                         Laurea Specialistica in Informatica
                                  16 aprile 2010
Image Retrieval - La ricerca di immagini
• Perch` cercare immagini?
       e
  ◦ Le immagini sono informazioni
  ◦ Cataloghi pubblici e privati di foto/immagini
• Come cercare immagini?
  ◦ Contenuto (Content-Based Image Retrieval)
  ◦ Descrizione (Text-Based Image Retrieval)
  ◦ Sistemi misti
• Possibili applicazioni
  ◦ Sistemi di ricerca web
  ◦ Sicurezza e biometria
  ◦ Diagnostica medicale
  ◦ GIS
  ◦ Giornalismo e pubblicit`
                           a
  ◦ Beni culturali

  2 of 20
CBIR - La ricerca basata sul contenuto

• Content-Based VS Text-Based
• Concetto di “informazione visuale”
  ◦ visuale ` la query
             e
  ◦ visuale ` il ragionamento che guida la similitudine
             e
  ◦ visuali sono i criteri utilizzati per l’indicizzazione
• Elementi percettivi per “descrivere” l’immagine
  ◦ features basate su colore, forma, texture, etc.
  ◦ features complesse, vedi SIFT o GIST
• Problemi e ambiti di ricerca aperti:
  ◦ la questione “semantic gap”
  ◦ domini delle immagini: narrow VS broad
  ◦ features e misure di similarit` a
  ◦ interazione dell’utente

  3 of 20
Relevance Feedback
• Tecnica nata negli anni ’60 nell’ambito del document retrieval e
  ripresa con interesse dalla comunit` CBIR verso inizio-met` anni
                                     a                      a
  ’90.
• Metodo fondamentale per attaccare il problema del “semantic
  gap”.
• Concetto chiave di “user-in-the-loop”.




4 of 20
Analisi del lavoro di tesi svolto


• Algoritmo di relevance feedback per l’image retrieval, in particolare
  CBIR.
• Approccio graph-based:
   ◦ i nodi rappresentano le immagini;
   ◦ i pesi sugli archi rappresentano la similarit`.
                                                  a
• Concetto di base: random walker.
• Analogie con algoritmo gi` esistente nel campo dell’image
                           a
  segmentation.
• Legami tra la teoria dei random walk su grafi, la teoria del
  potenziale nel discreto e i circuiti elettrici.


5 of 20
Formulazione basata sulla teoria dei grafi 1/2


• Input del sistema: grafo pesato G = (V , E , w ), insieme di vertici
      (r )
  VL         ⊆ V , funzione Ψ : V → {0, 1}.
• Output del sistema: ranking vector x(r ) .
• Problema di ottimizzazione:

                      x(r ) = arg min             (xi − xj )2 wij
                                x
                                        (i,j)∈E

• con i vincoli:
            (r )
 (a) 0 ≤ xi ≤ 1, for all i ∈ V
       (r )                   (r )
 (b) xi = Ψ(i), for all i ∈ VL


6 of 20
Formulazione basata sulla teoria dei grafi 2/2

• Riscrivendo in forma matriciale:
                  x(r ) = arg min    x Lx ,
                               x
                                                              (r )
                               con   xi = Ψ(i) per tutti i ∈ VL

• e pi` precisamente come:
      u
                                                  LUU   LUM       xU
               x(r ) = arg min       [xU   xM ]
                                                  LMU   LMM       xM
                          xU

• Derivando rispetto a xU :
                               LUU xU = −LUM xM
• Risoluzione di un sistema di equazioni lineari nelle variabili xU .

7 of 20
Random walk su grafi


• I grafi come struttura per rappresentare i dati di un problema.
• Un random walk su un grafo indiretto corrisponde ad una catena di
  Markov time-reversible.
• Il random walk soddisfa infatti la cosiddetta Propriet` di Markov :
                                                        a

                 P (Xt+1 |X0 , X1 , ..., Xt ) = P (Xt+1 |Xt ) .

• Dato un grafo indiretto G = (V , E , w ), i pesi sugli archi indicano
  la probabilit` di spostarsi verso il nodo vicino.
               a
• Esempio di random walker: la navigazione di un utente nel web.



8 of 20
Random walker per l’image segmentation
• Algoritmo per l’image segmentation interattivo introdotto da Leo
  Grady (2006).
• L’immagine ` un grafo di pixel.
             e
• Fondamenta nella teoria dei random walk su grafi.
• Input: un numero di pixel predefiniti dall’utente, chiamati seed.
• Output: immagine segmentata




9 of 20
Il problema di Dirichlet
• Le probabilit` del random walker possono essere ottenute
               a
  risolvendo il problema di Dirichlet.
• La sua formulazione combinatoria ` la seguente:
                                       e
                       1        1
                 D[x] = xT Lx =                   wij (xi − xj )2
                       2        2
                                         eij ∈E

• Riscrivendo otteniamo:

                           1 T              LM       B      xM
                D[xU ] =     x      xT
                           2 M       U      BT       LU     xU

• Derivando rispetto a xU :

                              LU xU = −B T xM
10 of 20
Analogia tra seeded segmentation e circuiti elettrici




11 of 20
Random walker per l’image retrieval


• I nuovi nodi del grafo sono le immagini.
• Gli unici due seed necessari sono le categorie “rilevante” e “non
   rilevante”.
• I pesi sugli archi rappresentano la similarit` tra coppie di immagini:
                                               a

                                      ||Ii − Ij ||
                        wij = exp −
                                           σ
• I round di feedback per “popolare” l’insieme di seed.




12 of 20
Test sperimentali - Datasets
• Wang Dataset - 1000 immagini - 10 categorie


• Oliva Dataset - 2688 immagini - 8 categorie


• Custom-Caltech Dataset - 4920 immagini - 43 categorie




13 of 20
Test sperimentali - Features, algoritmi e impostazioni

• Features utilizzate:
  ◦ Color Histogram 32-D
  ◦ Color Histogram Layout 32-D
  ◦ Color Moments 9-D
  ◦ Gray Level Co-Occurrence Matrix 20-D
  ◦ Global Scene (GIST) 60-D
• Algoritmi usati per i confronti:
  ◦ Feature Re-Weighting
  ◦ Relevance Score
  ◦ Relevance Score Stabilized
  ◦ Multiple Random Walk
• 8 round di feedback.
• Dimensioni dello scope: 20,30,40.

14 of 20
Test sperimentali - Precisione della ricerca

                 100                                                              100                                                              100
                                                                                                                                                                                     RS
                 90                                                               90                                                               90                               RS-S
                                                                                                                                                                                     RW
                 80                                                               80                                                               80                               MRW
                                                                                                                                                                                      FR
 Precision (%)




                                                                  Precision (%)




                                                                                                                                   Precision (%)
                 70                                                               70                                                               70
                 60                                                               60                                                               60
                 50                                                               50                                                               50
                 40                                                               40                                                               40
                                                    RS                                                               RS
                 30                                RS-S                           30                                RS-S                           30
                                                    RW                                                               RW
                 20                                MRW                            20                                MRW                            20
                                                     FR                                                               FR
                 10                                                               10                                                               10
                       0    1   2     3    4   5      6   7   8                         0    1   2     3    4   5      6   7   8                         0   1   2     3    4   5      6   7   8
                                    Feedback Rounds                                                  Feedback Rounds                                                 Feedback Rounds


                           (a) Wang Dataset                                                 (b) Oliva Dataset                      (c) Custom Caltech Dataset



• Feature usata: Color Histogram.
• Random query: 500 query per (a) e (b), 100 query (c).
• Dimensione scope: 20 elementi.

15 of 20
Test sperimentali - Scelta delle feature
                 100                                                                                 100                                                                                     100
                 90                                                                                  90                                                                                      90
                 80                                                                                  80                                                                                      80
 Precision (%)




                                                                                     Precision (%)




                                                                                                                                                                             Precision (%)
                 70                                                                                  70                                                                                      70
                 60                                                                                  60                                                                                      60
                 50                                                                                  50                                                                                      50
                 40                                                                                  40                                                                                      40
                                                                    RS                                                                                      RS                                                                     RS
                 30                                                RS-S                              30                                                    RS-S                              30                                   RS-S
                                                                    RW                                                                                      RW                                                                     RW
                 20                                                MRW                               20                                                    MRW                               20                                   MRW
                                                                     FR                                                                                      FR                                                                     FR
                 10                                                                                  10                                                                                      10
                       0   1   2     3         4               5    6     7      8                         0   1      2     3          4               5    6     7      8                         0    1      2     3    4   5      6   7   8
                                   Feedback Rounds                                                                        Feedback Rounds                                                                          Feedback Rounds


                       (a) Color Histogram                                           (b) Color Histogram Layout                                                                                        (c) Color Moments
                                                         100                                                                                     100
                                                         90                                                                                      90
                                                         80                                                                                      80
                                         Precision (%)




                                                                                                                                 Precision (%)
                                                         70                                                                                      70
                                                         60                                                                                      60
                                                         50                                                                                      50
                                                         40                                                                                      40
                                                                                                                RS                                                                                       RS
                                                         30                                                    RS-S                              30                                                     RS-S
                                                                                                                RW                                                                                       RW
                                                         20                                                    MRW                               20                                                     MRW
                                                                                                                 FR                                                                                       FR
                                                         10                                                                                      10
                                                               0   1      2     3          4               5    6     7      8                         0   1      2     3          4               5     6     7      8
                                                                              Feedback Rounds                                                                         Feedback Rounds


                                                                          (d) GLCM                                                                                (e) GIST
16 of 20
Test sperimentali - Perfomance sui tempi

                             10                                                                                                                                                         1000
                                                                                                           100                                                                                                                 RS
                                                                                                                                                                                                                              RS-S
                                                                                                                                                                                                                               RW
                              1                                                                             10                                                                           100                                  MRW
 Average time per round




                                                                                Average time per round




                                                                                                                                                               Average time per round
                                                                                                                                                                                                                                FR
                             0.1                                                                             1                                                                            10

                                                                                                            0.1
                            0.01                                                                                                                                                           1
                                                                                                           0.01
                           0.001                                                                                                                                                          0.1
                                                                                                          0.001
                                        RS                                                                             RS
                          0.0001       RS-S                                                                           RS-S                                                               0.01
                                        RW                                                               0.0001        RW
                                       MRW                                                                            MRW
                                         FR                                                                             FR
                          1e-05                                                                          1e-05                                                                          0.001
                                   0      1   2     3    4    5     6   7   8                                     0      1   2     3    4    5     6   7   8                                    0   1   2     3    4    5     6      7   8
                                                  Feedback Rounds                                                                Feedback Rounds                                                            Feedback Rounds


                                   (a) Wang Dataset                                                                   (b) Oliva Dataset                        (c) Custom Caltech Dataset



• Feature usata: Color Histogram.
• Random query: 500 query per (a) e (b), 100 query (c).
• Dimensione scope: 20 elementi.

17 of 20
Test sperimentali - Implementazione sparsa
                    100                                                                            1
                    90




                                                                       Average time per round
                    80
    Precision (%)




                    70                                                                            0.1
                    60
                    50
                    40                                                                           0.01
                    30
                    20                            Original G                                                                   Original G
                                                  Sparse G                                                                     Sparse G
                    10                                                                          0.001
                          0   1    2     3    4   5      6     7   8                                    0   1   2     3    4    5     6     7   8
                                       Feedback Rounds                                                              Feedback Rounds


                                  (a) Precisione                                                        (b) Tempi per round


• Feature scelta: Color Moments.
• Query random: 500 query random su dataset Oliva.
• Dimensione scope: 20 elementi.
• Versione sparsa: regola di approssimazione k-nn con k=20.

18 of 20
Conclusioni e sviluppi futuri
• Proposto un nuovo algoritmo per il CBIR con relevance feedback.
• Bont` dei risultati sperimentali ottenuti.
      a
• Metodo semplice da implementare e parameter-free.
• Possibilit` di utilizzo in versione sparsa in dataset pi` grandi.
            a                                             u
• 11th European Conference on Computer Vision (ECCV 2010) -
   S.Rota Bul`, M.Rabbi, M.Pelillo - Paper Submitted.
             o

• Future works:
  ◦ Modello di feedback: es. Ψ = {0, 0.5, 1}
  ◦ Query multi-immagine.
  ◦ Estendere la parte sperimentale: implementazione sparsa, datasets e
    features.
  ◦ Implementazione di un sistema completo di image retrieval.

19 of 20
Bibliografia

     R. Datta, D. Joshi, J. Li, J.Z. Wang.
     Image retrieval: Ideas, influences, and trends of the new age.
     ACM Computing Surveys 40, 1-60, 2008.
     M.S. Lew, N. Sebe, C. Djerba, R. Jain.
     Content-based multimedia information retrieval: State-of-the-art and
     challenges.
     ACM Transactions on Multimedia Computing, Communications and
     Applications 2, 1-19, 2006.
     L. Grady.
     Random Walks for Image Segmentation.
     IEEE Trans. on Pattern Analysis and Machine Intelligence, 1768-1783, 2006.
     L. Lov´sz.
           a
     Random Walks on Graphs: A survery.
     Combinatorics, Paul Erd¨s is Eighty (Vol. 2), 1-46, 1993.
                            o

20 of 20

More Related Content

Featured

Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Applitools
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at WorkGetSmarter
 
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...DevGAMM Conference
 
Barbie - Brand Strategy Presentation
Barbie - Brand Strategy PresentationBarbie - Brand Strategy Presentation
Barbie - Brand Strategy PresentationErica Santiago
 
Good Stuff Happens in 1:1 Meetings: Why you need them and how to do them well
Good Stuff Happens in 1:1 Meetings: Why you need them and how to do them wellGood Stuff Happens in 1:1 Meetings: Why you need them and how to do them well
Good Stuff Happens in 1:1 Meetings: Why you need them and how to do them wellSaba Software
 
Introduction to C Programming Language
Introduction to C Programming LanguageIntroduction to C Programming Language
Introduction to C Programming LanguageSimplilearn
 
The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...
The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...
The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...Palo Alto Software
 

Featured (20)

Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
 
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
 
Barbie - Brand Strategy Presentation
Barbie - Brand Strategy PresentationBarbie - Brand Strategy Presentation
Barbie - Brand Strategy Presentation
 
Good Stuff Happens in 1:1 Meetings: Why you need them and how to do them well
Good Stuff Happens in 1:1 Meetings: Why you need them and how to do them wellGood Stuff Happens in 1:1 Meetings: Why you need them and how to do them well
Good Stuff Happens in 1:1 Meetings: Why you need them and how to do them well
 
Introduction to C Programming Language
Introduction to C Programming LanguageIntroduction to C Programming Language
Introduction to C Programming Language
 
The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...
The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...
The Pixar Way: 37 Quotes on Developing and Maintaining a Creative Company (fr...
 

Tesi specialistica Informatica

  • 1. Random Walker for Content-Based Image Retrieval with Relevance Feedback Massimo Rabbi Universit` Ca’ Foscari di Venezia a Dipartimento di Informatica Laurea Specialistica in Informatica 16 aprile 2010
  • 2. Image Retrieval - La ricerca di immagini • Perch` cercare immagini? e ◦ Le immagini sono informazioni ◦ Cataloghi pubblici e privati di foto/immagini • Come cercare immagini? ◦ Contenuto (Content-Based Image Retrieval) ◦ Descrizione (Text-Based Image Retrieval) ◦ Sistemi misti • Possibili applicazioni ◦ Sistemi di ricerca web ◦ Sicurezza e biometria ◦ Diagnostica medicale ◦ GIS ◦ Giornalismo e pubblicit` a ◦ Beni culturali 2 of 20
  • 3. CBIR - La ricerca basata sul contenuto • Content-Based VS Text-Based • Concetto di “informazione visuale” ◦ visuale ` la query e ◦ visuale ` il ragionamento che guida la similitudine e ◦ visuali sono i criteri utilizzati per l’indicizzazione • Elementi percettivi per “descrivere” l’immagine ◦ features basate su colore, forma, texture, etc. ◦ features complesse, vedi SIFT o GIST • Problemi e ambiti di ricerca aperti: ◦ la questione “semantic gap” ◦ domini delle immagini: narrow VS broad ◦ features e misure di similarit` a ◦ interazione dell’utente 3 of 20
  • 4. Relevance Feedback • Tecnica nata negli anni ’60 nell’ambito del document retrieval e ripresa con interesse dalla comunit` CBIR verso inizio-met` anni a a ’90. • Metodo fondamentale per attaccare il problema del “semantic gap”. • Concetto chiave di “user-in-the-loop”. 4 of 20
  • 5. Analisi del lavoro di tesi svolto • Algoritmo di relevance feedback per l’image retrieval, in particolare CBIR. • Approccio graph-based: ◦ i nodi rappresentano le immagini; ◦ i pesi sugli archi rappresentano la similarit`. a • Concetto di base: random walker. • Analogie con algoritmo gi` esistente nel campo dell’image a segmentation. • Legami tra la teoria dei random walk su grafi, la teoria del potenziale nel discreto e i circuiti elettrici. 5 of 20
  • 6. Formulazione basata sulla teoria dei grafi 1/2 • Input del sistema: grafo pesato G = (V , E , w ), insieme di vertici (r ) VL ⊆ V , funzione Ψ : V → {0, 1}. • Output del sistema: ranking vector x(r ) . • Problema di ottimizzazione: x(r ) = arg min (xi − xj )2 wij x (i,j)∈E • con i vincoli: (r ) (a) 0 ≤ xi ≤ 1, for all i ∈ V (r ) (r ) (b) xi = Ψ(i), for all i ∈ VL 6 of 20
  • 7. Formulazione basata sulla teoria dei grafi 2/2 • Riscrivendo in forma matriciale: x(r ) = arg min x Lx , x (r ) con xi = Ψ(i) per tutti i ∈ VL • e pi` precisamente come: u LUU LUM xU x(r ) = arg min [xU xM ] LMU LMM xM xU • Derivando rispetto a xU : LUU xU = −LUM xM • Risoluzione di un sistema di equazioni lineari nelle variabili xU . 7 of 20
  • 8. Random walk su grafi • I grafi come struttura per rappresentare i dati di un problema. • Un random walk su un grafo indiretto corrisponde ad una catena di Markov time-reversible. • Il random walk soddisfa infatti la cosiddetta Propriet` di Markov : a P (Xt+1 |X0 , X1 , ..., Xt ) = P (Xt+1 |Xt ) . • Dato un grafo indiretto G = (V , E , w ), i pesi sugli archi indicano la probabilit` di spostarsi verso il nodo vicino. a • Esempio di random walker: la navigazione di un utente nel web. 8 of 20
  • 9. Random walker per l’image segmentation • Algoritmo per l’image segmentation interattivo introdotto da Leo Grady (2006). • L’immagine ` un grafo di pixel. e • Fondamenta nella teoria dei random walk su grafi. • Input: un numero di pixel predefiniti dall’utente, chiamati seed. • Output: immagine segmentata 9 of 20
  • 10. Il problema di Dirichlet • Le probabilit` del random walker possono essere ottenute a risolvendo il problema di Dirichlet. • La sua formulazione combinatoria ` la seguente: e 1 1 D[x] = xT Lx = wij (xi − xj )2 2 2 eij ∈E • Riscrivendo otteniamo: 1 T LM B xM D[xU ] = x xT 2 M U BT LU xU • Derivando rispetto a xU : LU xU = −B T xM 10 of 20
  • 11. Analogia tra seeded segmentation e circuiti elettrici 11 of 20
  • 12. Random walker per l’image retrieval • I nuovi nodi del grafo sono le immagini. • Gli unici due seed necessari sono le categorie “rilevante” e “non rilevante”. • I pesi sugli archi rappresentano la similarit` tra coppie di immagini: a ||Ii − Ij || wij = exp − σ • I round di feedback per “popolare” l’insieme di seed. 12 of 20
  • 13. Test sperimentali - Datasets • Wang Dataset - 1000 immagini - 10 categorie • Oliva Dataset - 2688 immagini - 8 categorie • Custom-Caltech Dataset - 4920 immagini - 43 categorie 13 of 20
  • 14. Test sperimentali - Features, algoritmi e impostazioni • Features utilizzate: ◦ Color Histogram 32-D ◦ Color Histogram Layout 32-D ◦ Color Moments 9-D ◦ Gray Level Co-Occurrence Matrix 20-D ◦ Global Scene (GIST) 60-D • Algoritmi usati per i confronti: ◦ Feature Re-Weighting ◦ Relevance Score ◦ Relevance Score Stabilized ◦ Multiple Random Walk • 8 round di feedback. • Dimensioni dello scope: 20,30,40. 14 of 20
  • 15. Test sperimentali - Precisione della ricerca 100 100 100 RS 90 90 90 RS-S RW 80 80 80 MRW FR Precision (%) Precision (%) Precision (%) 70 70 70 60 60 60 50 50 50 40 40 40 RS RS 30 RS-S 30 RS-S 30 RW RW 20 MRW 20 MRW 20 FR FR 10 10 10 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 Feedback Rounds Feedback Rounds Feedback Rounds (a) Wang Dataset (b) Oliva Dataset (c) Custom Caltech Dataset • Feature usata: Color Histogram. • Random query: 500 query per (a) e (b), 100 query (c). • Dimensione scope: 20 elementi. 15 of 20
  • 16. Test sperimentali - Scelta delle feature 100 100 100 90 90 90 80 80 80 Precision (%) Precision (%) Precision (%) 70 70 70 60 60 60 50 50 50 40 40 40 RS RS RS 30 RS-S 30 RS-S 30 RS-S RW RW RW 20 MRW 20 MRW 20 MRW FR FR FR 10 10 10 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 Feedback Rounds Feedback Rounds Feedback Rounds (a) Color Histogram (b) Color Histogram Layout (c) Color Moments 100 100 90 90 80 80 Precision (%) Precision (%) 70 70 60 60 50 50 40 40 RS RS 30 RS-S 30 RS-S RW RW 20 MRW 20 MRW FR FR 10 10 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 Feedback Rounds Feedback Rounds (d) GLCM (e) GIST 16 of 20
  • 17. Test sperimentali - Perfomance sui tempi 10 1000 100 RS RS-S RW 1 10 100 MRW Average time per round Average time per round Average time per round FR 0.1 1 10 0.1 0.01 1 0.01 0.001 0.1 0.001 RS RS 0.0001 RS-S RS-S 0.01 RW 0.0001 RW MRW MRW FR FR 1e-05 1e-05 0.001 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 Feedback Rounds Feedback Rounds Feedback Rounds (a) Wang Dataset (b) Oliva Dataset (c) Custom Caltech Dataset • Feature usata: Color Histogram. • Random query: 500 query per (a) e (b), 100 query (c). • Dimensione scope: 20 elementi. 17 of 20
  • 18. Test sperimentali - Implementazione sparsa 100 1 90 Average time per round 80 Precision (%) 70 0.1 60 50 40 0.01 30 20 Original G Original G Sparse G Sparse G 10 0.001 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 Feedback Rounds Feedback Rounds (a) Precisione (b) Tempi per round • Feature scelta: Color Moments. • Query random: 500 query random su dataset Oliva. • Dimensione scope: 20 elementi. • Versione sparsa: regola di approssimazione k-nn con k=20. 18 of 20
  • 19. Conclusioni e sviluppi futuri • Proposto un nuovo algoritmo per il CBIR con relevance feedback. • Bont` dei risultati sperimentali ottenuti. a • Metodo semplice da implementare e parameter-free. • Possibilit` di utilizzo in versione sparsa in dataset pi` grandi. a u • 11th European Conference on Computer Vision (ECCV 2010) - S.Rota Bul`, M.Rabbi, M.Pelillo - Paper Submitted. o • Future works: ◦ Modello di feedback: es. Ψ = {0, 0.5, 1} ◦ Query multi-immagine. ◦ Estendere la parte sperimentale: implementazione sparsa, datasets e features. ◦ Implementazione di un sistema completo di image retrieval. 19 of 20
  • 20. Bibliografia R. Datta, D. Joshi, J. Li, J.Z. Wang. Image retrieval: Ideas, influences, and trends of the new age. ACM Computing Surveys 40, 1-60, 2008. M.S. Lew, N. Sebe, C. Djerba, R. Jain. Content-based multimedia information retrieval: State-of-the-art and challenges. ACM Transactions on Multimedia Computing, Communications and Applications 2, 1-19, 2006. L. Grady. Random Walks for Image Segmentation. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1768-1783, 2006. L. Lov´sz. a Random Walks on Graphs: A survery. Combinatorics, Paul Erd¨s is Eighty (Vol. 2), 1-46, 1993. o 20 of 20