Sketch-Finder: uma abordagem para recuperação efetiva e eficiente de imagens com base em rascunho para grandes bases de imagens. Carlos Alberto Fraga Pimentel Filho Dentre as várias abordagens de recuperação de imagens existentes, o uso de uma imagem de rascunho permite que o usuário expresse o que deseja buscar de forma visual, simples e rápida. O maior desafio desta categoria de busca consiste em encontrar uma representação para o conteúdo visual que permita comparar de forma eficiente o rascunho do usuário e as imagens da base de dados, mantendo ainda a precisão dos resultados e tendo uma solução escalável. O sketch-finder é uma abordagem para recuperação de imagens com base em rascunho onde tanto o rascunho quanto as bordas das imagens da base de dados são representadas e comparadas no domínio da transformada de wavelet. Assim, apenas os dados mais relevantes, provenientes do rascunho e das imagens, são representados. Um índice invertido indexa as informações com o objetivo de prover uma abordagem eficiente e rápida para a comparação do rascunho com as imagens da base. Além do mais, a solução proposta permite o ajuste do tamanho do índice com base na taxa de compressão de dados. Esse ajuste reflete o balanço entre eficiência e precisão, podendo ser facilmente adequado aos recursos computacionais disponíveis. Uma avaliação comparativa entre o estado da arte usando uma base de imagens de Paris e um subconjunto da base do ImageNet com 535 mil amostras, revela que a presente solução preserva os mesmos níveis de precisão dos resultados ao mesmo tempo em que é bem mais rápida nas consultas.

1. 1
Sketch-Finder – A New
Approach for Sketch-Based
Image Retrieval
Carlos Alberto F. Pimentel Filho
fragapimentel@gmail.com
Arnaldo de Albuquerque Araújo (UFMG)
Michel Crucianu (CNAM)

2. 2
Introduction
Content-Based Image Retrieval (CBIR)
Sketch-Based Image Retrieval (SBIR)
Mind-Finder Approach
Sketch-Finder Approach
Experiments
Conclusion
Future Work

3. 3
Content-Based Image Retrieval
Query-by-Sketch:
Query-by-Painting:
Query-by-Example:
Query-by-Icon:
Query-by-Text:
3

4. 4
Sketch-Based Image Retrieval
SBIR fills two gaps in image retrieval
(i) Allows specification details like object position,
scale and rotation.
(ii) Allows image retrieval when there is no example
image to use.
Our goal is: to retrieve in large datasets images
visually similar to the query sketch object's shape at
similar scale, position and rotation.

5. 5
Sketch-Based Image Retrieval
Why do We Care?

6. 6
Web Image Retrieval Personal Image Retrieval
Mobile Image Retrieval Video Retrieval

7. Sketch-Based Image Retrieval
Query-by-Sketch:
osition Sensitive:
Object's shape at similar
scale, position and rotation.
Approaches:
Mind-Finder (EI)
Sketch-Finder
Compact Hash Bits
Object Sensitive:
Object's shape at any scale,
position and rotation
Approaches (BoW):
HOG
GF-HOG
FISH
SYM-FISH

8. Mind-Finder (Edgel-Index)

9. 9
Edgel-Index
* Compares matching of edgels
* Huge number of edgels for big dataset.
* Edgel:

10. 10
Sketch-Finder
Image processing flow (dataset):
Query flow:

11. 11
Contour Detection & Threshold
Clique para adicionar texto
11

12. 12
Orientation and Dilation
Clique para adicionar texto
12

13. 13
Wavelet Transform
Clique para adicionar texto
Wedgel:
Contour signature: set of wedgels

14. 14
Similarity Measure

15. 15
Why Wavelet Transform?
Clique para adicionar texto

16. 16
Indexing Structure
Clique para adicionar texto
16

17. 17
Dataset Evaluation
For evaluating we are comparing Edgel-Index [1]
with Sketch-Finder
* Paris Dataset: 6412 images [2]
* ImageNet Dataset: Subset of 535K images [3]
[1] Yang Cao et al, Edgel index for large-scale sketch-based image search.
[2] Visual Geometry Group - http://www.robots.ox.ac.uk/~vgg/data/parisbuildings/index.html
[3] ImageNet: http://www.image-net.org/

18. Genertic Algorithm

19. Genertic Algorithm
Population is a set of 100
Selection of the best results (mAP20)
Crossover
Mutation

20. Some user sketches
Also, the Paris dataset was used to compare the e↵ec-
tiveness of our approach with the sketch-finder [9] and the
mind-finder [3]. This e ciency was evaluated considering
the precision of z best rank position, and in this paper we
used the 20 best positions as in [17].
Figure 7: Examples of the Paris sketch dataset.
To evaluate the e ciency of [9], [3] and our approach, we

21. 21
Some Results (Paris Dataset)
Clique para adicionar texto
ults.
rank
must
best
gen-
pa-
ex-
and
,000
ness
para-
110
s re-
rs a,

22. 22
Effectiveness
Precision vs. Recall
We used the VGG ground-truth for the Paris dataset
and built one for the ImageNet.
The same sketches were used to evaluate Mind-
Finder and Sketch-Finder

23. 23
Average - Precision vs. Recall (75)
23

24. 24
Efficiency Comparison - CPU

25. 25
Efficiency Comparison – I/O

26. 26
Conclusion
Sketch-Finder:
• The number of retrieved inverted files is reduced to
a small and fixed number;
• The volume of indexed data is 5% of the Edgel-
Index;
• The speed of retrieval is faster due to less amount of
data.

27. 27
Future Work
Build an android Sketch-Finder
application

28. 28
Thank You!
Carlos Alberto Fraga Pimentel Filho
fragapimentel@gmail.com