1. 20391: Visió per Computador
Apunts de l’assignatura
Classe 10
Reconeixement
d’Objectes (II)
Jordi Vitrià 20391: Visió per Computador 1
2. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
L’aparença...
I si enlloc de guardar característiques o models 3D
guardéssim directament una col·lecció de vistes de
l’objecte?
Com podem emmagatzemar aquesta informació de
forma compacta i eficient?
Com podem codificar en aquesta representació
informació visual interessant?
Jordi Vitrià 20391: Visió per Computador 2
3. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eina: Reducció de dimensionalitat de les dades
originals.
T : ( x1 , x2 ,K, xn ) → ( y1 , y2 ,K, ym ), m << n;
... Conservant la informació necessària per a
classificar, reconèixer, etc!
I eliminant – o minimitzant – aquella informació que no
es rellevant (il·luminació, petites variacions..)
Jordi Vitrià 20391: Visió per Computador 3
4. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eina: Anàlisi de Components Principals (PCA).
Jordi Vitrià 20391: Visió per Computador 4
5. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eina: Anàlisi de Components Principals (PCA).
Jordi Vitrià 20391: Visió per Computador 5
6. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eina: Anàlisi de Components Principals (PCA).
Jordi Vitrià 20391: Visió per Computador 6
7. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eina: Anàlisi de Components Principals (PCA).
4
3
2
1
Λ = Φ t ΣΦ
0
-1
-2
-3
-4
-9 -8 -7 -6 -5 -4 -3 -2 -1
Jordi Vitrià 20391: Visió per Computador 7
8. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eina: Anàlisi de Components Principals (PCA).
Passos:
1) Obtenir la matriu de covariança de les dades.
T
Σ= XX
Jordi Vitrià 20391: Visió per Computador 8
9. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eina: Anàlisi de Components Principals (PCA).
Passos:
2) Trobar els eigenvectors v i eigenvalors λ de la matriu Σ.
3) Ordenar els eigenvectors segons els seus eigenvalors i quedar-se
amb els m primers.
4) Crear la matriu V
V = [v1 | v2 | L | vm ]
Jordi Vitrià 20391: Visió per Computador 9
10. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eina: Anàlisi de Components Principals (PCA).
Passos:
5) Quan tenim una nova dada (o les dades originals), la podem
projectar al nou espai:
i i
x = V T
x
Jordi Vitrià 20391: Visió per Computador 10
11. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Eigenfaces per reconèixer.
La tasca consisteix en reconèixer la identitat d’una
persona (d’entre un conjunt donat de persones).
?
?
Jordi Vitrià 20391: Visió per Computador 11
12. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Eigenfaces.
Necessitem la mitja i els valors propis (eigenfaces) de
la matriu de covariança de les cares:
Cara mitja
Eigenfaces
Jordi Vitrià 20391: Visió per Computador 12
13. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Eigenfaces.
Interpretació: Expressem una cara com a combinació
lineal de cares.
= y1 + y2 + y3
Jordi Vitrià 20391: Visió per Computador 13
14. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Eigenfaces.
Classificarem a l’espai de dimensió reduïda.
Eigenspace Classificació segons
projection el veí més proper
Jordi Vitrià 20391: Visió per Computador 14
15. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Eigenfaces.
Si tenim m dades d’aprenentatge de dimensió n, amb
m<n, i no podem calcular els vectors propis (la matriu
de covariança és de dimensió n x n)!
Jordi Vitrià 20391: Visió per Computador 15
16. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Eigenfaces per detectar.
L’espai definit per les eigenfaces es pot veure com un
subespai de l’espai de les imatges. Sempre podem
calcular la distància entre qualsevol imatge i aquest
subespai! I utilitzar-ho com a criteri per decidir si és
una cara o no.
Jordi Vitrià 20391: Visió per Computador 16
17. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Eigenfaces per detectar.
Jordi Vitrià 20391: Visió per Computador 17
18. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Detecció i reconeixement amb
Eigenobjectes.
Jordi Vitrià 20391: Visió per Computador 18
19. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Detecció i reconeixement amb
Eigenobjectes.
Jordi Vitrià 20391: Visió per Computador 19
20. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Exemple: Detecció i reconeixement amb
Eigenobjectes.
Jordi Vitrià 20391: Visió per Computador 20
21. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Aprenentatge visual de models d’objectes: adquirir un
model compacte de l’aparença dels objectes sota
diferents poses I il·luminacions.
Visual workspace: Each appearance model is parametrized by
the variables of the vision task at hand:
(a) Object recognition → object pose and illumination
parameters.
(b) Tracking → the coordinates of the hand-eye system with
respect to a moving object.
Jordi Vitrià 20391: Visió per Computador 21
22. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
We define the variables of a vision task as the visual
degrees of freedom (DOF):
q=(q1, ..., qm)T
where m is the total number of DOF at work. For any
vector q, the vision sensor produces an image vector
i.
Jordi Vitrià 20391: Visió per Computador 22
23. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Images are normalized such that the total energy contained within is
unity, and projected in their corresponding eigenspace.
The result is a point f j in the eigenspace.
The discrete points obtained by projecting all the discrete samples of the
workspace can be assumed to lie on a manifold that represents a
continuous appearance function.
The discrete points can be interpolated using a
standard quadratic B-spline interpolation algorithm.
The resulting manifold can be expressed as
f(q) = f(q1 ,..., qm )
It resides in a low dimensional space and therefore is a compact
representation of appearance as a function of the task DOF q.
Jordi Vitrià 20391: Visió per Computador 23
24. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
The parametric space representation enables us to
accomplish object detection in a very efficient manner:
looking for the closest point in the appearance
manifold and measuring the distance.
B-spline
d Projected
point
Visual Task parameters
Jordi Vitrià 20391: Visió per Computador 24
25. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
It can be used for 3D object recognition and pose
estimation.
It can also be used for visual servoing: A sizable
image window is selected that represents the
appearance of the object when the robot is in the
desired position. A large set of object images is
then obtained by incrementally perturbing the robot
end-effector with respect to the desired position. The
appearance manifold in this case represents the
mapping between camera image and robot
displacement.
Jordi Vitrià 20391: Visió per Computador 25
26. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 26
27. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Interpretació: Expressem una imatge com a
combinació lineal de eigenvectors.
Jordi Vitrià 20391: Visió per Computador 27
28. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 28
29. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 29
30. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 30
31. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 31
32. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 32
33. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 33
34. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 34
35. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 35
36. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Representacions paramètriques de l’aparença.
Jordi Vitrià 20391: Visió per Computador 36
37. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eigenspaces for Navigation
Visual navigation requires fast and robust perception.
Traditional reconstruction approaches have not
provided and adequate solution for navigation.
Appearance-based vision techniques provides an alternative
approach by defining simple processes which transform images
into commands for displacement and steering and corrections to
estimated position and orientation.
Jordi Vitrià 20391: Visió per Computador 37
38. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eigenspaces for Navigation
ć ǩ Task:
Navigate from home
position to an office in the
first floor of our building.
The environment is
structured and stable, but
not static.
Ā P ō Pćō PP ǩ
Jordi Vitrià 20391: Visió per Computador 38
39. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eigenspaces for Navigation
Jordi Vitrià 20391: Visió per Computador 39
40. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eigenspaces for Navigation
Goal
Start
Jordi Vitrià 20391: Visió per Computador 40
41. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eigenspaces for Navigation
Jordi Vitrià 20391: Visió per Computador 41
42. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eigenspaces for Navigation
Jordi Vitrià 20391: Visió per Computador 42
43. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eigenspaces for Navigation
Jordi Vitrià 20391: Visió per Computador 43
44. 20391: Visió per Computador
Reconeixement basat en l’aparença Apunts de l’assignatura
Eigenspaces for Navigation
Room 1
Room 3 Room 2
Jordi Vitrià 20391: Visió per Computador 44
45. 20391: Visió per Computador
Apunts de l’assignatura
Exemple: Reconeixement de cares en temps real.
Jordi Vitrià 20391: Visió per Computador 45