Classe 5 Visió

20391: Visió per Computador
Apunts de l’assignatura

Classe 5
Visió Binocular

Jordi Vitrià 20391: Visió per Computador 1


Si adquirim dues imatges simultànies del món des
de dos punts de vista (lleugerament) diferent, llavors
les imatges són (lleugerament) diferents!

Quina avantatge pot tenir el fet d’adquirir simultàniament
dues imatges lleugerament diferents?


El sistema visual humà té un camp visual horitzontal de 200º
i vertical de 135º.

Figure shows a plot of the field of view using the head as the coordinate system. The two shaded
regions represent the view from the left eye and the right eye respectively. The darker shaded region
represents the region of binocular overlap. The oval in the center represents the region where the
ocular muscles can point the high resolution fovea region of the eyes. The region where high
resolution vision can occur simply by pointing the eyes relative to the head covers a wide field of view.
In terms of resolution expressed as pixels, assuming the nominal resolution of the fovea region as 1
arc minute, the region of high resolution vision is equivalent to 24 million pixels.



El sistema visual humà segons R.Descartes,
Tractatus de Homine, 1664.

Com pot ser que només percebem una imatge?



El sistema visual humà.



Visió Binocular
La determinació de la posició 3D d’un punt de
l’escena a partir de la seva projecció en dues
imatges presenta dues problemàtiques:

• El problema de la reconstrucció, o a partir de
les projeccions determinar la seva situació a
l’escena.
• Paràmetres de les càmares.
• Calibració.
• El problema de la correspondència, o
determinar automàticament les parelles de
projeccions de cada punt visible.
• Semblança i no identitat.
• Oclusions.


Visió Binocular: Variables
(model simple – vergència simètrica).
P
(x,y,z) ó (xl,yl,zl) ó (xr,yr,zr)

α α

Pl Pl
(x’l,y’l) (x’r,y’r)
Yl f f Yr
Zl Zr
Xl (X,Y,Z)
Ol d Xr Or

Z


Visió Binocular: Variables (model simple –
vergència simètrica).

 d   d 
 x1   cos(α ) 0 sin(α )  x + − f sin(α )   x2   cos(α ) 0 − sin(α )  x − + f sin(α ) 
    2      2 
 y1  =  0 1 0  y   y2  =  0 1 0  y 
 z   − sin(α ) 0 cos(α )  z   z   sin(α ) 0 cos(α )  
 1     2   z 
   

fxi
x =
'

( f − zi )
i

fyi
y =
'

( f − zi )
i



vergència simètrica).

Hi ha 10 equacions i 9 incògnites, lo qual restringeix el
conjunt de solucions: la línia epipolar.

L P R

pl pr
Or
Ol
el er
Epipols
Línies epipolars:
Projecció a r de la línia
Pla Epipolar: definit per Or , Ol i P que passa per P i pl


eixos òptics paral·lels).

P

Z
x’l x’r
f
Ol Or
d


eixos òptics paral·lels).

Com que α és zero, llavors la profunditat (f-z) és

fd d
f −z= ' Z≈ f
( xr − xl' ) dx

La profunditat és inversament proporcional a la
diferència en coordenades x, que s’anomena
disparitat.



Vista Esquerra Vista Dreta

Disparitat


La distància entre l’observador i un objecte
està directament (inversament proporcional)
relacionada amb la disparitat!



Precisió en el càlcul de Z
• Precisió (Resolució) vs. Separació Ol
Dos punts de vista
Or
entre càmares (d)
– Error en z ∝ 1/d
Z1
– PROS de separar-les més,
• Millor estimació de la profunditat Z2
∂Z1
– CONTRES
• menor FOV (Field of View) comú
• Correspondència més difícil degut a
oclusions ∂Z2>∂Z1

• Precisió (Resolució) vs. Profunditat
– Disparitat (>0) ∝ 1/Profunditat d
Z= f
– Error Profunditat ∝ Profunditat2 dx
– Com més a prop del punt, més Z2
precisió. ∂Z = ∂ (dx)
fd


Geometria i error

Estèreo amb Eixos Paral·lels. FOV

– Línia de Base curta
• Camp visual (FOV) comú gran.
• Errors de profunditat grans.
– Línia de Base llarga
• Camp visual (FOV) comú petit.
• Errors de profunditat petits.
• Oclusions!

Esquerra Dreta



Geometria i error
FOV

Estèreo amb Eixos Paral·lels.
– Línia de Base curta
• Camp visual (FOV) comú gran.
• Errors de profunditat grans.
– Línia de Base llarga
• Camp visual (FOV) comú petit.
• Errors de profunditat petits.
• Oclusions!

Esquerrra Dreta


Geometria i error
Estèreo amb càmares convergents.
• Els dos eixos òptics convergeixen al Punt de Fixació. Punt de Fixació
– Angle de convergència θ
– El FOV comú creix. FOV
• Propietats de la disparitat
– Usem l’angle en lloc de la distància.
– Disparitat zero al punt d fixació. θ
• I a l’horòpter!
– La disparitat augmenta en relació a
la distància al punt de fixació.
• >0 : més enllà de l’horòpter
• <0 : abans de l’horòpter
• Precisió vs. Profunditat
– Error ∝ Profunditat2
– Com més a prop el punt, millor

Esquerra Dreta


Geometria i error
Estèreo amb càmares convergents. Punt de
• Els dos eixos òptics convergeixen al Punt de Fixació.
Fixació
– El FOV comú creix.
Horòpter
– Disparitat zero al punt de fixació.
• Precisió vs. Profunditat αl αr
– Com més a prop el punt, millor αr = αl
α
dα = 0
Esquerra Dreta



Geometria i error
• Els dos eixos òptics convergeixen al Punt de Fixació. Punt de
– Angle de convergència θ Fixació
– Disparitat zero al punt d fixació.
Horòpter
– Error ∝ Profunditat2 αl αr
– Com més a prop el punt, millor αr > αl
α
dα > 0
Esquerra Dreta


Geometria i error
Fixació
– Usem l’angle en lloc de la distància. Horòpter
la distància al punt de fixació. αr
αL
– Com més a prop el punt, millor αr < αl
α
dα < 0
Esquerra Dreta


Geometria i error
∆(dα)
∆( α) ?

Esquerra Dreta


Geometria i error
• Els dos eixos òptics convergeixen al Punt de Fixació.
Punt de
Horòpter
∆(dα)
∆( α) ?

Esq Dreta


El problema de la recerca de la
correspondència.



correspondència.

A vegades funciona... I a vegades no...



correspondència.
Ocult per la imatge R Ocult per la imatge L

L R


correspondència.

?
=
f g



correspondència (dins de la línia epipolar!).
• Mètodes basats en l’àrea (finestres lliscants).
• Criteris de semblança.
• Algorisme robust.

• Mètodes basats en la correspondència de punts
característics (contorns, cantonades, etc).
• És més ràpid.
• És més robust.
• No és dens.



correspondència: Mètodes basats en la
correspondència de punts característics
Imatge Esquerra

Cantonada Línea

Estructura



correspondència: Mètodes basats en la
correspondència de punts característics
Imatge dreta

Cantonada Línia

Estructura



correspondència (dins de la línia epipolar).
Equacions
W W
c(dx, dy ) = ∑ ∑ψ ( I l ( xl + k , yl + l ), I r ( xl + dx + k , yl + dy + l ))
k = −W l = −W

Disparitat d = (d x, d y ) = arg max{c(dx, dy )}
d∈R
Cross-Correlation Ψ (u , v) = uv
Sum of Square Difference (SSD) Ψ (u, v) = −(u − v) 2
Sum of Absolute Difference(SAD)
(té avantatges computacionals)
Ψ (u, v) = − | u − v |



correspondència (dins de la línia epipolar).
La mida de la finestra és important!
Els mètodes no respondran igual!



correspondència (dins de la línia
epipolar).
Algorisme per comparar finestres.
Sigui una finestra quadrada de nxn pixels. Sigui min=9 i
max = 19.
1. n ← np
2. Calculem c(dx,dy) pels punts candidats.
3. Si c(dx,dy) té un únic mínim tal que c(dx,dy)<T1,
llavorts ja hem trobat el punt corresponent.
4. Si min{c(dx,dy) }>T2, llavors no hi ha
correspondència.
5. En els altres casos, si hem arribat a max, no hi ha punt
corresponent. Si n<max, llavors n ← n+2 i anem a (2).


Algorisme de Malik&Jones per visió
binocular.
El Problema de la correspondència:

(a) Quines son les característiques a comparar?
(b) Com les comparem?
(c) Han de ser especials o compatibles amb d'altres
processos visuals (textura, moviment)?

Pixels → contorns → àrees → respostes de bancs de filtres.



binocular.
El conjunt de respostes d'un banc de ltres en un punt
caracteritza una regió de la imatge amb un conjunt
de valors al punt. (Aproximacio de Taylor: ...)



binocular.
Els filtres son wxw amb w = {3; 5; 7; 10; 14; 20; 28}
Es pot demostrar que amb aquest conjunt de filtres
podem reconstrïr una imatge força bé.



binocular.
Com comparem les respostes?



binocular.
Norma més robusta:

em = ∑ Ak ⊗ I l ( x, y ) − Ak ⊗ I r ( x + ∂x, y + ∂y )
k


Classe 5 Visió

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Mehr von Universitat de Barcelona

Mehr von Universitat de Barcelona (6)

Classe 5 Visió