2. 本日紹介する論文
A Coarse-to-fine approach for fast deformable
object detection
Marco Pedersoli, Andrea Vadaldi, Jordi Gonzalez
CVPR2011
この論文の主張:
Deformable Part Modelと
いう物体検出手法を高速
化したぜ
4. Histogram of Oriented Gradients (HOG)
8×8ピクセルを一つのセルとする。
セルごとに勾配方向のヒストグラムを作成
各ヒストグラムをつなげたものを特徴量とする
N. Dalal and B. Triggs, “Histograms of Oriented Gradients for Human Detection”,
CVPR, 2005
5. HOGによる物体検出
:位置とスケール
p ( x, y, l )
位置 スケール
score( p)
F ( p, H )
位置とスケールpから抽出
したHOG特徴量ベクトル
7. Deformable Part Model
物体のモデルをパーツの集合として表現
パーツの相対位置は対象によって変化
ここでは、以下の手法を解説
P. Felzenswalb et al, “Object Detection with Discriminatively Trained
Part Based Models”, PAMI, 32(9), 2010
9. 評価関数
Bounding Boxの妥当性 各パーツ形状 パーツ位置の歪み 定数項
の妥当性
n n
score p0 ,, pn Fi ( H , pi ) di d (dxi , dyi ) b
i 0 i 1
各Boxの パーツ位置
HOG特徴 歪み
フィルタ 歪みパラ
メータ
d (dx, dy) (dx, dy, dx 2 , dy 2 )
(dxi , dyi ) ( xi , yi ) (2( x0 , y0 ) vi )
パーツ位置歪み パーツ位置 ルート位置
標準的な
パーツの
位置
10. 物体の検出
n n
score p0 ,, pn Fi ( H , pi ) di d (dxi , dyi ) b
i 0 i 1
p0 Sliding Windowの各位置で以下の
スコアを求め、高いところを検出す
る。
score( p0 )
max score p0 ,, pn
p1 ,, pn
各ルート位置でもっとも最適化された
パーツ位置でのスコア
11. 物体の検出
n n
score p0 ,, pn Fi ( H , pi ) di d (dxi , dyi ) b
i 0 i 1
n n
score p0 max Fi ( pi ) d i d (dxi , dyi )
p1 ,, pn
i 0 i 1
各パーツは独立なので、それぞれについてスコアを最大化する。
n
score( p0 ) F0 ( p0 ) max Fi ( pi ) di d (dxi , dyi )
pi
i 1
12. n
score( p0 ) F0 ( p0 ) max Fi ( pi ) di d (dxi , dyi )
pi
i 1
13. n
score( p0 ) F0 ( p0 ) max Fi ( pi ) di d (dxi , dyi )
pi
i 1
14. n
score( p0 ) F0 ( p0 ) max Fi ( pi ) di d (dxi , dyi )
pi
i 1
15. n
score( p0 ) F0 ( p0 ) max Fi ( pi ) di d (dxi , dyi )
pi
i 1
16. n
score( p0 ) F0 ( p0 ) max Fi ( pi ) di d (dxi , dyi )
pi
i 1
17. n
score( p0 ) F0 ( p0 ) max Fi ( pi ) di d (dxi , dyi )
pi
i 1
18. n
score( p0 ) F0 ( p0 ) max Fi ( pi ) di d (dxi , dyi )
pi
i 1
25. Deformable Part Modelの計算コスト
L 画像のピクセル数 c パーツの近傍探索範囲
P パーツの数 D フィルターの次元
δ セルのサイズ
L L
O P 2 D 2
c
処理する 特徴量マッチ パーツ探索
セルの数 ングのコスト のコスト
26. Deformable Part Modelの計算コスト
例:
フィルターのサイズ: 6×6セル D 6 6 31 1,116
セルの次元: 31
L
パーツ探索範囲: 6×6セル 6 6 36
c
2
L L
O P 2 D 2
c
処理する 特徴量マッチ パーツ探索
セルの数 ングのコスト のコスト
27. Deformable Part Modelの計算コスト
例:
フィルターのサイズ: 6×6セル D 6 6 31 1,116
セルの次元: 31
L
パーツ探索範囲: 6×6セル 6 6 36
c
2
L
O P 2 1,116 36
処理する 特徴量マッチ パーツ探索
セルの数 ングのコスト のコスト
いかにマッチングにかかるコストを減らすか?
30. 検出のための評価関数
p
S y; x, w S H i (y i ; x, w) S Fij (y i , y j ; w ) S Pij (y i , y j ; w )
i 1 ( i , j )F ( i , j )P
Sliding Window 各パーツ形状 親子パーツの相対 隣接パーツの相対
の妥当性 の妥当性 位置の妥当性 位置の妥当性
(a) (bの青いライン) (bの赤の破線)
31. 検出のための評価関数
p
S y; x, w S H i (y i ; x, w) S Fij (y i , y j ; w ) S Pij (y i , y j ; w )
i 1 ( i , j )F ( i , j )P
Sliding Window 各パーツ形状 親子パーツの相対 隣接パーツの相対
の妥当性 の妥当性 位置の妥当性 位置の妥当性
S Hi (y i ; x, w) H (y i ; x) M Hi (w) x : 入力画像
HOG特徴 パーツのフィルタ
w : パラメータ
y i : パーツiの位置
32. 検出のための評価関数
p
S y; x, w S H i (y i ; x, w) S Fij (y i , y j ; w ) S Pij (y i , y j ; w )
i 1 ( i , j )F ( i , j )P
Sliding Window 各パーツ形状 親子パーツの相対 隣接パーツの相対
の妥当性 の妥当性 位置の妥当性 位置の妥当性
S Hi (y i ; x, w) H (y i ; x) M Hi (w) x : 入力画像
HOG特徴 パーツのフィルタ
w : パラメータ
S Fij (y i , y j ; w) D(2y i , y j ) M Fi (w) y i : パーツiの位置
親子パーツの相 歪みパラメータ
対位置
D(y i , y j ) ( xi x j ) 2 , ( yi y j ) 2
33. 検出のための評価関数
p
S y; x, w S H i (y i ; x, w) S Fij (y i , y j ; w ) S Pij (y i , y j ; w )
i 1 ( i , j )F ( i , j )P
Sliding Window 各パーツ形状 親子パーツの相対 隣接パーツの相対
の妥当性 の妥当性 位置の妥当性 位置の妥当性
S Hi (y i ; x, w) H (y i ; x) M Hi (w) x : 入力画像
HOG特徴 パーツのフィルタ
w : パラメータ
S Fij (y i , y j ; w) D(2y i , y j ) M Fi (w) y i : パーツiの位置
親子パーツの相 歪みパラメータ
対位置
S Pij (y i , y j ; w) D(y i , y j ) M Pi (w; y i )
隣接パーツの相 歪みパラメータ
対位置
D(y i , y j ) ( xi x j ) 2 , ( yi y j ) 2
34. 検出のための評価関数 NEW!
p
S y; x, w S H i (y i ; x, w) S Fij (y i , y j ; w ) S Pij (y i , y j ; w )
i 1 ( i , j )F ( i , j )P
Sliding Window 各パーツ形状 親子パーツの相対 隣接パーツの相対
の妥当性 の妥当性 位置の妥当性 位置の妥当性
n n
score p0 ,, pn Fi ( H , pi ) di d (dxi , dyi ) b
i 0 i 1
Felzenswalbらのモデルとの対応
35. 検出のための評価関数
p
S y; x, w S H i (y i ; x, w) S Fij (y i , y j ; w ) S Pij (y i , y j ; w )
i 1 ( i , j )F ( i , j )P
隣接パーツの相対
位置の妥当性
おそらくこういう状況を防ぐための制約
36. 検出のための評価関数
p
S y; x, w S H i (y i ; x, w) S Fij (y i , y j ; w ) S Pij (y i , y j ; w )
i 1 ( i , j )F ( i , j )P
隣接パーツの相対
位置の妥当性
Coarse-to-Fineにしたために、オクルージョンやノイズに弱くなっ
たため、加えた制約
隣接パーツの評価あり 隣接パーツの評価なし
学習結果 学習結果
41. 物体の検出
p
S y; x, w S H i (y i ; x, w) S Fij (y i , y j ; w ) S Pij (y i , y j ; w )
i 1 ( i , j )F ( i , j )P
隣接パーツ間の制約が無い時は、モデルはツリー構造
DPを用いてスコアが一意に求まる
隣接パーツ間の制約がある時は、一つのパーツの位置を固定
してしまう。
iを固定して、jとiの位置からkの歪みを求める
42. 学習
latent structural SVMでパラメータを学習
パーツ位置を潜在変数として扱う
Vedaldiらのやり方*に従ったと書いてあるだけで、具体的にこ
のモデルにどのようにlatent structural SVMを適用したのかの
記述はない。
(おそらく)以下の識別関数Sにおいて、カーネル関数をΦ同士の内
積、損失関数をBounding Boxの重なり具合として、wを求めている。
S y1; x max w (x, y i )
y i p y1
* A. Vedaldi and A. Zisserman. .Structured output regression for detection with partial
occulusion. In Proc NIPS, 2009