1. Relational Binarized HOG特徴量と
Real AdaBoostによるバイナリ選択を用いた物体検出
松島千佳，山内悠嗣，藤吉弘亘(中部大学)
山下隆義(中部大学，オムロン株式会社)
1

2. ハードウェアを用いた物体検出
2

3. 物体検出に有効なHOG特徴量 [Dalal et. al. CVPR ‘05]
• 局所領域における輝度の勾配方向に着目
– 物体の形状を表現可能
– 局所的な幾何学変化に頑健
入力画像
16セル
8セル
HOG特徴量
1セル :
8x8ピクセル
26,880バイト
特徴量数：3,360 個
浮動小数点型：8 バイト
勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配強度
1つのウィンドウにおけるメモリ量
1.25GB
サイズ：640x480ピクセル
ウィンドウ数：50,000 個
画像1枚におけるメモリ量
3

4. 1. 特徴量数(次元数)を削減
– ベクトル量子化
• クラスタリングにより特徴量数を削減
– 主成分分析
• 部分空間に射影することにより特徴次元を削減
2. 低ビット量子化により情報量を削減
– スカラー量子化
– 2値化
メモリ量の削減法
4
元の情報量は維持されるが，処理コストは高い
元の情報量は削減されるが，処理コストは低い

5. 閾値処理によるHOG特徴量の2値化
• Binarized HOG特徴量 (B-HOG)
– 固定閾値による閾値処理
– 8方向のバイナリ(バイナリパターン)で1つの特徴量
– 符号なし整数型で扱うことが可能
5
(0 1 1 1 1 0 0 0 )2
B-HOG特徴量
HOG特徴量と比較してメモリ量を1/64に削減
0
1
入力画像 勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配強度
閾値

6. 1. 最適な閾値が必要
2. 同一のバイナリパターンとして扱うことが困難
– 閾値との差が小さい場合、容易にバイナリが反転
B-HOG特徴量の問題点
6入力画像
勾配方向勾配強度
勾配方向
勾配強度
0
1
閾値
(0 1 1 1 1 0 0 0 )2
0
1
閾値
(0 1 1 1 0 0 0 0 )2
7( )168
7( )160

7. 提案手法
1. Relational Binarized HOG特徴量 (RB-HOG)
– 2つのセルから得た特徴量の大小関係により2値化
2. “＊”を用いた識別に有効なバイナリ選択
– 容易に反転するバイナリを“∗”で表現
• “＊”は“0”と“1”の2値を許容
7
閾値が不要であり、メモリ量の削減が可能
特徴量の表現能力が向上

8. • 2つのセルから得た特徴量の大小関係により2値化
– 閾値(パラメータ)が不要
– 局所領域間の関係性を表現
– HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8勾配強度
勾配方向
1 2 3 4 5 6 7 8
勾配強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2

9. 類似した形状から得られるRB-HOG特徴量
• 勾配強度が同じ場合，明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配強度
勾配方向
1 2 3 4 5 6 7 8
勾配強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2

10. • 一方のヒストグラムの勾配方向をシフト
– 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0)
SRB-HOG特徴量
(RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 : s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配強度

11. 入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1)
SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 : s = 0
( 0 0 0 1 1 1 1 0 ) 2 : s = 1
0
1
勾配強度の差
一
• 一方のヒストグラムの勾配方向をシフト
– 「シフトなし」から「7方向シフト」まで8パターン

12. 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配強度
12
SRB-HOG特徴量
7方向シフト (s = 7)
…
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 : s = 7
( 0 1 1 1 0 0 1 1 ) 2 : s = 0
( 0 0 0 1 1 1 1 0 ) 2 : s = 1
勾配強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
• 一方のヒストグラムの勾配方向をシフト
– 「シフトなし」から「7方向シフト」まで8パターン

13. SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも，明確な2値化が可能
1 2 3 4 5 6 7 8
勾配強度
0方向シフト (s = 0)
1 2 3 4 5 6 7 8
勾配強度
4方向シフト (s = 4)
勾配強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 : ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 : ( 1 1 1 1 0 0 0 1 ) 2
一

14. 2. “＊”を用いた識別に有効なバイナリ選択
14

15. • 勾配強度の差が小さい場合，反転する可能性あり
– 信頼性が低いバイナリが存在する場合，誤検出の要因
“＊”の導入
15
111
*0 0
*0
“∗”による表現 “∗”を用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリに，“0”と“1”を許容する“＊”を導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向
1 2 3 4 5 6 7 8
勾配強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差一

16. • 全組み合わせを考慮
– “＊”の位置
– “＊”の数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000
0000000∗
∗∗∗∗∗∗0∗
000000∗0
…
∗∗∗∗∗∗∗0
00000000
0000000∗
∗∗∗∗∗∗0∗
000000∗0
…
∗∗∗∗∗∗∗0
0000000∗
∗∗∗∗∗∗0∗
000000∗0
…
∗∗∗∗∗∗∗0
0000000∗
∗∗∗∗∗∗0∗
000000∗0
…
∗∗∗∗∗∗∗0
…
…
…
…
…
全ての組み合わせから、識別に有効なパターンを選択
バイナリ数
(0, 1, ＊)
38 = 6,561パターン

17. Real AdaBoostの弱識別器
• 各クラスの重みつき頻度により対数比を出力
– 対象パターンと抽出パターンの一致/不一致により算出
17
111
*0 0
*0
対象パターン m 全ての学習サンプルから
抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス
ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
……

18. 評価実験
• 実験内容
– 実験1 : RB-HOG特徴量の有効性を確認
– 実験2 : バイナリ選択の有効性を確認
• 比較手法
– HOG特徴量 (HOG)
– Binarized HOG特徴量 (B-HOG)
– Relational Binarized HOG特徴量 (RB-HOG)
– RB-HOG特徴量＋勾配方向のシフト (SRB-HOG)
• 評価方法
– DET (Detection Error Tradeoff)カーブ
• 原点に近いほど検出器の性能が高い
18

19. データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2,415 12,180 1,126 453
車両のデータセット 710 8,800 1,230 3,880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット

20. 実験1 : RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Missrate[%]
0.10.001 0.01 1.0 10.0
False positive per window (FPPW) rate [%]
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG
RB-HOG
1
10
100
Missrate[%]
1.00.1 10.0
False positive per window (FPPW) rate [%]
(b) 車両のデータセット
B-HOG
SRB-HOG
RB-HOG
HOG

21. 実験2 : バイナリ選択の有効性を確認
21
1
10
100
Missrate[%]
0.10.001 0.01 1.0 10.0
False positive per window (FPPW) rate [%]
(a) INRIA person dataset
HOG
SRB-HOG (＊なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリを“＊” により抑制可能
SRB-HOG (＊あり)
1
10
100
Missrate[%]
1.00.1 10.0
False positive per window (FPPW) rate [%]
(b) 車両のデータセット
HOG
SRB-HOG (＊あり)
SRB-HOG (＊なし)

22. 考察：選択された“＊”の数の割合
22
SRB-HOG
B-HOG
0 1 2 3 4 5 6 7
＊の数
0.00
0.05
0.10
0.15
0.20
0.25
頻度
(a) INRIA person dataset
B-HOG
SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7
＊の数
0.00
0.05
0.10
0.15
0.20
0.25
頻度
SRB-HOG特徴量はB-HOG特徴量より “＊”の数が少ない
“＊”で表現されたバイナリは“0”か“1”か不明確
“＊”の数が少ないほど，曖昧なバイナリが少ない

23. メモリ量と処理時間の比較
• 特徴抽出に必要なメモリ量の比較
• 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 3.91 0.50 0.49 0.98
処理時間[s] 5.39×10−10 5.40×10−10 2.70×10−10 2.70×10−10
メモリ量を約75%削減
HOG特徴量のバイナリパターン化
処理時間を約50%削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64×128ピクセル)当たりの計測結果

24. まとめ
• RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
– Relational Binarized HOG特徴量
• 2つのセルから得たHOG特徴量の大小関係により２値化
• Sifted Relational Binarized HOG特徴量
– 勾配方向をシフトして大小関係により2値化
– 勾配強度の差が小さい場合でも明確な2値化が可能
– “＊”を用いた識別に有効なバイナリ選択
• 容易に反転するバイナリを“＊”で表現
• 今後の予定
– 効率の良いSRB-HOG特徴量の学習手法を検討
24