”High -Speed Tracking with Speed Tracking with Speed Tracking with Speed Tracking with Kernelized Correlation Filters”

1. High-Speed Tracking with Kernelized
Correlation Filters
の紹介
西村仁志
2016/7/11

2. 論文について
論文誌：PATTERN ANALYSIS AND MACHINE INTELLIGENCE (2014)
タイトル：High-Speed Tracking with Kernelized Correlation Filters
著者：João F. Henriques, Rui Caseiro, Pedro Martins, and Jorge Batista
the Institute of Systems and Robotics, University of Coimbra
URL： http://arxiv.org/pdf/1404.7584.pdf
実装：OpenCV 3.x内のTracking APIに実装されている

3. 1 INTRODUCTON
・人物追跡：コンピュータビジョンシステムの中で重要な要素
・人物追跡タスク：ターゲットが含まれている画像のパッチが与えられたとき、
対象物と環境とを識別する
・学習：対象物が写っているポジティブサンプル以上に、それ以外のネガティブ
サンプルが重要
・ネガティブサンプルは画像から無限に得られるので、計算時間がかからない程度に、
多くのサンプルを集める必要がある
→各フレームからいくつかのサンプルをランダムに選ぶのが一般的

4. ・明示的に繰り返しすることなく、様々な変形をさせた数千ものサンプルを集める
ツールを改良した
・フーリエ変換を用いると、学習アルゴリズムにおいて多くのサンプルを追加する
のが簡単になる
・巡回行列が、ポピュラーな学習アルゴリズムと古典的な信号処理の架け橋となる
＝「カーネルの呪い」なしのカーネル化リッジ回帰に基づくトラッカー
・カーネルトリックを用いて、線形相関フィルターと同じくらいの計算量にした
・線形カーネルを用いることによって、マルチチャンネルでも利用可能

6. 2 RELATED WORK
2.1 On tracking-by-detection
2.2 On sample translation and correlation filtering
2.3 Subsequent work

7. 3 CONTRIBUTIONS
・以前のバージョン [29]で、巡回シフトさせたサンプルを用いてリッジ回帰を行い、
O(nlogn)で高速に学習を行った
・ただ、シングルチャンネルに限られていた
・本論文では、マルチチャンネルに拡張し、state-of-the-artsの特徴量を
使えるようにした

8. 4 BUILDING BLOCKS
様々な変換を行った画像パッチの解析モデルを提案する
4.1 Linear regression
リッジ回帰：L2ノルムで正則化
zwzf T
)(ゴール： を求めること
学習サンプル
教師ラベル
学習パラメータ
正則化パラメータ
が対象物体かどうかを識別z

9. 1x
2x
1y
2y
式(1)を解くと、
4.4節で、複素数を扱うフーリエドメインを考えるので、
エルミート転置
：転置して、各要素の虚部の符号を入れ替える

10. 4.2 Cyclic shifts
簡単のため、シングルチャネル（1次元信号）で考える
x n
1
ベースサンプル：対象物体写っているパッチ画像
ゴール：ベースサンプル（ポジティブ）と複数の仮想的に生成したサンプル
（ネガティブ）を用いて、分類器を学習すること
巡回シフト演算子
一要素右にシフトする
Figure 2 ※2次元の場合

11. 巡回性より、
4.3 Circulant matrices
Figure 3
巡回行列：DFTによって対角化できる！
xのDTF
DFT行列（一定）
)ˆ(xdiagXFFH
（ の方が対角化っぽい）

12. 4.4 Putting it all together
この知識を式3の線形回帰に当てはめる
複素共役対称
IFFH
 より、
Fはユニタリ行列（正規直交基底）より
対角行列同士は、要素ごとの計算より、
自己相関（＝パワースペクトル）

13. 式3, 10より（詳細はAppendix A.5を参照）
つまり、
逆DFT
w が求まる
)( 3
nO
)(nO )log( nnO
リッジ回帰
式12 ※DFTは

14. 4.5 Relationship to correlation filters
・80sより、相関フィルタは信号処理において、目的関数の解法として
使われてきた
・最近では、MOSSE filtersが再注目されており、トラッキングにおいて
高い性能を示している
・MOSSE filtersの解は、式12と似ているが、2つの決定的な違いがある
1. MOSSE filtersはフーリエドメインで目的関数が定式化されている
2. はゼロ除算を避けるための特定の目的で使用されている

15. 5 NON-LINEAR REGRESSION
5.1 Kernel trick – brief overview
・より強力な非線形回帰関数 を使用する方法として、カーネルトリックがある
・通常サンプル数が増えると、 の計算量が増える
・カーネルトリックを用いると、最適化問題を線形で扱える
・提案手法では、線形相関フィルタと同じくらい速く、非線形フィルタを
得ることができる
)(zf
)(zf
解 を線形和で表すと、w
最適化すべき変数は となる
1)
学習サンプルの線形和で表現

16. カーネル関数
2) ドット積としてアルゴリズムを書くと、
全てのサンプルのペアについてのドット積は通常、
のカーネル行列 として保持しておき、nn  K
カーネルトリック：高次元ベクトル を計算することはせず、暗に使用する)(x
これより、
双対空間で考える

17. 5.2 Fast kernel regression
カーネル化リッジ回帰の解は、
ここで、もし が巡回行列であれば、線形のとき（4.1～4.4節）と同様に
式16を対角化し、高速に解を得ることができる
K
カーネルがある条件を満たすと、
が巡回行列になる
（証明はAppendix A.2を参照）
そのようなカーネルの例
K

18. 条件を満たすカーネルを用いれば、式16を線形のときのように対角化でき、
Kカーネル行列 の一行目
（詳細な導出はAppendix A.3を参照）
x xx
k
X
x
'xx
k
x
X
'x




より一般的なカーネル相関を定義する
(12)
xx
kˆ
（線形版のアナロジー）
はカーネル
自己相関と呼べる

20. 5.3 Fast detection
1つのパッチを単独で用いて、 を評価したいケースは稀である)(zf
所望の物体を検出するためには、複数の候補パッチを用いて
を評価する必要がある
)(zf
全学習サンプルと全候補パッチの間のカーネル行列を とする
Z
K
サンプルとパッチは、それぞれベースサンプル と の巡回シフトなので、
は で与えられる
x z
Z
K
5.2節と同様に、カーネル行列は第一行目のみで表せる
と のカーネル相関x z

21. 式15より、全候補パッチに対する回帰関数を計算できる
の全巡回シフトに対する出力を表すベクトルz
計算の効率化のため、対角化をすると、
全ての位置に対して を評価するのは、カーネルの値 に対する空間フィル
タリング操作とみなせる
各 は、 からのカーネルの値に、学習された係数 で重み付けしたものの
線形和で示せる
これはフィルタリング操作なので、フーリエドメインで効率良く処理できる
)(zf
xz
k
)(zf xz
k 
xz
k


22. 6 FAST KERNEL CORRELATION
さらに計算量を削減

23. 7 MULTIPLE CHANNELS
マルチチャネルへの応用（HOG特徴量など）

24. 8 EXPERIMENTS
8.1 Tracking pipeline
train
detect
8.2 Evaluation
・50ビデオ
・precision carveを指標にした

25. 8.3 Experiments on the full dataset

26. 8.4 Experiments with sequence attributes