1. 画像認識の初歩、
SIFT、SURF特徴量
@lawmn
2011/01/23, TokyoWebmining

2. 始めに
この知識は個人的なものであり会社とは関係ありません。

3. Agenda
自己紹介
画像認識に興味を持ったきっかけ
認識手法と変遷
局所特徴量
SIFT特徴量, SURF特徴量
SIFT特徴量とは
用途
SIFT特徴量の抽出方法
SIFT特徴量とSURT特徴量の違い
応用の一例
Bag of features(Bag of keypoints)の紹介

4. 自己紹介
名前
lawmn
出身
新潟県
使用言語
Python, C#
大学のときの専攻
素粒子物理学専攻、博士号取得(仕事とはなんの関係もあり
ません)
趣味
旅行、今のところ16カ国、南米に行ってみたい

5. 画像認識に興味を持ったきっかけ
一年半前にリリースした画像解析による色検索実装

6. 画像特徴量の変遷
第一世代 第二世代 第三世代
対象物全体 局所情報 局所情報のつな
輝度分布 SIFT がり
wavelet SURF
Haar-like Joint Haar-like
HOG Joint HOG
Shapelet
1990年代 2000 - 2005
2006 - 現在

7. 局所特徴量
SIFT
1999
•Google の論文で言及http://www.esprockets.
com/papers/www2008-jing-baluja.pdf。ただし、アルゴリズムが著作
権で守られている。C#ライブラリ libsift, OpenCV
SURF
2006
SIFT の処理速度改良版。OpenCV
haar-like特徴
2001
近接する2 つの矩形領域の明度差 Haar-
顔認識に用いられ(OpenCVの顔検出) like
HOG(Histogram of oriented gradient)
2005 HOG
勾配ベースの特徴量
人検出に用いられる

8. 局所特徴量
照明影響 回転不変 拡大縮小 特徴量 特徴量次元 用途
不変 不変
SIFT 特徴点ごと 128 細かい特徴把握
(SURF) ○ ○ ○ パノラマ写真生成
HOG 画像に一つ 3240 おおまかな特徴把握が必要
○ × × *4 *5 な場合
*1 *1
Haar-like 画素ごと 矩形種類数 顔など形状が決まっているも
○ × ○ のに強い
*2 *3
*1 別の方法で補完
*2 学習画像による
*3 矩形の大きさで調整
*4 ブロックごとに取得した特徴量を合わせる
*5 30x60画像で、1セルを5ピクセルx5ピクセル、1ブロックを3セルx3セルの場合
*6 前頁の矩形だと14個

9. SIFT特徴量とは
スケールスペースを使った、
照明変化や回転、拡大縮小に不変な頑強な特徴量
画像一つから128次元のSIFT特徴量が複数取得できる。

11. SIFT特徴量, SURF特徴量の用途
複数写真からのパノラマ写真合成
Autopano-SIFT

12. SIFT特徴量, SURF特徴量の用途
AR(Argumented Reality, 拡張現実)
SURF(Speeded Up Robust Features)すごい
http://mosapui.blog116.fc2.com/blog-entry-33.html
元
『【パッケージから】巡音さんがやってきた【召喚】』
http://www.nicovideo.jp/watch/sm5519371

13. SIFT特徴量, SURF特徴量の用途
一般物体認識
具体的な手法を後ほど説明します。

14. SIFT特徴量の抽出方法
1.特徴点検出
2.特徴量生成

15. SIFT特徴量の抽出方法
特徴点検出 元画像
・スケールと特徴点検出
DOG(Difference Of Gaussian) Gaussianで平滑
を使った極値検出 化(ぼかす)した画
像の変化を見るこ
とで特徴的な点を
調べていく。
・不要な特徴点を排除 (スケールとは平
省略 滑化Gaussianの
標準偏差)

16. SIFT特徴量の抽出方法 拡大縮小の影響
を排除するため、
いくつか解像度
に対して平滑化
処理を行う
元画像
DoG画像例
(左：元画像、右：
DoG画像)

17. SIFT特徴量の抽出方法
特徴量生成
・特徴点の向き検出
特徴点周りの輝度変化から最も輝度変化が大きい向きを調べる
・特徴量記述
ブロックを特徴点の向きをベースに設定
これにより回転不変となる
特徴点周りの16分割ブロックｘブロックごとの８方向輝度変化=128次元
得た128次元ベクトルを長さ１に正規化
照明変化に頑強

18. SIFT特徴量とSURF特徴量の違い
1. 特徴点検出
2. 特徴量生成
1. 特徴点検出
スケールと特徴点検出
SURFではこの部分の処理が軽量化されている
Gaussianのテイラー展開二次項である上記の左
二つの代わりに、もっと簡単な右二つを使う。
その代わり認識精度はSIFTのほうがよい
SIFTの特許は発明者である David Loweが所有
SURFの特許は？
SIFT = Scale-Invariant Feature Transform
SURF = Speeded Up Robust Features

19. Bag of features(Bag of keypoints)の紹介
一般物体認識で用いられる方法。2004。
複数枚の画像から抽出された特徴量群をクラスタリングし、各物体に
割り当てられたクラスタを調べることで、別の画像にどのような物体が
どこにあるかを判断する。
LBGアルゴリズムではクラスタリングにk-meansを使う。

20. Bag of features(Bag of keypoints)の紹介
Bag of Words：単語頻度情報
ある単語と文章の関連度を測るために使う一つの方法
文章を単語の集合とみなす
単に頻度情報のみで順番は考えない
例：TD-IDF
Bag of Features は Bag of Words の画像版
画像（文章）を特徴点集合（単語）の集合とみなし、
特徴点集合（単語）の出現頻度を使う
画像から「自転車」「自動車」などを表す特徴点集合の集合を取得し、
これらを教師データとして学習して画像内のどこに何があるかを判別
する

21. 参考文献
SIFT
http://www.vision.ee.ethz.ch/~surf/
SURF
http://www.vision.cs.chubu.ac.jp/SIFT/PDF/sift_tutorial.pdf
Bag of Features(Bag of Keypoints)
http://www.citeulike.org/user/GernotMargreitner/article/581127

22. ありがとうございました。