Pythonで画像処理をやってみよう！第7回 - Scale-space 第6回 -

2015/11/14 MPS定例ミーティング
Python で画像認識をやってみよう! 第7回
- Scale-space 第6回 -
金子純也
Morning Project Samurai 代表
MPS 第38回 (2015/11/14) 定例ミーティング資料 (c) Junya Kaneko

本日の目標
• 二次元画像を用いてスケールスペースを作成 
- 二次元空間におけるコンボリューションの理解 
- DoG (Difference of Gaussian) の理解
• プログラムの抽象化に触れる
本日使用するソースコードが GitHub にあがっています 
(mps_scale_space_20151114 で検索)
https://github.com/morningprojectsamurai/mps_scale_space_20151114
チャレンジャーはソースを見るんじゃないケロ!

SIFTを用いた画像認識のストーリー
• Scale-space を構成
• Scale-space 中の画像にDoG を適用
• DoGの適用によって得られた画像から極値点を抽出
• そこからさらにキーポイントとなり得る点を選別
• キーポイントにさらに情報を付加して画像の特徴とする
• 画像の特徴のマッチングを行い物体の認識を行う
赤い部分が今日の部分ケロ !

本日作成するスケールスペース (具体例)
σ = 0.0
σ = 1.6
σ = 2.3
σ = 3.2

目次
• Gaussian Convolution
• DoG (Difference of Gaussian)
• Scale-space の作成

Gaussian Convolution
画像の平滑化
- 画像中の細かい特徴やノイズの除去 
- 数学的には重み付き平均

一次元の Gaussian Convolution
(出典: [2])

二次元の Gaussian Convolution
(出典: [2])
* =

離散化
離散化
(出典: [2])

離散化 Gaussian Convolution Step 1
⭐

⭐

離散化 Gaussian Convolution Step m*n
⭐
m行
n列

離散化 Gaussian Convolution の式
m行
n列
s行
t列
* = m行
n列
添字は全て0からスタートするケロ
[] はガウス記号だケロ
G が Mi に収まらない場合について考慮していないケロ

離散化 Gaussian Convolution の計算量
Mi: m 行 n 列の行列, G: s 行 t 列の行列
Mo の1画素を求めるために必要な計算量 
- s * t
Mo の全画素を求めるために必要な計算量 
- m * n * s * t
例: 縦横256ピクセルの画像と縦横12ピクセルのフィルタ 
256 * 256 * 12 * 12 = 9437184 ケロ・・・

再考1
(w: G(k, l) の総和)

再考2
α(k) = k - [2/s], β(l) - [2/t] とおく

再考3
をとした( )

再考4
一次元のGaussian Convolutionを
全ての行に適用した画像

離散化 Gaussian Convolution  
高速に行うためのアルゴリズム
ステップ1.
一次元のGaussian Convolutionを全ての行に適用
ステップ2.
ステップ1で得た画像に対して、一次元のGaussian
Convolution を全ての列に適用

離散化 Gaussian Convolution の計算量再考
Mi: m 行 n 列の行列, G: s 行 t 列の行列
Mo の前画素を求めるために必要な計算量
- m * n* t + m * n * s = m * n * (s + t)
例: 縦横256ピクセルの画像と縦横12ピクセルのフィルタ 
256 * 256 * (12 + 12) = 1572864
前回の結果 9437184 と比較すると約17%の計算量
ケロ !!!

作ってみよう!!
1. 離散化した Gaussian Convolution を用いて 
画像を平滑化するプログラムを書いてみよう ! 
 
- まずは “lenna image processing” と  
google で検索してテスト用画像をゲット ! 
 
- σ の値を任意の値に変更していつでも画像を 
平滑化できるようモジュール化してみよう !

キーポイント
• DoG を適用した画像から得られた極値点に 
さらにフィルタを適用しふるいをかけたもの
• SIFT では画像からキーポイントに関する情報を 
さらに導出し画像の特徴とする

DoG (Difference of Gaussian)
• 2つのスケールの異なる Gaussian Kernel の差分 
 
• DoG と画像の Convolution を取ると 
LoG (Laplacian of Gaussian) を用いたエッジの
強調と同じような効果が得られる

ちょっと待った！

この式のままじゃ、
Scale-space が有効活用できないんですけど。。。
今までの苦労はどうしてくれるケロか !!!

Scale-space を有効活用した DoG の
適用方法
Convolution の性質:
適用方法の導出:
Scale-space 中に既に存在する画像 !MPS 第38回 (2015/11/14) 定例ミーティング資料 (c) Junya Kaneko

DoG を適用した画像の求め方
σ = 0.0
σ = 1.6
Scale-space 中のG(x, y, kσ) で平滑化した画像と  
G(x, y, σ) で平滑化した画像の差分を取るだけ !!
ー
それを早くいうケロ

でも待って！

なんでこれで
エッジの抽出や強調が
できるの？

LoG (Laplacian of Gaussian)
• 画像からエッジの強調や抽出をするために 
使用される
• Gaussian kernel と Laplacian の合わせ技 
- 下記作業を一括して行うオペレータ 
1. Gaussian Kernel を画像に適用して平滑化 
2. その後 Laplacian を用いてエッジの抽出

Laplacian
ある点における関数の曲がり度合いを表す値 
を求めるためのオペレータ
使い方:

LoG の式とグラフ
具体的な式の形が気になる人は、
Gaussian Kernel を x と y について
二回微分してみるケロ !

LoG 1次元の例
(出典: [2])
Zero-crossing

LoG と DoG の関係
(出典: [1])
DoG は LoG の定数倍

DoG を用いる利点
• LoG は計算量が大きい 
- Gaussian Convolution のように x 軸と y 軸に 
分けて計算できない

作ってみよう!!
• DoG が適用された画像を出力するモジュールを 
作ってみよう !! 
 
- Step 1.  
前の演習で作った平滑化モジュールを用いて 
平滑化された画像を異なる二つのσについて出力 
 
- Step 2.  
出力された二枚の画像の差分を出力

Scale-space and Octave
(出典: [1])MPS 第38回 (2015/11/14) 定例ミーティング資料 (c) Junya Kaneko

Scale-space
σ = 0.0
σ = 1.6
σ = 2.3
σ = 3.2

手順
• σ = 1.6, k = √2 として、0, σ, kσ, kkσ で平滑化された
画像で構成される Scale-space を作る
• できた Scale-space の画像を用いて DoG を適用した 
画像で構成される空間を作る
• kkσ の画像を1/4の大きさにダウンサンプリングする
• ダウンサンプリングした画像を元に Scale-space 
をもう一つ構成する (2nd octave)

今後の予定
• 次回: 
SIFT による画像の特徴の作成
• 次次回 
SIFT で作成した特徴量を用いた物体の認識

参考文献
1. David G. Lowe. 2004. Distinctive Image Features from Scale-Invariant
Keypoints. Int. J. Comput. Vision 60, 2 (November 2004), 91-110.
2. M. Alex O. Vasilescu: http://alumni.media.mit.edu/~maov/classes/
vision09/lect/09_Image_Filtering_Edge_Detection_09.pdf

Pythonで画像処理をやってみよう！第7回 - Scale-space 第6回 -

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie Pythonで画像処理をやってみよう！第7回 - Scale-space 第6回 -

Ähnlich wie Pythonで画像処理をやってみよう！第7回 - Scale-space 第6回 - (20)

Mehr von Project Samurai

Mehr von Project Samurai (19)

Pythonで画像処理をやってみよう！第7回 - Scale-space 第6回 -