Building detection with decision fusion2. Goal
• VHR (Very High Resolution)な衛星画像からの建物検出
• 近赤外写真や可視光写真を入力として用いる
• 多くの特徴抽出/分類器を組合せて,分類器の精度を上げる
(いわゆるアンサンブル学習の手法の一種)
建物マスクを作る航空写真から
13年10月5日土曜日
7. Mean shift segmentation
GTC✓j =
(Db
✓j
)
T
#G
|#G|
SF✓j =
(Db
✓j
)
T
#G
(Db
✓j
)
パラメータ でMean shiftして得られた
建物セグメントの輪郭ピクセルの集合
✓j = (hsj
, hrj
, minAreaj)
正解データ上の建物セグメン
トの輪郭ピクセル集合
OSQ✓j
= 2
(SF✓j )(GTC✓j )
SF✓j
+ GTC✓j
ˆ✓ = arg max
✓j 2✓
OSQ✓j
これを最大化するパラメータ
セットを求める
建物検出に特化したミーンシフト
セグメンテーション用パラメータ
が得られる
13年10月5日土曜日
10. Elimination of vegetation
RGB画像 近赤外画像
近赤外画像の画素値:NIR
RGB画像のRの値:R
NDVI =
NIR R
NIR + R0
Normalized Difference
Vegetation Index
NDVI画像に対してOtsu二値化を施して
植物の領域マスクを生成
13年10月5日土曜日
11. Elimination of shadow
RGB画像 近赤外画像
近赤外画像の画素値:NIR
RGB画像のRとGの値:R, G
Ratio Map画像に対してOtsu二値化を施して
影の領域マスクを生成
NIR-R-G画像をRGB画像とみ
なしてHSI変換する
Ratio Map =
S I
S + I
13年10月5日土曜日
12. Elimination of vegetation and
shadow segment
あるセグメント 中の植物ピクセルの数:si Mv
i
あるセグメント 中の影のピクセルの数:si Ms
i
あるセグメント 中の全ピクセルの数 :si Mi
あるセグメント においてsi
Mb
i > Mi
なら植物のセグメントとして廃棄
Ms
i > Mi
なら影のセグメントとして廃棄
※λは判定の厳しさのパラメータ
13年10月5日土曜日
15. Feature extraction
Dˆ✓ = {si}
N
i=1
ˆ✓パラメータセット でMean shift segmentationした結果
←N個のセグメント si(i = 1, 2, . . . , N)
が得られたとする.
K個の特徴検出器を使う
s1
s2
s3
s4
s5
s6
sN
s...
画像全体D
(x1,k, y1)
(x2,k, y2)
(x3,k, y3)
(x4,k, y4)
(x5,k, y5)
(x...,k, y...)
(xN,k, yN )
(x6,k, y6)
(特徴量,ラベル)のセットの集合F
⌧k
第k番目の特徴検出器 で各セグメントを,特徴量とそのセグメン
トのラベルのタプルに写像(学習データから)
⌧k
学習データなの
で各セグメント
のラベルは既知
13年10月5日土曜日
19. Feature extraction
テクスチャ特徴
まずGray-Level Co-occurrence Matrix (GLCM)を計算する
R,G,B,NIRの各チャンネルを分離し
て4つのグレースケール画像とみる
各画像を8階調に量子化
0,45,90,135度方向それぞれに対
してCo-occurrence Matrixを計算
C x, y(i, j) =
nX
p=1
mX
q=1
⇢
1, if I(p, q) = i and I(p + x, q + y) = j
0, otherwise
各セグメント から で抽出する特徴一覧⌧ksi
13年10月5日土曜日
21. Summary: Feature extraction
各セグメント から で抽出する特徴一覧⌧ksi
色特徴8つ,形状特徴3つ,テクスチャ特徴4つ
合計15個の特徴ベクトルを で抽出した.⌧1, . . . , ⌧15
x1, x2, . . . , x15結果, という15個のベクトルが1つのセグメ
ントから得られる.それぞれを と書く.すべてのベクト
ルはそれぞれ異なる次元を持っている.行方向に結合したベ
クトル は,この論文では128次元.
xi,k
[x1, x2, . . . , x15]
13年10月5日土曜日
28. Feature classification
セグメント のラベル の値を と書くと,si yi c xi,k特徴 の への
所属度合い はµc(xi,k)
c
µc(xi,k) =
P
j=1 l (⌘j(xi,k)) (⇢j(xi,k))
2
1
P
j=1 (⇢j(xi,k))
2
1
13年10月5日土曜日
29. Feature classification
セグメント のラベル の値を と書くと,si yi c xi,k特徴 の への
所属度合い はµc(xi,k)
c
µc(xi,k) =
P
j=1 l (⌘j(xi,k)) (⇢j(xi,k))
2
1
P
j=1 (⇢j(xi,k))
2
1
要するに
13年10月5日土曜日
30. Feature classification
セグメント のラベル の値を と書くと,si yi c xi,k特徴 の への
所属度合い はµc(xi,k)
c
µc(xi,k) =
P
j=1 l (⌘j(xi,k)) (⇢j(xi,k))
2
1
P
j=1 (⇢j(xi,k))
2
1
要するに
= 2 とすると,右上部分は なので,(⇢j(xi,k)) 2
j番目の近傍との距離が近ければ分子は大きくなる.
遠ければ分子は小さくなる.
x1,k
x2,k
xi,k
xj,k
⇢j(xi,k)
⇢2(xi,k)
⇢1(xi,k)
. . .
個の近傍を調べる.
13年10月5日土曜日
31. Feature classification
セグメント のラベル の値を と書くと,si yi c xi,k特徴 の への
所属度合い はµc(xi,k)
c
µc(xi,k) =
P
j=1 l (⌘j(xi,k)) (⇢j(xi,k))
2
1
P
j=1 (⇢j(xi,k))
2
1
は, のラベルがcのとき1,それ以外0なので 正規化項
で距離ファクターが割られることから, 個の近傍すべてがラベル
cを持つなら値は1,そうでないときは同じラベルが近くにあればあ
るほど大きな値になる(=所属度合いが高いとされる)
l(·) ⌘j(xi,k)
→あらかじめk種類の特徴量空間にはラベル既知の学習データがマッピングさ
れているので,Fuzzy k-nnの計算に使われる「近傍」は学習データから選ば
れていることに注意
13年10月5日土曜日
32. Feature classification
セグメント のラベル の値を と書くと,si yi c xi,k特徴 の への
所属度合い はµc(xi,k)
c
µc(xi,k) =
P
j=1 l (⌘j(xi,k)) (⇢j(xi,k))
2
1
P
j=1 (⇢j(xi,k))
2
1
要するに
は, のラベルがcのとき1,それ以外0なので 正規化項
で距離ファクターが割られることから, 個の近傍すべてがラベル
cを持つなら値は1,そうでないときは同じラベルが近くにあればあ
るほど大きな値になる(=所属度合いが高いとされる)
l(·) ⌘j(xi,k)
→あらかじめk種類の特徴量空間にはラベル既知の学習データがマッピングさ
れているので,Fuzzy k-nnの計算に使われる「近傍」は学習データから選ば
れていることに注意
13年10月5日土曜日
33. Feature classification
セグメント のラベル の値を と書くと,si yi c xi,k特徴 の への
所属度合い はµc(xi,k)
c
µc(xi,k) =
P
j=1 l (⌘j(xi,k)) (⇢j(xi,k))
2
1
P
j=1 (⇢j(xi,k))
2
1
µ(xi,k) = [µ1(xi,k), µ2(xi,k)]所属度ベクトル:
建物クラスである度合い
非建物クラスである度合い
xi,kセグメント から で抽出された特徴 はこのよう
なベクトルとしてファジーに分類される
si ⌧k
13年10月5日土曜日
34. Feature classification
セグメント のラベル の値を と書くと,si yi c xi,k特徴 の への
所属度合い はµc(xi,k)
c
µc(xi,k) =
P
j=1 l (⌘j(xi,k)) (⇢j(xi,k))
2
1
P
j=1 (⇢j(xi,k))
2
1
µ(xi,k) = [µ1(xi,k), µ2(xi,k)]所属度ベクトル:
建物クラスである度合い
非建物クラスである度合い
xi,kセグメント から で抽出された特徴 はこのよう
なベクトルとしてファジーに分類される
si ⌧k
fuzzy
k-nn
という
手法
13年10月5日土曜日
36. Classifier performance
の精度は,特徴量とラベルのタプルの集合(つまり正解データ
セット)である の中に,推定されたラベル
がいくつ含まれるか,で定義できる
⌥k
ˆyi,k(i = 1, 2, . . . , N)Fk
(x1,k, y1)
(x2,k, y2)
(x3,k, y3)
(x4,k, y4)
(x5,k, y5)
(x...,k, y...)
(xN,k, yN )
(x6,k, y6)
(特徴量,ラベル)の
セットの集合Fk
各セグメント
の特徴量
x1,k
x2,k
x3,k
xN,k
ˆyN,k
ˆy3,k
ˆy1,k
ˆy2,k
推定された
ラベル
⌥k
...
...
...
...
...
いくつ
同じか?
Perfk = (1/N)
NX
i=1
ˆyi,k
(Fk)
⇢
1, ˆyi,k 2 Fk
0, ˆyi,k /2 Fk
13年10月5日土曜日
40. Fusion space
セグメントはN個あるので,上のメタ特徴ベクトルの集合は
Fmeta = {µmeta
(si)}N
i=1 と書ける.
µmeta
(si) = [µ(xi,1), . . . , µ(xi,k), . . . , µ(xi,K)]
ˆyi,k = arg max
c
µc(xi,k) する前の µ(xi,k) = [µ1(xi,k), µ2(xi,k)]
あるセグメントに対して特徴量&分類器のセットの数(K)だけ得られるので
µmeta
(si) = [µ(xi,1), . . . , µ(xi,k), . . . , µ(xi,K)]
のように横に連結して2K次元のベクトルが作れる
2K次元空間 :=Fusion space 上の1点が1つのセグメントを表す
2次元空間 :=Decision space 上の1点が1つの特徴量を表す
13年10月5日土曜日