2013-05-05 PRML復々習レーン#10の補足資料

1. 正定値カーネルでないと困ること
PRML復々習レーン#10 補講
2013-05-06
Last update: 2013-06-23
Yoshihiko Suhara
@sleepy_yoshi
v. 1.1

2. 正定値カーネルとは
• 正定値カーネルの定義
– 𝑘 𝒙𝑖, 𝒙𝑗 を𝑖行𝑗列の要素とするグラム (カーネル)
行列𝐾が半正定値であること
𝐾 =
𝑘(𝒙1, 𝒙1) ⋯ 𝑘(𝒙1, 𝒙 𝑁)
⋮ ⋱ ⋮
𝑘(𝒙 𝑁, 𝒙1) ⋯ 𝑘 𝒙 𝑁, 𝒙 𝑁
– ※厳密には半正定値カーネルと呼ぶべきなのだ
ろうけれど細かいことは気にしない
2

3. 行列が正定値であるとは
PRMLを読む上では，だいたい以下の3つを覚えておけ
ばよい
• (1) 任意のベクトル𝒘に対して𝒘 𝑇 𝐾𝒘 ≥ 0が成り立つ
– 正定値性の定義
• (2) 行列の行列式が非負
– 必要十分条件
• (3) 行列の固有値が全て非負
– 必要十分条件
3

4. 距離のカーネル表現
• 2つのベクトル𝒙, 𝒚のL2距離 (の自乗) は
𝒙 − 𝒚 2
2
= 𝑥𝑖 − 𝑦𝑖
2
𝑖
= (𝑥𝑖
2
− 2𝑥𝑖 𝑦𝑖 + 𝑦𝑖
2
)
𝑖
= 𝑥𝑖
2
− 2 𝑥𝑖 𝑦𝑖 + 𝑦𝑖
2
𝑖𝑖𝑖
= 𝒙 𝑇 𝒙 − 2𝒙 𝑇 𝒚 + 𝒚 𝑇 𝒚
• 基底関数をかけたベクトルで考えると
𝜙 𝒙 𝑇 𝜙 𝒙 − 2𝜙 𝒙 𝑇 𝜙 𝒚 + 𝜙 𝒚 𝑇 𝜙 𝒚
• 𝜙 𝒂 𝑇 𝜙 𝒃 = 𝑘(𝒂, 𝒃)とすると，
𝑘 𝒙, 𝒙 − 2𝑘 𝒙, 𝒚 + 𝑘(𝒚, 𝒚)
※復々習レーン#10でホワイトボードに書いて説明
4

5. 距離がマイナス?
• 正定値カーネルであれば以下が成り立つ
𝑘 𝒙, 𝒙 − 2𝑘 𝒙, 𝒚 + 𝑘 𝒚, 𝒚 ≥ 0
• 証明
– 2x2のカーネル行列 𝐾 =
𝑘11 𝑘12
𝑘21 𝑘22
とベクトル𝒘 =
1
−1
の二
次形式を考える
𝒘 𝑇
𝐾𝒘 = 𝑘11 − 𝑘12 − 𝑘21 + 𝑘22
– ここで 𝑘12 = 𝑘21 より
𝒘 𝑇
𝐾𝒘 = 𝑘11 − 2𝑘12 + 𝑘22
– 𝐾が半正定値の場合，𝒘 𝑇
𝐾𝒘 ≥ 0 より𝑘11 − 2𝑘12 + 𝑘22 ≥ 0
これより正定値カーネルでない場合
𝑘 𝑥, 𝑥 − 2𝑘 𝑥, 𝑦 + 𝑘 𝑦, 𝑦 ≥ 0が成り立たない．
すなわち 𝜙 𝒙 − 𝜙 𝒚 2
2
< 0となる𝒙, 𝒚が存在する
このような空間における内積を意味する．これは不自然 5

6. もう少しフォーマルな説明
• 正定値カーネルではないと，コーシー＝シュ
ワルツの不等式が成立しない
– これってどういうことだろう?
• cf. [演習6.15] 正定値カーネル関数は以下の
コーシー＝シュワルツの不等式を満たすこと
を示せ
𝑘 𝑥1, 𝑥2
2
≤ 𝑘 𝑥1, 𝑥1 𝑘(𝑥2, 𝑥2)
6

7. 演習6.15の回答
• 𝐾 =
𝑘11 𝑘12
𝑘21 𝑘22
の行列式を考える．
• 𝐾が半正定値の場合，行列式は非負より
𝑘11 𝑘12
𝑘21 𝑘22
≥ 0
𝑘11 𝑘22 − 𝑘12 𝑘21 ≥ 0
よって
𝑘11 𝑘22 ≥ 𝑘12 𝑘21
7

8. まとめ: 正定値カーネルでないと困ること
• 距離として使おうとすると不自然なことが起こる
– 𝜙 𝒙 − 𝜙 𝒚 2
2
< 0となる𝒙, 𝒚が存在してしまう
• Mercerの定理が成り立たない
– 対応する写像先の空間の存在を保証できない
• コーシー＝シュワルツ不等式が成り立たない
– 上記のフォーマルな説明?
• 正定値カーネルでないと，対応する特徴空間を定義できない (? 要確認)
– すなわち 𝑘 𝒙1, 𝒙2 = 𝜙 𝒙1
𝑇 𝜙(𝒙2) と対応する基底関数を定義できない (?
要確認)
• SVMの最適化において，停留点が最小値 (最大値) でなくなる
– 本資料では説明していません cf. SMO徹底入門
8

9. 残った疑問
• コーシー＝シュワルツの不等式の成立は内
積空間/ヒルベルト空間の必要条件?
– たぶん違う．けれど成立しないとうれしくないはず
– Wikipediaより抜粋
• コーシー・シュワルツの不等式の重要な帰結には、内
積が2変数の関数と見て連続であるということ、従って
特にひとつのベクトル x を決めるごとに内積が一つの
連続汎関数 <x, ・> あるいは <・, x> を定めるということ
である。
9