大阪 PRML 勉強会使用スライド

1. 機械学習
-chapter 10 確率的分類 -
Ryo HIGASHIAGWA
@biwakonbu

2. 前回課題
●
SVM を使用して身長体重から男女のクラス分けを
するプログラムの作成
●
実はモノが出来ていないです ...
●
なので現状をまとめました

3. 前回課題
●
SVM を作る為に
●
ラグランジュの双対問題
●
ラグランジュ乗数 a を求めないと ...
●
二次計画法
●
逐次最小問題最適化法（ SMO ）
●
↑ どうも二次計画法の解き方の一つらしい ...

4. 前回課題
●
SVM 実装のサンプルを探す
●
Python
●
Java
●
R
●
MATLAB
●
意外と皆、詳細が抜けてて良くわからん状態

5. 前回課題まとめ
●
SVM は今までの中で確かに難しい
●
二次計画法
●
SMO
●
ラグランジュの双対問題
●
考える事と課題が多く見えた
●
取りあえず Web のソースコードを模写が必要 ( かも )
●
SVM だけの本がある理由が良くわかった

6. 確率的分類
●
今までの分類は決定的パターン認識と言われる
●
今日は確率的パターン認識の話
``
パターン x に対するクラス y の事後確率 p(y|x) を
学習し、そのクラス事後確率を最大にするクラスに
パターンを分類する。
``

7. 確率的パターン認識
^y=argmax
y=1,... ,c
p( y∣x)
クラスパターン
x に対する y の事後確率
クラス事後の値 (p=^y|x) は信頼度と言える
そのため信頼度の低い時に切り替える選択肢が出来る

8. ロジスティック回帰
q( y∣x ; θ)=
exp(∑
j=1
b
θ j
( y)
Φj (x))
∑
y'=1
c
exp (∑
j =1
b
θ j
( y')
Φ( x))
… ロジスティックモデル
線形モデルに似てる
組み合わせは bc 次元になる

9. ロジスティックモデル
ロジスティックモデルの学習は対数尤度を最大にする
最尤度推定によって行われる
尤度 : 対数尤度 :∏i=1
n
q ( yi∣xi ;θ) ∑
i=1
n
log q( yi∣xi ;θ)
観測結果から推測される前提条件の
尤もらしさ
尤度では総乗を取るため のような時に
桁落ちを起こす可能性がある
q(yi∣xi;θ)=0.1
総和の出番 !!

10. ロジスティック回帰
ロジスティック回帰の学習基準は次式の通り
max
θ
b ∑
i=1
n
log q ( yi∣xi ;θ)
対数ガウスカーネルモデル
q(y∣x;θ)=exp(∑
j=1
n
θj K(x,xi)),K(x,c)=exp(−
‖x−c‖
2
2h2
)

11. ロジスティック損失最小化学習
ただし、ロジスティック損失最小化学習は
次式になる
q(y∣x;θ)={1+exp(−y∑
j=1
b
θj Φj(x))}
−1

12. ロジスティック回帰
1.初期値 θ を適当に決定
2.訓練標本をランダムに選択
3.選んだ標本のパラメータ θ を更新
4.解 θ が収束するまでステップ 2,3 を繰り返す
∇ y Ji (θ)=−
exp (θ
( y )T
Φ( xi ))
∑
y '=1
c
exp (θ
( y ')T
Φ(xi ))
+{Φ( xi )
0
y= yi
y≠ yi
θ(y)
←θ( y)
+E ∇ y Ji (θ)for y=1,...,c

13. ロジスティック回帰

14. ロジスティック回帰

15. ロジスティック回帰

16. 最小二乗確率的分類
基本的にロジスティック回帰と同じような式
^p ( y∣x )=
max (0,
^
θ j
( y)T
Φj ( x))
∑
y '=1
c
max (0,θ j
( y ' )
T
Φ( x))
ガウスカーネルについては今まで通りなので省略

17. まとめ
●
確率的に分類を行ったが、回帰を扱った為か今までと
あまり変わらない印象を持った
●
尤度の計算により今までの回帰式を内包した式に発展
したためと思われる
●
今回は実験しなかったが、最小二乗確率的分類器とロ
ジスティック回帰では、標本数によって分ける事が推
奨されている ( 標本数が多いと最小二乗推奨 )

18. 課題
最小二乗確率的分類器を使用する際には標本数が大き
い場合に最小二乗確率的分類器が望ましいとあるが、
実際問題ではどの程度の規模になると使い分けるよい
のか実験してみる。