入門パターン認識と機械学習15章

1. 入門パターン認識と機械学習
@hiro5585
Chapter 15
潜在クラスモデル

2. 混合正規モデル
2

3. 混合正規モデルについて
K個の正規分布を重み付き平均したモデル
データのクラスタリングなどに用いられる
3






 

K
k k
k
k
k
x
wxf
1
2
2
2 2
)(
exp
2
1
)(



混合数 重み
1 2
)(xp
・・・15.2式

4. 学習方法（1/3）
対数尤度を最大化することを考える
しかし、対数の中に和が入っていて解析的な解を得られない
→ここで、あらかじめデータがどの正規分布にどれぐらい属
しているかが既知として、対数尤度の最大化を考える
4









 


K
k k
k
k
k
n
i
n
i
x
w
xfL
1
2
2
2
1
1
2
)(
exp
2
1
log
)(log)(log




サンプル数
・・・15.3式

5. 学習方法（2/3）
データ𝑥𝑖がkに属する確率を𝛾 𝑘
𝑖
として与えられてるとする
そうすると、各正規分布の平均、分散（パラメータ）が求まる
→これをもとに、データの所属確率を更新する
5


n
i
i
kkn
1
各正規分布に属する
（重み付き）データ数
・・・15.4式
各正規分布の
（重み付き）平均
i
n
i
i
k
k
k x
n


1
1
ˆ  ・・・15.5式
各正規分布の
（重み付き）分散
 2
1
2
ˆ
1
ˆ ki
n
i
i
k
k
k x
n
  
・・・15.6式

6. 学習方法（3/3）
データの所属確率を更新
同様にして、 𝛾 𝑘
𝑖
を使って平均と分散を再度求める
所属確率が一定値に収束するまで繰り返す
（混合ガウス分布に対するEMアルゴリズム）
6
各正規分布の重み
n
n
w k
k ˆ ・・・15.7式
各データの所属確率

 K
k
ikk
ikk
k
xpw
xpw
1
)(ˆˆ
)(ˆˆ
ˆ ・・・15.9式

7. 対数尤度の下限をJensenの不等式を使って求める
つまり、次式が成り立つ
先の手順は対数尤度の下限を最大化していたことと等価
𝑙𝑜𝑔ΣをΣ𝑙𝑜𝑔に書き換えて計算を簡単化
尤度最大化の原理
7
)(
~
log
2
)(
exp
2
1
log
2
)(
exp
2
1
log)(log
1 1
2
2
2
2
2
1 1
2









L
xw
x
wL
n
i
K
k k
ki
i
k
ki
k
k
ki
n
i
K
k
k
















 








 


 
 
 
・・・15.12式
・・・15.13式
)(
~
log)(log  LL  ・・・15.17式
所属確率

8. 一般的なEMアルゴリズム
観測できない変数が存在する不完全データに対する推測法
１．パラメータθを初期化する
２．対数尤度関数logL(θ)の期待値Qを計算する
３． Qを最大化するようなθを求める
４． θが一定値に収束するまで１～３を繰り返す
先の議論で対数尤度の下限を最大化しているため、
更新の手続きによって尤度が下がることはない
しかし、局所最適解に陥ることがある 8
アルゴリズム 15.2

9. トピックモデル
9

10. 多項分布
多項分布とはサイコロの目の出やすさ等を表す確率分布
10
１ ２ ３ ４ ５ ６
)( xp
)
12
3
,
12
3
,
12
2
,
12
1
,
12
2
,
12
1
(
四五六賽（逆境無頼カイジ破戒録編より）
班長が使ったイカサマのサイコロ


6
1
)(
v
y
v
n v
xp 
サイコロを複数回投げた場合の確率
・・・15.31式
目の数
各目の出た回数

11. ディリクレ分布
ディリクレ分布もサイコロの目の出やすさ等を表す確率分布
ただし、連続分布でなめらかに表現されている
例：コインの場合のディリクレ分布
11
１ ２ ３ ４ ５ ６
)( p
)
6
1
,
6
1
,
6
1
,
6
1
,
6
1
,
6
1
(
θの出る確率が6次元の
起伏で表される
)( p
)
6
1
,
6
5
(
表 裏
つまり、コインの表裏の出やすさθが
パラメータαによって決まる
→2次元の場合はベータ分布になる

12. 確率分布の関係
多項分布の共役事前分布がディリクレ分布
ベルヌーイ分布の共役事前分布がベータ分布
事前分布がディリクレ分布なのはベイズ更新がしやすいから
意味的にもパラメータがサイコロの出やすさを調整している
12
条件付き確率 事前分布
２次元 ベルヌーイ分布 ベータ分布
多次元 多項分布 ディリクレ分布
サイコロの目の出やすさの重み
コインの表裏の出やすさの重み
実際に出たサイコロの目
実際に出たコインの表裏

13. 混合Polya分布（1/2）
ここで班長が一度だけ投げるサイコロを変えれる場合を想定
つまり、どのサイコロの目が出やいかを推定する問題となる
13
θ 𝑥𝑤
𝛼
サイコロの目の出やすさを制御する
ハイパーパラメータ
どのサイコロか
・普通の賽
・四五六賽
・ピンゾロ賽
投げた
回数
サイコロの目
nサイコロの目の
出やすさ
トピック
ピンゾロ賽（逆境無頼カイジ破戒録編より）
カイジが使った大逆転イカサマサイコロ

14. 混合Polya分布（2/2）
ディリクレ分布と多項分布の積は共役なため簡単に計算可
隠れ変数を積分消去すればEMアルゴリズムで推定可能
14
θ 𝑥𝑤
𝛼
サイコロの目の出やすさを制御する
ハイパーパラメータ
どのサイコロか
・普通の賽
・四五六賽
・ピンゾロ賽
投げた
回数
サイコロの目
nサイコロの目の
出やすさ
トピック
    kkkD
K
k
V
v
yk
vk
n
dPwxP
v
  

1 1
)(
・・・15.34式重み
混合正規分布では
積分内が正規分布だった

15. PLSI
LSI（SVD:特異値分解）の確率的モデル
特異ベクトル（サイコロの目）が直交するという条件を緩和
これは班長が怪しまれぬ様にサイコロを変えるときに使える
つまり、投げるたびにサイコロを選ぶ（確率的）
これも、同様にEMアルゴリズムで解ける（勝てる!!） 15
θ 𝑥𝑤
𝛼
サイコロの目の出やすさを制御する
ハイパーパラメータ
どのサイコロか
投げた
回数
サイコロの目
n
サイコロの目の
出やすさ
トピック