1. PRML読書会(最終回)
14.5 条件付き混合モデル
坪坂 正志
Mail: m.tsubosaka@gmail.com
Blog : d.hatena.ne.jp/tsubosaka

2. 発表内容
 14.5.1 線形回帰モデルの混合
 9.2節の混合モデルを条件付きガウス分布に拡張し
たモデル
 14.5.2 ロジスティックモデルの混合
 4.3節のロジスティック回帰モデルを混合分布に拡
張したモデル
 14.5.3 混合エキスパートモデル
 混合係数が条件付きで表されるモデル

3. 混合線形回帰モデル
 それぞれが重みパラメータ������������ で支配される������個の
線形回帰モデルを考える
 目標変数としては一次元の場合に限って考える
 複数の出力への拡張(演習14.12)

4. 分布について
 混合分布 (混合係数を������������ とする)
 観測集合 : *������������ , ������������ +
 パラメータ集合 ������: ������ = ������������ , ������ = ������������ , ������
 対数尤度関数
(14.35)

5. 混合ガウス分布(9章)との比較
 混合線形回帰モデル
 混合ガウスモデル(一次元の場合)

6. 推論アルゴリズム
 (14.35)式の尤度関数を最大化するためにEMアルゴ
リズムを用いる
 二値潜在変数の集合������ = *������������ +を導入

7. Eステップ
 ������(������|������, ������old )を計算する
 各データ点������に対するクラス������の事後確率すなわち
負担率をもとめる

8. Mステップ
 パラメータをQ関数について最適化
 ������������������ を固定しつつ、パラメータ������ = ������������ , ������ =
������������ , ������を最適化する

9. ������������ , ������に関する最適化
 制約条件 ������ ������������ = 1のもとでラグランジュ未定乗
数法を使うと
 Q関数から������に依存する項のみ取り出すと
 ������について微分して0とおけば

10. ������������ についての最適化
 Q関数から������������ に依存する項のみ取り出すと
 ������������ についての微分を0とおくと

11. ������������ についての最適化(行列表記)
 行列表記すると
 ここで������������ = diag(������������������ )は������ × ������の対角行列
 ������������ について解くと
 これは式(4.99)のロジスティック回帰の更新式と
同じ形
 またK=1のときに線形回帰の推定式と一致する

12. データ例
 左から初期値、30反復目、50反復目の計算結果
 下はデータについての負担率

13. 問題点
 多峰性の分布のため、データが存在しないところ
領域にも大きな確率値をもつことがある
 混合係数も������の関数とすることにより解決できる
 混合密度ネットワーク(5.6節)
 階層的混合エキスパートモデル(14.5.3節)
この部分

14. 混合ロジスティック回帰モデル
 混合ロジスティック回帰モデル
 ロジスティック回帰モデル(4.3)の混合モデルバー
ジョン
 条件付き分布
 尤度関数
(14.46)

15. 推論アルゴリズム
 線形回帰モデルと同様に二値潜在変数������������������ を導入
して、EMアルゴリズムを用いて尤度関数の最大
化を行う
 完全データの尤度関数

16. Eステップ
 負担率を計算
 14.5.1とほぼ同じ

17. Mステップ
 Q関数に関する最大化
 ������������ に関する最適化
 いつもの式

18. ������������ についての最適化
 ������������ についての勾配を計算
 データ点に重み������������������ がついてるだけで、4.3.2の式
(4.91)と同じ形
 ロジスティック回帰のときと同様に反復再重み付
け最小二乗(IRLS)アルゴリズムを利用して解くこ
とができる

19. データ例
 左は2クラス混合モデル、右は単一のロジス
ティック回帰モデル

20. 混合エキスパートモデル
 混合係数それ自身も入力変数の関数としたモデル
入力������ エキスパート������������ (������|������)
入力������ エキスパート������������ (������|������)
ゲート関数
出力t
������(������)
…
入力������ エキスパート������������ (������|������)

21. ゲート関数
 ������������ (������)は確率値であるため、制約条件として
0 ≤ ������������ ������ ≤ 1, ������ ������������ ������ = 1を満たす必要がある
 これは例えば線形ソフトマックスモデルで表現で
きる
 モデルパラメータの推論は反復再重み付け最小二
乗法を用いたEMアルゴリズムによりできる
(Jordan and Jacobs, 1994)

22. 階層的混合エキスパートモデル
 混合エキスパートモデルを混合分布にしたモデル
 混合係数のモデルが線形分類モデル(ex. ソフトマック
スモデル)であることにより、フラットな混合分布と
は異なるモデルとなっている(演習14.17)
入力 混合エキスパートモデル
入力 混合エキスパートモデル
ゲート関数 出力
…
入力 混合エキスパートモデル

23. 階層的混合エキスパートモデル
 EMアルゴリズムにより効率よく最尤推定ができ
る
 変分推論法によるベイズ的な扱いが与えられてい
る(Bishop and Svensen 2003)
 決定木の確率的バージョンとみなすことができる
 葉ノードに相当する部分がエキスパートで入力に応
じて各エキスパートの寄与率が決まる

24. (Jordan and Jacobs 1994)の図

25. 混合密度ネットワークとの比較
 階層的混合エキスパートモデル
 EMアルゴリズムによる最適化においてMステップの
最適化が凸最適化になる
 混合密度ネットワーク
 構成要素の密度と混合係数をニューラルネットワー
クの隠れユニットで共有できる
 入力空間の分割が非線形にもなり得る

26. Fin