#PRMLrevengeで発表した資料。 PRML3.3-3.3.1

1. PRML 復々習レーン
3.3前半
@risuoku
中村直哉

2. 3.3 ベイズ線形回帰
何を問題にしているのか？
• 線形回帰
• 最尤推定→過学習！
• モデルの複雑さ
（イケてるモデルって何だろう・・）
線形回帰モデルをベイズ的に取り扱う
• 過学習を回避
• 訓練データだけからモデルの複雑さを自動的に
決定

3. ところで、推定するといっ
ても、どこから始めればい
いんです？？
まずそれっぽいのを決めておい
て、データを見ながら修正してい
こう。
ということで・・・
• モデルパラメータ（ここでは重みｗ）の事前確率
分布を導入

4. 3.3.1 パラメータの分布
パラメータの事前分布
(3.48)
ベイズの定理と(3.10)を使用
(3.49)
(3.50)
(3.51)
• とにかくガウス分布
• 式の意味は？

5. 何故ｗがガウス分布に従うのか？
• exp中のｗが二次形式となるから
(3.10)
ｗの二次形式

6. モデルを単純に
(3.52)
(3.52)の意味は？
(3.50)(3.51)から(3.53)(3.54)が導
ける
ところで、この仮定はどこか
で見たような・・・？

7. 正則化との関連性
(3.55)
その他もろもろ
• p(w|t)の対数をとると、正則化項ありの誤差関数
(3.27)と一致
• logp(w)が正則化項に相当
• 「誤差関数(3.27)が小さくなるよう最適化」と「事
後確率分布に基づいてMAP推定」が等価

8. 具体例
• 直線フィッティング
• 事後分布を逐次的に更新
準備
データ生成アルゴリズム

9. 事後分布を逐次的に更新
使う式
①
②
パラメータ推定アルゴリズム
※更新式として(3.53)(3.54)を使ってもいい
が、これらはバッチ処理用なので注意

11. パラメータに関する他の形式
(3.56)
• ガウス事前分布の一般化
• q=2でガウス事前分布と一致

12. (3.49)と２章の関連
• (3.49)は、実は２章の話を使って導出可能（と、テ
キストに書いてある）
• wがガウス分布に従うことが前提

13. ２章の復習 yの平均がxの線形関数
(2.113)
(2.114)
(2.115)
(2.116)
３章への橋渡し
• yをt、xをwと見る
• 線形回帰モデルを
上手く（都合良
く）表現
wの線形関数

14. 記号の対応関係
２章
線形回帰
モデル
式の対応関係
２章 (2.113) (2.114) (2.116)
線形回帰モデル (3.48) tの尤度. p(t|w)に相 (3.49)
当.
※(2.115)は(3.58)に対応