6/24京大PRML輪講（第3回）での発表資料． 第3章〜3.2まで

1. 第3章 線形回帰モデル
@ 京大PRML輪講
システム科学専攻 石井研
M2 小山田 創哲

2. 目次
1. 線形基底関数モデル
1. 最尤推定と最小二乗法
2. 最小二乗法の幾何学
3. 逐次学習
4. 正則化最小二乗法
5. 出力変数が多次元の場合
2. バイアス-バリアンス分解

3. 回帰
回帰の目標は，xとそれに対応するtの観測
が与えられた時，その観測から新しいxにた
いして対応するtの値を予測することである．
本章では線形モデルによる回帰の手法を学ぶ．
今後扱うモデルの基礎として重要

4. 3.1 線形基底関数モデル

5. 問題設定
n 与えられるデータ
n 目標
新しい に対して
で対応する を予測する．
と

6. 線形モデル
但し， は（非線形な）基底関数
パラメータwについて線形

7. 様々な基底関数
n 多項式基底
n ガウス基底
n シグモイド基底

8. 3.1.1 最尤推定と最小二乗法
確率的モデルを立てる
データの持つ不確実性はtとxの同時分布によって完
全に記述されるが，新しいxに対応するtを予測す
るという目的を考えれば，tのxが与えられた条件
付き分布のモデルを立てるのがここでは自然．

9. 最尤推定（尤度最大化）
対数尤度を計算する．
但し
線形ガウスモデルの条件下で尤度
最大化と二乗和誤差最小化は等価

10. 最尤推定（対数尤度の微分）
対数尤度の勾配を計算し，
0とおいて

11. 最尤推定（結果）
擬似逆行列

12. 3.1.2 最小二乗法の幾何学
Φへの射影
データ点からモデルの張る空間への射影が
最尤推定により定まるモデル
(証) Φ^T (t – 右辺) = 0

13. より直感的理解
高校生の時にならったこれと実は一緒

14. 3.1.3 逐次学習
SGD(Stochastic Gradient Decent)
により逐次的に学習も可能．
xのサンプルが得られる度，
wを逐次的に更新

15. 3.1.4 正則化二乗誤差関数
正則化項
ランクを補ってる
Weight decay

16. 正則化項いろいろ
lasso
lassoは解がスパースになりやすい

17. lasso
スパース！

18. 3.1.5 出力が多次元の場合
全く同じ！

19. 3.2 バイアス-バリアンス分解

20. 3-2 のまとめ
n 予測yの評価を（理論的に）したい
期待二乗損失
は， に分解できる．
bias: yによる予測の平均と理想的予測の差（の期待値）
variance: yによる予測のデータ依存のばらつき（分散）
noise: 理想的予測と観測値の差の平均（制御できない）
biasとvarianceにはトレードオフありがち

21. 予測の評価
期待二乗損失による評価
これを最小にする理想的y(x)は？（復習）
真の分布は知らないので
実際には計算できない

22. 予測の評価
証明（復習）
より
＝0 で最小

23. noise
理想的予測をhとおく
期待二乗損失は
noise: 理想的予想を
しても出てしまう誤差
biasとvarianceに分
解する

24. biasとvariance
データDによってy(x, D)が決まるとする．
第1項の被積分関数 は，
Dについて期待値をとって

25. Bias, variance, noise
bias: yによる予測の平均と理想的予測の差（の期待値）
variance: yによる予測のデータ依存のばらつき（分散）
noise: 理想的予測と観測値の差の平均（制御できない）
biasとvarianceにはトレードオフありがち

26. λ 大
λ 小
モデル自由度
: 高い
モデル自由度
: 低い
bias 高い
variance 高い
variance 低い
bias 低い
トレードオフ

27. トレードオフ
Test errorと(bias)^2 + varianceは
λの変化に対して非常によく似た動きをする

28. 全体私的まとめ
n 線形回帰モデルの最尤推定解はデータ点からモデ
ルの張る空間への射影という極めて直感的な形で
与えられた
n lassoはスパースな解を与えやすい
n 期待二乗損失は取り除けない本質的ノイズ
(noise)と，自分の予測と理想的予測との差
(bias)，自分の予測のゆらぎ(variance)に分解
できる
n biasとvarianceの間にはトレードオフの関係が
ありがち
n 自分の予測にゆらぎが存在し，期待損失に影響与
えるというのは見落としがちな視点だと思う
おわり！ありがとうございました！