Weitere ähnliche Inhalte
Ähnlich wie PRML読み会第一章 (20)
PRML読み会第一章
- 10. 多項式曲線フィッティング
• N個の入力値を𝑋 𝑁 = (𝑥1, 𝑥2, … , 𝑥 𝑁) 𝑇
とする
• 対応するN個目標値を𝑇 𝑁 = (𝑡1 , 𝑡2 , … , 𝑡 𝑁 ) 𝑇とする
• 訓練集合 𝑋 𝑁, 𝑇 𝑁 を利用して新たな入力値 𝑥の目標
変数 𝑡を予測することが目標
手法はいろいろあるが、ここでは以下のような多項式
で予測することを考える
𝑦 𝑥, 𝒘 = 𝑤0 + 𝑤1 𝑥 + 𝑤2 𝑥2 + ⋯ + 𝑤 𝑀 𝑥 𝑀 =
𝑖=0
𝑀
𝑤𝑖 𝑥 𝑖
10
- 11. 多項式曲線フィッティング
• 𝑦 𝑥, 𝒘 は𝑥に対しては非線形関数
• パラメータ𝒘に対しては線形
• パラメータに対して線形なモデルを線形モデルという
• 𝑀をモデルのパラメータということがある
• パラメータを任意に固定した時の関数𝑦 𝑥, 𝒘 の値と訓練集
合の値のずれを誤差関数で測り、誤差を最少にするように
パラメータを選ぶことで関数を推定する。
11
𝑦 𝑥, 𝒘 = 𝑤0 + 𝑤1 𝑥 + 𝑤2 𝑥2 + ⋯ + 𝑤 𝑀 𝑥 𝑀 =
𝑖=0
𝑀
𝑤𝑖 𝑥 𝑖
- 20. 確率論
20
𝑃(𝑋 = 𝑥𝑖)
𝑃 𝑋, 𝑌
𝑃(𝑋|𝑌)
𝑃 𝑋 =
𝑌
𝑃(𝑋, 𝑌)
𝑃 𝑋, 𝑌 = 𝑃 𝑋 𝑌 𝑃 𝑌 = 𝑃 𝑌 𝑋 𝑃 𝑋
P Y X =
𝑃 𝑋 𝑌 𝑃(𝑌)
𝑃(𝑥)
確率変数𝑋が𝑥𝑖となる確率。以降では𝑥𝑖を省略する
確率変数𝑋, 𝑌の同時確率
乗法定理
条件付き確率
周辺化(加法定理)
ベイズの定理
𝑃 𝑋, 𝑌 = 𝑃 𝑋 𝑃(𝑌) 確率変数𝑋, 𝑌が独立
- 22. 期待値と分散
22
𝐸 𝑓(𝑥) = 𝑓 𝑥 𝑝 𝑥 𝑑𝑥
𝐸 𝑥 𝑓(𝑥, 𝑦) = 𝑓 𝑥 𝑝 𝑥, 𝑦 𝑑𝑥
𝐸 𝑓 𝑥 |𝑦 = 𝑓 𝑥 𝑝 𝑥|𝑦 𝑑𝑥
𝑣𝑎𝑟 𝑓 = 𝐸 𝑓 𝑥 − 𝐸 𝑓 𝑥 2 = 𝐸[𝑓 𝑥 2] − 𝐸[𝑓(𝑥)]2
𝑐𝑜𝑣 𝑥, 𝑦 = 𝐸 𝑥,𝑦 (𝑥 − 𝐸 𝑥 )(𝑦 − 𝐸 𝑦 ) = 𝐸 𝑥,𝑦 x, y − E x E[y]
- 24. 最尤推定
24
• 𝑝 𝑋 𝑤 (尤度)を最大にするパラメータ推定法を
最尤推定法という
• 気持ち的にはデータを生成する確率を最大にする
パラメータが良いパラメータだろう、という考え方
でも
• そもそも𝑝 𝑋 𝑤 って厳密に言えば確率じゃない
• 単純に最大化すると過学習しがち
• 実用的なモデルを使おうとすると、モデル選択が
難しい(厳密に言えばできない)場合が多い
いろいろな問題がありつつも、計算量と精度の
バランスを考えると採用されることも多い
- 31. 多項式曲線フィッティング
尤度は𝑃 𝑋 𝑤, 𝜇 = 𝑁(𝑡|𝑦 𝑥𝑖, 𝑤 , 𝛽−1)であるので尤度関数
は
尤度関数を𝑤に関して最大化する時、最後の二項は関係な
く、初項の𝛽も影響を与えないので
の最大化と等しい。よって、二乗和誤差関数の最小化と同
じ問題を解いていることになる。
31
𝐿 𝑋 = −
𝛽
2
𝑡𝑖 − 𝑦 𝑥𝑖, 𝑤 2 +
𝑁
2
𝑙𝑜𝑔𝛽 −
𝑁
2
𝑙𝑜𝑔2𝜋
𝐸′[𝑋] = −
1
2
𝑡𝑖 − 𝑦 𝑥𝑖, 𝑤 2
Hinweis der Redaktion
- M=0の時は定数関数、M=1の時は線形関数となる
Sin関数がテイラー展開できることを考えるとM=3でなんとなくうまくいく気がする
M=9の時はむちゃくちゃに発振しているが、誤差は0になっている(すべてのデータ点を通っている)