一般線形モデル
- 3. 一般線形モデル
正規分布とは
• 𝑝 𝑦 𝜇, 𝜎 =
1
2𝜋𝜎
exp(−
𝑦−𝜇 2
𝜎2 )
(平均μ標準偏差σの時、yとなる確率)
• データが連続値
• yの下限、上限ともにない。
3
- 6. 一般線形モデル 導出 ~単回帰~
𝑝𝑖 𝑦𝑖 𝜇, 𝜎 =
1
2𝜋𝜎
exp(−
𝑦𝑖 − 𝜇 2
𝜎2
) ⋯ ⋯ (1)
𝐿 𝛼, 𝛽 =
𝑖
𝑛
1
2𝜋𝜎
exp(−
𝑦𝑖 − 𝜇 2
𝜎2
) ⋯ ⋯ (2)
log 𝐿 𝛼, 𝛽 = 𝑛 log
1
2𝜋𝜎
−
𝑖
𝑛
𝑦𝑖 − 𝛼 + 𝛽𝑥𝑖
2
𝜎2
𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒
𝑖
𝑛
𝑦𝑖 − (𝛼 + 𝛽𝑥𝑖) 2
⋯ ⋯ (3)
実現値𝑦𝑖
が発生する確率𝑝𝑖
𝜇 = 𝛼 + 𝛽𝑥𝑖として
尤度関数Lを出す。
最小化項を得る
計算しやすいよう
に対数をとる
6
- 7. 一般線形モデル 導出 ~単回帰~
𝑦1
𝑦2
⋮
𝑦𝑛
=
1 𝑥1
1 𝑥2
⋮
1 𝑥 𝑛
𝛼
𝛽 +
𝜀1
𝜀2
⋮
𝜀 𝑛
⋯ ⋯ (1′)
𝜀1
𝜀2
⋮
𝜀 𝑛
=
𝑦1
𝑦2
⋮
𝑦𝑛
−
1 𝑥1
1 𝑥2
⋮
1 𝑥 𝑛
𝛼
𝛽 ⋯ ⋯ (2′)
𝐸 =
𝜀1
𝜀2
⋮
𝜀 𝑛
=
𝑖
𝑛
𝑦𝑖 − (𝛼 + 𝛽𝑥𝑖) 2 ⋯ ⋯ (3′)
もう一方の方法。
まず、モデル式に
当てはめる。
誤差を左辺に移項
最小化項を得る
(最尤推定と同じ
結果) 7
- 8. 𝜕𝐸
𝜕𝛼
= −2
𝑖
𝑛
𝑦𝑖 − 𝛼 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (4)
𝛼 = 𝑦 − 𝛽 𝑥 ⋯ ⋯ (6)
一般線形モデル 導出 ~単回帰~
αの一階条件を得る
(3)のEをαで偏微分
(4)をx, yの平均を
𝑥, 𝑦として整理する
𝑛 𝑦 − 𝑛 𝛼 + 𝛽 𝑥 = 0
8
- 9. 𝜕𝐸
𝜕𝛽
= −2
𝑖
𝑛
𝑥𝑖 𝑦𝑖 − 𝛼 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (7)
𝑖
𝑛
𝑥𝑖 𝑦𝑖 − 𝑦 − 𝛽 𝑥 + 𝛽𝑥𝑖 = 0 ⋯ ⋯ (8)
𝑖
𝑛
𝑥𝑖 𝑦𝑖 − 𝑦 − 𝛽(𝑥𝑖 − 𝑥) = 0 ⋯ ⋯ (6)
一般線形モデル 導出 ~単回帰~
(8)を変形
(3)のEをβで偏微分
(6)式を代入
9
- 10. 𝑖
𝑛
(𝑥𝑖− 𝑥) 𝑦𝑖 − 𝑦 − 𝛽
𝑖
𝑛
(𝑥𝑖− 𝑥) 𝑥𝑖 − 𝑥 = 0 ⋯ ⋯ (10)
𝑆 𝑥𝑦 − 𝛽𝑆 𝑥𝑥 = 0 ⋯ ⋯ (11)
𝛽 =
𝑆 𝑥𝑦
𝑆 𝑥𝑥
⋯ ⋯ (12)
一般線形モデル 導出 ~単回帰~
βの一階条件を得る
さらに変形
xの分散を𝑆 𝑥𝑥,
xとyの共分散を𝑆 𝑥𝑦
として代入
10
- 11. 𝑦 = 𝛼 + 𝛽𝑥 = 𝑦 −
𝑆 𝑥𝑦
𝑆 𝑥𝑥
( 𝑥 − 𝑥) ⋯ ⋯ (13)
一般線形モデル 導出 ~単回帰~
(6)と(12)をモデル
式に代入して完成
同じように重回帰についても計算できる。
11
- 13. 一般線形モデル 導出 ~重回帰~
𝑦1
𝑦2
⋮
𝑦𝑛
=
1 𝑥11 … 𝑥1𝑚
1 𝑥21 … 𝑥2𝑚
⋮
1 𝑥 𝑛1 … 𝑥 𝑛𝑚
𝛼
𝛽1
⋮
𝛽 𝑚
+
𝜀1
𝜀2
⋮
𝜀 𝑛
⋯ ⋯ (14)
𝒙𝒊 =
𝑥𝑖1
𝑥𝑖2
⋮
𝑥𝑖𝑚
, 𝜷 =
𝛽1
𝛽2
⋮
𝛽 𝑚
𝐸 =
𝜀1
𝜀2
⋮
𝜀 𝑛
=
𝑖
𝑛
𝑦𝑖 − (𝛼 + 𝒙𝒊
𝑻
𝜷)
2
⋯ ⋯ (15)
データを得る
(3)と同様に
最小化項を得る
便宜上、
次を定義
13
- 14. 𝛼 = 𝑦 −
𝑥1
𝑥2
⋮
𝑥 𝑚
𝑇
𝜷 ⋯ ⋯ (16)
𝜕𝐸
𝜕𝛽𝑗
= −2
𝑖
𝑛
𝑥𝑖𝑗 𝑦𝑖 − 𝛼 + 𝒙𝒊
𝑇 𝜷 = 0 ⋯ ⋯ (17)
𝑖
𝑛
(𝑥𝑖− 𝑥) 𝑦𝑖 − 𝑦 −
𝑖
𝑛
𝑥𝑖𝑗
𝑥𝑖1 − 𝑥1
𝑥𝑖2 − 𝑥2
⋮
𝑥𝑖𝑚 − 𝑥 𝑚
𝑇
∙ 𝜷 = 0 ⋯ ⋯ (18)
一般線形モデル 導出 ~重回帰~
αの条件は
(6)とほぼ同様
Eを𝛽𝑗で微分
さらに(10)と同
様に変形する
14
- 15. 𝑛𝑆1𝑦−
𝑖
𝑛
(𝑥𝑖1− 𝑥1)
𝑥𝑖1 − 𝑥1
𝑥𝑖2 − 𝑥2
⋮
𝑥𝑖𝑚 − 𝑥 𝑚
𝑇
∙ 𝜷 = 0
𝑛𝑆2𝑦−
𝑖
𝑛
(𝑥𝑖2− 𝑥2)
𝑥𝑖1 − 𝑥1
𝑥𝑖2 − 𝑥2
⋮
𝑥𝑖𝑚 − 𝑥 𝑚
𝑇
∙ 𝜷 = 0
⋮
𝑛𝑆 𝑚𝑦−
𝑖
𝑛
(𝑥𝑖𝑚− 𝑥 𝑚)
𝑥𝑖1 − 𝑥1
𝑥𝑖2 − 𝑥2
⋮
𝑥𝑖𝑚 − 𝑥 𝑚
𝑇
∙ 𝜷 = 0
一般線形モデル 導出 ~重回帰~
jを1~mで動か
していくとm個
の式が得られる
15
- 16. 𝑛
𝑆1𝑦
𝑆2𝑦
⋮
𝑆 𝑚𝑦
−
𝑖
𝑛 𝑥𝑖1 − 𝑥1
𝑥𝑖2 − 𝑥2
⋮
𝑥𝑖𝑚 − 𝑥 𝑚
𝑥𝑖1 − 𝑥1
𝑥𝑖2 − 𝑥2
⋮
𝑥𝑖𝑚 − 𝑥 𝑚
𝑇
∙ 𝜷 = 0
𝑛
𝑆1𝑦
𝑆2𝑦
⋮
𝑆 𝑚𝑦
−
𝑖
𝑛 𝑥𝑖1 − 𝑥1
2 … 𝑥𝑖1 − 𝑥1 𝑥𝑖𝑚 − 𝑥 𝑚
⋮ ⋱ ⋮
𝑥𝑖𝑚 − 𝑥 𝑚 𝑥𝑖1 − 𝑥1 … 𝑥𝑖𝑚 − 𝑥 𝑚
2
𝜷 = 0
𝑛
𝑆1𝑦
𝑆2𝑦
⋮
𝑆 𝑚𝑦
−
𝑖
𝑥𝑖1 − 𝑥1
2 …
𝑖
𝑥𝑖1 − 𝑥1 𝑥𝑖𝑚 − 𝑥 𝑚
⋮ ⋱ ⋮
𝑖
𝑥𝑖𝑚 − 𝑥 𝑚 𝑥𝑖1 − 𝑥1 …
𝑖
𝑥𝑖𝑚 − 𝑥 𝑚
2
𝜷 = 0
𝑆1𝑦
𝑆2𝑦
⋮
𝑆 𝑚𝑦
−
𝑆11 … 𝑆1𝑚
⋮ ⋱ ⋮
𝑆 𝑚1 … 𝑆 𝑚𝑚
𝜷 = 0 ⋯ ⋯ (19)
一般線形モデル 導出 ~重回帰~
行列表示して整理し
ていくと、各々の分
散であらわされた式
が得られる。
16
- 17. 𝜷 =
𝑆11 … 𝑆1𝑚
⋮ ⋱ ⋮
𝑆 𝑚1 … 𝑆 𝑚𝑚
−1 𝑆1𝑦
𝑆2𝑦
⋮
𝑆 𝑚𝑦
⋯ ⋯ (20)
𝑦 = 𝛼 + 𝜷𝒙 ⋯ ⋯ (21)
一般線形モデル 導出 ~重回帰~
(19)をβについ
て解けば終了。
モデル式(21)に
(16)と(20)を代入
すれば予測がで
きる。
17
- 19. 一般線形モデル 導出 ~重回帰(行列表記) ~
Eを定義
Eを𝛽で微分
(計算省略)
式を整える。
(ただし逆行列
の存在を仮定)
𝐸 = (𝑌 − 𝛽X)′(Y − βX)
𝑑𝐸
𝑑𝛽
= −2 𝑋′
𝑌 − 𝑋′
𝑋𝛽 = 𝟎
𝛽 = (𝑋′
𝑋)−1
𝑋′
𝑌
19
- 26. ポアソン回帰
• 一般的にポアソン回帰では、以下のように設定する。
リンク関数：𝑓 𝜆 = 𝑙𝑜𝑔(𝜆)
線形予測子：α＋β・x (βｘはともに説明変数分の長さを持つベクトル)
確率分布：𝑝 𝑦 𝜆 = 𝑝 𝑦 𝛼, 𝜷
式：log 𝜆 = 𝛼 + 𝜷 ∙ 𝒙 ⇔ 𝜆 = 𝑒 𝛼+𝜷𝑥
➡尤度関数：𝐿 𝛼, 𝜷 = 𝒊 𝑝(𝑦𝑖| 𝛼, 𝜷)
最尤推定法： 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑙𝑜𝑔(𝐿 𝛼, 𝜷 ) = 𝑖 𝑙𝑜𝑔(𝑝(𝑦𝑖|𝛼, 𝜷))
26
- 29. ロジスティック回帰
• 一般的にポアソン回帰では、以下のように設定する。
リンク関数：𝑓 𝑞 = log
𝑞
1−𝑞
線形予測子：α＋β・x (βｘはともに説明変数分の長さを持つベクトル)
確率分布：𝑝 𝑦 𝑞 = 𝑝 𝑦 𝛼, 𝜷
式：log
𝑞
1−𝑞
= 𝛼 + 𝜷 ∙ 𝒙 ⇔ 𝑞 = 𝑙𝑜𝑔𝑖𝑠𝑡𝑖𝑐 𝑧 =
1
1+exp(−𝛼−𝜷𝒙)
➡尤度関数：𝐿 𝛼, 𝜷 = 𝒊 𝑝(𝑦𝑖| 𝛼, 𝜷)
最尤推定法： 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 𝑙𝑜𝑔(𝐿 𝛼, 𝜷 ) = 𝑖 𝑙𝑜𝑔(𝑝(𝑦𝑖|𝛼, 𝜷)) 29
