5. 3.1.1 最尤推定と最小二乗法
「1.2.5 曲線フィッティング再訪」における例が再び出てくる
尤度関数
両辺にlogをとって、対数尤度は
1
1
,|Ν,,|
n
T
n
N
n
tp xwwxt
N
n
n
T
ntΝp
1
1
,|ln,|ln xwwt
N
n
n
T
n xt
NN
1
2
2
1
2ln
2
ln
2
w
6. 最尤推定による w の決定
式(3.11)を w について微分すると
式(3.13)の左辺を0とおいて、w = ○ の形に書き換えると、
n
N
n
n
T
n
N
n
n
T
nn
t
tp
xxw
xwxwt
1
1
2
22
2
1
,|ln
(3.11)
N
n
n
T
n xt
NN
p
1
2
2
1
2ln
2
ln
2
,|ln wwt
(3.13)
N
n
T
nn
N
n
n
T
n t
1
1
ML
xx
x
w
N
n
N
n
n
T
n
T
nnt
1 1
0 xxwx
7. 計画行列(design matrix)
上式の分子を書き下すと
分母も同様の形で書けるため、wMLは以下の通り書ける。
Φを計画行列(design matrix)と呼ぶ。
N
n
T
nn
N
n
n
T
n t
1
1
ML
xx
x
w
• w = (w0, …, wM-1)T
• Φ = (Φ0, …, ΦM-1)T
ちなみに…
tΦ
xxx
xxx
xxx
x T
NNMMM
N
N
N
n
n
T
n
t
t
t
t
2
1
12111
12111
02010
1
tΦΦΦw TT 1
ML
8. 最尤推定による β の決定
式(3.11)をβについて微分すると、
上式の左辺を0とおくと、
N
n
n
T
n xt
NN
p
1
2
2
1
2ln
2
ln
2
,|ln wwt (3.11)
N
n
n
T
nt
N
p
1
2
2
11
2
,|ln xwwt
N
n
n
T
n
N
n
n
T
n
t
N
t
N
1
2
ML
1
2
11
2
1
2
xw
xw
ML
(3.21)
14. 3.1.4 正則化最小二乗法
正則化項を加えた時の最小二乗解の導出
正則化項を加えた誤差関数
上式を展開
wについて微分
上式を0とおくと
N
n
T
n
T
n xt
1
2
22
1
www
(3.27)
wwwww T
N
n
n
T
N
n
n
T
n
N
n
n xxtt
22
1
2
1
1
2
11
2
ww
N
n
n
N
n
nn xxt
1
2
1
N
n
nn
N
n
n xtx
11
2
Iw
計画行列Φを用いて左式を整理して
tΦΦΦIw TT 1
(3.28)