Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
第4章 推定 前半
第 3 回「続・ 認識」読書会
@ksmzn
会場:株式会社 様 東銀座
January 27, 2015
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
自己紹介
Koshi @ksmzn
某大学 M2
法 研究
勉強中 ( )
@ksmzn 第 4 章 推定 前半 January...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
推定
1. 母集団分布 特徴 値
(母数) 。
2. 未知 、 値 興味
、観測値 用 未知
類推 推定 。
3. 章 最尤推定...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
例題4.1
1枚 投
n 回投 結果
x(n)
= x1x2 . . . xn
n 回中 r 回 表
θ 値 推定
最尤推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤原理
「現実 我々 得 観測 、確率最大
実現 結果 」 考 。
観測 x(n)
θ 、
P(x(n)
; θ) 最大 θ
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
観測値 得 確率
各試行 独立 , 観測値 得 確率
P(x(n)
; θ) =P(x1)P(x2)P(x3) . . . P(...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤推定
P(x(n)
; θ) 最大 θ ˆθ(最尤推定量)
、
ˆθ = argmax
θ
{P(x(n)
; θ)}
。
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
P(x(n)
; θ) 最大
未知 θ 値 尤 度合
P(x(n)
; θ) 、尤度 。
尤度 最大 θ 求 。
→ 微分 行 ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤推定量 求
対数尤度 微分 0
d
dθ
log p(x(n)
; θ) =
d
dθ
(r log θ + (n − r)...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
観測値 得 確率(n = 10)
@ksmzn 第 4 章 推定 前半 January 27, 2015 13 / 44
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤推定 推定
未知 扱
最尤推定 定数 見
推定 確率変数 見
確率変数 見 、
θ 具体的 値 推定 最尤推定 違 、
推定...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
定理
種類 対 用 、
定理 連続的 値 θ 定義 。
p
(
θ|x(n)
)
=
P
(
x(n)
|θ
)
P
(
x(n...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
尤度
表 確率 θ n 回投 x(n)
得
確率 、各試行 独立
P(x(n)
|θ) =P(x1)P(x2)P(x3) . ....
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
尤度
x(n)
既 得 観測 、
θ 未知 、
尤度 P(x(n)
|θ) L
(
θ|x(n)
)
表 。
Tips
一般 、...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事前分布
表 出 確率 θ 情報 何 、
事前分布 p (θ) 決 !!
↓
、
「 特性値 見当 」 知識
状態 表 、無情報...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
一様分布
今回 2 値分布 θ 何
示 無情報事前分布 、θ
取 得 区間 [0, 1] 上 一様分布 、
p (θ) = 1
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
周辺分布
尤度 事前分布 決 、周辺分布 求
P
(
x(n)
)
=
∫ 1
0
P
(
x(n)
|θ
)
p (θ) dθ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
関数 関数
B(α, β) 関数 、
B(α, β) =
∫ 1
0
uα−1
(1 − u)β−1
du
=
Γ (α) Γ ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
周辺分布 求
α 非負整数 場合、
Γ (α + 1) = α!
。 、
P
(
x(n)
)
=B(r + 1, n − r ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事後分布
値 定理 式 代入
p
(
θ|x(n)
)
=
P
(
x(n)
|θ
)
P
(
x(n)
) · p (θ)
=...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
最尤推定 推定 比較
最尤推定→最尤推定量
ˆθ =
r
n
推定→事後確率
p
(
θ|x(n)
)
= (n + 1) · ...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
分布
Be (α, β) =
θα−1
(1 − θ)β−1
B (α, β)
(0 ≤ θ ≤ 1)
前節 事後分布
p
(
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
Be (α, β) 問題 当
問題設定 Be (α, β)
表 出 回数 r α − 1
裏 出 回数 n − r β − 1
...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
Be (α, β) 形状
@ksmzn 第 4 章 推定 前半 January 27, 2015 29 / 44
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事前分布 選択
観測 情報 、事前
知 情報 導入
専門家 見解、従来 検討、 他理論・
無情報事前分布
、θ 関 情報
一様分...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事前分布 Be (α, β)
事前分布 一様分布 Be (α, β) 使
↓
事前知識 、(α + β − 2) 回 投 、
表...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
事前分布 Be (α, β)
事前分布 p (θ) Be (α, β) 用 。
p (θ) = Be (α, β) =
θα−1...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
共役事前分布
二項分布 θ 推定 際、事
前分布 分布 用 事後分布
分布 。
、事前分布 事後分布 同 分布族
属 、 事前分...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1 4.1 学習 推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定 推...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
推定 推定値
推定 得 、事後分布。
↓
推定値 得 !!
@ksmzn 第 4 章 推定 前半 January 27, 201...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
θ 推定値 候補
θ 期待値
ˆθ =E [θ]
=
α
α + β
=
r + 1
n + 2
決定法則 、損失関数 二次損失...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
θ 推定値 候補
θ 最頻値
ˆθ = argmax
θ
{P(θ|x(n)
)}
=M [θ]
=
α − 1
α + β −...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
期待値 最頻値 比較
@ksmzn 第 4 章 推定 前半 January 27, 2015 39 / 44
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
Be (α, β) 形状
@ksmzn 第 4 章 推定 前半 January 27, 2015 40 / 44
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
1. 最尤推定 値 唯一 推定
(点推定)。
2. 推定 事後分布 求
。
3. 際、事前分布 共役事前分布 用
計算 容易 。...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
References
[1] 石井健一郎・上田修功 (2014) 『続・
認識 -教師 学習入門』
社
[2] G.Petris...
4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定
清聴 .
@ksmzn 第 4 章 推定 前半 January 27, 2015 44 / 44
続・わかりやすいパターン認識 勉強会 4章前半
Nächste SlideShare
Wird geladen in …5
×

続・わかりやすいパターン認識 勉強会 4章前半

2.158 Aufrufe

Veröffentlicht am

続・わかりやすいパターン認識
勉強会
4章前半

Veröffentlicht in: Wissenschaft
  • Loggen Sie sich ein, um Kommentare anzuzeigen.

続・わかりやすいパターン認識 勉強会 4章前半

  1. 1. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 第4章 推定 前半 第 3 回「続・ 認識」読書会 @ksmzn 会場:株式会社 様 東銀座 January 27, 2015 @ksmzn 第 4 章 推定 前半 January 27, 2015 1 / 44
  2. 2. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 自己紹介 Koshi @ksmzn 某大学 M2 法 研究 勉強中 ( ) @ksmzn 第 4 章 推定 前半 January 27, 2015 2 / 44
  3. 3. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 3 / 44
  4. 4. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 4 / 44
  5. 5. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 推定 1. 母集団分布 特徴 値 (母数) 。 2. 未知 、 値 興味 、観測値 用 未知 類推 推定 。 3. 章 最尤推定 推定 取 上 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 5 / 44
  6. 6. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 6 / 44
  7. 7. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 例題4.1 1枚 投 n 回投 結果 x(n) = x1x2 . . . xn n 回中 r 回 表 θ 値 推定 最尤推定 推定 推定 @ksmzn 第 4 章 推定 前半 January 27, 2015 7 / 44
  8. 8. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤原理 「現実 我々 得 観測 、確率最大 実現 結果 」 考 。 観測 x(n) θ 、 P(x(n) ; θ) 最大 θ 「最 尤 」 。 最尤原理!! @ksmzn 第 4 章 推定 前半 January 27, 2015 8 / 44
  9. 9. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 観測値 得 確率 各試行 独立 , 観測値 得 確率 P(x(n) ; θ) =P(x1)P(x2)P(x3) . . . P(xn) = n∏ t=1 P(xt; θ) =θr (1 − θ)n−r @ksmzn 第 4 章 推定 前半 January 27, 2015 9 / 44
  10. 10. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤推定 P(x(n) ; θ) 最大 θ ˆθ(最尤推定量) 、 ˆθ = argmax θ {P(x(n) ; θ)} 。 推定法 最尤推定 @ksmzn 第 4 章 推定 前半 January 27, 2015 10 / 44
  11. 11. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 P(x(n) ; θ) 最大 未知 θ 値 尤 度合 P(x(n) ; θ) 、尤度 。 尤度 最大 θ 求 。 → 微分 行 ! 計算 、尤度 対数 。 (対数尤度) log p(x(n) ; θ) @ksmzn 第 4 章 推定 前半 January 27, 2015 11 / 44
  12. 12. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤推定量 求 対数尤度 微分 0 d dθ log p(x(n) ; θ) = d dθ (r log θ + (n − r) log(1 − θ) = r θ − n − r 1 − θ =0 ˆθ = r n 「n 回中 r 回表 出 割合」 、 直感的 妥当 結果 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 12 / 44
  13. 13. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 観測値 得 確率(n = 10) @ksmzn 第 4 章 推定 前半 January 27, 2015 13 / 44
  14. 14. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 14 / 44
  15. 15. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤推定 推定 未知 扱 最尤推定 定数 見 推定 確率変数 見 確率変数 見 、 θ 具体的 値 推定 最尤推定 違 、 推定 未知 確率分布 推定 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 15 / 44
  16. 16. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 定理 種類 対 用 、 定理 連続的 値 θ 定義 。 p ( θ|x(n) ) = P ( x(n) |θ ) P ( x(n) ) · p (θ) p (θ) 事前分布、p ( θ|x(n) ) 事後分布 。 P ( x(n) ) x(n) 周辺分布 。 P ( x(n) ) = ∫ 1 0 P ( x(n) |θ ) p (θ) dθ @ksmzn 第 4 章 推定 前半 January 27, 2015 16 / 44
  17. 17. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 尤度 表 確率 θ n 回投 x(n) 得 確率 、各試行 独立 P(x(n) |θ) =P(x1)P(x2)P(x3) . . . P(xn) = n∏ t=1 P(xt|θ) =θr (1 − θ)n−r 値 θ 各値 「尤 」 表 、 尤度 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 17 / 44
  18. 18. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 尤度 x(n) 既 得 観測 、 θ 未知 、 尤度 P(x(n) |θ) L ( θ|x(n) ) 表 。 Tips 一般 、尤度 L ( θ|x(n) ) θ 対 確率分 布 。 実際 、尤度 全領域 [0, 1] 積分 1 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 18 / 44
  19. 19. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事前分布 表 出 確率 θ 情報 何 、 事前分布 p (θ) 決 !! ↓ 、 「 特性値 見当 」 知識 状態 表 、無情報事前分布 用 。 例 1. 一様分布 2. Dirichlet 分布 @ksmzn 第 4 章 推定 前半 January 27, 2015 19 / 44
  20. 20. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 一様分布 今回 2 値分布 θ 何 示 無情報事前分布 、θ 取 得 区間 [0, 1] 上 一様分布 、 p (θ) = 1 。 分布 Beta(1,1) 書 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 20 / 44
  21. 21. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 周辺分布 尤度 事前分布 決 、周辺分布 求 P ( x(n) ) = ∫ 1 0 P ( x(n) |θ ) p (θ) dθ = ∫ 1 0 θr (1 − θ)n−r · 1dθ =B(r + 1, n − r + 1) @ksmzn 第 4 章 推定 前半 January 27, 2015 21 / 44
  22. 22. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 関数 関数 B(α, β) 関数 、 B(α, β) = ∫ 1 0 uα−1 (1 − u)β−1 du = Γ (α) Γ (β) Γ (α + β) Γ (·) 関数 、 Γ(α) = ∫ ∞ 0 uα−1 e−u du 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 22 / 44
  23. 23. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 周辺分布 求 α 非負整数 場合、 Γ (α + 1) = α! 。 、 P ( x(n) ) =B(r + 1, n − r + 1) = Γ (r + 1) Γ (n − r + 1) Γ (n + 2) = r! (n − r)! (n + 1)! = 1 (n + 1) · nCr @ksmzn 第 4 章 推定 前半 January 27, 2015 23 / 44
  24. 24. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事後分布 値 定理 式 代入 p ( θ|x(n) ) = P ( x(n) |θ ) P ( x(n) ) · p (θ) = (n + 1) · nCrθr (1 − θ)n−r θ 事後分布 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 24 / 44
  25. 25. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 最尤推定 推定 比較 最尤推定→最尤推定量 ˆθ = r n 推定→事後確率 p ( θ|x(n) ) = (n + 1) · nCrθr (1 − θ)n−r @ksmzn 第 4 章 推定 前半 January 27, 2015 25 / 44
  26. 26. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 26 / 44
  27. 27. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 分布 Be (α, β) = θα−1 (1 − θ)β−1 B (α, β) (0 ≤ θ ≤ 1) 前節 事後分布 p ( θ|x(n) ) = (n + 1) · nCrθr (1 − θ)n−r 、 Be (r + 1, n − r + 1) 分布 ! @ksmzn 第 4 章 推定 前半 January 27, 2015 27 / 44
  28. 28. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 Be (α, β) 問題 当 問題設定 Be (α, β) 表 出 回数 r α − 1 裏 出 回数 n − r β − 1 総観測回数 n α + β − 2 @ksmzn 第 4 章 推定 前半 January 27, 2015 28 / 44
  29. 29. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 Be (α, β) 形状 @ksmzn 第 4 章 推定 前半 January 27, 2015 29 / 44
  30. 30. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 30 / 44
  31. 31. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事前分布 選択 観測 情報 、事前 知 情報 導入 専門家 見解、従来 検討、 他理論・ 無情報事前分布 、θ 関 情報 一様分布 事前分布 用 。 先 求 事後分布 分布 、 新 事前分布 用 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 31 / 44
  32. 32. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事前分布 Be (α, β) 事前分布 一様分布 Be (α, β) 使 ↓ 事前知識 、(α + β − 2) 回 投 、 表 (α − 1) 回、裏 (β − 1) 回観測 情報 得 。 ↓ 表 出 確率 θ 、「 α−1 α+β−2 」 知識 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 32 / 44
  33. 33. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 事前分布 Be (α, β) 事前分布 p (θ) Be (α, β) 用 。 p (θ) = Be (α, β) = θα−1 (1 − θ)β−1 B (α, β) (0 ≤ θ ≤ 1) 、事後分布 、 p ( θ|x(n) ) = 1 Z1 · θα+r−1 · (1 − θ)β+n−r−1 =Be (α + r, β + n − r) 。(Z1 正規化定数) @ksmzn 第 4 章 推定 前半 January 27, 2015 33 / 44
  34. 34. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 共役事前分布 二項分布 θ 推定 際、事 前分布 分布 用 事後分布 分布 。 、事前分布 事後分布 同 分布族 属 、 事前分布 共役事前分 布 。 共役事前分布 用 、事後分布 導出 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 34 / 44
  35. 35. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1 4.1 学習 推定 2 4.2 最尤推定 3 4.3 推定 4 4.4 分布 5 4.5 共役事前分布 6 4.6 推定 推定値 特定 @ksmzn 第 4 章 推定 前半 January 27, 2015 35 / 44
  36. 36. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 推定 推定値 推定 得 、事後分布。 ↓ 推定値 得 !! @ksmzn 第 4 章 推定 前半 January 27, 2015 36 / 44
  37. 37. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 θ 推定値 候補 θ 期待値 ˆθ =E [θ] = α α + β = r + 1 n + 2 決定法則 、損失関数 二次損失 選 、 期待損失 最小 値 選 同 。 →詳 、他 統計 本 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 37 / 44
  38. 38. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 θ 推定値 候補 θ 最頻値 ˆθ = argmax θ {P(θ|x(n) )} =M [θ] = α − 1 α + β − 2 = r n 決定法則 、損失関数 0-1 損失 選 、 期待損失 最小 値 選 同 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 38 / 44
  39. 39. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 期待値 最頻値 比較 @ksmzn 第 4 章 推定 前半 January 27, 2015 39 / 44
  40. 40. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 Be (α, β) 形状 @ksmzn 第 4 章 推定 前半 January 27, 2015 40 / 44
  41. 41. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 1. 最尤推定 値 唯一 推定 (点推定)。 2. 推定 事後分布 求 。 3. 際、事前分布 共役事前分布 用 計算 容易 。 4. 事後分布 推定値 決 方法 、複数 。 @ksmzn 第 4 章 推定 前半 January 27, 2015 41 / 44
  42. 42. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 References [1] 石井健一郎・上田修功 (2014) 『続・ 認識 -教師 学習入門』 社 [2] G.Petris[他] (2013) 『R 動的 線型 』 (統計 ) 和合肇・萩 原淳一郎訳, 朝倉書店 [3] 仁木直人 (2009) 『基礎情報学』 培風館 @ksmzn 第 4 章 推定 前半 January 27, 2015 42 / 44
  43. 43. 4.1 学習 推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定 推定値 特定 清聴 . @ksmzn 第 4 章 推定 前半 January 27, 2015 44 / 44

×