【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

Doing Bayesian Data Analysis 
Chapter 4: Bayes’ Rule
東京大学松尾研究室修士２年"
飯塚修平@tushuhei
2013/08/04 1

導入
•  あの子がオレのことを見て微笑んだ"
•  もしかしてオレに気がある！？"
•  残念ながら p(♡|J) ≠ p(☺|♡)."
–  p(♡|☺): あの子が微笑んだ時に、あなたに好意がある確率"
–  p(☺|♡): あの子があなたに好意があるときに、微笑む確率"
•  ベイズの定理によると p(♡|☺) = p(☺|♡)p(♡)/p(☺)"
–  p(☺) = Σp(J|θ)p(θ): あなたのことが好きで微笑んだ、あなたが純粋に
面白い顔をしていた、たまたま昨日のお笑い番組を思い出した etc. す
べての和であることに注意"
–  とりあえず、p(♡)（あの子があなたに好意がある確率）はどれくらい
だと思う？（事前確率）"
2013/08/04 2

ベイズの定理
2013/08/04 5
モデル自体も
M
としてパラメタに組み込むと、ベイズの定理は、
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
M1
M2
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
M1
M2
なので、
すなわち、事後確率の比は、証拠の比と事前確率の比の積で表される。

この事前確率の比を Bayers
Factor
と呼ぶ。
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
p(M1)
p(M2)
Bayes
Factor
と表せる。ここで、

ベイズの定理
2013/08/04 6
出現する証拠はモデルのパラメタθにしかよらないので、

p(D | , D) = p(D | )
p( |D , D) =
p(D | , D)p( |D)
d p(D | , D)p( |D)
=
p(D | )p( |D)
d p(D | )p( |D)
したがって、
再度テストを行うなど、複数回にわたってデータをサンプリングするときに使える
【複数の証拠
D,
D’
がある場合】

コイントスの例
•  あなたのコインは公平？それともインチキ？"
2013/08/04 7
H : head, T : tail
= p(H)
H : head, T : tail
= p(H)
p( ) =
0.25 ( = 0.25, 0.75)
0.5 ( = 0.5)
0 (otherwise)
→下記のように
Prior
(事前確率)
を設定
おそらくちゃんと作
られてるから θ=0.5 "
だけど"
もしかしたら偽物で
偏ってるかも？
↑

A君の頭のなかの

モデル

2013/08/04 8
p( ) =
0.25 ( = 0.25, 0.75)
0.5 ( = 0.5)
0 (otherwise)
Prior (事前確率)
D = 3H, 9T のときLikelihood (尤度)
p(D| ) = 3
(1 )9
=
1.2 10 3
( = 0.25)
2.4 10 4
( = 0.50)
1.6 10 6
( = 0.75)
0 (otherwise)
データの当てはまり具合

2013/08/04 9
Posterior (事後確率) ベイズの定理より、
p( |D) =
p(D| )p( )
p(D| )p( )
0.71 ( = 0.25)
0.29 ( = 0.50)
9.0 10 4
( = 0.75)
0 (otherwise)
合計=1となることに注目。

•  事前確率がもう少し複雑な例を考える"
•  ベイズならモデルの比較も簡単！"
コイントスの例２
2013/08/04 10
VS
simple complex

コイントスの例２
p(D|M) simple complex
D = 3H, 9T 0.000416 0.000392
D = 1H, 11T 0.00276 0.00366
2013/08/04 11
モデルMからデータDが

生じる確率

日常に潜むベイズの考え方
•  「ワトソン君、何度言ったら分かるんだ。起こり得ないことをすべ
て取り除いてそれが残ったんだったら、どんなに可能性が低くても、
それが真実なんだよ。」
2013/08/04 12
•  屋根からなんか落ちてきた→「猫かな？」 
今隣の家に子供が遊びにきたらしい→「あ、そっちだね」"
屋根からなんか落ちてきた→ cat かな？
p(D| child) が大きいらしい→ p(D| i) = Const.( i = j) であっても、
p( child|D) が小さくなる
「ワトソン君、何度言ったら分かるんだ。p(D| i) = 0( i = j) なら
どんなに p( j) > 0 が小さくても p( j|D) = 1 なんだよ。」

Exercise 4.2
•  ある病気と検査の話（条件付き確率あるある）"
•  病気の確率変数 θ = J, L（事象「かからない」or「かかる」）"
•  p(θ=L) = 0.001: 罹患率は 0.1%"
•  検査の結果の確率変数 D=＋（陽性）, ー（陰性）"
•  p(D=＋| θ=L) = 0.99: 的中率 99%"
•  p(D=＋| θ=J) = 0.05: エラー率 5%"
•  運悪く、あなたは最初の検査で陽性反応が出てしまいました。"
•  不安になってもう一度検査を受けたところ、陰性反応が出ました。"
•  さて、このときあなたが病気にかかっている確率は？"
•  すなわち、p(θ=L | D1=＋, D2=ー) は？"
2013/08/04 13

Exercise 4.2
2013/08/04 14
p( =):|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +) + p(D2 =
=
p(D2 = +| =
):
)p( =
):
|D1 = +)
p(D2 = +| =):)p( =
):
|D1 = +) + p(D2 = +| =
p( =
):
|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +)
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +) + p(D2 = +| =
(:
, D1 = +)p( =
(:
|D1 = +)
=
p(D2 = +| =):)p( =
):
|D1 = +)
p(D2 = +| =
):
)p( =
):
|D1 = +) + p(D2 = +| =
(:
)p( =
(:
|D1 = +)
θ=L
と D2
についてベイズの定理を適用して
p( =
):
|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +)
p(D2 = +| =
):
, D1 = +)p( =):|D1 = +) + p(D2 = +| =
(:
, D1 = +)p
=
p(D2 = +| =
):
)p( =
):
|D1 = +)
p(D2 = +| =
):
)p( =
):
|D1 = +) + p(D2 = +| =
(:
)p( =
(:
|D1 = +)
D2
の結果は
D1
とは無関係なので（スライド
p6
参照）
あとは各項の値を求める。 = 2.1*10^{-4} = 0.021%

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Andere mochten auch

Andere mochten auch (10)

Mehr von Shuhei Iitsuka

Mehr von Shuhei Iitsuka (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (8)

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule