Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Doing Bayesian Data Analysis

Chapter 4: Bayes’ Rule
東京大学 松尾研究室 修士2年"
飯塚修平@tushuhei
2013/08/04 1
導入
•  あの子がオレのことを見て微笑んだ"
•  もしかしてオレに気がある!?"
•  残念ながら p(♡|J) ≠ p(☺|♡)."
–  p(♡|☺): あの子が微笑んだ時に、あなたに好意がある確率"
–  p(☺|♡): あの子があ...
ベイズの定理
2013/08/04 3
p(y, x) = p(y|x)p(x) = p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
p(x)
p(x) =
y
p(x, y) =
y
p(x|y)p(y)
p(y|x) =
p(...
ベイズの定理
2013/08/04 4
p(y|x) =
y p(x|y)p(y)
p(y|x) =
p(x|y)p(y)
dy p(x|y)p(y)
p( |D) = p(D| ) p( ) /p(D)
Posterior	
  
事後確率
...
ベイズの定理
2013/08/04 5
モデル自体も	
  M	
  としてパラメタに組み込むと、ベイズの定理は、
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
...
ベイズの定理
2013/08/04 6
出現する証拠はモデルのパラメタθにしかよらないので、	
  
p(D | , D) = p(D | )
p( |D , D) =
p(D | , D)p( |D)
d p(D | , D)p( |D)
=...
コイントスの例
•  あなたのコインは公平?それともインチキ?"
2013/08/04 7
H : head, T : tail
= p(H)
H : head, T : tail
= p(H)
p( ) =
0.25 ( = 0.25, 0....
コイントスの例
2013/08/04 8
p( ) =
0.25 ( = 0.25, 0.75)
0.5 ( = 0.5)
0 (otherwise)
Prior (事前確率)
D = 3H, 9T のときLikelihood (尤度)
p(D...
コイントスの例
2013/08/04 9
Posterior (事後確率) ベイズの定理より、
p( |D) =
p(D| )p( )
p(D| )p( )
0.71 ( = 0.25)
0.29 ( = 0.50)
9.0 10 4
( = ...
•  事前確率がもう少し複雑な例を考える"
•  ベイズならモデルの比較も簡単!"
コイントスの例2
2013/08/04 10
VS
simple complex
コイントスの例2
p(D|M) simple complex
D = 3H, 9T 0.000416 0.000392
D = 1H, 11T 0.00276 0.00366
2013/08/04 11
モデルMからデータDが	
  
生じる確率
日常に潜むベイズの考え方
•  「ワトソン君、何度言ったら分かるんだ。起こり得ないことをすべ
て取り除いてそれが残ったんだったら、どんなに可能性が低くても、
それが真実なんだよ。」
2013/08/04 12
•  屋根からなんか落ちてきた→「...
Exercise 4.2
•  ある病気と検査の話(条件付き確率あるある)"
•  病気の確率変数 θ = J, L(事象「かからない」or「かかる」)"
•  p(θ=L) = 0.001: 罹患率は 0.1%"
•  検査の結果の確率...
Exercise 4.2
2013/08/04 14
p( =):|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +) +...
Nächste SlideShare
Wird geladen in …5
×

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

6.442 Aufrufe

Veröffentlicht am

東京大学にて行われている Doing Bayesian Data Analysis 勉強会での発表資料です。Chapter 4:

Veröffentlicht in: Bildung
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ...................................ALL FOR EBOOKS................................................. Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • (Unlimited)....ACCESS WEBSITE Over for All Ebooks ................ accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • ACCESS that WEBSITE Over for All Ebooks (Unlimited) ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... DOWNLOAD FULL EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M }
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { https://urlzs.com/UABbn } .........................................................................................................................
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • (Unlimited)....ACCESS WEBSITE Over for All Ebooks ................ accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { https://urlzs.com/UABbn } ......................................................................................................................... Download Full EPUB Ebook here { https://urlzs.com/UABbn } ......................................................................................................................... Download Full PDF EBOOK here { https://urlzs.com/UABbn }
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

  1. 1. Doing Bayesian Data Analysis
 Chapter 4: Bayes’ Rule 東京大学 松尾研究室 修士2年" 飯塚修平@tushuhei 2013/08/04 1
  2. 2. 導入 •  あの子がオレのことを見て微笑んだ" •  もしかしてオレに気がある!?" •  残念ながら p(♡|J) ≠ p(☺|♡)." –  p(♡|☺): あの子が微笑んだ時に、あなたに好意がある確率" –  p(☺|♡): あの子があなたに好意があるときに、微笑む確率" •  ベイズの定理によると p(♡|☺) = p(☺|♡)p(♡)/p(☺)" –  p(☺) = Σp(J|θ)p(θ): あなたのことが好きで微笑んだ、あなたが純粋に 面白い顔をしていた、たまたま昨日のお笑い番組を思い出した etc. す べての和であることに注意" –  とりあえず、p(♡)(あの子があなたに好意がある確率)はどれくらい だと思う?(事前確率)" 2013/08/04 2
  3. 3. ベイズの定理 2013/08/04 3 p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) 条件付き確率の定義 p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) ベイズの定理 ベイズの定理(連続値) p(y, x) = p(y|x)p(x) = p(x p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x| p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) ベイズの定理(離散値) p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y)
  4. 4. ベイズの定理 2013/08/04 4 p(y|x) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p( |D) = p(D| ) p( ) /p(D) Posterior   事後確率 Likelihood   尤度   Prior   事前確率   Evidence   証拠   p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p( |D) = p(D| ) p( ) /p(D) p(D) = d p(D| )p( )Where:
  5. 5. ベイズの定理 2013/08/04 5 モデル自体も  M  としてパラメタに組み込むと、ベイズの定理は、 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) M1 M2 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) M1 M2 なので、 すなわち、事後確率の比は、証拠の比と事前確率の比の積で表される。   この事前確率の比を Bayers  Factor  と呼ぶ。 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) p(M1) p(M2) Bayes  Factor と表せる。ここで、
  6. 6. ベイズの定理 2013/08/04 6 出現する証拠はモデルのパラメタθにしかよらないので、   p(D | , D) = p(D | ) p( |D , D) = p(D | , D)p( |D) d p(D | , D)p( |D) = p(D | )p( |D) d p(D | )p( |D) したがって、 再度テストを行うなど、複数回にわたってデータをサンプリングするときに使える 【複数の証拠  D,  D’  がある場合】  
  7. 7. コイントスの例 •  あなたのコインは公平?それともインチキ?" 2013/08/04 7 H : head, T : tail = p(H) H : head, T : tail = p(H) p( ) = 0.25 ( = 0.25, 0.75) 0.5 ( = 0.5) 0 (otherwise) →下記のように  Prior  (事前確率)  を設定 おそらくちゃんと作 られてるから θ=0.5 " だけど" もしかしたら偽物で 偏ってるかも? ↑   A君の頭のなかの   モデル
  8. 8. コイントスの例 2013/08/04 8 p( ) = 0.25 ( = 0.25, 0.75) 0.5 ( = 0.5) 0 (otherwise) Prior (事前確率) D = 3H, 9T のときLikelihood (尤度) p(D| ) = 3 (1 )9 = 1.2 10 3 ( = 0.25) 2.4 10 4 ( = 0.50) 1.6 10 6 ( = 0.75) 0 (otherwise) データの当てはまり具合
  9. 9. コイントスの例 2013/08/04 9 Posterior (事後確率) ベイズの定理より、 p( |D) = p(D| )p( ) p(D| )p( ) 0.71 ( = 0.25) 0.29 ( = 0.50) 9.0 10 4 ( = 0.75) 0 (otherwise) 合計=1となることに注目。
  10. 10. •  事前確率がもう少し複雑な例を考える" •  ベイズならモデルの比較も簡単!" コイントスの例2 2013/08/04 10 VS simple complex
  11. 11. コイントスの例2 p(D|M) simple complex D = 3H, 9T 0.000416 0.000392 D = 1H, 11T 0.00276 0.00366 2013/08/04 11 モデルMからデータDが   生じる確率
  12. 12. 日常に潜むベイズの考え方 •  「ワトソン君、何度言ったら分かるんだ。起こり得ないことをすべ て取り除いてそれが残ったんだったら、どんなに可能性が低くても、 それが真実なんだよ。」 2013/08/04 12 •  屋根からなんか落ちてきた→「猫かな?」
 今隣の家に子供が遊びにきたらしい→「あ、そっちだね」" 屋根からなんか落ちてきた→ cat かな? p(D| child) が大きいらしい→ p(D| i) = Const.( i = j) であっても、 p( child|D) が小さくなる 「ワトソン君、何度言ったら分かるんだ。p(D| i) = 0( i = j) なら どんなに p( j) > 0 が小さくても p( j|D) = 1 なんだよ。」
  13. 13. Exercise 4.2 •  ある病気と検査の話(条件付き確率あるある)" •  病気の確率変数 θ = J, L(事象「かからない」or「かかる」)" •  p(θ=L) = 0.001: 罹患率は 0.1%" •  検査の結果の確率変数 D=+(陽性), ー(陰性)" •  p(D=+| θ=L) = 0.99: 的中率 99%" •  p(D=+| θ=J) = 0.05: エラー率 5%" •  運悪く、あなたは最初の検査で陽性反応が出てしまいました。" •  不安になってもう一度検査を受けたところ、陰性反応が出ました。" •  さて、このときあなたが病気にかかっている確率は?" •  すなわち、p(θ=L | D1=+, D2=ー) は?" 2013/08/04 13
  14. 14. Exercise 4.2 2013/08/04 14 p( =):|D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) + p(D2 = = p(D2 = +| = ): )p( = ): |D1 = +) p(D2 = +| =):)p( = ): |D1 = +) + p(D2 = +| = p( = ): |D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) + p(D2 = +| = (: , D1 = +)p( = (: |D1 = +) = p(D2 = +| =):)p( = ): |D1 = +) p(D2 = +| = ): )p( = ): |D1 = +) + p(D2 = +| = (: )p( = (: |D1 = +) θ=L  と D2  についてベイズの定理を適用して p( = ): |D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) p(D2 = +| = ): , D1 = +)p( =):|D1 = +) + p(D2 = +| = (: , D1 = +)p = p(D2 = +| = ): )p( = ): |D1 = +) p(D2 = +| = ): )p( = ): |D1 = +) + p(D2 = +| = (: )p( = (: |D1 = +) D2  の結果は  D1  とは無関係なので(スライド  p6  参照) あとは各項の値を求める。 = 2.1*10^{-4} = 0.021%

×