More Related Content
More from Shuhei Iitsuka (20)
【DBDA 勉強会 2013 夏】Chapter 12: Bayesian Approaches to Testing a Point (‘‘Null’’) Hypothesis
- 1. Doing Bayesian Data Analysis
Chapter 12: Bayesian Approaches to Testing
a Point (‘‘Null’’) Hypothesis
東京大学 松尾研究室 修士2年
飯塚修平@tushuhei
2013/08/25 1
- 2. この章の内容
1. パラメタ評価アプローチ (estimation)
– ひとつの事前確率
– その値は信頼出来る?
2. モデル比較アプローチ (model comparison)
– ふたつの事前確率
– どちらのモデルが信頼出来る?
3. それぞれのアプローチの注意点
2013/08/25 2
仮説検定についてベイジアンの立場から考えよう
彼ってどんな性格なの?
どうしようもなく駄目なひとなのか、
とても潔癖で近づきがたいひとなのか、
それとも、その間のどこかなのかな。
- 3. 導入
• こういう悩みはつきない
– これからコイントスで先行を決めるんだけど、このコインで大丈夫なのかな?
– この新規開発した薬って本当に効くのかな?プラセボじゃないよね?
– その他諸々の「A と B どっちがいいかな。」
à ベイジアン風に言うと「偏り θ = 0.5」という帰無仮説は棄却されるのか、それ
とも採用されるのか?
• ベイジアンだと、伝統的統計学より進んだ考え方で検定することが
できる
– 棄却 or 採用よりも 95% HDI を得られる方が情報量が多い
– 事後確率分布を得ることで、パラメタと信頼度の関係を眺めることができる
• 今回取り上げる方法は 2 つ
– パラメタ評価アプローチ
事後確率の 95% HDI の中に帰無値(null value, 仮説検定したい値)が入るか
– モデル比較アプローチ
「帰無値しか許さないモデル」 vs 「それ以外の値も広く許すモデル」
2013/08/25 3
- 4. パラメタ評価アプローチ
• 基本的な考え方
– もし帰無値が事後確率の 95% HDI の外にあれば、その帰無値は信頼できる値で
はない。
– もし帰無値が事後確率の 95% HDI の中にあれば、その帰無値は信頼できる値の
ひとつだと言える。
• つまり、ひとつの事前確率から事後確率を算出し、帰無値の信頼性
を評価する。
• 実際の例
– キーボードゲーム(パラメタの値を評価する例)
– ホットハンド・ジンクス(パラメタの値の差を評価する例)
2013/08/25 4
- 6. 【例】キーボードゲーム
• その後被験者に対して、これまでの学習からは正解がわからないテ
ストを与える
– ディスプレイに “radio” とのみ表示する
– ディスプレイに ”ocean” と “mountain” の両方を表示する
• それぞれのテストについて被験者の叩くキーが偏るか?
2013/08/25 6
[Prior] θ = (F が叩かれる回数 /
J が叩かれる回数) とし、一様
分布と仮定する。
[Likelihood] テストの結果
得られた尤度。片方のキー
に偏っている。
[Posterior] 事後確率の 95% HDI に θ = 0.5 が
含まれなかった。すなわち、被験者は 50:50
でキーを選択するのではなく、いずれかに偏っ
ていた。
- 9. ROPE の導入
• Region of Practical Equivalence
• ROPE を導入することで、実用的な範囲内で帰無値が信頼できるか
否かを判断できるようになる。
– 幅を持たせることで、実用上十分なのに棄却してしまう可能性を減らす。
• 基本的な考え方
– ROPE 全体が事後確率の 95% HDI の外にあれば、その帰無値は用いることが出
来ない [1]
– ROPE が事後確率の 95% HDI 全体を完全に含んでいれば、その帰無値は採用で
きる [2]
2013/08/25 9
ROPE 95% HDI 95% HDIROPE
[1] [2]
- 10. 【例】コインは偏ってるか?
• 理想的なコイン: 表が出る確率 θ = 0.5 ß 帰無値
• ROPE: θ = [0.45, 0.55]
• 10,000 回コインを投げて 5,200 回表が出た。
• à 95% HDI = [0.51, 0.53]
• 帰無値は HDI に含まれないが、HDI は十分 ROPE 内に収まっている。
• 実用上、θ = 0.5 として扱って OK
2013/08/25 10
0.45 0.55ROPE 0.51 0.53
95% HDI
0.50
帰無値
- 12. M_null (θ1=θ2) M_alt (一様)
【例】ふたつのコインは同じ?
• ふたつのコインの表が出る確
率はそれぞれ θ1, θ2
• M_null: θ1 = θ2 (ふたつのコ
インは同じという帰無仮説)
• M_alt: 一様分布
• コイントスの回数 N = 7
• 表が出た回数 z1 = 5, z2 = 2
• p(D|M_null) = 1.94*10^(-5)
• p(D|M_alt) = 3.54*10^(-5)
• p(M_null) = p(M_alt) = 0.5
2013/08/25 12
M_alt がわずかながら勝利
だが、Bayer s Factor の
値は小さい
→棄却は難しい
- 13. 【例】記憶力を高める BGM は?
• 被験者にある BGM がかかっている部屋の中で 20 個の単語を暗記
してもらう。
• θ_ij: 被験者 i が BGM j の元で単語を暗記できる割合
– 思い出せる or 思い出せない(二値)なので、ベータ関数で表すことが可能
θ_ij = beta(θ_ij|μ_j, κ_j, (1-μ_j)κ_i)
• BGM の種類 (平均値)
1. ヘビメタ (11.85)
2. バッハ (9.85)
3. ベートーベン (9.50)
4. モーツァルト (9.60)
à 何かを覚える時はクラシックよりもヘビメタ!
à では、この4つのグループに差があると言えるのか?
「差がある」という帰無仮説は棄却されるのか?
2013/08/25 13
- 14. 【例】記憶力を高める BGM は?
• まずはパラメタ評価アプローチに戻って、それぞれのグループ間の
パラメタに差があるか仮説検定を行う。
– ホットハンド・ジンクスの例を参照
• パラメタ μ_j の差をとって比較すると、各グループを [[1], [2, 3, 4]]
と分けることができる。特にグループ 1 と 3, 4 の間の差が大きい。
2013/08/25 14
- 15. 【例】記憶力を高める BGM は?
• モデル比較アプローチでは、以下2つのモデルの比較として問題を
捉え直す。
– SameMu: 4つのグループ間で差がないとするモデル(帰無モデル)
– DiffMu: 4つのグループ間で差があるとするモデル(対立モデル)
• MCMC で見てみると、SameMu の方が勝っている。
à 4つのグループには差がない??
2013/08/25 15
- 16. 【例】記憶力を高める BGM は?
• 結局、4つのグループは同じなの?違うの?
• 【モデル比較アプローチ】
4つのパラメタをすべてのグループが共有するモデルと、それぞれ
のグループが異なるパラメタを持つモデルの比較では、前者の方が
良かった。が、ベストではない。
• 【パラメタ評価アプローチ】
4つのモデルで異なるパラメタを持たせて比較した結果、[[1], [2, 3,
4]] とグルーピングできた。
• à グループ 1 と グループ 2, 3, 4 でパラメタを分ける 2-パラメタモ
デルが実は最も優秀である (Ex 12.1 で確認すべし)
2013/08/25 16
彼ってどんな性格なの?
どうしようもなく駄目なひとなのか、
とても潔癖で近づきがたいひとなのか、
それとも、その間のどこかなのかな。
- 17. 注意点
パラメタ評価アプローチ
• ROPE と HDI の幅の比は、帰無値が正しい確率を表しているのではない。
パラメタが帰無値に等しい確率を表しているのだ。
• 十分に比が大きい時のみ、この値は意味を持つ。何故なら、データが十分
でないとき、HDI の幅が大きくなってこの比が小さくなる可能性があるか
らだ。
モデル比較アプローチ
• あくまで帰無モデルの信頼性は相対的なもの。
– 記憶と BGM の例を参照。
• そのため、対立モデルは十分に吟味された、うまくいきそうなモデルを採
用すべきである。
– 慣習だからといって、何も考えずに一様分布モデルを採用するのは危険。
– ベストなモデルがその過程で見過ごされてしまう可能性がある。
• そのためには、事前知識を駆使して妥当なモデルを考えること。
2013/08/25 17