Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
多重代入法とその応用
1
課題研究発表
2015年1月28日(水)
目次
2
1. 研究課題とモチベーション
2. 多重代入法とその結果
3. 具体例:多重代入法を用いた相関係数の推定
4. 今後の研究課
導入にかえて
3
• 調査や観察から得られたデータには、「欠測」が存在する
• 欠測とは、本来得られるはずのデータが、様々な理由により観測され
ないことを指す.(本人の意思、機械の故障)
• データ内に欠測が存在すると、得られたデータから、母集...
例 : 入試成績と卒業試験成績の相関係数について
4
観測(1328個)
欠測(1672個)
回帰係数 0.633
回帰係数の
標準偏差
0.015
標本相関係数 0.621
回帰係数 0.619
回帰係数の
標準偏差
0.038
標本相関係数...
欠測があるデータを解析する際の対応策
5
• データに欠測がある場合には、欠測データを取り除くと問題が生じる場合がある。
• そこで、対応策として大きく分けて以下の3つの方法を用いて解析する
*行えない場合もあるので注意
⑴.欠測部分を調整し結...
6
1. 研究課題とモチベーション
2. 多重代入法とその結果
3. 具体例:多重代入法を用いた相関係数の推定
4. 今後の研究課題
記号の準備
7
完全に観測される変量
欠測する可能性のある変量
レスポンスインジケーター
サンプリングインジケーター
標本抽出される
標本抽出されない
観測される
観測されない
この記号で密度関数 /
確率関数を表すものとする
添字について
記号の整理(続き)
8
添字
母集団
観測した部分
欠測した部分
標本抽出されなかった部分
標本
補完を行う際の仮定
9
サンプリングメカニズムが無視可能なもとで、
レスポンスメカニズムが無視可能である(SIRI)
• 欠測データの分布は、観測データによって説明できる
• 未観測データが観測データによってモデリングできることを意味する
• ...
欠測したデータをどのように埋めるのか?
10
興味のあるパラメータ:
観測データが与えられたもとでのパラメータの事後分布は、
SIRIの仮定のもとで、
観測データ
欠測データの
事後分布
完全データに基づく
Qの事後分布
事後分布からの乱数生成
11
ここで、
欠測データの事後分布から乱数を発生させ、それらを
とすると、(*)を次のように計算できる。
(モンテカルロ法)
補完データが与えられた
もとでのQの事後分布
多重代入法における補完
12
…
…
補完データの基づく
Qの事後分布**の平均
…
補完データの基づく
Qの事後分布**の分散
**
:補完データ
仮定:パラメータの事後分布
13
ここで、完全データが与えられたもとでの、パラメータの事後分布に正
規分布を仮定し、その平均と分散を   とする。
さらに、観測データが与えられたもとでの、パラメータの事後分布
        が正規分布であると...
パラメータの事後分布の平均と分散について
14
事後分布の平均と分散は、以下のように計算できる
ここで、
観測データの基づく
Qの確率分布の平均
観測データの基づく
Qの確率分布の分散
多重代入法の結果
15
以上の議論より、代入の発生回数      の場合の結果は
現実に発生回数は有限である。
このとき、上記の結果は、以下のように修正される。
ここで、
多重代入法の結果
16
1. 研究課題とモチベーション
2. 多重代入法とその結果
3. 具体例:多重代入法を用いた相関係数の推定
4. 今後の研究課題
例 : 入試成績と卒業試験成績の相関係数について(再掲)
17
観測(1328個)
欠測(1672個)
回帰係数 0.633
回帰係数の
標準偏差
0.015
標本相関係数 0.621
回帰係数 0.619
回帰係数の
標準偏差
0.038
標...
例 : 入試成績と卒業試験成績の相関係数について
18
観測(1328個)
欠測(1672個)
回帰係数 0.619
回帰係数の
標準偏差
0.038
標本相関係数 0.408
*母相関係数は0.625の
2変量正規分布から
乱数を3000個生...
実際に補完したデータの散布図
19
多重代入法との結果の比較
20
0.621
0.598
0.642
0.622
0.571
0.668
0.622
0.572
0.667
0.408
0.362
0.452
• 結果として、多重代入法によっ
て得られた信頼区間は、完全で
タに...
100回のシュミレーションによる推定区間幅の平均と分散
21
回数m 区間幅平均 区間幅中央値 区間幅標準偏差
2 0.30687 0.19641 0.303257
3 0.15221 0.12617 0.089134
5 0.11242 0....
22
1. 研究課題とモチベーション
2. 多重代入法とその結果
3. 具体例:多重代入法を用いた相関係数の推定
4. 今後の研究課題
略
23
参考文献など
24
• Rubin, D. (1987). Multiple imputation for nonresponse in surveys. New York: Wiley.
• Little, R., & Rubin, D. (...
ご清聴ありがとうございました
25
2015年1月28日(水)
補足資料
location-scale t分布
27
ここで、     はlocationとscaleを変化させたt分布である。具体的
には以下で定義される。
:自由度  のt分布に従う確率変数
t location scale distribution...
補完データの作成方法
28
• データの欠測は、観測値に依存しているので、「補完を行う際の仮定」が満たされ
る。よって、以下の式から、欠測値の事後分布をモデリングする。
• ここで、 の事後分布は以下のように書き直すことができる。
:パラメータ...
補完データの作成方法
29
• すると、      の事後分布は、観測データが与えられたもとで、
• と、表されることから、まず分散パラメータの事後分布から乱数を発生させ、その
値を用いて回帰係数パラメータの事後分布からデータを発生させれば良い...
標本相関係数の従う分布
30
• 相関係数の標本分布が従う分布を求めることは難しいが、フィッシャーのZ変換と
呼ばれる手法によって、近似的に分布を求めることができる。
2変量正規分布の相関係数
標本相関係数
フィッシャーのZ変換
求める分布
標...
Nächste SlideShare
Wird geladen in …5
×

多重代入法(Multiple Imputation)の発表資料

4.306 Aufrufe

Veröffentlicht am

An Introduction to Multiple Imputation Method for Missing data Analysis, and Its Application.

※修士1年課題研究発表の一部を削除したものです。

Veröffentlicht in: Wissenschaft
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ,Download or read Ebooks here ... ......................................................................................................................... Download FULL PDF EBOOK here { https://urlzs.com/UABbn }
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

多重代入法(Multiple Imputation)の発表資料

  1. 1. 多重代入法とその応用 1 課題研究発表 2015年1月28日(水)
  2. 2. 目次 2 1. 研究課題とモチベーション 2. 多重代入法とその結果 3. 具体例:多重代入法を用いた相関係数の推定 4. 今後の研究課
  3. 3. 導入にかえて 3 • 調査や観察から得られたデータには、「欠測」が存在する • 欠測とは、本来得られるはずのデータが、様々な理由により観測され ないことを指す.(本人の意思、機械の故障) • データ内に欠測が存在すると、得られたデータから、母集団のパラメー タ(ex. 母集団平均など)を推定する際、推定結果にバイアスを生じ ることがある。 :欠測(Missing) 個体 変数 :観測(Observed) 具体例
  4. 4. 例 : 入試成績と卒業試験成績の相関係数について 4 観測(1328個) 欠測(1672個) 回帰係数 0.633 回帰係数の 標準偏差 0.015 標本相関係数 0.621 回帰係数 0.619 回帰係数の 標準偏差 0.038 標本相関係数 0.408 *母相関係数は0.625の 2変量正規分布から 乱数を3000個生成した 合格点 入学試験の成績 入学試験の成績 卒業試験の成績 卒業試験の成績
  5. 5. 欠測があるデータを解析する際の対応策 5 • データに欠測がある場合には、欠測データを取り除くと問題が生じる場合がある。 • そこで、対応策として大きく分けて以下の3つの方法を用いて解析する *行えない場合もあるので注意 ⑴.欠測部分を調整し結果を推定する* • 傾向スコアなど ⑵.個体の平均や別の個体のデータで、欠測を埋めたあとで、解析する • 平均値代入法 • Hot Deck法(マッチングの一種)など ⑶.観測されたデータからモデルを構築し、欠測を埋めたあとに、解析する* • (確率的)回帰代入法 • 多重代入法
  6. 6. 6 1. 研究課題とモチベーション 2. 多重代入法とその結果 3. 具体例:多重代入法を用いた相関係数の推定 4. 今後の研究課題
  7. 7. 記号の準備 7 完全に観測される変量 欠測する可能性のある変量 レスポンスインジケーター サンプリングインジケーター 標本抽出される 標本抽出されない 観測される 観測されない この記号で密度関数 / 確率関数を表すものとする 添字について
  8. 8. 記号の整理(続き) 8 添字 母集団 観測した部分 欠測した部分 標本抽出されなかった部分 標本
  9. 9. 補完を行う際の仮定 9 サンプリングメカニズムが無視可能なもとで、 レスポンスメカニズムが無視可能である(SIRI) • 欠測データの分布は、観測データによって説明できる • 未観測データが観測データによってモデリングできることを意味する • この仮定のもとでの多重代入法を考える ! 注意)一般的に成立する仮定ではないが、仮定がないもとでの欠測データの解析は非 常に困難なものとなるため、この仮定を認めることとする。 【仮定】
  10. 10. 欠測したデータをどのように埋めるのか? 10 興味のあるパラメータ: 観測データが与えられたもとでのパラメータの事後分布は、 SIRIの仮定のもとで、 観測データ 欠測データの 事後分布 完全データに基づく Qの事後分布
  11. 11. 事後分布からの乱数生成 11 ここで、 欠測データの事後分布から乱数を発生させ、それらを とすると、(*)を次のように計算できる。 (モンテカルロ法) 補完データが与えられた もとでのQの事後分布
  12. 12. 多重代入法における補完 12 … … 補完データの基づく Qの事後分布**の平均 … 補完データの基づく Qの事後分布**の分散 ** :補完データ
  13. 13. 仮定:パラメータの事後分布 13 ここで、完全データが与えられたもとでの、パラメータの事後分布に正 規分布を仮定し、その平均と分散を   とする。 さらに、観測データが与えられたもとでの、パラメータの事後分布         が正規分布であると仮定する。 平均と分散の計算
  14. 14. パラメータの事後分布の平均と分散について 14 事後分布の平均と分散は、以下のように計算できる ここで、 観測データの基づく Qの確率分布の平均 観測データの基づく Qの確率分布の分散
  15. 15. 多重代入法の結果 15 以上の議論より、代入の発生回数      の場合の結果は 現実に発生回数は有限である。 このとき、上記の結果は、以下のように修正される。 ここで、 多重代入法の結果
  16. 16. 16 1. 研究課題とモチベーション 2. 多重代入法とその結果 3. 具体例:多重代入法を用いた相関係数の推定 4. 今後の研究課題
  17. 17. 例 : 入試成績と卒業試験成績の相関係数について(再掲) 17 観測(1328個) 欠測(1672個) 回帰係数 0.633 回帰係数の 標準偏差 0.015 標本相関係数 0.621 回帰係数 0.619 回帰係数の 標準偏差 0.038 標本相関係数 0.408 *母相関係数は0.625の 2変量正規分布から 乱数を3000個生成した 合格点 入学試験の成績 入学試験の成績 卒業試験の成績 卒業試験の成績 全てのデータが観測された場合 一部のデータが欠測した場合
  18. 18. 例 : 入試成績と卒業試験成績の相関係数について 18 観測(1328個) 欠測(1672個) 回帰係数 0.619 回帰係数の 標準偏差 0.038 標本相関係数 0.408 *母相関係数は0.625の 2変量正規分布から 乱数を3000個生成した 合格点 入学試験の成績 入学試験の成績 卒業試験の成績 卒業試験の成績 欠測をモデル化することで 補完データを作成する
  19. 19. 実際に補完したデータの散布図 19
  20. 20. 多重代入法との結果の比較 20 0.621 0.598 0.642 0.622 0.571 0.668 0.622 0.572 0.667 0.408 0.362 0.452 • 結果として、多重代入法によっ て得られた信頼区間は、完全で タによって得られる信頼区間よ りも広く推定され、その区間を 含んでいる。 • 多重代入法の結果をもとに検定 などを行っても、有意性は厳し く評価される。 • 一方で、欠測値を取り除いた結 果は、右図の通り適切に推定で きていない。 • 次に代入回数に対する、区間幅 の安定性を確認する 完 全 デ ー タ 100回 の 多 重 代 入 1000回 の 多 重 代 入 欠 測 デ ー タ を 取 り 除 い た 相関係数 相関係数の95%信頼区間
  21. 21. 100回のシュミレーションによる推定区間幅の平均と分散 21 回数m 区間幅平均 区間幅中央値 区間幅標準偏差 2 0.30687 0.19641 0.303257 3 0.15221 0.12617 0.089134 5 0.11242 0.11099 0.039159 10 0.10827 0.10827 0.022518 15 0.10251 0.10207 0.015197 30 0.10048 0.09969 0.011620 50 0.09948 0.09900 0.007994 100 0.09850 0.09824 0.005612 200 0.09843 0.09794 0.003661 500 0.09915 0.09892 0.002494 1000 0.09887 0.09895 0.001860 • 右の表は、各代入回数mに対して 100回ずつ、95%信頼区間を計算 し、区間幅の平均・中央値・標 準偏差を計算した。 • また、区間幅の標準偏差が小さ いほど、区間幅が安定することを 示している。 • 実際、代入回数が増加すれば、 区間幅が安定することがわかる。 ただ、代入回数が30回を超えた あとでは、区間幅の平均と中央 値が安定し、標準偏差も無視で きる程度に小さくなっている。 区間幅のばらつきが安定する
  22. 22. 22 1. 研究課題とモチベーション 2. 多重代入法とその結果 3. 具体例:多重代入法を用いた相関係数の推定 4. 今後の研究課題
  23. 23. 略 23
  24. 24. 参考文献など 24 • Rubin, D. (1987). Multiple imputation for nonresponse in surveys. New York: Wiley. • Little, R., & Rubin, D. (2002). Statistical analysis with missing data 2nd Edition. New York: Wiley. • Buuren, S. (2012). Flexible imputation of missing data. Boca Raton, FL: CRC Press. • Box, G., & Tiao, G. (1973). Bayesian inference in statistical analysis. Reading, Mass.: Addison-Wesley Pub. • Rubin, D. (1976). Inference and Missing Data. Biometrika, 63(3), 581-592. • Rubin, D. (1978). Multiple imputation in sample survey - a phenomenological Bayesian approach to nonresponse. Proceeding of the Survey Research Method Section of the American Statistical Association, 20-34. • Tsiatis, A. (2006). Semiparametric theory and missing data. New York: Springer. • *Gelman, A., Carlin, J., Stern, H., Dunson, D., Vehtari, A., & Rubin, D. (2014). Bayesian data analysis (3rd ed.). Boca Raton, Fla.: Chapman & Hall/CRC. • **Mitra, S., & Pathak, P. (1984). The Nature of Simple Random Sampling. The Annals of Statistics, 1536-1542. • 南 (2014) 大気汚染データの解析と 健康影響調査との連携, 共研集会「環境・生態データと統計解析」
  25. 25. ご清聴ありがとうございました 25 2015年1月28日(水)
  26. 26. 補足資料
  27. 27. location-scale t分布 27 ここで、     はlocationとscaleを変化させたt分布である。具体的 には以下で定義される。 :自由度  のt分布に従う確率変数 t location scale distributionは、以下のような確率変数である。
  28. 28. 補完データの作成方法 28 • データの欠測は、観測値に依存しているので、「補完を行う際の仮定」が満たされ る。よって、以下の式から、欠測値の事後分布をモデリングする。 • ここで、 の事後分布は以下のように書き直すことができる。 :パラメータ • 次に、標本は互いに独立同一に以下のモデルに従うことを仮定する。 • さらに、事前分布に以下の仮定をおく。 ただし
  29. 29. 補完データの作成方法 29 • すると、      の事後分布は、観測データが与えられたもとで、 • と、表されることから、まず分散パラメータの事後分布から乱数を発生させ、その 値を用いて回帰係数パラメータの事後分布からデータを発生させれば良い。 • ここで、記号の定義は以下である。
  30. 30. 標本相関係数の従う分布 30 • 相関係数の標本分布が従う分布を求めることは難しいが、フィッシャーのZ変換と 呼ばれる手法によって、近似的に分布を求めることができる。 2変量正規分布の相関係数 標本相関係数 フィッシャーのZ変換 求める分布 標本数 • 最後の結果から、推定値と信頼区間を得ることができる。

×