1. 医学教育学領域の
国際誌原著論文における
研究デザインと統計的手法に関する検討
CLASSIFYING THE RESEARCH DESIGNS AND THE STATISTICAL METHODS IN MEDICAL EDUCATION RESEARCH
廣江 貴則12, 錦織 宏2
TAKANORI HIROE, HIROSHI NISHIGORI
1 京都大学大学院医学研究科 医療統計学分野
DEPARTMENT OF BIOSTATISTICS, KYOTO UNIVERSITY SCHOOL OF PUBLIC H EALTH
2 京都大学大学院医学研究科 医学教育推進センター
CENTER FOR MEDICAL EDUCATION, GRADUATE SCHOOL OF MEDICINE KYOTO UNIVERSITY
2015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
第47回日本医学教育学会大会@新潟
O-36-1(一般口演)
3. OUTLINE
1. Background
2. Aim
3. Methods
4. Results
5. Discussion
6. Conclusion
7. Reference
32015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
4. 1. BACKGROUND
• 医学教育学における量的研究に適用される
デザインや統計解析手法,数理モデルが複雑化
• 適用する統計手法や数理モデルの検討に統計の
専門家が参加する例は決して多くない現状
• 臨床家・疫学研究者による研究は多い
• 医学教育学の文脈を理解して専門家と協働し,
必要なら適切な助言が可能な統計家は少ない
• 養成が望まれるが,短期的には困難
• 他領域でも統計家が多いとはいえない
42015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
6. 3. METHODS (1/2)
• Step 1:論文の分類
• Medical Education, Medical Teacher
• 2014年掲載のAbstractのある記事 226編
• Letter, Commentaryなどは除外
• 量的手法,質的手法それぞれの専門家が2名が
同時にレビュー(見解が異なった場合は協議)
• 見解が異なったケースはほとんどなかった
• “Quantitative”, “Qualitative”, “Mixed Method”,
“Review articles and Others”に分類
62015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
7. 3. METHODS (2/2)
• STEP 2:量的研究のアプローチと統計解析手法に
関する検討
• Step1で”Quantitative Research”, “Mixed
Method”に分類された85編が対象
• 使用されたツールと統計解析手法,指標の計数
• 本文中の記述のほか,図表も参照して抽出
• 適用された手法の妥当性や解析結果の正しさに
関する検証は行わない
• 査読制度が整備されて運用されている
• データセットやSAPがない以上,検討は困難
72015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
9. 4. RESULTS (2/3)
Medical Education Medical Teacher SUM
Test/Exam 12, 38.7% 17, 31.5% 29, 34.1%
Survey 18, 58.1% 31, 57.4% 49, 57.6%
Others 4, 12.9% 1, 1.9% 5, 5.9%
92015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
*複数の方法が用いられているものは重複して計数
Medical Education Medical Teacher SUM
Quantitative 26 43 69
Mixed 5 11 16
表2 量的研究における試験及び質問紙調査の件数とその割合
表1 量的研究とMixed Methodの件数(再掲)
10. 4. RESULTS (3/3)
• サンプルサイズ:最少12, 最大4213, 中央値113
• 2群間比較試験が最も多い(44%)
• 検定を行った場合の多重調整に関する記述はほとんどない
• 調整されている場合はBonferroniかHolm法
• 効果量の記述はある(19%)が,考察はほとんどない
• 統計的検定手法
• t-test, Chi-squared test, CMH-test, U-test
• ANOVA/MANOVA
• 信頼性の計算・検討
• 相関係数を使ったものが多い(31%)
• ICC, PABAK, Generalizability theoryもごくわずか
• モデルをつくる/用いるもの
• 回帰解析(ほとんどがLogistic regression)
• Structural Equation Modeling(構造方程式モデリング)
102015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
11. 5. DISCUSSION (1/2)
• 調査した範囲内において,量的研究はその
大多数が質問紙もしくは試験に関する内容
• 2群比較が最も多かったが,3群以上の比較
も一定数あり,ランダム化/割付も行われる
• 分散分析やChi-squared testなど,基本的
な検定手法や回帰解析がほとんど
• 検定の多重性の調整は,ごく一部の研究に
おいて簡便な手法が用いられるにとどまる
112015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
12. 5. DISCUSSION (2/2)
• 基本的な研究支援であれば,統計家として仕事
をしていく上で困らない程度の知識があれば
現状においては事足りるかもしれない
• ただし,評価(試験)の信頼性や妥当性の検証
に関する手法は高度化してきており,例えば
ICCや一般化可能性理論による計算は,理論を
ある程度理解していないと適用を誤り,正しい
結論に到達できない恐れがある
• 理論とその適用範囲を研究者に対して平易に
解説できる能力が必要になる
122015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
13. 6. CONCLUSION
• 雑誌の採択方針にもよるが,調査した範囲では
量的研究は論文全体の3割程度
• 比較的シンプルなデザインが多用されるが,
評価に関しては高度な理論を用いたものも
• 研究者に対して平易に解説する能力が必要
1. 抽出された手法のリストを医学教育学の
研究者に提示し,理解が難しい箇所を同定
2. 他分野から参入する人向けのリストを作成
3. 教育プログラムの開発も視野に
132015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health
14. 6. REFERENCE
• Cook D. et al. Description, justification
and clarification: a framework for
classifying the purposes of research in
medical education. Medical Education
2008; 42: 128-133.
142015 Takanori Hiroe, Department of Biostatistics, Kyoto University School of Public Health