「診断精度研究のメタ分析」の入門

診断精度研究のメタ分析
－　　入　　門　　－
横光健吾
公益財団法人たばこ総合研究センター
臨床疫学研究における報告の質向上のための統計学の研究会
第17回研究集会　「診断精度研究のメタ分析」
2014/10/25(土)　14:30～17:40
東京医科歯科大学湯島キャンパス１号館西７階

発表の構成
■ 診断検査について
■ 診断検査精度のメタアナリシス
■ メタアナリシスの実際－統合と異質性－
■ 診断検査精度のメタアナリシスの結果をうけて
1

診断検査について2
　診断検査について
■ 診断検査
■ 診断検査における重要な概念
■ 新たな診断検査が持つ役割

診断検査について
　診断検査（Diagnostic Test）
■ history examination（現病歴）
physical examination（身体検査）
　　imaging test（画像検査）
　　psychological test（心理検査）など…
　　
■ 診断検査は、医療従事者のアクションにつながる
　患者に特定の疾患や病気の有無に関する情報を得る
　ために用いられる。
　　…医療従事者のアクション
　　　更なる検査、治療の開始・中断・修正
Bossuyt et al. (2003). Radiology, 226, 24-28; (2006). BMJ, 332, 1089-1092.
3

　診断検査
■ 求められる診断検査は…
　　・ more accurate
　　・ less invasiveness
　　・ easier to do
　　・ less risky
　　・ less uncomfortable for patients
　　・ quicker to yield results
　　・ more easily interpreted
Bossuyt et al. (2006). BMJ, 332, 1089-1092.
4

　診断検査における重要な概念
Test Indicator
感度（Sensitivity = true positive rate: TPR）
特異度（Specificity = true negative rate: TNR ）
精度（Accuracy）
陽性的中率（Positive predictive value: PPV）
陰性的中率（Negative predictive value: NPV）
陽性尤度比（Likelihood ratio of a positive test result: LR+）
陰性尤度比（Likelihood ratio of a negative test result: LR-）
ヨーデン指標（Youden’s index）
診断オッズ比（diagnostic odds ratio: DOR ）
Glas et al. (2003). J Clin Epidem, 56, 1129 - 1135.
5

■ 感度 = TP / (TP + FN)
　対象疾患有群における、陽性結果の割合
■ 特異度 = TN / (FP + TN)
　対象疾患無群における、陰性結果の割合
■ 精度 = (TP + TN) / (TP + FP + TN + FN)
　対象疾患を正確に特定する割合
test outcome disease status
diseased nondiseased
positive TP FP
negative FN TN
Note. T = true, F = false,
P = positive, N = negative
6

■ 感度 = 90 / (90 + 10) = 0.9
　対象疾患有群における、陽性結果の割合
■ 特異度 = 60 / (40 + 60) = 0.6
　対象疾患無群における、陰性結果の割合
■ 精度 = (90 + 60) / (90 + 10 + 40 + 60) = 0.75
　対象疾患を正確に特定する割合
positive 90 40
negative 10 60
7

■ 陽性的中率（PPV）＝TP / (TP + FP)
陽性とみなされた群における、疾患有の割合
■ 陰性的中率（NPV）＝TN / (FN + TN)
　　陰性とみなされた群における、疾患無の割合
positive TP FP
negative FN TN
Note. T = true, F = false,
P = positive, N = negative
8

■ 陽性尤度比（+ve LR）＝感度／１－特異度
　　対象疾患無群における陽性結果に対する
　　　　　　対象疾患有群における陽性結果の割合
　　陽性尤度比＞10の場合、
　　　　　　　疾患を抽出することに長けている
■ 陰性尤度比（-ve LR）＝１－感度／特異度
　　対象疾患無群における陰性結果に対する
　　　　　　対象疾患有群における陰性結果の割合
　　陰性尤度比＜0.1の場合、
　　　　　　　疾患を除外することに長けている
Grimes et al. (2005). Lancet, 365, 1500-1505.
Davidson. (2002). Australian J of Physiotherapy, 48, 227-232.
9

研究対象群の有病
率に影響される
妥当性のある指標として、
確立されているわけではない
Test Indicator
感度（Sensitivity = true positive rate: TPR) ）
特異度（Specificity = true negative rate: TNR ）
精度（Accuracy ）
陽性的中率（Positive predictive value: PPV ）
陰性的中率（Negative predictive value: NPV ）
陽性尤度比（Likelihood ratio of a positive test result: LR+）
陰性尤度比（Likelihood ratio of a negative test result: LR-）
ヨーデン指標（Youden’s index）（感度+特異度-１）
診断オッズ比（diagnostic odds ratio: DOR ）
10

■ 診断オッズ比（DOR）
　　対象疾患無群における陰性・陽性結果の割合と
　　　　対象疾患有群における陰性・陽性結果の割合の比
　　
　　＝
感度／ ( 1
-
感度)
=
　TP ／
FN
-
／
　　数値が大きいほど、より高い識別力をもつ検査
　　DOR < 1は、不適切な検査
　　DORは、有病率の影響をうけない
　　※DOR=50は、うつ病患者群において陽性を検出する割合が、
　　　うつ病のない群で陽性を検出する割合の50倍であることを示す
FP TN
特異度／特異度
(1 )
11

■ ROC曲線 (receiver operating characteristic curves)
　　横軸に1 – 特異度、縦軸に感度をプロットしたもの。
■ AUC (the area under the curve)
Park et al. (2004). Korean J of Radiol, 5, 11-18.
12

　新たな診断検査の位置づけ
■ replacement
　・既存の検査に取って代わる新しい検査として開発
■ triage
　・既存の検査の前に使用できる検査として開発
　・目的：侵襲的で、煩雑で、高価な検査の使用を減らす。
■ add-on
　・既存の検査後に使用
　　する検査として開発
　・目的：既存の診断経路
　　の感度を高める。
Bossuyt et al. (2006). BMJ, 332, 1089-1092.
13

　診断検査のまとめ
■ 診断検査は、医療従事者のアクションにつながる
　　情報を提供する。
■ 情報の一つである「精度(accucary)」を示すものが、
　　感度、特異度…etc
■ 新しい検査が作成されるときには、既存の診断経路に
　　おいて、どの位置づけにあたるかを考慮する。
Sijbrandij et al. (in press). The Cochrane Collaboration, Protocol.
14

　なぜ、診断精度のメタアナリシスをするのか
■ どの検査の診断精度が優れているか
　・複数の検査の比較、どの検査がより精度が高いか
We explored the diagnostic performances of and
statistically compared the Asthma Control Test and
Asthma Control Questionnaire. …Clinicians
urgently need to know which questionnaire is better
for assessing asthma control in real-world settings.
(Jia et al. (2013). J Allergy Clin Immunol, 131, 695-703.)
Macaskill et al. (2010). Chapter 10 Analysing and presenting results. Cochrane
Handbook for Systematic Reviews of Diagnostic Test Accuracy.
15

■ ある特定の検査の現時点における評価
　　・感度と特異度の総合的な評価
　　・特定の検査が、狙いとした診断経路にあるか
The aim of this study was to find out whether very
simple one and two question screening might prove
an accurate and acceptable screening method in
primary care using quantitative meta-analysis.
(Mitchell et al. (2014). British J of General Practice, DOI: 10.3399/bjgp14x680497)
Macaskill et al. (2010). Chapter 10 Analysing and presenting results. Cochrane
Handbook for Systematic Reviews of Diagnostic Test Accuracy.
16

■ 診断精度が、対象研究の特徴とどう関係するか
　　・サブグループ解析の実施…
　　　（参加者、研究手続き）
　It is not clear whether……, or whether
accuracy of screening instruments varies between
groups of trauma-exposed individuals.
Sijbrandij et al. (in press). The Cochrane Collaboration, Protocol.
17

診断検査精度のメタアナリシス
　メタアナリシスの実際
White et al. (2011). Synthesizing Evidence of Diagnostic Accuracy. Chapter 4.
19

　メタアナリシスを実施するためのデータ抽出
■ 集めた論文（診断検査精度研究）から必要なデータ
を抽出する
参加者セッティングメタ分析を実施するために
必要な統計量
・年齢
・性別
・サンプルサイズ
・罹患率
etc
・サンプリング
　地域
　測定時期
　etc　　
・TP, FP, TN, FN
これらの指標は掲載されていない　
　こともある。
→著者に直接訪ねる(失敗することも
…)
　or論文に記載された情報から算出
指標検査 (index test) 参照基準
・１項目の質問（例）
・カットオフポイント（理由も含む）
・診断基準 (DSM)
（例）
Buntinx et al. (2009). The Evidence Base of Clinical Diagnosis: Theory and
Methods of Diagnostic Research. 2nd ed. Chapter 10.
サブグループ解析
を行う場合、全て
の　サブグループ
White et al. (2011). Synthesizing Evidence of Diagnostic Accuracy. Chapter 4, 66p.
で算出
20

　論文に記載されている情報から算出
■ アルコール使用障害を特定
するための１項目の質問の精
度に関するメタアナリシス…
の研究の１つ。
Smith et al. (2009). J Gen Intern Med, 24 , 783 - 788
21
positive
negative
total
33
253

　論文に記載されている情報から算出
　The single-question screen was 81.8 % sensitive and
79.3 % specific for the detection of unhealthy alcohol use.
It was slightly more sensitive (87.9 %) and was less
specific (66.8 %) for the detection of a current alcohol use
disorder. The longer AUDIT screen was slightly less
sensitive (73.9%) for the detection of unhealthy alcohol use
and slightly more specific (82.8%) for the detection of an
alcohol use disorder, but ……
positive
29
negative
total 33 253
Smith et al. (2009). J Gen Intern Med, 24 , 783 - 788
84
169
4 22

　データの統合
■ 推奨されている５ステップ
■ メタアナリシスで使用される指標
■ メタアナリシスの実際
　　
Harbord et al. (2008). J Clin Epidem, 61 , 1095 - 1103
23

　推奨されている５ステップ
■ 個々の研究結果の提示
■ 異質性 and/or 閾値効果の有無を検討
■ 異質性への対処
■ 適切な統計的統合方法を決定
■ 統計的統合の実施
Higgins & Green. (2008). Cochran Handbook for Systematic Reviews of
Interventions. Chapter 9, p281.
24
介入研究のメタアナリシスの場合，統
計的統合方法の選択はstatistical test
for heterogeneity に基づいてなされる
べきではない
（Higgins & Green, 2008）
Buntinx et al. (2009). The Evidence Base of Clinical Diagnosis: Theory and
Methods of Diagnostic Research. 2nd ed. Chapter 10, p195.
　　
異質性：個々の研
究間における違い
（対象者、手続き
、使用尺度など）
閾値：カットオフ
ポイントが個々の
　研究間において
　異なるために生
じる差異

　メタアナリシスで使用される指標
■ The summary sensitivity and specificity （ sum ）
・simple pooling
・separate random-effects meta analysis of
　　　sensitivity and specificity (based on their logit- 　　
　　　transforms)
・Bivariate random-effects meta-analysis (BRM)
・Hierarchical SROC (HSROC) model
　　■ SROC curves (sro)
　　・separate random-effects meta analysis of
　　　sensitivity and specificity
　　・Littenberg-Moses summary ROC curve (SROC)
・Bivariate random-effects meta-analysis (BRM)
・Hierarchical SROC (HSROC) model
　　
25

■ simple pooling (sum)
固定効果モデルを用いたメタアナリシス
　　感度と特異度の相関を無視、研究間の異質性を考慮していない
■ separate random-effects meta analysis of
　　sensitivity and specificity (based on their logit- 　　
　　transforms)
　　感度と特異度の相関を無視、研究間の異質性を考慮したモデル
■ Littenberg-Moses summary ROC curve (SROC) (sro)
　　感度と特異度の相関を考慮、統計量のバラつきを考慮していない
　 (Mose, Shapiro, & Littenberg (1993). Statistics in Medicine, 12 1293 -1316.)
26

Tang et al. (2010). J Gambl Stud, 26, 145-158.
27

■ Bivariate random-effects meta-analysis (BRM)
　　感度と特異度の相関を考慮、研究間の異質性を考慮
　　　(Reitsma et al. (2005). J Clin Epide, 58, 982 - 990.)
■ Hierarchical SROC (HSROC) model
　　感度と特異度の相関を考慮、研究間の異質性を考慮
　　　※BRMは感度と特異度の共分散を、
　　　 HSROCは精度と閾値（θ）の共分散をモデルに含む。
　(Harbord et al.(2007). Biostatistics, 8, 239-251.)
28

　データの比較
Harbor et al. (2008). J Clincal Epidemiology, 61, 1095-1103.
Harbor et al. (2009). Stata Journal, 9, 211-229.
29

　先行研究で公表されている結果の推移
Wills et al. (2011). BMC Med Res Meth.
http://www.biomedcentral.com/1471-2288/11/27
30

　メタアナリシスを実施する前に
■ メタアナリシスに含まれる研究からの抽出データ　　
　・研究間によって、異なる閾値を用いている可能性
　　（感度と特異度のトレードオフな関係のため
　・研究間の異質性が存在する
　　
　
Harbor et al. (2008). J Clincal Epidemiology, 61, 1095-1103.
31

　メタアナリシスの実際　－データの統合―
■ Review Managerを使って
　　・インストールする
　
http://tech.cochrane.org/revman/download
Step 1: Download the installation file RevMan exists in two editions based on different versions of the Java platform. The two editions have identical functionality, but the Java 6 edition is somewhat faster and has a bet er 'look and feel'.
Download the file that matches your operating system:
*** Note: We have discovered some issues running RevMan under Java 7, so you should only instal this version if the Java 6 version doesn't work.
Windows Linux Mac OS X
Download
32 bit version - will work on
all Windows machines
Download64 bit version -
will only work on 64 bit
Windows machines
Download
Download
Java 7 version for OS X
10.7.2 (Lion) and higher
with bundled Java 7 ***.
Download
Java 6 version for OS X
10.5 (Leopard) on Intel
CPU or 10.6 (Snow
Leopard).
32

診断検査精度のメタアナリシス33
　　・はじめる

　　・目的に応じたタイトルを決める

メタアナリシスの目的に応じて
選択
検査の比較をする場合は
Multiple tests analysis を選択
52

■ Shuetzのデータを使って…forest plotとSROC

■ Shuetzのデータを使って…

　メタアナリシスの実際－madaパッケージ―
## パッケージの読み込み
library(mada)
## 記述統計量の算出（shuetz.csvのMRIデータを使
用）madad(data)
ρが負の相関の場合、
閾値効果がある可能性

　メタアナリシスの実際　－madaパッケージ―
## 記述統計量のグラフ化（MRIデータを使用）
forest(madad(data), type=“sens”)
forest(madad(data), type=“spec”)
Forest plot
Study 1
Study 2
Study 3
Study 4
Study 5
Study 6
Study 7
Study 8
Study 9
Study 10
Study 11
Study 12
Study 13
Study 14
Study 15
Study 16
Study 17
Study 18
Study 19
0.94 [0.60, 0.99]
0.78 [0.54, 0.92]
0.83 [0.64, 0.93]
0.85 [0.73, 0.92]
0.88 [0.67, 0.96]
0.80 [0.60, 0.92]
0.64 [0.41, 0.82]
0.89 [0.77, 0.95]
0.87 [0.72, 0.95]
0.93 [0.83, 0.97]
0.89 [0.70, 0.97]
0.69 [0.50, 0.83]
0.91 [0.69, 0.98]
0.84 [0.60, 0.95]
0.97 [0.78, 1.00]
0.93 [0.80, 0.98]
0.82 [0.69, 0.90]
0.88 [0.60, 0.97]
0.93 [0.79, 0.98]
0.41 0.70 1.00
Forest plot
Study 1
Study 2
Study 3
Study 4
Study 5
Study 6
Study 7
Study 8
Study 9
Study 10
Study 11
Study 12
Study 13
Study 14
Study 15
Study 16
Study 17
Study 18
Study 19
0.50 [0.13, 0.87]
0.30 [0.07, 0.70]
0.88 [0.40, 0.99]
0.94 [0.83, 0.98]
0.81 [0.47, 0.96]
0.71 [0.49, 0.86]
0.80 [0.65, 0.89]
0.33 [0.17, 0.53]
0.50 [0.29, 0.71]
0.42 [0.29, 0.57]
0.54 [0.35, 0.72]
0.64 [0.49, 0.77]
0.70 [0.30, 0.93]
0.57 [0.33, 0.78]
0.71 [0.59, 0.81]
0.57 [0.33, 0.78]
0.90 [0.80, 0.95]
0.83 [0.51, 0.96]
0.81 [0.64, 0.91]
0.07 0.53 0.99
57

## メタアナリシス（simple pooling と separate Ran Effe）
madauni(data, method =“ ”, type=“ ”)
type
DOR = diagnostic odds ratio
（診断オッズ
比）
posLR = 陽性尤度比( > 10)
negLR = 陰性尤度比( <
0.1)
method
MH = fixed effect モデル
DSL = random effect モデル
58
0-40%: might not be important
30-60%: may represent moderate
50-90%: may represent substantial
75-100%: considerable heterogeneity
Higgins & Green. (2008). Cochran Handbook for Systematic Reviews of Interventions. Chapter 9, p278.

## Littenberg-Moses SROCを描く
mslSROC(data)
59

## メタアナリシス（Reitsma et al.(2005) ‘s BRM ）
reistma(data)
60
BRMは感度と特異
度の共分散
を、HSROCは精度
と閾値（θ）の共分
散をモデルに含む。

## BRMを用いて２つのSROCを比較する：MRIとCTのデータ
61

## BRMを用いて２つのSROCを比較する：MRIとCTのデータ
62

■ RevManとRの連動

メタアナリシスの実際－統合と異質性－
　診断精度と臨床的有用性
■ 臨床的有用性とは
　　診断精度を量的に評価する指標
　　Clinical Utility Index calculator
(http://www.psycho-oncology.info/cui.html)
　　CUI＋＝感度×PPV CUI-=特異度×NPV
■ 評価基準
　　excellent utility >= 0.81 　good utility >=0.64 　fair
utility >=0.49　poor utility < 0.49 　very poor utility <
0.36
Mitchell (2012). http://www.psycho-oncology.info/cui.html
Mitchell (2011). Eur J Epidemiol, 26, 251-252.
Mitchell (2014). British J Gen Prac, DOI: 10.3399/bjgp14x680497
64

診断検査精度のメタアナリシスの結果をうけて65
　メタアナリシスの結果を評価する(qualifying)
■ メタアナリシスに含まれた研究の評価
　　結果の一貫性、研究の質（QUADAS-2）
■ レビューそのものの評価
　　文献収集、データ抽出
■ 先行研究との比較
　　自身のレビューとこれまでのレビューとの差異
　　（質的な差異、メタアナリシスの結果の差異）
　　
Bossuyt et al. (2013). Chapter 11 Interpreting results and drawing conclusions.
Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.

診断検査精度のメタアナリシスの結果をうけて
　診断検査精度のメタアナリシスの結果から
■ 実践への示唆
■ 研究への示唆
Bossuyt et al. (2013). Chapter 11 Interpreting results and drawing conclusions.
Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.
66

診断検査精度のメタアナリシスの結果をうけて67
　実践への示唆
■ 実際の診断経路において、どこに位置づけられるか
　the initial application of one or two questions followed by
the longer AUDIT…, then the brief screens are both accurate
and efficient.
■ メタアナリシス結果と検査の役割の関係
a cautious recommendation from the authors can be given
for one or two verbal question as a screening test for alcohol-use
disorder in primary care, but only when paired with a
longer screening tool…
Mitchell et al. (2014). British J of Gen Practice, DOI: 10.3399/bjgp14X680497.

診診断断検検査査精精度度ののメメタタアアナナリリシシススのの結結果論をうけて68
　研究への示唆
■ 質の高い研究等の実施
The findings highlight the lack of clinical test accuracy
data to support the use of history and physical examination
to diagnose ALC injury. Most diagnostic studies on this topic
contain methodological flaw which can overestimate the
diagnostic accuracy of clinical tests. (Swain et al. (2014). Chirop &
Man Thera, http://www.chiromt.com/content/22/1/25)
The most promising tasks may be tested in large-scale
population studies. Irrespective of the design used, future
studies may employ independent test administration and
blinding. (Pawlowska (2014). J Speech Lang Hear Res doi:
10.1044/2014_JSLHR-L-13-0189)

70
　参考文献
・Harbord et al. (2008). An empirical comparison of methods
for meta-analysis of diagnostic accuracy showed hierarchical models are necessary. Journal of
Clinical Epidemiology, 61, 1095-1103.
・Reitsma et al. (2005). Bivariate analysis of sensitivity and specificity produces informative
summary measures in diagnostic reviews. Journal of Clinical Epidemiology, 58, 982-900.
・Wills & Quigley (2011). Uptake of newer methodological developments and the
deployment of meta-analysis in diagnostic test research: a systematic review. BMC Medical
Research Methodology, 11, 27.
・Gatsonis & Paliwal (2006). Meta-analysis of diagnostic and screening test accuracy
evaluations: Methodologic primer. American Journal of Roentgenogy, 187, 271- 281.
・Macaskill (2004). Empirical bayes estimates generated in a hierarchical summary ROC
analysis agreed colsely with those of a full bayesian analysis. Journal of Clinical Epidemiology,
57, 925-932.
・Glas et al. (2003). The diagnostic odds ratio: A single indicator of test performance.
Journal of Clinical Epidemiology, 56, 1129 – 1135.
・Meta-analysis of diagnostic accuracy with mada. (Doelbler & Holling)
・Package ‘mada’ (Doelbler)
・Package ‘HSROC’ (Schiller & Denbukuri)

良い診断検査とは…
　　・ accuracy
　　・ invasiveness
　　・ difficulty to do
　　・ risk
　　・ discomfort for patients
　　・ time-consuming to yield results
　　・ difficulty to interpret
Bossuyt et al. (2006). BMJ, 332, 1089-1092. を改変
71

「診断精度研究のメタ分析」の入門

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 「診断精度研究のメタ分析」の入門

Similar to 「診断精度研究のメタ分析」の入門 (20)

「診断精度研究のメタ分析」の入門