1. 체계적 문헌 고찰과 메타분석
순천향대학교 중앙의료원 의학통계상담실
이 지 성 (totoro96a@gmail.com)
EBM Evidence Pyramid
2

2. 체계적 문헌고찰
(Systematic Review)
 체계적 문헌고찰(Systematic Review)이란?
 체계적인 방법론을 사용한, 기존에 수행된 1차 연구들에 대한 종합적인 문
헌분석방법
 연구목적, 연구재료 및 연구방법을 명시한 구체적인 연구계획서에 의해
체계적으로 수행되며, 명백하고 추시가능한 방법론을 사용하여 연구가 수
행됨.
 체계적 문헌고찰(Systematic Review)의 장점
 방대한 기존 문헌정보를 과학적으로 정리
 1차 연구들의 결과들이 서로 일관성을 보이는지 확인할 수 있음.
 현존하는 모든 상황을 객관적으로 고려한 결과를 통해 bias가 최소화한 정
보를 제공할 수 있음.
 메타분석을 사용함으로써 개별적인 1차 연구 분석결과가 확보하지 못한
검정력을 확보할 수 있음.
3
종설/고찰(review)의 분류
4

3. 체계적 문헌고찰 흐름도
5
1) 연구기획과 프로토콜 개발
 체계적 문헌고찰 계획서를 작성하는 단계
 체계적 문헌고찰을 시행하기 전에 기획단계에서 연구진 및 자문진 구성,
연구계획 수립, 핵심 질문 작성 및 기존 연구 검토의 과정을 수행
 다음과 같은 내용이 기술되어야 함.
 연구 배경
 연구목적 및 핵심질문
 연구 방법
‒
‒
‒
‒
‒
‒
‒
PICO를 포함한 문헌 포함/배제기준
문헌검색 전략
문헌선택
문헌 분류
Risk of bias 평가
자료추출 및 분석방법
근거 수준 평가
 연구수행일정
 참고문헌, 부록
6

4. 핵심질문의 작성
 핵심질문의 정의(PICO의 설정)
 Patient (P): 결과를 적용하고자 하는 관심환자 집단
 Intervention (I)
‒ Exposure
‒ Therapeutic intervention
‒ Diagnostic procedure
‒ Prognostic factor
 Comparison (C): 진단법 또는 치료법에 대하여 비교를 통한 상대적
인 결과가 관건일때 고려되는 대체 진단 혹은 치료법
 Outcome (O): 관심 질문을 통해 확인하고자 하는 결과치
 추가
‒ Study Design (S)
‒ Time (T) : 1차 문헌의 발표시점
‒ Setting (S)
7
Example article





P:
I:
C:
O:
S:
HF, CVD and HTN patient, General population etc..
Chronic kidney disease (CKD)
No Chronic kidney disease (No CKD)
All‐cause and cardiovascular mortality
Randomized controlled trial,
Prospective cohort study
Retrospective cohort study
8

5. 2) 문헌검색
 설정한 연구주제를 다룬 기존의 SR이 존재하는지 검색
 중복된 SR이 존재하지 않는다면  연구계획서에 기술된 문헌선정기준을
이용하여 이를 충족하는 기존 1차 연구들을 검색
 기존 SR 및 CPG 검색을 위해 다음의 데이터베이스를 검색할 것을 권장함
‒ Cochrane library
» Cochrane Database of Systematic Reviews (CDSR)
‒ 미국 NLM의 PubMed
» Clinical Queries 중 Systematic Reviews
 문헌검색 수행과정
① 평가질문의 각 요소들, Population, Intervention, Outcomes을 자세히 분류
하여 각 요소에서의 주요 개념어와 관련된 용어들의 목록 작성
‒ MEDLINE의 경우, MeSH(Medical Subject Headings)의 개념 사용
② 정교한 검색어들을 불리언 연산자 (AND, OR, NOT)를 사용하여 최종적인
검색전략을 구축함.
9
검색원
 COSI 모델에서 제안하는 검색원 범위
10

6. MEDLINE을 통한 문헌검색 예시
11
EMBASE을 통한 문헌검색 예시
12

7. 문헌검색시 고려사항
 출판되지 않은 연구를 포함하려는 노력이 필요
 출판된 연구들만을 분석대상으로 하게 될 경우 통계적으로 유의한 결과를
보인 연구들이 많이 포함하게 되어 Publication Bias가 발생할 가능성이 크
다.
 따라서 관련분야의 전문가 접촉 등을 통해 출판되지 않은 문헌을 찾는 과
정 또한 중요함.
 이를 통해 Publication Bias가 최소화한 결과를 도출할 수 있도록 해야 함.
 중복 출판되거나 발표된 연구들이 있을 수 있으므로 이를 고려
 영어로 출판되지 않은 문헌 검색도 고려
13
3) 문헌선정
 문헌선정 과정
① 여러 검색엔진을 통해 중복검색된 문헌을 서지정리프로그램(Reference
Manager, Endnote, Procite 등)을 사용하여 정리
② 제목과 초록을 바탕으로 해당문헌이 연구대상 주제와 명확히 관련 없는
문헌을 먼저 배제함.
③ 남은 문헌에 대해 전문을 구하여 문헌선택기준에 따라 문헌배제가 타당
할 경우 배제한다.
‒ 연구계획단계에서 정해놓은 선택기준은 모두 만족해야 선정된다.
‒ 배제기준 중 하나라도 해당하면 배제한다.
‒ 적어도 2명의 연구자가 독립적으로 평가를 수행하여 관련 문헌들이
배제될 가능성을 줄이는 것이 필요함.
14

8. 문헌선택 흐름도(PRISMA flow chart)
15
※ Example
16

9. 4) 자료 추출
 자료 추출: 사전에 정의된 형식을 이용하여 자료를 추출하는 과정
 적어도 두 명의 연구자가 독립적으로 수행하는 것을 권장함
 자료취합 또는 자료추출 시 고려할 수 있는 항목들 (Cochrane handbook,
2011)
17
 자료추출예시 (연구 특성 표: 연구특성을 중심으로)
 자료추출예시 (결과지표 값 추출표: 연구결과를 중심으로)
18

10. ※ Example
19
5) 문헌의 질 평가
 문헌검색 및 선정과정을 통해 잠재적으로 포함가능성이 확인된 연구
에 대하여 질평가가 수행되어야 함.




선정기준에 적합한지
보고된 내용은 적합한 것인지
수행된 연구의 질은 어떤지
선정된 연구로부터 추출하게 될 정보에 따르는 bias의 정도는 얼마나 되는
지등
 최종적으로 문헌의 선정 혹은 제외 여부 판별에 명확하고 적절한 가이
드라인을 사용하여 평가하여야 함.
 가이드라인은 기존의 수십 종의 평가도구들 중에서 연구설계에 적절한 도
구를 선택하여 사용할 수 있음.
‒ RCT에 대한 질 평가도구 : Cochrane group‘s Risk of bias
‒ 비무작위 연구에 대한 질 평가도구 : Risk of Bias Assessment tool for
Non‐randomized Study (RoBANS)
20

11. 1) Cochrane group‘s Risk of bias 도구
항목
선택
무작위 배정순서 생성
 낮음
 높음
 불확실
배정순서 은폐(Allocation concealment)
 낮음
 높음
 불확실
참여자, 연구자에 대한 눈가림
 낮음
 높음
 불확실
결과 평가에 대한 눈가림
 낮음
 높음
 불확실
불완전한 결과자료
 낮음
 높음
 불확실
선택적 결과 보고
 낮음
 높음
 불확실
타당성을 위협하는 다른 잠재성
 낮음
 높음
 불확실
21
2) RoBANS 도구
22

12. Risk of bias graphs (전체결과)
23
※ Example
24

13. 6) 메타분석(Meta Analysis)
 체계적 문헌고찰(Systematic Review, SR) 수행과정에서 2개 이상의 개별
연구들의 요약 추정치를 합성  해당 intervention의 통합된 가중평균
요약 추정치를 정량적으로 산출하여 임상적 효과성을 평가하기 위해
사용하는 통계적 기법
 Population, Intervention, Outcome이 충분히 동질한 경우에 수행하는 것이
바람직함.
 체계적 문헌고찰에서 필수적으로 수행하는 것으로 생각해서는 안됨.
25
메타분석의 절차
26

14. 1. 자료 종류에 따른 요약통계량 선정
27
이분형 결과변수인 경우
Vitamin E
Study
Placebo
RR
Event
(E1)
Total
(N1)
Event
(E2)
Total
(N2)
GISSI 1999
83
5660
95
5664
0.87
HOPE 2000
209
4761
180
4780
1.17
ATBC 2000
509
14238
548
14281
0.93
PPP 2001
22
2231
18
2264
1.24
WHS 2005
241
19937
246
19939
0.98
WACS 2007
137
4083
151
4088
0.91
PHS II 2008
237
7315
227
7326
1.05
Binary outcome의 요약통계량
 Risk Ratio or Relative Risk (RR) = (E1/N1)/(E2/N2)
 Odds Ratio (OR) = (E1×(N2‐E2))/(E2×(N1‐E1))
 Risk Difference (RD) = (E1/N1) ‐ (E2/N2)
28

15. 연속형 결과변수인 경우
Vitamin E
Study
Placebo
MD
Total
Mean
(M1)
SD
Total
Mean
(M2)
SD
GISSI 1999
19
4.84
0.65
19
5.20
0.36
‐0.36
HOPE 2000
30
4.50
0.61
30
4.63
0.37
‐0.13
ATBC 2000
18
4.26
0.52
28
4.57
0.62
‐0.31
PPP 2001
94
2.40
1.39
96
2.71
1.28
‐0.31
WHS 2005
341
4.56
0.59
334
4.61
0.65
‐0.05
WACS 2007
71
1.42
0.78
69
1.60
0.70
‐0.18
PHS II 2008
20
5.06
0.31
21
5.47
0.42
‐0.41
SPACE 2000
45
5.42
0.71
44
5.30
0.74
0.12
Continuous outcome의 요약통계량
 Mean Difference (MD) = M1‐M2
 Standardized Mean Difference
29
2. 요약 통계량 결합을 위한
메타분석의 통계적 모형 선정
30

16. 메타분석의 원리
 개별연구의 요약추정치(Summary estimate)를 계산하며, 각각의 연구
에 가중치를 준다.
 가중치는 보다 많은 정보를 제공하는 개별 연구에 더 많은 가중치를 부여
함.
 일반적으로 가중치는 표본크기를 사용하며, 사건발생률, 분산의 역수, 연
구의 질 등이 사용되기도 함.
 가중치가 부여된 평균을 계산하여 통합 요약통계량을 산출함.
통합된 효과 추정치 (Pooled effect estimate) =
( : i번째 연구의 중재효과,
∑
∑
: i번째 연구의 가중치)
31
메타분석의 통계적 모형 : (1) 고정효과모형
 고정효과모형(Fixed effect model)
 각각의 연구에서 가정한 실제효과 크기가 고정되어 있을 것이라고 가정하
는 모형
 각각의 연구는 같은 모집단에서 얻어졌다는 동질성을 가정하며, 각 연구
결과가 서로 조금씩 상이한 것은 표본추출에서 생기는 표본간의 변동 때
문이라고 생각하는 것
32

17. 메타분석의 통계적 모형 : (2) 변량효과모형
 변량효과모형(Random effect model)
 각 연구가 가정하고 있는 실제효과크기가 고정되어 있지 않다는 것을 전
제한 분석모형
 각 연구가 가정하는 실제효과크기는 각 연구별로 상이할 수 있으며, 개별
연구가 가정하는 실제효과크기들 또한 특정 변동을 갖는 분산에서 얻어지
는 값으로써, 이 분포의 중심값이 되는 평균이 곧 “통합효과추정치”라고
가정하는 것임
33
Meta analysis result for binary outcome
 Forest plot (숲 그림)
가중치
Pooled RR
34

18. Meta analysis result for continuous outcome
 Forest plot (숲 그림)
가중치
Pooled Mean Difference
35
3. 이질성(Heterogeneity) 확인
 이질성(Heterogeneity)
 치료효과가 개별연구 간에 상당한 정도로 상이하여 동질성을 위배
 공통적인 통합 치료효과를 산출하여 제시한다는 것은 적절하지 못할 수도
있고, 통합추정치를 해석하기에도 어려움이 있음.
 이질성 발생원인
 임상적 다양성
 방법론적 다양성
 By chance: 개별연구들, 특히 표본크기가 작은 연구나 사건발생률이 낮은
연구들은 우연에 의해 효과크기가 극단적으로 나타날 수 있음.
 Bias: 개별 연구들의 타당성을 위협하는 bias은 연구들 간의 치료효과 크기
를 다양하게 할 수 있음.
36

19. 이질성의 확인 및 평가
⑴ 그래프를 이용한 시각적 평가
① Forest plot (숲 그림)
Binary outcome
Continuous outcome
37
② L’Abbé plot


L’Abbé plot은 대조군에서 사건발생률에 대한 중재군의 사건발생률을 제
시하는 그림
특히 이분형 자료에서 유용하다.
 원의 크기 = 표본 크기
 사건 발생률이 두 군에서 동일
한 경우 원들은 대각선 A에 놓
이게 됨.
 연구간 이질성이 심할 경우, 원
들은 회귀선 주변에 매우 퍼져
있게 됨.
38

20. ③ Galbraith plot



연구들 간의 이질성 정도를 평가하기 위한 것
모든 연구결과들이 회귀선 위의 ±2이내의 위치하면 이질성이 없는 것으
로 해석
이질성을 높이는 outlier를 보이는 연구를 찾는데 유용
outlier 의심
Binary outcome
Continuous outcome
39
이질성의 확인 및 평가
⑵ 통계적 검정방법 ① 카이제곱 검정(Q statistics)
 각 연구들의 중재효과가 산출된 공통 중재효과값으로부터 얼마나 멀리 떨
어져 있는지 검정하는 방법

∑
∑
∑
‒ 여기서 는 번째 연구의 가중치, 는 번째 연구의 효과크기, 는
연구 개수
 카이제곱 검정의 단점
‒ 연구들이 작은 규모이거나 포함된 연구의 수가 적을 때 검정력이 부족
하게 되어 유의하지 않은 결론을 도출하기 쉬움.
‒ 카이제곱 검정을 시행할 경우 유의수준을 5%보다는 10%로 설정하여
동질성 검정을 시행하는 것이 일반적
40

21. ① 카이제곱 검정(Q statistics)
 H0: 각 연구들은 동질하다. vs H1: 각 연구들은 이질적이다.
 P‐value > α=0.10  귀무가설 채택  고정효과모형의 메타분석 수행
 P‐value < α=0.10  귀무가설 기각  변량효과모형의 메타분석 고려
 하지만, 이 때의 P‐value 값의 기준을 절대적인 것으로 받아들여서는 안됨.
41
② Higgin’s
statistic
 Higgin’s I2 통계량은 비일관성을 정량화시킨 통계량임.
100%

‒ Q는 카이제곱 검정통계량, df는 카이제곱 검정통계량의 자유도
의 해석





= 0%  no heterogeneity
= 25%  low heterogeneity
= 50%  moderate heterogeneity
= 75%  high heterogeneity
42

22.  Binary outcome output
 no heterogeneity
> α = 0.1  각 연구들은 동질적임  Fixed Effect model
 Binary outcome에 대한 메타분석결과
Stroke outcome에 대해 vitamin E는 통계적으로
유의한 효과는 없는 것으로 나타났음.
43
 Continuous outcome output
 moderate heterogeneity
< α = 0.1  각 연구들은 이질적임
 Random Effect model 고려 혹은
 이질성을 높이는 outlier를 제거
44

23. 이질성이 있는 경우의 메타분석
1) Random effect model 사용
 Continuous outcome에 대해 vitamin E는 통계적으
로 유의한 것으로 나타났음.
 이때 Effect size인 pooled MD = ‐0.18의 해석을 위해
continuous outcome 값이 큰 것이 좋은 것인지 작
은 것이 좋은 것인지에 대한 확인이 필요함.
45
2) 이질성을 높이는 outlier를 제거
outlier 의심이 되는 이 케이스(WACS
2007 study)를 제거해보자
46

24.  Outlier 제거 후 이질성 확인 결과
 low heterogeneity
> α = 0.1  각 연구들은 동질적임  Fixed Effect model
Outlier를 제거 후에도 Continuous outcome에
대해 vitamin E는 통계적으로 유의한 것으로 나
타났음.
47
3) 연구들간의 이질성을 해석하기 위해서 동질할 것으로 예상되는
subgroup analysis을 나누어 분석
Parker MJ, Gillespie WJ, Gillespie LD. Effectiveness of hip protectors for preventing hip fractures in 48
elderly people: systematic review. BMJ. 2006 Mar 11;332(7541):571‐4.

25. 4. Publication bias 확인
 Publication bias:
 연구결과의 통계적 유의성과 출판 가능성 간의 관련성이 있을 때
나타나는 bias
 통계적으로 유의한 positive result인 경우 더욱 잘 출판될 가능성이
있기 때문에 발생하는 bias임.
 Publication bias를 주의해야 하는 이유
 메타분석 시 출판된 연구들만을 통합할 경우 치료효과의 요약추정
치가 치료효과를 과대추정할 위험이 있기 때문임.
49
Funnel plot
 Funnel plot: 가로축에는 각 연구로부터 얻어진 OR와 같은 치료효과의
추정치를, 세로축에는 제공된 추정치의 정밀도를 나타내는 표준오차
나 연구 대상수를 설정하여 그린 산점도


시각적으로 funnel plot이 대칭인 경우 publication bias의 가능성이 줄어든
다고 간주함.
포함된 연구들이 적어도 10개 이상인 경우에 적용될 수 있음.
 Symmetrical plot in the
absence of bias
 Asymmetrical plot in the
presence of publication bias
 Asymmetrical plot in the
presence of bias due to low
methodological quality of
50
smaller studies

26. Publication bias의 처리 방법
 largest study들만을 분석
 cumulative meta analysis
 Rosenthal’s “file‐drawer” method ( fail‐safe N)
 unpublished papers 수를 예측하는 모형 사용
 가중 분포이론에 근거한 selection model의 사용
 Trim‐and‐Fill method 사용
 sensitivity 적 접근 방법 (Copas, 1999)
51
Trim and Fill method
 Trim‐and‐Fill method
 결측되거나 보고되지 않은 연구들의 수와 그에 따라 변화되는 효
과 추정치를 추정하는 방법
 Imputation된 연구들의 수는 publication bias을 나타낸다는 매우 강
한 가정이 전제됨.
 Funnel plot의 비대칭성에 대한 publication bias 이외의 요인에 대해
서는 설명하지 못하므로 publication bias을 통해 corrected 중재효과
추정치 해석 시 매우 주의가 필요함.
52

27.  Example for trim and fill method
① Trim and Fill method 적용 전
② Trim and Fill method 적용 후
53
 Trim and Fill method 적용 후 메타분석결과
Trim and Fill method 적용 후 Continuous
outcome에 대해 vitamin E는 통계적으로 유의
하지 않은 것으로 나타났음.
54