디지털 헬스케어, 그리고 예상되는 법적 이슈들

의료의 미래, 디지털 헬스케어

그리고 예상되는 법적 이슈들
Professor, SAHIST, Sungkyunkwan University

Director, Digital Healthcare Institute

Yoon Sup Choi, Ph.D.

Disclaimer
저는 위의 회사들과 지분 관계, 자문 등으로

이해 관계가 있음을 밝힙니다.
스타트업
벤처캐피털

“It's in Apple's DNA that technology alone is not enough.  
It's technology married with liberal arts.”

The Convergence of IT, BT and Medicine

최윤섭 지음
의료인공지능
표지디자인•최승협
컴퓨터
털 헬
치를 만드는 것을 화두로
기업가, 엔젤투자가, 에반
의 대표적인 전문가로, 활
이 분야를 처음 소개한 장
포항공과대학교에서 컴
동 대학원 시스템생명공
취득하였다. 스탠퍼드대
조교수, KT 종합기술원 컨
구원 연구조교수 등을 거
저널에 10여 편의 논문을
국내 최초로 디지털 헬스
윤섭 디지털 헬스케어 연
국내 유일의 헬스케어 스
어 파트너스’의 공동 창업
스타트업을 의료 전문가
관대학교 디지털헬스학과
뷰노, 직토, 3billion, 서지
소울링, 메디히어, 모바일
자문을 맡아 한국에서도
고 있다. 국내 최초의 디
케어 이노베이션』에 활발
을 연재하고 있다. 저서로
와 『그렇게 나는 스스로
•블로그_ http://www
•페이스북_ https://w
•이메일_ yoonsup.c
최윤섭
의료 인공지능은 보수적인 의료 시스템을 재편할 혁신을 일으키고 있다. 의료 인공지능의 빠른 발전과
광범위한 영향은 전문화, 세분화되며 발전해 온 현대 의료 전문가들이 이해하기가 어려우며, 어디서부
터 공부해야 할지도 막연하다. 이런 상황에서 의료 인공지능의 개념과 적용, 그리고 의사와의 관계를 쉽
게 풀어내는 이 책은 좋은 길라잡이가 될 것이다. 특히 미래의 주역이 될 의학도와 젊은 의료인에게 유용
한 소개서이다.
━ 서준범, 서울아산병원 영상의학과 교수, 의료영상인공지능사업단장
인공지능이 의료의 패러다임을 크게 바꿀 것이라는 것에 동의하지 않는 사람은 거의 없다. 하지만 인공
지능이 처리해야 할 의료의 난제는 많으며 그 해결 방안도 천차만별이다. 흔히 생각하는 만병통치약 같
은 의료 인공지능은 존재하지 않는다. 이 책은 다양한 의료 인공지능의 개발, 활용 및 가능성을 균형 있
게 분석하고 있다. 인공지능을 도입하려는 의료인, 생소한 의료 영역에 도전할 인공지능 연구자 모두에
게 일독을 권한다.
━ 정지훈, 경희사이버대 미디어커뮤니케이션학과 선임강의교수, 의사
서울의대 기초의학교육을 책임지고 있는 교수의 입장에서, 산업화 이후 변하지 않은 현재의 의학 교육
으로는 격변하는 인공지능 시대에 의대생을 대비시키지 못한다는 한계를 절실히 느낀다. 저와 함께 의
대 인공지능 교육을 개척하고 있는 최윤섭 소장의 전문적 분석과 미래 지향적 안목이 담긴 책이다. 인공
지능이라는 미래를 대비할 의대생과 교수, 그리고 의대 진학을 고민하는 학생과 학부모에게 추천한다.
━ 최형진, 서울대학교 의과대학 해부학교실 교수, 내과 전문의
최근 의료 인공지능의 도입에 대해서 극단적인 시각과 태도가 공존하고 있다. 이 책은 다양한 사례와 깊
은 통찰을 통해 의료 인공지능의 현황과 미래에 대해 균형적인 시각을 제공하여, 인공지능이 의료에 본
격적으로 도입되기 위한 토론의 장을 마련한다. 의료 인공지능이 일상화된 10년 후 돌아보았을 때, 이 책
이 그런 시대를 이끄는 길라잡이 역할을 하였음을 확인할 수 있기를 기대한다.
━ 정규환, 뷰노 CTO
의료 인공지능은 다른 분야 인공지능보다 더 본질적인 이해가 필요하다. 단순히 인간의 일을 대신하는
수준을 넘어 의학의 패러다임을 데이터 기반으로 변화시키기 때문이다. 따라서 인공지능을 균형있게 이
해하고, 어떻게 의사와 환자에게 도움을 줄 수 있을지 깊은 고민이 필요하다. 세계적으로 일어나고 있는
이러한 노력의 결과물을 집대성한 이 책이 반가운 이유다.
━ 백승욱, 루닛 대표
의료 인공지능의 최신 동향뿐만 아니라, 의의와 한계, 전망, 그리고 다양한 생각거리까지 주는 책이다.
논쟁이 되는 여러 이슈에 대해서도 저자는 자신의 시각을 명확한 근거에 기반하여 설득력 있게 제시하
고 있다. 개인적으로는 이 책을 대학원 수업 교재로 활용하려 한다.
━ 신수용, 성균관대학교 디지털헬스학과 교수
최윤섭지음
의료인공지능
값 20,000원
ISBN 979-11-86269-99-2
최초의 책!
계 안팎에서 제기
고 있다. 현재 의
분 커버했다고 자
것인가, 어느 진료
제하고 효용과 안
누가 지는가, 의학
쉬운 언어로 깊이
들이 의료 인공지
적인 용어를 최대
서 다른 곳에서 접
를 접하게 될 것
너무나 빨리 발전
책에서 제시하는
술을 공부하며, 앞
란다.
의사 면허를 취득
저가 도움되면 좋
를 불러일으킬 것
화를 일으킬 수도
슈에 제대로 대응
분은 의학 교육의
예비 의사들은 샌
지능과 함께하는
레이닝 방식도 이
전에 진료실과 수
겠지만, 여러분들
도생하는 수밖에
미래의료학자 최윤섭 박사가 제시하는
의료 인공지능의 현재와 미래
의료 딥러닝과 IBM 왓슨의 현주소
인공지능은 의사를 대체하는가
값 20,000원
ISBN 979-11-86269-99-2
레이닝 방식도 이
전에 진료실과 수
겠지만, 여러분들
도생하는 수밖에
소울링, 메디히어, 모바일
자문을 맡아 한국에서도
고 있다. 국내 최초의 디
케어 이노베이션』에 활발
을 연재하고 있다. 저서로
와 『그렇게 나는 스스로
•블로그_ http://www
•페이스북_ https://w
•이메일_ yoonsup.c

https://rockhealth.com/reports/2018-year-end-funding-report-is-digital-health-in-a-bubble/
•2018년에는 $8.1B 가 투자되며 역대 최대 규모를 또 한 번 갱신 (전년 대비 42.% 증가)

•총 368개의 딜 (전년 359 대비 소폭 증가): 개별 딜의 규모가 커졌음

•전체 딜의 절반이 seed 혹은 series A 투자였음

•‘초기 기업들이 역대 최고로 큰 규모의 투자를’, ‘역대 가장 자주’ 받고 있음

2010 2011 2012 2013 2014 2015 2016 2017 2018
Q1 Q2 Q3 Q4
153
283
476
647
608
568
684
851
765
FUNDING SNAPSHOT: YEAR OVER YEAR
5
Deal Count
$1.4B
$1.7B
$1.7B
$627M
$603M$459M
$8.2B
$6.2B
$7.1B
$2.9B
$2.3B$2.0B
$1.2B
$11.7B
$2.3B
Funding surpassed 2017 numbers by almost $3B, making 2018 the fourth consecutive increase in capital investment and
largest since we began tracking digital health funding in 2010. Deal volume decreased from Q3 to Q4, but deal sizes spiked,
with $3B invested in Q4 alone. Average deal size in 2018 was $21M, a $6M increase from 2017.
$3.0B
$14.6B
DEALS & FUNDING INVESTORS SEGMENT DETAIL
Source: StartUp Health Insights | startuphealth.com/insights Note: Report based on public data through 12/31/18 on seed (incl. accelerator), venture, corporate venture, and private equity funding only. © 2019 StartUp Health LLC
•글로벌 투자 추이를 보더라도, 2018년 역대 최대 규모: $14.6B

•2015년 이후 4년 연속 증가 중
https://hq.startuphealth.com/posts/startup-healths-2018-insights-funding-report-a-record-year-for-digital-health

https://rockhealth.com/reports/digital-health-funding-2015-year-in-review/

5%
8%
24%
27%
36%
Life Science & Health
Mobile
Enterprise & Data
Consumer
Commerce
9%
13%
23%
24%
31%
Life Science & Health
Consumer
Enterprise
Data & AI
Others
2014 2015
Investment of GoogleVentures in 2014-2015

startuphealth.com/reports
Firm 2017 YTD Deals Stage
Early Mid Late
1 7
1 7
2 6
2 6
3 5
3 5
3 5
3 5
THE TOP INVESTORS OF 2017 YTD
We are seeing huge strides in new investors pouring money into the digital health market, however all the top 10 investors of
2017 year to date are either maintaining or increasing their investment activity.
Source: StartUp Health Insights | startuphealth.com/insights Note: Report based on public data on seed, venture, corporate venture and private equity funding only. © 2017 StartUp Health LLC
DEALS & FUNDING GEOGRAPHY INVESTORSMOONSHOTS
20
•Google Ventures와 Khosla Ventures가 각각 7개로 공동 1위,

•GE Ventures와 Accel Partners가 6건으로 공동 2위를 기록 
•GV 가 투자한 기업

•virtual fitness membership network를 만드는 뉴욕의 ClassPass

•Remote clinical trial 회사인 Science 37

•Digital specialty prescribing platform ZappRx 등에 투자. 
•Khosla Ventures 가 투자한 기업

•single-molecule 검사 장비를 만드는 TwoPoreGuys

•Mabu라는 AI-powered patient engagement robot 을 만드는 Catalia Health에 투자.

•최근 3년 동안 Merck, J&J, GSK 등의 제약사들의 디지털 헬스케어 분야 투자 급증

•2015-2016년 총 22건의 deal (=2010-2014년의 5년간 투자 건수와 동일)

•Merck 가 가장 활발: 2009년부터 Global Health Innovation Fund 를 통해 24건 투자 ($5-7M)

•GSK 의 경우 2014년부터 6건 (via VC arm, SR One): including Propeller Health

헬스케어넓은 의미의 건강 관리에는 해당되지만,

디지털 기술이 적용되지 않고, 전문 의료 영역도 아닌 것

예) 운동, 영양, 수면
디지털 헬스케어
건강 관리 중에 디지털 기술이 사용되는 것

예) 사물인터넷, 인공지능, 3D 프린터, VR/AR
모바일 헬스케어
디지털 헬스케어 중

모바일 기술이 사용되는 것

예) 스마트폰, 사물인터넷, SNS
개인 유전정보분석
예) 암유전체, 질병위험도,

보인자, 약물 민감도
예) 웰니스, 조상 분석
헬스케어 관련 분야 구성도(ver 0.3)
의료
질병 예방, 치료, 처방, 관리

등 전문 의료 영역
원격의료
원격진료

EDITORIAL OPEN
Digital medicine, on its way to being just plain medicine
npj Digital Medicine (2018)1:20175 ; doi:10.1038/
s41746-017-0005-1
There are already nearly 30,000 peer-reviewed English-language
scientific journals, producing an estimated 2.5 million articles a year.1
So why another, and why one focused specifically on digital
medicine?
To answer that question, we need to begin by defining what
“digital medicine” means: using digital tools to upgrade the
practice of medicine to one that is high-definition and far more
individualized. It encompasses our ability to digitize human beings
using biosensors that track our complex physiologic systems, but
also the means to process the vast data generated via algorithms,
cloud computing, and artificial intelligence. It has the potential to
democratize medicine, with smartphones as the hub, enabling
each individual to generate their own real world data and being
far more engaged with their health. Add to this new imaging
tools, mobile device laboratory capabilities, end-to-end digital
clinical trials, telemedicine, and one can see there is a remarkable
array of transformative technology which lays the groundwork for
a new form of healthcare.
As is obvious by its definition, the far-reaching scope of digital
medicine straddles many and widely varied expertise. Computer
scientists, healthcare providers, engineers, behavioral scientists,
ethicists, clinical researchers, and epidemiologists are just some of
the backgrounds necessary to move the field forward. But to truly
accelerate the development of digital medicine solutions in health
requires the collaborative and thoughtful interaction between
individuals from several, if not most of these specialties. That is the
primary goal of npj Digital Medicine: to serve as a cross-cutting
resource for everyone interested in this area, fostering collabora-
tions and accelerating its advancement.
Current systems of healthcare face multiple insurmountable
challenges. Patients are not receiving the kind of care they want
and need, caregivers are dissatisfied with their role, and in most
countries, especially the United States, the cost of care is
unsustainable. We are confident that the development of new
systems of care that take full advantage of the many capabilities
that digital innovations bring can address all of these major issues.
Researchers too, can take advantage of these leading-edge
technologies as they enable clinical research to break free of the
confines of the academic medical center and be brought into the
real world of participants’ lives. The continuous capture of multiple
interconnected streams of data will allow for a much deeper
refinement of our understanding and definition of most pheno-
types, with the discovery of novel signals in these enormous data
sets made possible only through the use of machine learning.
Our enthusiasm for the future of digital medicine is tempered by
the recognition that presently too much of the publicized work in
this field is characterized by irrational exuberance and excessive
hype. Many technologies have yet to be formally studied in a
clinical setting, and for those that have, too many began and
ended with an under-powered pilot program. In addition, there are
more than a few examples of digital “snake oil” with substantial
uptake prior to their eventual discrediting.2
Both of these practices
are barriers to advancing the field of digital medicine.
Our vision for npj Digital Medicine is to provide a reliable,
evidence-based forum for all clinicians, researchers, and even
patients, curious about how digital technologies can transform
every aspect of health management and care. Being open source,
as all medical research should be, allows for the broadest possible
dissemination, which we will strongly encourage, including
through advocating for the publication of preprints
And finally, quite paradoxically, we hope that npj Digital
Medicine is so successful that in the coming years there will no
longer be a need for this journal, or any journal specifically
focused on digital medicine. Because if we are able to meet our
primary goal of accelerating the advancement of digital medicine,
then soon, we will just be calling it medicine. And there are
already several excellent journals for that.
ACKNOWLEDGEMENTS
Supported by the National Institutes of Health (NIH)/National Center for Advancing
Translational Sciences grant UL1TR001114 and a grant from the Qualcomm Foundation.
ADDITIONAL INFORMATION
Competing interests:The authors declare no competing financial interests.
Publisher's note:Springer Nature remains neutral with regard to jurisdictional claims
in published maps and institutional affiliations.
Change history:The original version of this Article had an incorrect Article number
of 5 and an incorrect Publication year of 2017. These errors have now been corrected
in the PDF and HTML versions of the Article.
Steven R. Steinhubl1
and Eric J. Topol1
1
Scripps Translational Science Institute, 3344 North Torrey Pines
Court, Suite 300, La Jolla, CA 92037, USA
Correspondence: Steven R. Steinhubl (steinhub@scripps.edu) or
Eric J. Topol (etopol@scripps.edu)
REFERENCES
1. Ware, M. & Mabe, M. The STM report: an overview of scientific and scholarly journal
publishing 2015 [updated March]. http://digitalcommons.unl.edu/scholcom/92017
(2015).
2. Plante, T. B., Urrea, B. & MacFarlane, Z. T. et al. Validation of the instant blood
pressure smartphone App. JAMA Intern. Med. 176, 700–702 (2016).
Open Access This article is licensed under a Creative Commons
Attribution 4.0 International License, which permits use, sharing,
adaptation, distribution and reproduction in any medium or format, as long as you give
appropriate credit to the original author(s) and the source, provide a link to the Creative
Commons license, and indicate if changes were made. The images or other third party
material in this article are included in the article’s Creative Commons license, unless
indicated otherwise in a credit line to the material. If material is not included in the
article’s Creative Commons license and your intended use is not permitted by statutory
regulation or exceeds the permitted use, you will need to obtain permission directly
from the copyright holder. To view a copy of this license, visit http://creativecommons.
org/licenses/by/4.0/.
© The Author(s) 2018
Received: 19 October 2017 Accepted: 25 October 2017
www.nature.com/npjdigitalmed
Published in partnership with the Scripps Translational Science Institute
디지털 의료의 미래는?

일상적인 의료가 되는 것

What is most important factor in digital medicine?

“Data! Data! Data!” he cried.“I can’t
make bricks without clay!”
- Sherlock Holmes,“The Adventure of the Copper Beeches”

새로운 데이터가

새로운 방식으로

새로운 주체에 의해

측정, 저장, 통합, 분석된다.
데이터의 종류

데이터의 질적/양적 측면
웨어러블 기기

스마트폰

유전 정보 분석

인공지능

SNS
사용자/환자

대중

디지털 헬스케어의 3단계
•Step 1. 데이터의 측정

•Step 2. 데이터의 통합

•Step 3. 데이터의 분석

Digital Healthcare Industry Landscape
Data Measurement Data Integration Data Interpretation Treatment
Smartphone Gadget/Apps
DNA
Artiﬁcial Intelligence
2nd Opinion
Wearables / IoT
(ver. 3)
EMR/EHR 3D Printer
Counseling
Data Platform
Accelerator/early-VC
Telemedicine
Device
On Demand (O2O)
VR
Digital Healthcare Institute
Diretor, Yoon Sup Choi, Ph.D.
yoonsup.choi@gmail.com

Data Measurement Data Integration Data Interpretation Treatment
Smartphone Gadget/Apps
DNA
Artiﬁcial Intelligence
2nd Opinion
Device
On Demand (O2O)
Wearables / IoT
Diretor, Yoon Sup Choi, Ph.D.
EMR/EHR 3D Printer
Counseling
Data Platform
Accelerator/early-VC
VR
Telemedicine
Digital Healthcare Industry Landscape (ver. 3)

Smartphone: the origin of healthcare innovation

2013?
The election of Pope Benedict
The Election of Pope Francis

The Election of Pope Francis
The Election of Pope Benedict

검이경 더마토스코프 안과질환 피부암
기생충 호흡기 심전도 수면
식단 활동량 발열 생리/임신

CellScope’s iPhone-enabled otoscope

한국에서는 불법한국에서는 불법

“왼쪽 귀에 대한 비디오를 보면 고막 뒤
에 액체가 보인다. 고막은 특별히 부어 있
거나 모양이 이상하지는 않다. 그러므로 심
한 염증이 있어보이지는 않는다.
네가 스쿠버 다이빙 하면서 압력평형에 어
려움을 느꼈다는 것을 감안한다면, 고막의
움직임을 테스트 할 수 있는 의사에게 직
접 진찰 받는 것도 좋겠다. ...”

First Derm

AliveCor Heart Monitor (Kardia)

“심장박동은 안정적이기 때문에,  
당장 병원에 갈 필요는 없겠습니다.  
그래도 이상이 있으면 전문의에게  
진료를 받아보세요. “

30분-1시간 정도 일상적인 코골이가 있음

이걸 어떻게 믿나?

녹음을 해줌.

PGS와의 analytical validity의 증명?

•PGHD (Patients Generated Health Data)

• 환자 유래의 의료 데이터 (공식 번역 없음)

• (의사가 아닌) 환자 본인이 (병원 밖의) 일상에서 만들어내는 건강/의료 데이터

•이 데이터는 누구의 것인가

• 전통적인 의료 데이터 (ex. 진료기록)와 달리 소유권이 명확

• 스마트폰으로 측정 - 저장 - 전송 - 병원 EMR

•PGHD는 의료 데이터에 속하는가

• 앱으로 측정한 내 코골이 데이터는 의료 데이터인가?

•이러한 데이터의 Privacy는 얼마나 보호받는가

• 약관에 동의해야만 앱을 사용할 수 있음

• 이 약관들은 오히려 데이터의 보호를 저해하는 경우 다수 (마케팅 이용, 3자 판매 허용 등)
잠재적 법적 이슈: 스마트폰

http://www.rolls-royce.com/about/our-technology/enabling-technologies/engine-health-management.aspx#sense
250 sensors to monitor the “health” of the GE turbines

Fig 1. What can consumer wearables do? Heart rate can be measured with an oximeter built into a ring [3], muscle activity with an electromyographi
sensor embedded into clothing [4], stress with an electodermal sensor incorporated into a wristband [5], and physical activity or sleep patterns via an
accelerometer in a watch [6,7]. In addition, a female’s most fertile period can be identified with detailed body temperature tracking [8], while levels of me
attention can be monitored with a small number of non-gelled electroencephalogram (EEG) electrodes [9]. Levels of social interaction (also known to a
PLOS Medicine 2016

https://clinicaltrials.gov/ct2/results?term=ﬁtbit&Search=Search
•의료기기가 아님에도 Fitbit 은 이미 임상 연구에 폭넓게 사용되고 있음

•Fitbit 이 장려하지 않았음에도, 임상 연구자들이 자발적으로 사용

•Fitbit 을 이용한 임상 연구 수는 계속 증가하는 추세 (16.3(80), 16.8(113), 17.7(173))

•Fitbit이 임상연구에 활용되는 것은 크게 두 가지 경우

•Fitbit 자체가 intervention이 되어서 활동량이나 치료 효과를 증진시킬 수 있는지 여부

•연구 참여자의 활동량을 모니터링 하기 위한 수단 
•1. Fitbit으로 환자의 활동량을 증가시키기 위한 연구들

•Fitbit이 소아 비만 환자의 활동량을 증가시키는지 여부를 연구

•Fitbit이 위소매절제술을 받은 환자들의 활동량을 증가시키는지 여부

•Fitbit이 젊은 낭성 섬유증 (cystic fibrosis) 환자의 활동량을 증가시키는지 여부

•Fitbit이 암 환자의 신체 활동량을 증가시키기 위한 동기부여가 되는지 여부

•2. Fitbit으로 임상 연구에 참여하는 환자의 활동량을 모니터링

•항암 치료를 받은 환자들의 건강과 예후를 평가하는데 fitbit을 사용

•현금이 자녀/부모의 활동량을 증가시키는지 파악하기 위해 fitbit을 사용

•Brain tumor 환자의 삶의 질 측정을 위해 다른 survey 결과와 함께 fitbit을 사용

•말초동맥 질환(Peripheral Artery Disease) 환자의 활동량을 평가하기 위해

Cardiogram
•실리콘밸리의 Cardiogram 은 애플워치로 측정한 심박수 데이터를 바탕으로 서비스

•2016년 10월 Andressen Horowitz 에서 $2m의 투자 유치

https://blog.cardiogr.am/what-do-normal-and-abnormal-heart-rhythms-look-like-on-apple-watch-7b33b4a8ecfa
•Cardiogram은 심박수에 운동, 수면, 감정, 의료적인 상태가 반영된다고 주장

•특히, 심박 데이터를 기반으로 심방세동(atrial fibrillation)과 심방 조동(atrial flutter)의 detection 시도
Cardiogram

•Cardiogram은 심박 데이터만으로 심방세동을 detection할 수 있다고 주장

•“Irregularly irregular”

•high absolute variability (a range of 30+ bpm)

•a higher fraction missing measurements

•a lack of periodicity in heart rate variability

•심방세동 특유의 불규칙적인 리듬을 detection 하는 정도로 생각하면 될 듯

•“불규칙적인 리듬을 가지는 (심방세동이 아닌) 다른 부정맥과 구분 가능한가?” (쉽지 않을듯)

•따라서, 심박으로 detection한 환자를 심전도(ECG)로 confirm 하는 것이 필요
Cardiogram for A.Fib

Passive Detection of Atrial Fibrillation
Using a Commercially Available Smartwatch
Geoffrey H. Tison, MD, MPH; José M. Sanchez, MD; Brandon Ballinger, BS; Avesh Singh, MS; Jeffrey E. Olgin, MD;
Mark J. Pletcher, MD, MPH; Eric Vittinghoff, PhD; Emily S. Lee, BA; Shannon M. Fan, BA; Rachel A. Gladstone, BA;
Carlos Mikell, BS; Nimit Sohoni, BS; Johnson Hsieh, MS; Gregory M. Marcus, MD, MAS
IMPORTANCE Atrial fibrillation (AF) affects 34 million people worldwide and is a leading cause
of stroke. A readily accessible means to continuously monitor for AF could prevent large
numbers of strokes and death.
OBJECTIVE To develop and validate a deep neural network to detect AF using smartwatch
data.
DESIGN, SETTING, AND PARTICIPANTS In this multinational cardiovascular remote cohort study
coordinated at the University of California, San Francisco, smartwatches were used to obtain
heart rate and step count data for algorithm development. A total of 9750 participants
enrolled in the Health eHeart Study and 51 patients undergoing cardioversion at the
University of California, San Francisco, were enrolled between February 2016 and March 2017.
A deep neural network was trained using a method called heuristic pretraining in which the
network approximated representations of the R-R interval (ie, time between heartbeats)
without manual labeling of training data. Validation was performed against the reference
standard 12-lead electrocardiography (ECG) in a separate cohort of patients undergoing
cardioversion. A second exploratory validation was performed using smartwatch data from
ambulatory individuals against the reference standard of self-reported history of persistent
AF. Data were analyzed from March 2017 to September 2017.
MAIN OUTCOMES AND MEASURES The sensitivity, specificity, and receiver operating
characteristic C statistic for the algorithm to detect AF were generated based on the
reference standard of 12-lead ECG–diagnosed AF.
RESULTS Of the 9750 participants enrolled in the remote cohort, including 347 participants
with AF, 6143 (63.0%) were male, and the mean (SD) age was 42 (12) years. There were more
than 139 million heart rate measurements on which the deep neural network was trained. The
deep neural network exhibited a C statistic of 0.97 (95% CI, 0.94-1.00; P < .001) to detect AF
against the reference standard 12-lead ECG–diagnosed AF in the external validation cohort of
51 patients undergoing cardioversion; sensitivity was 98.0% and specificity was 90.2%. In an
exploratory analysis relying on self-report of persistent AF in ambulatory participants, the C
statistic was 0.72 (95% CI, 0.64-0.78); sensitivity was 67.7% and specificity was 67.6%.
CONCLUSIONS AND RELEVANCE This proof-of-concept study found that smartwatch
photoplethysmography coupled with a deep neural network can passively detect AF but with
some loss of sensitivity and specificity against a criterion-standard ECG. Further studies will
help identify the optimal role for smartwatch-guided rhythm assessment.
JAMA Cardiol. doi:10.1001/jamacardio.2018.0136
Published online March 21, 2018.
Editorial
Supplemental content and
Audio
Author Affiliations: Division of
Cardiology, Department of Medicine,
University of California, San Francisco
(Tison, Sanchez, Olgin, Lee, Fan,
Gladstone, Mikell, Marcus);
Cardiogram Incorporated, San
Francisco, California (Ballinger, Singh,
Sohoni, Hsieh); Department of
Epidemiology and Biostatistics,
(Pletcher, Vittinghoff).
Corresponding Author: Gregory M.
Marcus, MD, MAS, Division of
University of California, San
Francisco, 505 Parnassus Ave,
M1180B, San Francisco, CA 94143-
0124 (marcusg@medicine.ucsf.edu).
Research
JAMA Cardiology | Original Investigation
(Reprinted) E1
© 2018 American Medical Association. All rights reserved.

Passive Detection of Atrial Fibrillation
Using a Commercially Available Smartwatch
Geoffrey H. Tison, MD, MPH; José M. Sanchez, MD; Brandon Ballinger, BS; Avesh Singh, MS; Jeffrey E. Olgin, MD;
Mark J. Pletcher, MD, MPH; Eric Vittinghoff, PhD; Emily S. Lee, BA; Shannon M. Fan, BA; Rachel A. Gladstone, BA;
Carlos Mikell, BS; Nimit Sohoni, BS; Johnson Hsieh, MS; Gregory M. Marcus, MD, MAS
IMPORTANCE Atrial fibrillation (AF) affects 34 million people worldwide and is a leading cause
of stroke. A readily accessible means to continuously monitor for AF could prevent large
numbers of strokes and death.
OBJECTIVE To develop and validate a deep neural network to detect AF using smartwatch
data.
DESIGN, SETTING, AND PARTICIPANTS In this multinational cardiovascular remote cohort study
coordinated at the University of California, San Francisco, smartwatches were used to obtain
heart rate and step count data for algorithm development. A total of 9750 participants
enrolled in the Health eHeart Study and 51 patients undergoing cardioversion at the
University of California, San Francisco, were enrolled between February 2016 and March 2017.
A deep neural network was trained using a method called heuristic pretraining in which the
network approximated representations of the R-R interval (ie, time between heartbeats)
without manual labeling of training data. Validation was performed against the reference
standard 12-lead electrocardiography (ECG) in a separate cohort of patients undergoing
cardioversion. A second exploratory validation was performed using smartwatch data from
ambulatory individuals against the reference standard of self-reported history of persistent
AF. Data were analyzed from March 2017 to September 2017.
MAIN OUTCOMES AND MEASURES The sensitivity, specificity, and receiver operating
characteristic C statistic for the algorithm to detect AF were generated based on the
reference standard of 12-lead ECG–diagnosed AF.
RESULTS Of the 9750 participants enrolled in the remote cohort, including 347 participants
with AF, 6143 (63.0%) were male, and the mean (SD) age was 42 (12) years. There were more
than 139 million heart rate measurements on which the deep neural network was trained. The
deep neural network exhibited a C statistic of 0.97 (95% CI, 0.94-1.00; P < .001) to detect AF
against the reference standard 12-lead ECG–diagnosed AF in the external validation cohort of
51 patients undergoing cardioversion; sensitivity was 98.0% and specificity was 90.2%. In an
exploratory analysis relying on self-report of persistent AF in ambulatory participants, the C
statistic was 0.72 (95% CI, 0.64-0.78); sensitivity was 67.7% and specificity was 67.6%.
CONCLUSIONS AND RELEVANCE This proof-of-concept study found that smartwatch
photoplethysmography coupled with a deep neural network can passively detect AF but with
some loss of sensitivity and specificity against a criterion-standard ECG. Further studies will
help identify the optimal role for smartwatch-guided rhythm assessment.
JAMA Cardiol. doi:10.1001/jamacardio.2018.0136
Published online March 21, 2018.
Editorial
Supplemental content and
Audio
Author Affiliations: Division of
(Tison, Sanchez, Olgin, Lee, Fan,
Gladstone, Mikell, Marcus);
Cardiogram Incorporated, San
Francisco, California (Ballinger, Singh,
Sohoni, Hsieh); Department of
Epidemiology and Biostatistics,
(Pletcher, Vittinghoff).
Corresponding Author: Gregory M.
Marcus, MD, MAS, Division of
University of California, San
Francisco, 505 Parnassus Ave,
M1180B, San Francisco, CA 94143-
0124 (marcusg@medicine.ucsf.edu).
Research
JAMA Cardiology | Original Investigation
(Reprinted) E1
© 2018 American Medical Association. All rights reserved.
tion from the participant (dependent on user adherence) and
by the episodic nature of data obtained. A Samsung Simband
(Samsung) exhibited high sensitivity and specificity for AF de-
32
costs associated with the care of those patients, the potential
reduction in stroke could ultimately provide cost savings.
SeveralfactorsmakedetectionofAFfromambulatorydata
Figure 2. Accuracy of Detecting Atrial Fibrillation in the Cardioversion Cohort
100
80
60
40
20
0
0 10080
Sensitivity,%
1 –Specificity, %
604020
Cardioversion cohortA
100
80
60
40
20
0
0 10080
Sensitivity,%
1 –Specificity, %
604020
Ambulatory subset of remote cohortB
A, Receiver operating characteristic
curve among 51 individuals
undergoing in-hospital cardioversion.
The curve demonstrates a C statistic
of 0.97 (95% CI, 0.94-1.00), and the
point on the curve indicates a
sensitivity of 98.0% and a specificity
of 90.2%. B, Receiver operating
characteristic curve among 1617
individuals in the ambulatory subset
of the remote cohort. The curve
demonstrates a C statistic of 0.72
(95% CI, 0.64-0.78), and the point on
the curve indicates a sensitivity of
67.7% and a specificity of 67.6%.
Table 3. Performance Characteristics of Deep Neural Network in Validation Cohortsa
Cohort
%
AUCSensitivity Specificity PPV NPV
Cardioversion cohort (sedentary) 98.0 90.2 90.9 97.8 0.97
Subset of remote cohort (ambulatory) 67.7 67.6 7.9 98.1 0.72
Abbreviations: AUC, area under the receiver operating characteristic curve;
NPV, negative predictive value; PPV, positive predictive value.
a
In the cardioversion cohort, the atrial fibrillation reference standard was
12-lead electrocardiography diagnosis; in the remote cohort, the atrial
fibrillation reference standard was limited to self-reported history of persistent
atrial fibrillation.
Research Original Investigation Passive Detection of Atrial Fibrillation Using a Commercially Available Smartwatch
AUC=0.98 AUC=0.72
• In external validation using standard 12-lead ECG, algorithm
performance achieved a C statistic of 0.97.
• The passive detection of AF from free-living smartwatch data
has substantial clinical implications.
• Importantly, the accuracy of detecting self-reported AF in an
ambulatory setting was more modest (C statistic of 0.72)

애플워치4: 심전도, 부정맥, 낙상 측정
FDA 의료기기 인허가
•De Novo 의료기기로 인허가 받음 (새로운 종류의 의료기기)

•9월에 발표하였으나, 부정맥 관련 기능은 12월에 활성화

•미국 애플워치에서만 가능하고, 한국은안 됨 (미국에서 구매한 경우, 한국 앱스토어 ID로 가능)

• 애플워치4 부정맥 (심방세동) 측정 기능

• ‘진단’이나 기존 환자의 ‘관리’ 목적이 아니라,

• ‘측정’ 목적

• 기존에 진단 받지 않은 환자 중에,

• 심방세동이 있는 사람을 확인하여 병원으로 연결 
• 정확성을 정말 철저하게 검증했는가?

• 애플워치에 의해서 측정된 심방세동의 20% 정도가

• 패치 형태의 ECG 모니터에서 측정되지 않음

• 즉, false alarm 이 많을 수 있음  
• 불필요한 병원 방문, 검사, 의료 비용 발생 등을 우려하고 있음

https://www.scripps.edu/science-and-medicine/translational-institute/about/news/oran-ecg-app/index.html?fbclid=IwAR02Z8SG679-svCkyxBhv3S1JUOSFQlI6UCvNu3wvUgyRmc1r2ft963MFmM
• 애플워치4의 심방세동 측정 기능의 ‘위험성’ 경고

• 일반인을 대상의 측정에서 false positive의 위험

• (실제로는 심방세동 없는데, 있는 것으로 잘못 나온 케이스)

• False positive가 많은 PSA 검사와 비교하여 설명

• 특히, 애플워치는 PSA와 달리 장기적인 정확성 데이터조차 없음

• 의료기기 인허가를 받기는 했으나,

• 애플워치4가 얼마나 정확한지는 아무도 모름..

•American College of Cardiology’s 68th Annual Scientific Session

•전체 임상 참여자 중에서 irregular pusle notification 받은 사람은 불과 0.5%

•애플워치와 ECG patch를 동시에 사용한 결과 71%의 positive predictive value.

•irregular pusle notification 받은 사람 중 84%가 그 시점에 심방세동을 가짐

•f/u으로 그 다음 일주일 동안 ECG patch를 착용한 사람 중 34%가 심방세동을 발견

•Irregular pusle notification 받은 사람 중에 실제로 병원에 간 사람은 57% (전체 환자군의 0.3%)

•애플워치의 정확성은 인허가 전 얼마나 검증되었는가

• 부정맥 측정 정확성에 대한 데이터가 공개되지 않음

•오류 때문에 발생하는 부작용/의료사고에 대한 책임은

• false positive: 병원/보험에 대한 손실, 다른 환자에 대한 피해, 의료 비용

• false negative: 오진에 대한 피해 (진단은 indication이 아니긴 함)

•심전도/부정맥 측정은 원격의료인가

• 심전도를 측정해서 (환자가 원하면) PDF로 의사에게 보낼 수 있음

• (한국적 의미에서) 이것이 원격의료에 포함되는가? (휴이노 규제 샌드박스 이슈)

•기막힌 인허가 타이밍

• 애플 행사 전날에 맞춰(?) FDA 인허가

• 인허가 해당 소식을 언론도 애플 행사에서
잠재적 법적 이슈: 애플워치

Ingestible Sensor, Proteus Digital Health

n
n-
ng
n
es
h-
n
ne
ne
ct
d
n-
at
s-
or
e,
ts
n
a-
gs
d
ch
Nat Biotech 2015

건강관리서비스
웨어러블+보험사

열심히 운동하면 돈을 준다!

: 액티비티 트레커와 보험사의 연계

•Misfit Flash 와 뉴욕의 보험사 스타트업 Oscar 의 연계

•보험 가입자 전원에게 Misfit Flash 를 지급 (최초)

•하루의 목표 걸음 수를 달성하면, 하루에 $1 씩 인센티브

•1년에 최대 $240 까지 수령 가능

•아마존 기프트카드로 지급
2014.12.9

ATechnical Brief Vitality April 2014
보험사의 재정적인 인센티브에 의한 동기부여 효과 있다

피트니스 트레킹을 활발하게 한 보험 가입자들의 건강이 더 많이 증진
ATechnical Brief Vitality April 2014

Publication in
leading scientific
journals
VIP studies:
Members engaged
in Vitality have
lower healthcare
costs
80%
82%
84%
86%
88%
90%
92%
94%
96%
98%
100%
Not registered
Admit rate (number of
admissions)*
Length of stay in hospital
(days)
Cost per patient ($000)
60%
65%
70%
75%
80%
85%
90%
95%
100%
Not registered
80%
85%
90%
95%
100%
105%
Not registered
Fit people make better patients on a risk-adjusted basis
22
• 더 활동적이며 vitality 에 잘 참여한 사람일수록,

• 병원 입원률이 낮아짐

• 입원하더라도 총 입원 기간이 짧아짐

• 의료 비용이 낮아짐

•미국의 대형 보험사 John Hancock

•동의한 가입자들에게 Fitbit 을 배포하고, 활동량을 측정하여

•최대 15% 보험료 감면

•하얏트 호텔 숙박권

•아마존 기프트카드

•가입자들의 여러 추가적인 데이터를 바탕으로 '포인트' 부여

•비흡연자: 1,000 포인트

•적정 수준의 콜레스테롤, 혈당을 유지: 각각 1,000 포인트

•일주일에 세번 이상 운동:120 포인트 
(체육관에 갔는지, 30분 이상 머무는지를 GPS 통해 확인)
2015.4.8

2015.4.8
“ 기존에 '일이 터지면' 사후에 대응을 하
는 수동적 모델에서, 미리 가입자들의 발병,
사망 리스크를 선제적으로 낮춰가는 능동적
인 모델로 변화”

•'모든' 보험 상품에 핏빗 등의 웨어러블과 스마트폰을 이용한 interactive policy를 추가

•웨어러블의 데이터를 제공해주면 '공짜'로 $1,000짜리 보험에 가입시켜주는 프로그램

•Amica Life, Greenhouse Life Insurance Company과 협업하여 돌연사에 대한 보험

•데이터의 내용이 보험의 커버리지나 요율 등에 변화를 주지는 않을 것

•스마트 칫솔을 기반으로 새로운 치과 보험을 판매하고 있는 Beam Dental

•치과 보험에 가입하면 스마트 칫솔과 치약, 치실을 정기 무료 배송

•(사용자 동의하에) 양치질 데이터를 바탕으로 dynamic pricing  
•KPCB 로부터 $22.5m 규모의 투자를 유치(serise C)

•현재 미국의 16개 주에서 서비스, 이번 투자를 바탕으로 연말까지 35개 주로 확대 계획

•“치과 보험 시장은 일반 건강 보험보다 규제와 걸림돌이 적다"

디지털 헬스케어 기반의

능동적, 선제적 보험
•수동적, 사후적 대응에서 능동적, 선제적 관리로의 변화

•디지털 헬스케어 기반의 가입자 데이터의 측정

•데이터 분석을 통한 가입자 관리: 질병 위험군 분류, 계리

•질병 관리 및 치료에 대한 능동적 개입: 관리 방안 및 인센티브

•보험사의 건강관리서비스, 어디까지 의료행위인가

• 측정: 웨어러블, IoT 기기 등을 통한 PGHD 측정

• 분석: PGHD를 통해 가입자의 건강 상태 분석

• 예측: 이 분석을 통해 향후 가입자의 건강 상태 예측

• 계리: 보험료 재산정 및 인센티브/패널티 부여

• 관리: 건강관리 수단 제시 (추후 언급할 DTx 등)

•보험사의 가입자 데이터 활용, 윈-윈은 가능한가

• “개인 정보를 활용해서 보험사의 배를 불린다”

•새로운 형태의 보험사, 한국에서 가능한가

• 스마트 칫솔 만드는 회사가, 치과 보험 상품을 만들겠다면?

• 당뇨 앱 만드는 회사가, 당뇨 보험 상품을 만들겠다면?
잠재적 법적 이슈:

웨어러블&건강관리서비스

2003 Human Genome Project 13 years (676 weeks) $2,700,000,000
2007 Dr. CraigVenter’s genome 4 years (208 weeks) $100,000,000
2008 Dr. James Watson’s genome 4 months (16 weeks) $1,000,000
2009 (Nature Biotechnology) 4 weeks $48,000
2013 1-2 weeks ~$5,000

The $1000 Genome is Already Here!

• 2017년 1월 NovaSeq 5000, 6000 발표

• 몇년 내로 $100로 WES 를 실현하겠다고 공언

• 2일에 60명의 WES 가능 (한 명당 한 시간 이하)

Results within 6-8 weeksA little spit is all it takes!
DTC Genetic TestingDirect-To-Consumer

Traits
음주 후 얼굴이 붉어지는가
쓴 맛을 감지할 수 있나
귀지 유형
눈 색깔
곱슬머리 여부
유당 분해 능력
말라리아 저항성
대머리가 될 가능성
근육 퍼포먼스
혈액형
노로바이러스 저항성
HIV 저항성
흡연 중독 가능성

1,000,000
2,000,000
2007-11
2011-06
2011-10
2012-04
2012-10
2013-04
2013-06
2013-09
2013-12
2014-10
2015-02
2015-06
2016-02
2017-04
2017-11
2018-04
3,000,000
5,000,000
2019-03
10,000,000
Customer growth of 23andMe

23andMe Chronicle
$115m 펀딩
(유니콘 등극)
100만 명 돌파
2006
23andMe 창업
20162007 2012 2013 2014 2015
구글 벤처스
360만 달러 투자
2008
$99 로
가격 인하
FDA 판매 중지 명령
영국에서
DTC 서비스 시작
FDA 블룸증후군
DTC 서비스 허가
FDA에 블룸증후군
테스트 승인 요청
FDA에 510(k) 제출
FDA 510(k) 철회
보인자 등 DTC
서비스 재개 ($199)
캐나다에서
DTC 서비스 시작
Genetech, pFizer가
23andMe 데이터 구입
자체 신약 개발
계획 발표
120만 명 돌파
$399 로
가격 인하Business
Regulation
애플 리서치키트와
데이터 수집 협력
50만 명 돌파
30만 명 돌파
TV 광고 시작
2017
FDA의
질병위험도 검사
DTC 서비스 허가
+
관련 규제 면제
프로세스 확립
Director,Yoon Sup Choi, PhD
FDA
Pre-Cert
FDA Gottlieb 국장,
질병 위험도 유전자
DTC 서비스의
Pre-Cert 발의
BRCA 1/2
DTC 검사 허용
2018
FDA, 질병 위험도
유전자 DTC서비스의
Pre-Cert 발효
200만 명 돌파 500만 명 돌파
GSK에서 $300M
투자 유치
2019
1000만 명
돌파

•개별 제품이 아닌 제조사 기반의 규제를 유전자 DTC 검사에도 적용하는 방안

•Gottlieb 국장:

•“23andMe의 규제 과정을 거치면서 FDA도 많이 배웠다”

•질병 위험도 DTC 검사를 '한 번' 인허가 받은 회사의 후속 검사는 규제 면제 추진

•한국의 유전자 DTC 규제 방식과의 괴리는 더욱 커질 전망

•질병 위험도 유전자 분석 DTC 서비스에 대해서 Pre-Cert 를 적용 시작 (18. 6. 5)

•최초 한 번"만 99% 이상의 analytical validity 를 증명하면,

•이 회사는 정확한 유전 정보 분석 서비스를 만들 수 있는 것으로 인정하여,

•이후의 서비스는 출시 전 인허가가 면제 
•다만 민감할 수 있는 4가지 종류의 분석에 대해서는 이 규제 완화에서 제외

•산전 진단

•(예방적 스크리닝이나 치료법 결정으로 이어지는) 암 발병 가능성 검사

•약물 유전체 검사

•우성유전질환 유전인자 검사

한국 DTC 유전정보 분석 제한적 허용

(2016.6.30)
• 「비의료기관 직접 유전자검사 실시 허용 관련 고시 제정, 6.30일시행」

• 2015년 12월「생명윤리 및 안전에 관한 법률」개정(‘15.12.29개정, ’16.6.30시행)
과 제9차 무역투자진흥회의(’16.2월) 시 발표한 규제 개선의 후속조치 일환으로 추진

• 민간 유전자검사 업체에서는 혈당, 혈압, 피부노화, 체질량지수 등 12개 검사항목과
관련된 46개 유전자를 직접 검사 가능
http://www.mohw.go.kr/m/noticeView.jsp?MENU_ID=0403&cont_seq=333112&page=1
검사항목 (유전자수) 유전자명
1 체질량지수(3) FTO, MC4R, BDNF
2 중성지방농도(8) GCKR, DOCK7, ANGPTL3, BAZ1B, TBL2, MLXIPL, LOC105375745, TRIB1
3 콜레스테롤(8) CELSR2, SORT1, HMGCR, ABO, ABCA1, MYL2, LIPG, CETP
4 혈 당(8) CDKN2A/B, G6PC2, GCK, GCKR, GLIS3, MTNR1B, DGKB-TMEM195, SLC30A8
5 혈 압(8) NPR3, ATP2B1, NT5C2, CSK, HECTD4, GUCY1A3, CYP17A1, FGF5
6 색소 침착(2) OCA2, MC1R
7 탈 모(3) chr20p11(rs1160312, rs2180439), IL2RA, HLA-DQB1
8 모발 굵기(1) EDAR
9 피부 노화(1) AGER
10 피부 탄력(1) MMP1
11 비타민C농도(1) SLC23A1(SVCT1)
12 카페인대사(2) AHR, CYP1A1-CYP1A2

분석 항목 분석 항목 예시 DTC (미국) DTC (한국)
개인유전정보 분석
질병 위험도 유방암(안젤리나 졸리) 인허가 간소화 전망 X
약물 민감도 와파린 민감도 X X
열성유전질환 보인자 블룸 증후군 O X
웰니스 카페인 분해, 대머리 O
12개 항목만 가능,

나머지는 불법
조상 분석 O O
의료 분석
암 맞춤치료 Cancer Panel O 병원만 가능
비침습산전진단 (NIPT) 다운증후군 O O
DTC 유전정보 분석 서비스

미국 vs. 한국
•미국에서 허용된 보인자 검사, 질병 위험도 예측 검사 DTC 서비스는 여전히 한국에서 불법

•더 큰 문제는 잣대 자체가 FDA 등 글로벌 규제 기조나 산업계에서 통용되는 기준과 다르다는 것.  
 
 
질병/약물/보인자/웰니스/조상 분석 등의 업계에서 받아들여지는 분류를 무시

•글로벌 수준에 발맞추기는 커녕, 한국에서만 통용되는 자체적인 별도 규제 분류 체계를 
 
 
더 추가하면서, 국내 산업의 갈라파고스화를 자초하고 있음

•규제 샌드박스를 통해 마크로젠 ‘한 회사’만 ‘제한적’ DTC 허용

•매우 제한적: 과연 의미가 있는가

•2년 동안만

•인천경제자유구역(송도)한정

•성인 2,000명 제한

•2년 이후에는 어떻게 할 것인가?

•특정 회사에 대한 특혜 시비, 복지부와 업계의 불신…

•제노플랜

•법적으로는 한국계 일본회사?

•해외 시장에 집중할 계획인듯

•DTC (Direct-to-Consumer) 유전자 검사 허용 이슈

• 정말 위해도가 높은가

• 근거 기반의 판단 필요

• 미국은 극단적인 negative 규제 시행 (2018~)

• 어떤 기준/범위에서 허용해야 하는가

• 국제 규제 동조화

• 자꾸 한국만의 분류를 따로 만듬: 분류 기준이라도 동일하게

• 규제 샌드박스

• 실효성이 있는가

• 문제 해결만 2년 지연

• 규제 회피에 대해서는 어떻게 접근해야 하나
잠재적 법적 이슈: DTC 유전자 검사

https://www.23andme.com/slideshow/research/
고객의 자발적인 참여에 의한 유전학 연구
깍지를 끼면 어느 쪽 엄지가 위로 오는가?
아침형 인간? 저녁형 인간?
빛에 노출되었을 때 재채기를 하는가?
근육의 퍼포먼스
쓴 맛 인식 능력
음주 후 얼굴이 붉어지나?
유당 분해 효소 결핍?
고객의 81%가 10개 이상의 질문에 자발적 답변

매주 1 million 개의 data point 축적

The More Data, The Higher Accuracy!

January 13, 2015January 6, 2015
Data Business

• 신약 표적 발굴: 더 안전하고 효과적으로
• 표적 치료에 효능을 보일 환자군의 선별에 도움
• 임상시험 환자 리크루팅에 활용
• GSK의 파킨슨 신약: LRRK2 variant 환자군
• LRRK2 variant: 파킨슨 환자 100명 당 1명 보유
• 23andMe는 이미 LRRK2 variant 250명 보유
GSK에 독점적 DB 접근권을 주고,
$300m의 투자 유치

•유전자 데이터(를 포함한 건강 데이터)의 판매 비즈니스

• 고객의 (민감한) 데이터를 제3자에게 판매할 수 있는가

• 어느 정도 레벨의 동의를 받아야 하는가

• 판매 수익은 고객 (데이터 원 제공자)과 share 해야 하는가

•의료 데이터 관련 정의/범위

• 의료 데이터의 정의 / 범위 불명확

• 개인식별정보의 정의 / 범위 불명확

• 기술적 vs. 정서적 정의: 유전정보만으로 개인을 식별할 수 있는가?

• 비식별화 및 재식별의 정의 불명확
잠재적 법적 이슈: 데이터 판매

Human genomes are being sequenced at an ever-increasing rate. The 1000 Genomes Project has
aggregated hundreds of genomes; The Cancer Genome Atlas (TGCA) has gathered several thousand; and
the Exome Aggregation Consortium (ExAC) has sequenced more than 60,000 exomes. Dotted lines show
three possible future growth curves.
DNA SEQUENCING SOARS
2001 2005 2010 2015 2020 2025
100
103
106
109
Human Genome Project
Cumulativenumberofhumangenomes
1000 Genomes
TCGA
ExAC
Current amount
1st personal genome
Recorded growth
Projection
Double every 7 months (historical growth rate)
Double every 12 months (Illumina estimate)
Double every 18 months (Moore's law)
Michael Einsetein, Nature, 2015

•유방암 유전자 BRCA 에 위험 돌연변이가 있다는 이유로 생명보험 가
입을 거절당한 한 여성의 사연 (2016)

•미국은 2008년 GINA (Genetic Information Nondiscrimination
Act)라는 유전정보에 따른 차별 금지 법안

•하지만 문제는 이 규정이 건강 보험에만 해당되고

•생명보험(life insurance), 장기 간병 보험(long-term care),
상해 보험(disability insurance) 등에는 해당되지 않음

•의사들은 이런 보험사의 차별 때문에 필요한 환자들조차 유전자 검사
를 받기를 꺼려할까봐 우려
유전 정보에 따른

보험 가입 차별

•2017년 3월 미국 의회 하원에서는 고용주가 직원들에게 corporate
wellness program 의 일환으로 유전 정보를 요구할 수 있으며, 직원
이 이를 거절할 경우 건강 보험료를 30% 까지 올릴 수 있는 법안을 통과

•공화당 위원 22명은 전원 찬성을, 민주당 소속 17명은 전원 반대

•아직 최종 입법 되지는 않은 상태

•최종 입법 되기 위해서는 상원 심의도 마쳐야 함
직원은 회사에

유전 정보를 공유해야 한다?

•개인유전정보 DTC 회사와 보험추천 서비스의 협업

•고객이 키트에 타액을 보내면 보맵은 유전자를 분석한 결과에 따라 보험을 관리

•객이 위암에 걸릴 확률이 60% 이상인 유전자를 보유하면, 관련 보험을 추천 
•개인 보험 가입자의 보험사 역선택 이슈
유전 정보를 활용,

보험사를 선택

•보험사의 가입자 선택/차등

• 미국에서는 GINA의 커버 범위 이슈

• 한국에서는 정말 아무 문제가 없을까? (생명윤리법 제 46조)

•가입자의 보험사 역선택

• 법적으로 가입자의 보험사 (직간접적) 역선택이 더 가능성 높음

• 결과적으로 모두의 보험료를 높일 것인가?
잠재적 법적 이슈: 유전자와 보험

Digital Phenotype:
Your smartphone knows if you are depressed
Ginger.io

Digital Phenotype:
Your smartphone knows if you are depressed
J Med Internet Res. 2015 Jul 15;17(7):e175.
The correlation analysis between the features and the PHQ-9 scores revealed that 6 of the 10
features were signiﬁcantly correlated to the scores:
• strong correlation: circadian movement, normalized entropy, location variance
• correlation: phone usage features, usage duration and usage frequency

the manifestations of disease by providing a
more comprehensive and nuanced view of the
experience of illness. Through the lens of the
digital phenotype, an individual’s interaction
The digital phenotype
Sachin H Jain, Brian W Powers, Jared B Hawkins & John S Brownstein
In the coming years, patient phenotypes captured to enhance health and wellness will extend to human interactions with
digital technology.
In 1982, the evolutionary biologist Richard
Dawkins introduced the concept of the
“extended phenotype”1, the idea that pheno-
types should not be limited just to biological
processes, such as protein biosynthesis or tissue
growth, but extended to include all effects that
a gene has on its environment inside or outside
ofthebodyoftheindividualorganism.Dawkins
stressed that many delineations of phenotypes
are arbitrary. Animals and humans can modify
their environments, and these modifications
andassociatedbehaviorsareexpressionsofone’s
genome and, thus, part of their extended phe-
notype. In the animal kingdom, he cites damn
buildingbybeaversasanexampleofthebeaver’s
extended phenotype1.
Aspersonaltechnologybecomesincreasingly
embedded in human lives, we think there is an
important extension of Dawkins’s theory—the
notion of a ‘digital phenotype’. Can aspects of
ourinterfacewithtechnologybesomehowdiag-
nosticand/orprognosticforcertainconditions?
Can one’s clinical data be linked and analyzed
together with online activity and behavior data
to create a unified, nuanced view of human dis-
ease?Here,wedescribetheconceptofthedigital
phenotype. Although several disparate studies
have touched on this notion, the framework for
medicine has yet to be described. We attempt to
define digital phenotype and further describe
the opportunities and challenges in incorporat-
ing these data into healthcare.
Jan. 2013
0.000
0.002
0.004
Density
0.006
July 2013 Jan. 2014 July 2014
User 1
User 2
User 3
User 4
User 5
User 6
User 7
Date
Figure 1 Timeline of insomnia-related tweets from representative individuals. Density distributions
(probability density functions) are shown for seven individual users over a two-year period. Density on
the y axis highlights periods of relative activity for each user. A representative tweet from each user is
shown as an example.
npg©2015NatureAmerica,Inc.Allrightsreserved.
http://www.nature.com/nbt/journal/v33/n5/full/nbt.3223.html

ers, Jared B Hawkins & John S Brownstein
phenotypes captured to enhance health and wellness will extend to human interactions with
st Richard
pt of the
hat pheno-
biological
sis or tissue
effects that
or outside
m.Dawkins
phenotypes
can modify
difications
onsofone’s
ended phe-
cites damn
hebeaver’s
ncreasingly
there is an
heory—the
aspects of
ehowdiag-
Jan. 2013
0.000
0.002
0.004
Density
0.006
July 2013 Jan. 2014 July 2014
User 1
User 2
User 3
User 4
User 5
User 6
User 7
Date
Figure 1 Timeline of insomnia-related tweets from representative individuals. Density distributions
(probability density functions) are shown for seven individual users over a two-year period. Density on
the y axis highlights periods of relative activity for each user. A representative tweet from each user is
Your twitter knows if you cannot sleep
Timeline of insomnia-related tweets from representative individuals.
Nat. Biotech. 2015

Reece & Danforth, “Instagram photos reveal predictive markers of depression” (2016)
higher Hue (bluer)
lower Saturation (grayer)
lower Brightness (darker)

Rao (MVR) (24) .

Results
Both Alldata and Prediagnosis models were decisively superior to a null model
. Alldata predictors were significant with 99% probability.57.5;(KAll = 1 K 49.8) Pre = 1 7
Prediagnosis and Alldata confidence levels were largely identical, with two exceptions:
Prediagnosis Brightness decreased to 90% confidence, and Prediagnosis posting frequency
dropped to 30% confidence, suggesting a null predictive value in the latter case.
Increased hue, along with decreased brightness and saturation, predicted depression. This
means that photos posted by depressed individuals tended to be bluer, darker, and grayer (see
Fig. 2). The more comments Instagram posts received, the more likely they were posted by
depressed participants, but the opposite was true for likes received. In the Alldata model, higher
posting frequency was also associated with depression. Depressed participants were more likely
to post photos with faces, but had a lower average face count per photograph than healthy
participants. Finally, depressed participants were less likely to apply Instagram filters to their
posted photos.

Fig. 2. Magnitude and direction of regression coefficients in Alldata (N=24,713) and Prediagnosis (N=18,513)
models. Xaxis values represent the adjustment in odds of an observation belonging to depressed individuals, per

Fig. 1. Comparison of HSV values. Right photograph has higher Hue (bluer), lower Saturation (grayer), and lower
Brightness (darker) than left photograph. Instagram photos posted by depressed individuals had HSV values
shifted towards those in the right photograph, compared with photos posted by healthy individuals.

Units of observation
In determining the best time span for this analysis, we encountered a difficult question:
When and for how long does depression occur? A diagnosis of depression does not indicate the
persistence of a depressive state for every moment of every day, and to conduct analysis using an
individual’s entire posting history as a single unit of observation is therefore rather specious. At
the other extreme, to take each individual photograph as units of observation runs the risk of
being too granular. DeChoudhury et al. (5) looked at all of a given user’s posts in a single day,
and aggregated those data into perperson, perday units of observation. We adopted this
precedent of “userdays” as a unit of analysis .  5

Statistical framework
We used Bayesian logistic regression with uninformative priors to determine the strength
of individual predictors. Two separate models were trained. The Alldata model used all
collected data to address Hypothesis 1. The Prediagnosis model used all data collected from
higher Hue (bluer)
lower Saturation (grayer)
lower Brightness (darker)
Digital Phenotype:
Your Instagram knows if you are depressed

Digital Phenotype:
. In particular, depressedχ2 07.84, p .17e 64;( All = 9 = 9 − 1 13.80, p .87e 44)χ2Pre = 8 = 2 − 1
participants were less likely than healthy participants to use any filters at all. When depressed
participants did employ filters, they most disproportionately favored the “Inkwell” filter, which
converts color photographs to blackandwhite images. Conversely, healthy participants most
disproportionately favored the Valencia filter, which lightens the tint of photos. Examples of
filtered photographs are provided in SI Appendix VIII.

Fig. 3. Instagram filter usage among depressed and healthy participants. Bars indicate difference between observed
and expected usage frequencies, based on a Chisquared analysis of independence. Blue bars indicate
disproportionate use of a filter by depressed compared to healthy participants, orange bars indicate the reverse.

Digital Phenotype:

VIII. Instagram filter examples

Fig. S8. Examples of Inkwell and Valencia Instagram filters. Inkwell converts
color photos to blackandwhite, Valencia lightens tint. Depressed participants
most favored Inkwell compared to healthy participants, Healthy participants

Mindstrong Health
• 스마트폰 사용 패턴을 바탕으로

• 인지능력, 우울증, 조현병, 양극성 장애, PTSD 등을 측정

• 미국 국립정신건강연구소 소장인 Tomas Insel 이 공동 설립

• 아마존의 제프 베조스 투자

BRIEF COMMUNICATION OPEN
Digital biomarkers of cognitive function
Paul Dagum1
To identify digital biomarkers associated with cognitive function, we analyzed human–computer interaction from 7 days of
smartphone use in 27 subjects (ages 18–34) who received a gold standard neuropsychological assessment. For several
neuropsychological constructs (working memory, memory, executive function, language, and intelligence), we found a family of
digital biomarkers that predicted test scores with high correlations (p < 10−4
). These preliminary results suggest that passive
measures from smartphone use could be a continuous ecological surrogate for laboratory-based neuropsychological assessment.
npj Digital Medicine (2018)1:10 ; doi:10.1038/s41746-018-0018-4
INTRODUCTION
By comparison to the functional metrics available in other
disciplines, conventional measures of neuropsychiatric disorders
have several challenges. First, they are obtrusive, requiring a
subject to break from their normal routine, dedicating time and
often travel. Second, they are not ecological and require subjects
to perform a task outside of the context of everyday behavior.
Third, they are episodic and provide sparse snapshots of a patient
only at the time of the assessment. Lastly, they are poorly scalable,
taxing limited resources including space and trained staff.
In seeking objective and ecological measures of cognition, we
attempted to develop a method to measure memory and
executive function not in the laboratory but in the moment,
day-to-day. We used human–computer interaction on smart-
phones to identify digital biomarkers that were correlated with
neuropsychological performance.
RESULTS
In 2014, 27 participants (ages 27.1 ± 4.4 years, education
14.1 ± 2.3 years, M:F 8:19) volunteered for neuropsychological
assessment and a test of the smartphone app. Smartphone
human–computer interaction data from the 7 days following
the neuropsychological assessment showed a range of correla-
tions with the cognitive scores. Table 1 shows the correlation
between each neurocognitive test and the cross-validated
predictions of the supervised kernel PCA constructed from
the biomarkers for that test. Figure 1 shows each participant
test score and the digital biomarker prediction for (a) digits
backward, (b) symbol digit modality, (c) animal fluency,
(d) Wechsler Memory Scale-3rd Edition (WMS-III) logical
memory (delayed free recall), (e) brief visuospatial memory test
(delayed free recall), and (f) Wechsler Adult Intelligence Scale-
4th Edition (WAIS-IV) block design. Construct validity of the
predictions was determined using pattern matching that
computed a correlation of 0.87 with p < 10−59
between the
covariance matrix of the predictions and the covariance matrix
of the tests.
Table 1. Fourteen neurocognitive assessments covering five cognitive
domains and dexterity were performed by a neuropsychologist.
Shown are the group mean and standard deviation, range of score,
and the correlation between each test and the cross-validated
prediction constructed from the digital biomarkers for that test
Cognitive predictions
Mean (SD) Range R (predicted),
p-value
Working memory
Digits forward 10.9 (2.7) 7–15 0.71 ± 0.10, 10−4
Digits backward 8.3 (2.7) 4–14 0.75 ± 0.08, 10−5
Executive function
Trail A 23.0 (7.6) 12–39 0.70 ± 0.10, 10−4
Trail B 53.3 (13.1) 37–88 0.82 ± 0.06, 10−6
Symbol digit modality 55.8 (7.7) 43–67 0.70 ± 0.10, 10−4
Language
Animal fluency 22.5 (3.8) 15–30 0.67 ± 0.11, 10−4
FAS phonemic fluency 42 (7.1) 27–52 0.63 ± 0.12, 10−3
Dexterity
Grooved pegboard test
(dominant hand)
62.7 (6.7) 51–75 0.73 ± 0.09, 10−4
Memory
California verbal learning test
(delayed free recall)
14.1 (1.9) 9–16 0.62 ± 0.12, 10−3
WMS-III logical memory
29.4 (6.2) 18–42 0.81 ± 0.07, 10−6
Brief visuospatial memory test
10.2 (1.8) 5–12 0.77 ± 0.08, 10−5
Intelligence scale
WAIS-IV block design 46.1(12.8) 12–61 0.83 ± 0.06, 10−6
WAIS-IV matrix reasoning 22.1(3.3) 12–26 0.80 ± 0.07, 10−6
WAIS-IV vocabulary 40.6(4.0) 31–50 0.67 ± 0.11, 10−4
Received: 5 October 2017 Revised: 3 February 2018 Accepted: 7 February 2018
1
Mindstrong Health, 248 Homer Street, Palo Alto, CA 94301, USA
Correspondence: Paul Dagum (paul@mindstronghealth.com)
• 총 45가지 스마트폰 사용 패턴: 타이핑, 스크롤, 화면 터치

• 스페이스바 누른 후, 다음 문자 타이핑하는 행동

• 백스페이스를 누른 후, 그 다음 백스페이스

• 주소록에서 사람을 찾는 행동 양식 
• 스마트폰 사용 패턴과 인지 능력의 상관 관계

• 20-30대 피험자 27명

• Working Memory, Language, Dexterity etc

BRIEF COMMUNICATION OPEN
Paul Dagum1
To identify digital biomarkers associated with cognitive function, we analyzed human–computer interaction from 7 days of
smartphone use in 27 subjects (ages 18–34) who received a gold standard neuropsychological assessment. For several
neuropsychological constructs (working memory, memory, executive function, language, and intelligence), we found a family of
digital biomarkers that predicted test scores with high correlations (p < 10−4
). These preliminary results suggest that passive
measures from smartphone use could be a continuous ecological surrogate for laboratory-based neuropsychological assessment.
INTRODUCTION
By comparison to the functional metrics available in other
disciplines, conventional measures of neuropsychiatric disorders
have several challenges. First, they are obtrusive, requiring a
subject to break from their normal routine, dedicating time and
often travel. Second, they are not ecological and require subjects
to perform a task outside of the context of everyday behavior.
Third, they are episodic and provide sparse snapshots of a patient
only at the time of the assessment. Lastly, they are poorly scalable,
taxing limited resources including space and trained staff.
In seeking objective and ecological measures of cognition, we
attempted to develop a method to measure memory and
executive function not in the laboratory but in the moment,
day-to-day. We used human–computer interaction on smart-
phones to identify digital biomarkers that were correlated with
neuropsychological performance.
RESULTS
In 2014, 27 participants (ages 27.1 ± 4.4 years, education
14.1 ± 2.3 years, M:F 8:19) volunteered for neuropsychological
assessment and a test of the smartphone app. Smartphone
human–computer interaction data from the 7 days following
the neuropsychological assessment showed a range of correla-
tions with the cognitive scores. Table 1 shows the correlation
between each neurocognitive test and the cross-validated
predictions of the supervised kernel PCA constructed from
the biomarkers for that test. Figure 1 shows each participant
test score and the digital biomarker prediction for (a) digits
backward, (b) symbol digit modality, (c) animal fluency,
(d) Wechsler Memory Scale-3rd Edition (WMS-III) logical
memory (delayed free recall), (e) brief visuospatial memory test
(delayed free recall), and (f) Wechsler Adult Intelligence Scale-
4th Edition (WAIS-IV) block design. Construct validity of the
predictions was determined using pattern matching that
computed a correlation of 0.87 with p < 10−59
between the
covariance matrix of the predictions and the covariance matrix
of the tests.
Table 1. Fourteen neurocognitive assessments covering five cognitive
domains and dexterity were performed by a neuropsychologist.
Shown are the group mean and standard deviation, range of score,
and the correlation between each test and the cross-validated
prediction constructed from the digital biomarkers for that test
Cognitive predictions
Mean (SD) Range R (predicted),
p-value
Working memory
Digits forward 10.9 (2.7) 7–15 0.71 ± 0.10, 10−4
Digits backward 8.3 (2.7) 4–14 0.75 ± 0.08, 10−5
Executive function
Trail A 23.0 (7.6) 12–39 0.70 ± 0.10, 10−4
Trail B 53.3 (13.1) 37–88 0.82 ± 0.06, 10−6
Symbol digit modality 55.8 (7.7) 43–67 0.70 ± 0.10, 10−4
Language
Animal fluency 22.5 (3.8) 15–30 0.67 ± 0.11, 10−4
FAS phonemic fluency 42 (7.1) 27–52 0.63 ± 0.12, 10−3
Dexterity
Grooved pegboard test
(dominant hand)
62.7 (6.7) 51–75 0.73 ± 0.09, 10−4
Memory
California verbal learning test
14.1 (1.9) 9–16 0.62 ± 0.12, 10−3
WMS-III logical memory
29.4 (6.2) 18–42 0.81 ± 0.07, 10−6
Brief visuospatial memory test
10.2 (1.8) 5–12 0.77 ± 0.08, 10−5
Intelligence scale
WAIS-IV block design 46.1(12.8) 12–61 0.83 ± 0.06, 10−6
WAIS-IV matrix reasoning 22.1(3.3) 12–26 0.80 ± 0.07, 10−6
WAIS-IV vocabulary 40.6(4.0) 31–50 0.67 ± 0.11, 10−4
Received: 5 October 2017 Revised: 3 February 2018 Accepted: 7 February 2018
1
Mindstrong Health, 248 Homer Street, Palo Alto, CA 94301, USA
Correspondence: Paul Dagum (paul@mindstronghealth.com)
Fig. 1 A blue square represents a participant test Z-score normed to the 27 participant scores and a red circle represents the digital biomarker
prediction Z-score normed to the 27 predictions. Test scores and predictions shown are a digits backward, b symbol digit modality, c animal
fluency, d Wechsler memory Scale-3rd Edition (WMS-III) logical memory (delayed free recall), e brief visuospatial memory test (delayed free
recall), and f Wechsler adult intelligence scale-4th Edition (WAIS-IV) block design
P Dagum
2
1234567890():,;
• 스마트폰 사용 패턴과 인지 능력의 상관 관계

• 파란색: 표준 인지 능력 테스트 결과

• 붉은색: 마인드 스트롱의 스마트폰 사용 패턴

•의료 데이터의 범위 확장

• 스마트폰, 트위터, 인스타그램의 ‘패턴’ 으로 건강 상태를 알 수 있다면

• 인스타그램 필터, 트위터 시간, 페이스북 좋아요 빈도: 의료 데이터인가?

•프라이버시 침해 가능성

• SNS 등 “사용자가 공개한” 데이터를 바탕으로 건강상태의 판단이 기술적으로 가능

• 이를 어디까지 허용/금지해야 할 것인가?
잠재적 법적 이슈: 디지털 표현형

Step1. 데이터의 측정
•스마트폰

•웨어러블 디바이스

•개인 유전 정보 분석

•디지털 표현형
환자 유래의 의료 데이터 (PGHD)

Epic MyChart Epic EHR
Dexcom CGM
Patients/User
Devices
EH Hospit
Whitings
+
Apple Watch
Apps
HealthKit

Hospital B
Hospital C
Hospital A

Hospital A Hospital B
Hospital C
interoperability

•2018년 1월에 출시 당시, 존스홉킨스, UC샌디에고 등 12개의 병원에 연동

•(2019년 2월 현재) 1년 만에 200개 이상의 병원에 연동

•VA와도 연동된다고 밝힘 (with 9 million veterans)

•2008년 구글 헬스는 3년 동안 12개 병원에 연동에 그쳤음

How to Analyze and Interpret the Big Data?

and/or
Two ways to get insights from the big data

원격의료
• 명시적으로 ‘금지’된 곳은 한국 밖에 없는 듯

• 해외에서는 새로운 서비스의 상당수가 원격의료 기능 포함

• 글로벌 100대 헬스케어 서비스 중 39개가 원격의료 포함

• 다른 모델과 결합하여 갈수록 새로운 모델이 만들어지는 중

• 스마트폰, 웨어러블, IoT, 인공지능, 챗봇 등과 결합

• 10년 뒤 한국 의료에서는?

원격 의료
원격 진료
원격 환자 모니터링
화상 진료
전화 진료
2차 소견
용어 정리
데이터 판독
원격 수술

•원격 진료: 화상 진료

•원격 진료: 2차 소견

•원격 진료: 애플리케이션

•원격 환자 모니터링
원격 의료에도 종류가 많다.

Average Time to Appointment (Familiy Medicine)
Boston
LA
Portland
Miami
Atlanta
Denver
Detroit
New York
Seattle
Houston
Philadelphia
Washington DC
San Diego
Dallas
Minneapolis
Total
0 30 60 90 120
20.3
10
8
24
30
9
17
8
24
14
14
9
7
8
59
63
19.5
10
5
7
14
21
19
23
26
16
16
24
12
13
20
66
29.3 days
8 days
12 days
13 days
17 days
17 days
21 days
26 days
26 days
27 days
27 days
27 days
28 days
39 days
42 days
109 days
2017
2014
2009

0
125
250
375
500
2013 2014 2015 2016 2017 2018
417.9
233.3
123
77.4
44
20
0
550
1100
1650
2200
2013 2014 2015 2016 2017 2018
2,036
1,461
952
575
299
127
0
6
12
18
24
2013 2014 2015 2016 2017 2018
22.8
19.6
17.5
11.5
8.1
6.2
Revenue ($m) Visits (k) Members (m)
Growth of Teladoc

CellScope’s iPhone-enabled otoscope
한국에서는 불법

•원격 진료: 화상 진료
•원격 진료: 2차 소견
•원격 진료: 애플리케이션
•원격 환자 모니터링
원격 의료에도 종류가 많다.

Epic MyChart Epic EHR
Dexcom CGM
Patients/User
Devices
EHR Hospital
Whitings
+
Apple Watch
Apps
HealthKit

transfer from Share2 to HealthKit as mandated by Dexcom receiver
Food and Drug Administration device classification. Once the glucose
values reach HealthKit, they are passively shared with the Epic
MyChart app (https://www.epic.com/software-phr.php). The MyChart
patient portal is a component of the Epic EHR and uses the same data-
base, and the CGM values populate a standard glucose flowsheet in
the patient’s chart. This connection is initially established when a pro-
vider places an order in a patient’s electronic chart, resulting in a re-
quest to the patient within the MyChart app. Once the patient or
patient proxy (parent) accepts this connection request on the mobile
device, a communication bridge is established between HealthKit and
MyChart enabling population of CGM data as frequently as every 5
Participation required confirmation of Bluetooth pairing of the CGM re-
ceiver to a mobile device, updating the mobile device with the most recent
version of the operating system, Dexcom Share2 app, Epic MyChart app,
and confirming or establishing a username and password for all accounts,
including a parent’s/adolescent’s Epic MyChart account. Setup time aver-
aged 45–60 minutes in addition to the scheduled clinic visit. During this
time, there was specific verbal and written notification to the patients/par-
ents that the diabetes healthcare team would not be actively monitoring
or have real-time access to CGM data, which was out of scope for this pi-
lot. The patients/parents were advised that they should continue to contact
the diabetes care team by established means for any urgent questions/
concerns. Additionally, patients/parents were advised to maintain updates
Figure 1: Overview of the CGM data communication bridge architecture.
BRIEFCOMMUNICATION
Kumar R B, et al. J Am Med Inform Assoc 2016;0:1–6. doi:10.1093/jamia/ocv206, Brief Communication
byguestonApril7,2016http://jamia.oxfordjournals.org/Downloadedfrom
• Apple HealthKit, Dexcom CGM기기를 통해 지속적으로 혈당을 모니터링한 데이터를 EHR과 통합
• 당뇨환자의 혈당관리를 향상시켰다는 연구결과
• Stanford Children’s Health와 Stanford 의대에서 10명 type 1 당뇨 소아환자 대상으로 수행 (288 readings /day)
• EHR 기반 데이터분석과 시각화는 데이터 리뷰 및 환자커뮤니케이션을 향상
• 환자가 내원하여 진료하는 기존 방식에 비해 실시간 혈당변화에 환자가 대응
JAMIA 2016
Remote Patients Monitoring
via Dexcom-HealthKit-Epic-Stanford

의료계 일각에서는 원격 환자 모니터링의 합법화를 요구하기도

•원격의료의 세부 구분

• 다양한 모델이 존재

• 원격 환자 모니터링은 의료계에서도 요구

•기술적 문제라기 보다, 제도적/이해관계/신뢰의 문제

• 붕괴된 한국의 의료 전달 체계: 대형 병원 환자 쏠림 강화

• 정부 - 의료계 신뢰 문제

•필요 없다/사업성 없다 = 규제해야 한다?

•의약품 배송

• 아마존의 PillPack 인수

•허용 이후의 질 관리 이슈

• 미국에도 QC가 잘 되지 않고 있다는 연구 결과 다수
잠재적 법적 이슈(?): 원격의료

No choice but to bring AI into the medicine

Martin Duggan,“IBM Watson Health - Integrated Care & the Evolution to Cognitive Computing”

•복잡한 의료 데이터의 분석 및 insight 도출

•영상 의료/병리 데이터의 분석/판독

•연속 데이터의 모니터링 및 예방/예측
의료 인공지능의 세 유형

Jeopardy!
2011년 인간 챔피언 두 명 과 퀴즈 대결을 벌여서 압도적인 우승을 차지

메이요 클리닉 협력

(임상 시험 매칭)
전남대병원

도입
인도 마니팔 병원

WFO 도입
식약처 인공지능

가이드라인 초안
메드트로닉과

혈당관리 앱 시연
2011 2012 2013 2014 2015
뉴욕 MSK암센터 협력

(폐암)
MD앤더슨 협력

(백혈병)
MD앤더슨

파일럿 결과 발표

@ASCO
왓슨 펀드,

웰톡에 투자
뉴욕게놈센터 협력

(교모세포종 분석)
GeneMD,

왓슨 모바일 디벨로퍼

챌린지 우승
클리블랜드 클리닉 협력

(암 유전체 분석)
한국 IBM

왓슨 사업부 신설
Watson Health 출범
피텔, 익스플로리스 인수

J&J, 애플, 메드트로닉 협력
에픽 시스템즈, 메이요클리닉

제휴 (EHR 분석)
동경대 도입

( WFO)
왓슨 펀드,

모더나이징 메디슨

투자
학계/의료계
산업계
패쓰웨이 지노믹스 OME

클로즈드 알파 서비스 시작
트루븐 헬스

인수
애플 리서치 키트

통한 수면 연구 시작
2017
가천대

길병원

도입
메드트로닉

Sugar.IQ 출시
제약사

테바와 제휴
태국 범룽랏 국제 병원,

WFO 도입
머지

헬스케어

인수
2016
언더 아머 제휴
브로드 연구소 협력 발표
(유전체 분석-항암제 내
성)
마니팔 병원의  
WFO 정확성 발표
대구가톨릭병원

대구동산병원  
도입
부산대병원

도입
왓슨 펀드,

패쓰웨이 지노믹스

투자
제퍼디! 우승
조선대병원

도입
한국 왓슨

컨소시움 출범
쥬피터  
메디컬  
센터

도입

가이드라인
메이요 클리닉

임상시험매칭

결과발표
2018
건양대병원

도입
IBM Watson Health Chronicle
WFO

최초 논문

메이요 클리닉 협력

(임상 시험 매칭)
전남대병원

도입
인도 마니팔 병원

WFO 도입

가이드라인 초안
메드트로닉과

혈당관리 앱 시연
2011 2012 2013 2014 2015
뉴욕 MSK암센터 협력

(폐암)
MD앤더슨 협력

(백혈병)
MD앤더슨

파일럿 결과 발표

@ASCO
왓슨 펀드,

웰톡에 투자
뉴욕게놈센터 협력

(교모세포종 분석)
GeneMD,

왓슨 모바일 디벨로퍼

챌린지 우승
클리블랜드 클리닉 협력

(암 유전체 분석)
한국 IBM

왓슨 사업부 신설
Watson Health 출범
피텔, 익스플로리스 인수

J&J, 애플, 메드트로닉 협력
에픽 시스템즈, 메이요클리닉

제휴 (EHR 분석)
동경대 도입

( WFO)
왓슨 펀드,

모더나이징 메디슨

투자
학계/의료계
산업계
패쓰웨이 지노믹스 OME

클로즈드 알파 서비스 시작
트루븐 헬스

인수
애플 리서치 키트

통한 수면 연구 시작
2017
가천대

길병원

도입
메드트로닉

Sugar.IQ 출시
제약사

테바와 제휴
태국 범룽랏 국제 병원,

WFO 도입
머지

헬스케어

인수
2016
언더 아머 제휴
브로드 연구소 협력 발표
(유전체 분석-항암제 내
성)
마니팔 병원의  
WFO 정확성 발표
부산대병원

도입
왓슨 펀드,

패쓰웨이 지노믹스

투자
제퍼디! 우승
조선대병원

도입
한국 왓슨

컨소시움 출범
쥬피터  
메디컬  
센터

도입

가이드라인
메이요 클리닉

임상시험매칭

결과발표
2018
건양대병원

도입
IBM Watson Health Chronicle
WFO

최초 논문
대구가톨릭병원

대구동산병원  
도입

Annals of Oncology (2016) 27 (suppl_9): ix179-ix180. 10.1093/annonc/mdw601
Validation study to assess performance of IBM cognitive
computing system Watson for oncology with Manipal
multidisciplinary tumour board for 1000 consecutive cases:  
An Indian experience
•인도 마니팔 병원의 1,000명의 암환자 에 대해 의사와 WFO의 권고안의 ‘일치율’을 비교

•유방암 638명, 대장암 126명, 직장암 124명, 폐암 112명

•의사-왓슨 일치율

•추천(50%), 고려(28%), 비추천(17%)

•의사의 진료안 중 5%는 왓슨의 권고안으로 제시되지 않음

•일치율이 암의 종류마다 달랐음

•직장암(85%), 폐암(17.8%)

•삼중음성 유방암(67.9%), HER2 음성 유방암 (35%)

잠정적 결론
•왓슨 포 온콜로지와 의사의 일치율:

•암종별로 다르다.

•같은 암종에서도 병기별로 다르다.

•같은 암종에 대해서도 병원별/국가별로 다르다.

•시간이 흐름에 따라 달라질 가능성이 있다.

원칙이 필요하다
•어떤 환자의 경우, 왓슨에게 의견을 물을 것인가?

•왓슨을 (암종별로) 얼마나 신뢰할 것인가?

•왓슨의 의견을 환자에게 공개할 것인가?

•왓슨과 의료진의 판단이 다른 경우 어떻게 할 것인가?

•왓슨에게 보험 급여를 매길 수 있는가?
이러한 기준에 따라 의료의 질/치료효과가 달라질 수 있으나,

현재 개별 병원이 개별적인 기준으로 활용하게 됨

ARTICLE OPEN
Scalable and accurate deep learning with electronic health
records
Alvin Rajkomar 1,2
, Eyal Oren1
, Kai Chen1
, Andrew M. Dai1
, Nissan Hajaj1
, Michaela Hardt1
, Peter J. Liu1
, Xiaobing Liu1
, Jake Marcus1
,
Mimi Sun1
, Patrik Sundberg1
, Hector Yee1
, Kun Zhang1
, Yi Zhang1
, Gerardo Flores1
, Gavin E. Duggan1
, Jamie Irvine1
, Quoc Le1
,
Kurt Litsch1
, Alexander Mossin1
, Justin Tansuwan1
, De Wang1
, James Wexler1
, Jimbo Wilson1
, Dana Ludwig2
, Samuel L. Volchenboum3
,
Katherine Chou1
, Michael Pearson1
, Srinivasan Madabushi1
, Nigam H. Shah4
, Atul J. Butte2
, Michael D. Howell1
, Claire Cui1
,
Greg S. Corrado1
and Jeffrey Dean1
Predictive modeling with electronic health record (EHR) data is anticipated to drive personalized medicine and improve healthcare
quality. Constructing predictive statistical models typically requires extraction of curated predictor variables from normalized EHR
data, a labor-intensive process that discards the vast majority of information in each patient’s record. We propose a representation
of patients’ entire raw EHR records based on the Fast Healthcare Interoperability Resources (FHIR) format. We demonstrate that
deep learning methods using this representation are capable of accurately predicting multiple medical events from multiple
centers without site-specific data harmonization. We validated our approach using de-identified EHR data from two US academic
medical centers with 216,221 adult patients hospitalized for at least 24 h. In the sequential format we propose, this volume of EHR
data unrolled into a total of 46,864,534,945 data points, including clinical notes. Deep learning models achieved high accuracy for
tasks such as predicting: in-hospital mortality (area under the receiver operator curve [AUROC] across sites 0.93–0.94), 30-day
unplanned readmission (AUROC 0.75–0.76), prolonged length of stay (AUROC 0.85–0.86), and all of a patient’s final discharge
diagnoses (frequency-weighted AUROC 0.90). These models outperformed traditional, clinically-used predictive models in all cases.
We believe that this approach can be used to create accurate and scalable predictions for a variety of clinical scenarios. In a case
study of a particular prediction, we demonstrate that neural networks can be used to identify relevant information from the
patient’s chart.
INTRODUCTION
The promise of digital medicine stems in part from the hope that,
by digitizing health data, we might more easily leverage computer
information systems to understand and improve care. In fact,
routinely collected patient healthcare data are now approaching
the genomic scale in volume and complexity.1
Unfortunately,
most of this information is not yet used in the sorts of predictive
statistical models clinicians might use to improve care delivery. It
is widely suspected that use of such efforts, if successful, could
provide major benefits not only for patient safety and quality but
also in reducing healthcare costs.2–6
In spite of the richness and potential of available data, scaling
the development of predictive models is difficult because, for
traditional predictive modeling techniques, each outcome to be
predicted requires the creation of a custom dataset with specific
variables.7
It is widely held that 80% of the effort in an analytic
model is preprocessing, merging, customizing, and cleaning
datasets,8,9
not analyzing them for insights. This profoundly limits
the scalability of predictive models.
Another challenge is that the number of potential predictor
variables in the electronic health record (EHR) may easily number
in the thousands, particularly if free-text notes from doctors,
nurses, and other providers are included. Traditional modeling
approaches have dealt with this complexity simply by choosing a
very limited number of commonly collected variables to consider.7
This is problematic because the resulting models may produce
imprecise predictions: false-positive predictions can overwhelm
physicians, nurses, and other providers with false alarms and
concomitant alert fatigue,10
which the Joint Commission identified
as a national patient safety priority in 2014.11
False-negative
predictions can miss significant numbers of clinically important
events, leading to poor clinical outcomes.11,12
Incorporating the
entire EHR, including clinicians’ free-text notes, offers some hope
of overcoming these shortcomings but is unwieldy for most
predictive modeling techniques.
Recent developments in deep learning and artificial neural
networks may allow us to address many of these challenges and
unlock the information in the EHR. Deep learning emerged as the
preferred machine learning approach in machine perception
problems ranging from computer vision to speech recognition,
but has more recently proven useful in natural language
processing, sequence prediction, and mixed modality data
settings.13–17
These systems are known for their ability to handle
large volumes of relatively messy data, including errors in labels
Received: 26 January 2018 Revised: 14 March 2018 Accepted: 26 March 2018
1
Google Inc, Mountain View, CA, USA; 2
University of California, San Francisco, San Francisco, CA, USA; 3
University of Chicago Medicine, Chicago, IL, USA and 4
Stanford University,
Stanford, CA, USA
Correspondence: Alvin Rajkomar (alvinrajkomar@google.com)
These authors contributed equally: Alvin Rajkomar, Eyal Oren
•2018년 1월 구글이 전자의무기록(EMR)을 분석하여, 환자 치료 결과를 예측하는 인공지능 발표

•환자가 입원 중에 사망할 것인지

•장기간 입원할 것인지

•퇴원 후에 30일 내에 재입원할 것인지

•퇴원 시의 진단명 
•이번 연구의 특징: 확장성

•과거 다른 연구와 달리 EMR의 일부 데이터를 pre-processing 하지 않고,

•전체 EMR 를 통채로 모두 분석하였음: UCSF, UCM (시카고 대학병원)

•특히, 비정형 데이터인 의사의 진료 노트도 분석
Nat Digi Med 2018

Nat Digi Med 2018
clinically-used predictive models. Because we were inte
understanding whether deep learning could scale to
valid predictions across divergent healthcare domains, w
single data structure to make predictions for an importan
outcome (death), a standard measure of quality of ca
missions), a measure of resource utilization (length of sta
measure of understanding of a patient’s problems (diagn
Second, using the entirety of a patient’s chart fo
prediction does more than promote scalability, it expos
data with which to make an accurate prediction. For pr
made at discharge, our deep learning models consider
than 46 billion pieces of EHR data and achieved more
predictions, earlier in the hospital stay, than did tr
models.
To the best of our knowledge, our models outperform
EHR models in the medical literature for predicting
(0.92–0.94 vs 0.91),42
unexpected readmission (0.75–
0.69),43
and increased length of stay (0.85–0.86 vs 0.77).
comparisons to other studies are difficult45
because of
underlying study designs,23,46–57
incomplete definitions o
and outcomes,58,59
restrictions on disease-specific cohort
use of data unavailable in real-time.63,65,66
Theref
implemented baselines based on the HOSPITAL score,67
score, and Liu’s model44
on our data, and demonstrat
better performance. We are not aware of a study that pr
many ICD codes as this study, but our micro-F1 score exce
shown on the smaller MIMIC-III dataset when predictin
diagnoses (0.40 vs 0.28).68
The clinical impact of this impr
is suggested, for example, by the improvement of numbe
to evaluate for inpatient mortality: the deep learning mod
fire half the number of alerts of a traditional predictive
resulting in many fewer false positives.
However, the novelty of the approach does not lie s
token is considered as a potential predictor by the deep learning model. The line within the boxplot represents the median,
represents the interquartile range (IQR), and the whiskers are 1.5 times the IQR. The number of tokens increased steadily from adm
discharge. At discharge, the median number of tokens for Hospital A was 86,477 and for Hospital B was 122,961
Table 2. Prediction accuracy of each task made at different time
points
Hospital A Hospital B
Inpatient mortality, AUROCa
(95% CI)
24 h before admission 0.87 (0.85–0.89) 0.81 (0.79–0.83)
At admission 0.90 (0.88–0.92) 0.90 (0.86–0.91)
24 h after admission 0.95 (0.94–0.96) 0.93 (0.92–0.94)
Baseline (aEWSb
) at 24 h after
admission
0.85 (0.81–0.89) 0.86 (0.83–0.88)
30-day readmission, AUROC (95% CI)
At admission 0.73 (0.71–0.74) 0.72 (0.71–0.73)
At 24 h after admission 0.74 (0.72–0.75) 0.73 (0.72–0.74)
At discharge 0.77 (0.75–0.78) 0.76 (0.75–0.77)
Baseline (mHOSPITALc
) at
discharge
0.70 (0.68–0.72) 0.68 (0.67–0.69)
Length of stay at least 7 days, AUROC (95% CI)
At admission 0.81 (0.80–0.82) 0.80 (0.80–0.81)
At 24 h after admission 0.86 (0.86–0.87) 0.85 (0.85–0.86)
Baseline (Liud
) at 24 h after
admission
0.76 (0.75–0.77) 0.74 (0.73–0.75)
Discharge diagnoses (weighted AUROC)
At admission 0.87 0.86
At 24 h after admission 0.89 0.88
At discharge 0.90 0.90
a
Area under the receiver operator curve
b
Augmented Early Warning System score
c
Modified HOSPITAL score for readmission
d
Modified Liu score for long length of stay
•2018년 1월 구글이 전자의무기록(EMR)을 분석하여, 환자 치료 결과를 예측하는 인공지능 발표

•환자가 입원 중에 사망할 것인지

•장기간 입원할 것인지

•퇴원 후에 30일 내에 재입원할 것인지

•퇴원 시의 진단명 
•이번 연구의 특징: 확장성

•과거 다른 연구와 달리 EMR의 일부 데이터를 pre-processing 하지 않고,

•전체 EMR 를 통채로 모두 분석하였음: UCSF, UCM (시카고 대학병원)

•특히, 비정형 데이터인 의사의 진료 노트도 분석

•손 엑스레이 영상을 판독하여 환자의 골연령 (뼈 나이)를 계산해주는 인공지능

• 기존에 의사는 그룰리히-파일(Greulich-Pyle)법 등으로 표준 사진과 엑스레이를 비교하여 판독

• 인공지능은 참조표준영상에서 성별/나이별 패턴을 찾아서 유사성을 확률로 표시 + 표준 영상 검색

•의사가 성조숙증이나 저성장을 진단하는데 도움을 줄 수 있음

디지털 헬스케어, 그리고 예상되는 법적 이슈들

디지털 헬스케어, 그리고 예상되는 법적 이슈들

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 디지털 헬스케어, 그리고 예상되는 법적 이슈들

Ähnlich wie 디지털 헬스케어, 그리고 예상되는 법적 이슈들 (20)

Mehr von Yoon Sup Choi

Mehr von Yoon Sup Choi (14)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

디지털 헬스케어, 그리고 예상되는 법적 이슈들