분당서울대병원과 진행하는 프로젝트 웨어러블 데이터를 이용해 의료진이 활동 처방, Data 처방하는 프로젝트

1. Data Prescription:
웨어러블을 이용한 생활습관 처방
서울대학교
융합대학원
유우엑스랩
이중식교수

2. PC > Post PC > IoE
환경에
물건에
몸에{ 1 to man
n to man
n to n{
컴퓨팅 환경은, PC에서 스마트폰을, 이제는 IoT로 너머가고 있음
IoT운영을 위해 예전에는 개별 디바이스에 사람이 로직을 넣어주었으나,
지금은 기계가 시행착오를 통해 관계를 재설정해야한다는게 차아.
따라서, n2n환경에선 A.I가 필요
그리고… n2n환경에선 사람도 ‘충실한 thing’이 되어야 한다.
Paradigm Shift: Thing으로의 Turn
< IBM IoT and Coginitive Computing >

3. Data Prescription:
라이프스타일 개선을 돕는 건강스스로 지키미: 사용자 경
험 기반의 건강상태 정보상태 기술개발과 행동 변화 디자
인 및 실증연구
보건복지부 + 서울대학교 융합대학원 + 분당서울대병원
Case

4. Background: Plethora of 1st Gen. Wearables
2014년,
각종 웨어러블, IoT기기들이 출시되고 Apple Health 플랫폼도 출시
이를 통해 주요 생활습관 추적이 가능하다고 판단,
병원 데이터(lab data)와 생활습관 데이터(lifestyle data)의 통합 시도

5. make IoT Service
Acquire Aggregate Analysis Assign Action
time
series
event
series
visualization
shape-let pattern
utter
ance
word mining
서비스화를 위해선, 데이터의 추출에서 재적용까지의 순환이 필요함
5A 단계가 필요하고, 기술적 난점 못지 않게 사용경험 난점이 존재함
data
prescription
behavior
change

6. Background
+
food logs, steps,
sleeping time, etc…
clinincal context
IoT Hospital
1. IoT Service의 full cycle을 돌릴 수 있는가?
2. 의료적 활용이 가능한가?
Acquire -> Aggregation -> Analysis -> Assign -> Action
데이터 스트림과
사용자 인터액션
은?
데이터를 모으고
분석하는데 기술
적 제약은?
웨어러블을 지
속 사용하는데
장애 또는 트리
거는?
의료진 프레젠스를 만
드는 방법은?
의료적 피드백 방식은
?
생활 데이터에
대한 적절한 의
료진의
멘탈 모델은?
UX questions

7. Clinic engaged Wearble Service: jkme(지키미)

8. 1. Acquire
2. Aggregation
3. Analysis
4. Assign
5. Action

9. Acquire: 이종의 5가지 데이터를 수집
Unobtrusive
tracking?
Medically Import
ant?
식이(Diet) ✕ ◎ develop an app
활동(Activity) ◎ ○ Misfit/Fitbit
수면(Sleep) ◎ △ Misfit/Fitbit
음주(Alcohol) ✕ ○ develop an app
흡연(Smoking) △ ◎ develop an H/W
체중 (Weight) ○ ◎ Withings
의료진으로부터 만성환자 치료와 관련된 생활데이터를 선정 받음.
활동, 수면은 기존의 디바이스로 data acquisition 가능
식이, 음주, 흡연 데이터 수집에 있어서는 새로운 고민이 필요했음

10. Acquire: 식이 데이터 (diet tracking)
Noom Diet
tracker
식이기록은 현재 자가기록이 보편적임.
시간, 양, 성분 등을 기록하며
자유 입력, 사진 입력, 메뉴 입력 방식이 존재함

11. Acquire: 식이 데이터 (diet tracking)
Healbe GoBe: Glucose Tracker
자동기록
토스트
바나나
메밀국수
한식+막걸리 야식
총 열량의 삼각형
클루코스:
섭취 열량
축센서
소비 열량
비침투(피부) 혈류 임피던스 변화 측정을 통해 클루코스로 추정하는
자동기록의 디바이스가 출시되었으나 사용성이 떨어짐

12. Acquire: 식이 데이터 (diet tracking)
ease to
access
completenes
s
of data
button typing
time what amount
menu
자가기록이 딜레마
식이는 여느 라이프데이터 중 기본이 되며, 자동화가 어렵기에
UX가 도전해 볼만한 챌린지. 일반인들은 다이어트 등 캐주얼한 목적으
로 식이기록을 하지만, 병이 짙은 사람(의료적 목적이 강한)이 편리하게
사용할 수 있는 식이 기록 장치의 개발은 아주 중요함

13. Acquire: 식이 데이터 (diet tracking)
버튼앱 제작
접근성을 위한 버튼 중심 기록 앱 제작 (위젯 지원)
기록된 데이터를 요약하여 간략한 정보만을 제공

14. Acquire: 흡연 데이터 (smoking tracker)
LED
SW
Battery
Smart
Bluetooth
Module
Heat
Sensor
흡연 기록을 자동화 하기 위해 ‘강제통과지점’인 라이터 점화를 측정하
기로 함. 센서 회사와 협업하여 프로토타입 제작

15. Acquire: 운동 데이터 (Elastic Band Stretching Counter)
Battery
Magnet
Sensor
Smart Module
유산소 운동 카운터와 달리, 근력운동 카운터가 부재하여,
홀센서(자력)을 이용하여 카운터 제작

16. Acquire: 운동 데이터 (Elastic Band Stretching Counter)
실증용 제품은, 6축센서 사용 Shape-let 패턴 러닝으로,
운동 횟수와 운동 종류의 구분이 가능함

17. 1. Acquire
2. Aggregation
3. Analysis
4. Assign
5. Action

18. Aggregation
실험은 2015년 4월,
3번의 의료진 면담(초기, 중간, 종료)로 구성했으며,
환자들은 웨어러블/스마트폰으로 7종의 데이터를 축적함
중간 면담 후, 행동 변화를 추적함

19. Aggregation
input 수집 데이터 entry
활동 misfit/fitbit [d/w] 걸음수, 활동시간 1,025 일.인
수면 misfit/fitbit [d/w] 취침시간, 깊은 수면시간, 기상시간 954 일.인
식사 jkme app [d/w] 언제, 얼마나(조금/정량/많이)
5,500개 (button 2326,
free-text 2877)
흡연 jkme app [d/w] 흡연시간/횟수(개피) var.
음주 jkme app [d/w] 음주시간/횟수(량) var.
context
Moves [d/w] 거리, POI, 이동패턴 6weeks
App usage
tracker
[d/w] 앱 사용 로그 6weeks
약 1,000일.인 데이터 수집 (피실험자 22명, 총 8주)

20. Aggregation
평균 53.3일
전체 수집률: 86.8%
활동 수집률: 90.0%
수면 수집률: 82.2%
식이 수집률: 88.0%

21. Aggregation
높은 이행도에서도 특징적인 점은,
자가기록의 이행도도 높다는 점이고, 수면 기록이 쉽게 하락한다는 점이
다.

22. 1. Acquire
2. Aggregation
3. Analysis
4. Assign
5. Action

23. Analysis
의료진의 멘탙모델 조사를 통해,
생활데이터를 보고 싶은 방식을 구성함
의사들은 현재 ‘raw data’보기를 원함.
하지만 shape-let패턴 매칭에 의한 ‘판단 지원 decision support’에도 호의
적임

24. Analysis
수면 분석에선,
수면 전 최종 식사 시간을 중첩해서 보기 원함
뷰의 능동적 조작성이 멘탈모델임

25. Analysis
근력 운동 기록에선,
‘총량’과 ‘세부’,
운동 시간 등을 보는 다이나믹한 뷰가 멘탈 모델임

26. Analysis
유방암 환자 재활의 경우,
‘부종 이벤트’ 중심으로 모든 데이터를 보기 바람.
데이터의 ‘일람성’과 ‘세부성’을 모두 조망하기 바람

27. 1. Acquire
2. Aggregation
3. Analysis
4. Assign
5. Action

28. Analysis : Clinician Checkup
활동 수면 식이 음주 흡연
show
explain
plan
데이터 진료 특징 및 성향
평균진료시간
진료환자 ‣ 비만클리닉 환자
‣ 1차: 7분 59초 ‣ 2차: 7분 39초
생활습관 데이터 활
용
*진료시 데이터 활용 정도
100%0%
• 5가지 데이터 항목을 전반적으로 언급
• 환자의 생각을 물어보며 적극적으로 커뮤니케이션 시도
• 데이터를 복합적으로 활용 (eg. 수면 x 식이)
• 활동량 최고/최저인 날의 일정을 물어보고 라이프스타일 파
• 구체적으로 운동을 처방 (eg. 레그레이즈 + 크런치)
• 환자의 BMI, 식사 시간에 따라 섭취해야 할 영양군 설명M
A
A
• 활동 관
련
A
• 식이 관련M
• 수면 관련S

29. Analysis : Clinician Checkup (가정의학과 전문의)
활동 수면 식이 흡연 / 음주 기타
Show
"큰 변화는 별로 없고요.
운동량이 조금…. 1km까
지는 안 되시구요."
"이게 이제 수면인데요,
평균적인 수면시간을 보
여주는데 여기서 크게 어
긋나지 않으세요."
"그다음에 드시는 종류도
뭐, 토스트 위주로 드실때
가 많으시네요 아침은, 저
녁때는 주로 밥을 드시는
편이시고"
"흡연은 안하시고, 음주는
1회정도 되시고."
Explain
"일단은 전보다는 걸음수
가 많아지셨네요. 보 수가
." (P13)
"근데 잠이 조금 그 주무
시는 시간이 불규칙하세
요. ...이게 조금 영향을 줄
수 있는데, 식사하시는 시
간대에 좀 영향을 미쳐요
."(P13)
"지금 시간대가...전반적
으로 저녁은 좀 뒤에 밀려
있고요."
"예 아무래도 좀, 음주량
이 느신 것 같기는 해요.
음… 피곤하거나 그러진
않으세요?”
Plan
"레그레이즈라고 해서, 상
복부랑 좀 같이 하시는게
좋거든요? 크런치 하고
레그레이즈 같이 하시면
좋을 것 같아요."
X
"근육을 유지하려면 탄수
화물도 좀 같이 섭취해야
하니까. 너무 많이 제한하
진 마시고. 저녁때만."
"절주하셔야되요 사실. 음
주량을 줄여나가셔야 됩
니다."
Patient's
Reaction
"노력은 하는데 뭘 그런
인제 선생님 말씀하시는
게 바람직한거 그런거잖
아요. 그래서 그렇게 하려
고 하는데 아무래도 좀 힘
드네."
X
"선생님이 그런 말씀 하셔
가지고 지키려고 하고 있
어요. 다른 건 잘 안지키
는데. 일주일에 반 정도는
샐러드 먹는 것 같은데 요
즘."
X
“교수님을 제가 몇 년 간
보고 있거든요. 건강 검진
을 하면, 결과를 봐주시고
. 그래서 좀 더 잘 해 주셨
는지도 모르겠는데…”
P29
P13
P29
P29
P13
P13
P13
P29
P13P13 P29
P29
P29
P29

30. Findings

31. Findings
Presence of Clinician
Feedback Craving
Journaling! 정규화, 정교화
Quantified Self, Awareness
Dialog Changed
생활데이터 처방은… 비의료적 효과의 가능성
웨어러블 사
용에 5 타입
이 있다
건강 염려증
이
컴플라이언
스를 높인다
멀티 레이어,
읽고, 해석하
고 주문한다.
프레젠스가
컴플라이언
스를 높인다
전반적인
만족도는 증
가했다
식이가 중요
한데, 모으기
어렵다. 킬러
디바이스가
없다

32. jkme revised

33. • 이종의 데이터에 대한 병렬적 관리
• 의료진 프레젠스
• 접근성 좋은 버튼 앱
• 머신러닝에 의한 피드백 제공
jkme 2nd year

34. EMR 2nd year
전체를 조망한다.
타임시리즈가 네비게이션 역할을 한다.
요약 - 항목 요약 - 항목 상세 - 처방 의 순으로 eye movement

35. Data Prescription: 헬순이

36. 검진
장
비우
기
결과
상담
검진
장
비우
기
결과
상담
바짝
운동
신념
설문
검진당일 D+10 D+50D -1D -14
생활
미션
변화
상담
검진
1.0
검진
wired
Survey Guide Mission
스스로
의료진
인터액션
App-aid
건강 검진은 ‘one day’ ‘off-line’ 이벤트이다.
하지만, 검진일 전후로 엄청난 정보가 모아지고 뿌려진다는 점에서
검진 경험은 재구성되어야 한다.
건강 검진 경험 re-structured

37. 검진
장
비우
기
결과
상담
바짝
운동
신념
설문
생활
미션
변화
상담
Survey Guide Mission
신념 2 미션 매치관심 건강 영역
건강 신념 설문
중개
념
소개
념
구체 미션 강도
운동
근력 상.중.하
유산
소
상.중.하
식이
양 상.중.하
내용 상.중.하
특이사
항
a
b
c
d
e
질문
a
b
c
d
e
f
신념 type
p
q
r
s
-7 -6 -5 -4 -3 -2 -1
week 2 근력 유산소
식이.
양
식이.내
용
근력2 유산소2 쉬기
week 1
식이.양
2
식이.내용
2
근력 3 유산소 3 식이 3 식이 3 쉬기
바짝 운동 스케줄
수가ed
추가 검사와 상담
인터액션/데이터를 만드는 로직 엔진 개발헬순이 로직 엔진

38. 안녕하세요.
:-)
저는 분당 서울대학교 병원 건강도
우미
“헬순이”입니다!
앞으로 저는 000님의 건강한 매
일을
위해서 노력할거에요.
저를 믿고 따라와 주실
거죠?
당연하지! 잘 부탁해
.
이게 뭐야
?
헬순
이
오전 10:00
오전 10:02
오전
10:01
기계수다
헬순이 인터페이스
데이터 속서이 시간 지배적 event stream
메신저 앱 형태로 제작
미션 입
력
오늘 먹은 가공 식품의 당 함유량을 찍은
사진을 보내주세요.
미션에 대해 코치에게 하고 싶은 말이 있나
요?
오늘은 젤리만 두 종류를 먹었습니다.
하리보 작은 것 한 봉지와 코스트코 젤
리 2알을 먹었습니다. 내일부터는 더
줄여보겠습니다.
취소
보내
기
미션 입력

39. 감사합니다.