1.
빅데이터의 이해
2013.09
알앤비소프트, 빅데이터 연구소 소장
김수보 (kimsubo@gmail.com)

2.
목차
2 | 00
빅데이터란 무엇인가?
시장이야기

3.
3 | 00
빅데이터란 무엇인가?

4.
Big Traffic
4 | 00
일 10억건 발송
즉, 초당 11,574건 메시지
일 12억 페이지뷰
일 1.3억 건 검색
일 26억 건 검색 (글로벌)

5.
Big Data
5 | 00
행정 DB 공유 건수 10억건

6.
Google Big Data
6 | 00
• Hadoop은 검색소스를 모아두기 위한 용도로 개발되어, Gmail 에 가장 크게 사용되었습니다.
1인당 15GB * 2.7 억명 („12.12)
= 4.05 Exa Bytes = 4,050 Terra Bytes = 4,050,000 Giga Bytes
메일 검색, 분류, 태그

7.
Hadoop
7 | 00
2008. 130년어치
(1,100만 페이지)
pdf 변환
200만원
14년
하둡은
x86서버
기반의
대용량
파일저장
시스템

8.
정의
8 | 00
• 2010년 IBM이 최초 정의, 전 세계 데이터 중 90%가 지난 3년 이내에 생성
Volume
 전수 데이터를 조사할 수 있게 되다.
 데이터가 누적될수록 정확해지다. (도로정체이력)
 데이터를 지우지 않게 되다. (음원)
Velocity
 전수 데이터 처리가 가능해지게 되다.(인구총조사)
 데이터 처리가 빨라지게 되다.(1주일반나절)
Variety
 주어진 분석틀을 벗어난 탐색형 발굴이 가능하다.
 소급분석이 가능해지다.
Disk 1TB=6만원
Memory 1GB=1만원
분산병렬처리
기술 발달
통계분석 외
시각화 도구 활성화
빅데이터의 3요소

9.
필요로 하는 곳
9 | 00
 경찰청 : 범죄자 프로파일 (DNA 정보)
 인구통계: 인구 이동 및 출생,사망 정보
 이통사 : 통화이력 정보
 금융 : 거래 이력 정보
전수 데이터 필수
누적 데이터가 중요
 경찰청 : 범죄 발생이력 정보
 의료정보 : 개인별 진료기록 정보
 국토부 : CCTV 감시 이력정보
 기상청 : 기상 이력 정보
고가의 대용량 수집비용
 지자체 : 실시간 버스 이동 정보 (경기도 1만대)
 내비게이션 회사 : 도로 정체 이력 정보
Data Volume
Data Volume
+ Data Velocity

10.
빅데이터 처리의 4단계
10 | 00
Big Data Solution 은 기본적으로 아래와 같은 4단계로 이루어집니다.
일반적인 CRM의 수집 분석 흐름과 대동소이 합니다.
( Big Data Solution 의 기능 및 처리 흐름과 관리 구조 )
데이터수집(Aggregation)
Reporting
Collecting Store Analysis Visualization
Collecting Store Analysis Reporting
OpenAPI Crawling
Data Collector
Web, Social Network
System log, RDBMS 등
수집 데이터
저장
NoSQL
DBMS
DBMS
Hadoop 등을 이용한
대용량 데이터 저장
Data Query
Data Clustering
Classification
Recommendation
Hive, mahout, R 등을 통한
분산/병렬 데이터 실시간 분석
Chart/Grid
Data Export/API
Monitoring
Chart, API 등을 통한
다양한 View 생성 및 제공
Data Scientist
Management System
Managing
데이터활용(Utilization)
빅데이터 요소기술이 투입됨

11.
얼마나 빨라지나?
11 | 00
CPU Core
수를 높임 
병렬처리
Disk 는
병렬로 일하지
않는다.
Data 전송은
병렬로 일하지
않는다.
추가증설
컨트롤러
CPU, Disk가
병렬로 일한다.
 1대 추가,
약 1.8 배씩 성능
증가

12.
얼마나 저장할 수 있나?
12 | 00
• 페이스북 일 250 Terra Bytes 이상 데이터 처리, 25억개의 컨텐츠 공유
Google Server – Linux, 2 Disk
Google Data Center
- 컨테이너 단위로 증설
저장공간
무제한
증설가능

13.
어떻게 조사할 수 있나?
13 | 00
• 시각화 도구는 패턴을 가장 잘 인지해낼 수 있는 도구 (빅데이터 분석에 효과적)
트렌드 분석 긍부정 분석
Word CloudSocial Graph

14.
성공전략 3요소
14 | 00
Data • 어떤 데이터를 모을 것인가?
• 데이터를 어떻게 저장해둘 것인가?
Data Scientist
• Domain Knowledge +
통계적 지식 +
냉철한 분석능력
Platform
• 대용량 수집, 저장 기술
• 분석 및 가공처리 기술
• Keyword : „도메인 지식‟을 가진 사람이 „플랫폼‟을 이용해서 데이터로부터 „정보를 발
굴‟해내는 활동을 지속적으로 수행함.

15.
데이터 분석가
15 | 00
여행가형
• 무작위로 많은 데이터를 조사함
• 같은 데이터를 두 번 찾지 않음
• 요구사항이 무엇인지 알지 못함
• 메타 데이터를 많이 사용
• 정기적으로 데이터를 모니터링
• 정기적으로 대규모 데이터를 상세히 검토
• 산발적으로 데이터를 사용
• 프로파일링 툴에 의존
• 심화 탐구를 위한 영역을 이따금 조사
농부형
• 정기적으로 데이터 접속
• 무엇을 찾고 있는지 인지하고 있음
• 대규모 데이터에 접속
• 데이터에 예측가능한 접속
• 데이터에 접속한 후 예측 가능한 처리 시행
• 데이터 조회 시작 전에 요구사항을 인지하고 있음
• 정기적으로 데이터 마트에 접속
• 거의 현재 시점의 상세 데이터에 접속하지 않음
• 정기적으로 소규모의 황금조각을 발견
• 프레젠테이션 툴을 사용
탐험가형
• 데이터에 비정기적으로 접속
• 무엇을 찾는지 알지 못함
• 대량의 데이터를 조사
• 예측 불가능한 유형의 접근
• 때때로 큰 금덩어리를 발견
• 종종 아무것도 찾지 못함
• 정기적으로 현재 시점의 상세 데이터에 접근
• 데이터 발생보다 데이터 관계성을 검토
• 탐구와 통계적 분석 툴을 사용
광부형
• 통계학자
• 주장에 대한 가설을 바탕으로 수행
• 가설의 타당성을 입증
• 대량의 데이터로 수행
• 반복적으로 발생하는 독립 데이터로 수행
• 공생방식으로 탐험가와 긴밀히 협업
• 종종 새로운 가설과 주장을 발견
• 아주 큰 쿼리를 제출
• 업무에 특화된 툴을 사용

16.
어려운 점은 무엇인가?
16 | 00
플랫폼 기술이 초기
데이터 사이언티스트의 부족
학문보다 기술 리딩의 한계
• 대부분 Google 의 Hadoop 기반 기술을 사용, Hadoop은 현재 버전 0.2
• Open Source 중심으로 업체 숙련도에 품질 좌우
• CRM 기술 수준 대비 이용 편의성이 낮음
• 빅데이터는 도메인 지식을 가진 전문가의 것
• CRM, DW 와 달리 유의한 데이터 실험이 가능함
• 빅데이터 특성에 맞는 „전문 분석가‟ 별도 양성의 필요가 있음
• 빅데이터 분석 기술에 대한 학문적 연구 부족
• Open Source에는 SAS와 같은 고급 분석 모듈들이 부족함.

17.
17 | 00
시장 이야기

18.
민간시장은 기술적 접근단계
18 | 00
삼성
빅데이터
SKT
빅데이터
kth
빅데이터
NHN
빅데이터
• 검색질의 일 2,000만건
• 문서 일 130억건
• 검색로그 3TB/일
• 2008 ~
엔씨소프트
빅데이터
• 분석로그 일 1TB
• 분석대상 1.6 PB
• MS-SQL  Hadoop 기반
• 2010 ~ 2013 완성
• 푸딩앱 3,000만 다운로드
• 푸딩투 글로벌 200만 Active 유저
• 올레스마트 TV, 기상청 빅데이터
• 2011 ~ 2013
• 오픈빅데이터, 2013.5.13
• ICT 개방 1조2,000억 투자(3년간)
• 2010 ~
• 무선사업부, MSC, VD사업부
• 반도체 사업부 등 글로벌 빅데이터
• Oracle, EMC, IBM 등 솔루션 PoC, ISP 수립
• 2011 ~
정부3.0
• data.go.kr, 공공정보 연계(’12년 10억 Call)
• 12.12 ~ 13.03 빅데이터 BPR/ISP 정책수립
• 13.09 미래부 빅데이터 분석 활용센터 구축
자사 내부서비스
대외 비즈니스용
정부 운영 목적 +
공공 서비스 목적
• 현재는 “빅데이터를 보유한 기업”이 자사 내부서비스 목적으로 오픈소스 기반의 빅데이터 센터 구축함
• 일반기업은 아직 효용성을 고민중이며, 정부가 선도하는 시장이 열리고 있음

19.
U-Health 시장흐름
19 | 00
고령화 사회의 도래와 더불어 세계적으로, 1) 헬스케어 네트워크 구축, 2) 스마트 단말기의 활성화 3)
빅데이터 기술의 발달(DNA 정보 축적) 4) PHR(Personal Health Record)의 확충에 대한 새로운변화
의 흐름이 등장하였습니다.
Wellness Market
Illness Market
Data • 개인 건강이력정보
• 개인 생활이력정보
• 가족기록 정보
Device • 개인 모바일 기기
• 가정용 기기
분석서비스 • Device로부터 획득한 정보,
개인정보를 바탕으로 식이영
양 및 건강운동 정보 제공
처방서비스 • 분석에 따른 영양 불균형 및
건강 불균형에 대해 처방
대상 데이터 서비스 주요 기술
생체정보
모니터링기술
• 생체신호 처리기술
• 의료영상 처리기술
일상생활
모니터링 기술
• 생활센서 처리기술
• 행위정보 분류
• 생활패턴 가시화
U-Health
응용기술
• 임상결정지원기술
• 응용서비스 프로토콜
• 의료정보 보호
• 시험 및 인증
데이터
분석기술
• 빅데이터 기술
• 질병 데이터 분석 기술
• 생활건강정보 분석 기술
Data • 질병정보
• DNA 정보
• 치료이력 정보
• 진료환경 정보
• 임상 실험정보
Device • 질병 진단 기기
진료서비스 • 질병 정보와 PHR을 바탕으
로 효과적이고 개인화된 질병
진단
치료서비스 • PHR의 변화를 기반으로 한
장기적, 단기적 치료서비스
제공
예방서비스 • 데이터에 기반한 질병확률
중심의 예방 서비스 제공
임상실험 • 신약 개발 및 치료제 개발
대상 데이터 서비스
※ 참고 : TTA Journal, 2013.01

20.
사례. 국내. 해외사례
20 | 00
수행기관 프로젝트 명 주요 내용
해외 미국 국립보건원 유전자 데이터 공유를 통한 질
병치료체계 마련
75개기업과 제휴하여, 200TB의 유전자정보 수집,일반에
공개. 유전자 비교분석 서비스 제공, DNA 이상에 따른
질병 사전예측 및 대응
미국 국립보건원 Pillbox 프로젝트를 통한 의료
개혁
약검색 서비스를 통해 지역별 질병통계 분석
이 정보를 기반으로 보건정책 수립 대응
미국 퇴역군인국 미국 퇴역군인 전자의료기록
분석을 통한 맞춤형 의료서비
스 지원
2년간 25개 DW 구축, 전자의료기록(EHR) DB구축
의료서비스에 제공
캐나다 온타리오
공과대 병원
미숙아 모니터링을 통한 감염
예방 및 예측
미숙아 1명이 일9,000만건 데이터 생성
(바이털 사인을 초당 1,000번 수집)
이상징후를 통해 6~24시간 먼저 감염 확인
건강보험회사
웰포인트
슈퍼컴퓨터를 활용한 효율적
환자치료
환자 증상, 면담기록등 모든 내역을 저장, 환자치료 가이
드라인 제시 기능. 2억 페이지 검색을 3초 내 실시
구글 검색어 분석을 통한 독감예보
서비스 제공
검색어 쿼리를 조사하여, 지역별 독감동향을 신속히 감
지함.
국내 한국인체자원은행
네트워크
정보공유로 생명공학 분야 경
쟁력 제고
전국 16개 병원에서 36만명 인체 정보 획득. 특정질환별
로 연구자들에게 무료 제공
DNA Link 유전자 분석시스템으로 맞춤형
건강검진 서비스 제공
4만명 이상 질병관련 분석을 하여 국내 최대 한국인 유
전체 DB 구축
1 TB 이상 DB 구축, 기하급수적으로 늘어나는 DNA 데
이터 저장 분석 가능
연세대학교
의료원
후(HooH) 헬스케어시스템 전자진료기록부, 의료영상 전송 등에 대한 전산시스템을
클라우드 기반으로 이전
빅데이터 인프라를 적용하여 방대한 데이터 축적

21.
국내 주요 데이터 보유현황
21 | 00
기관 자료명 조사주기 조사대상 표본 수
질병관리본부
국민건강영양조사 매년 1회 가구표본
192개 조사구, 약 3,840가구의
만 1세 이상 가구원 약 11,520
명
지역사회건강조사 매년 1회 가구표본 전국 227,700명 해당
청소년건강행태
온라인조사
매년 1회 학교표본
중·고등학생 약 8만명(중학교
400개교, 고등학교 400개교)
퇴원손상심층조사 매년 1회 100병상이상병원표본
국민건강보험공단
건강검진통계 매년 1회 건강검진 대상자
대상자 : 15,249,528명
수검자 : 11,070,569명
(2011년일반건강검진 기준)
건강보험주요수술
통계
매년 1회 건강보험및의료급여가입자 전 수
건강보험통계 매년 1회 건강보험 적용인구 전 수
건강보험환자진료
비실태조사
매년 1회 요양기관표본 850개 요양기관
노인장기요양보험
통계
매년 1회 개인 전 수
지역별의료이용
통계
매년 1회 건강보험 적용인구 전 수
한국보건사회
연구원
전국출산력및
보건복지실태조사
매 3년 가구표본 약 16,380가구
장애인실태조사 매 3년 가구표본
1,000개 조사구 (가구: 41,000
가구, 시설: 736개 전 수)
한국복지패널조사 매년 1회 가구표본 7,072가구
한국의료패널조사 매년 1회 가구표본 약 8,000가구
환자조사 매년 1회 의료기관표본 57,133개 의료기관
영아모성사망조사 매 2년 전 수 전 수
노인실태조사 매 3년
(전국)가구표본
(63세이상노인)
3,086개 조사구 약 15,000명
한국고용정보원
고령화연구패널
조사
매 2년 가구표본 1,000개 조사구
기관 자료명 조사주기 조사대상 표본 수
국민연금공단 국민노후보장패널조사 매 2년
만 50세 이상
중고령자가 있는
가구표본
5,110가구 (8,689명)
통계청
사망원인통계 매년 9월 사망자
사회조사 매년 1회 가구표본
17,664가구의 만 13세
이상 가구원
보건복지부
국민구강건강
실태조사
매 3년 학교표본
초등학교(1학년, 3학년과 5학
년):6,000명
중학교: 6,000명
고등학교: 6,000명
특수학교: 300명
한국
노동연구원
한국노동패널조사 매년 1회 가구표본
1차 표본 : 5000가구
2차 표본 : 1500가구
국립암센터 암등록통계 매년 1회
새롭게 발생한
암환자
국립중앙
의료원
응급의료현황통계 매년 1회
전국응급실이용자
및응급의료자원
전 수
국세청 국세통계 매년 1회 전 수 전 수
※ 출처 : 건강보험심사평가원

22.
22 | 00
감사합니다.