2015년 11월 26일(목) 오전 11:00-12:00 동영상 보기: http://bit.ly/awskr-2015-reinvent-recap-webinar-data-analytics

1. © 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS 신규 데이터 분석 서비스 소개
양승도, 솔루션즈 아키텍트
2015년 11월 26일
11:00 ~ 12:00

2. Agenda
§ 들어가며…
§ Amazon QuickSight
§ Amazon Kinesis Firehose
§ Amazon RDS for MariaDB
§ Amazon Elasticsearch Service

3. 빅데이터를 위해 AWS를 사용중인 수천 고객사

4. 고객으로 부터 시작하여
고객들이 직면한 도전을 지원하기 위해
AWS는 혁신합니다!

5. 데이터베이스를 관리하는 것은 고통스럽고 힘들다
SQL DB 는 확장성이 용이하지 않다
하둡은 배포 및 관리하기가 힘들다
DW는 복잡하고 비싸고 게다가 느리다
상용 DB는 비싸고 가혹하다
스트리밍 데이터는 캡처하고 분석하기 힘들다
ü Amazon RDS
ü Amazon DynamoDB
ü Amazon EMR
ü Amazon Redshift
ü Amazon Aurora
ü Amazon Kinesis
고객으로 부터 시작하여… 혁신합니다!
고객은 AWS 에게…
AWS는 만들었습니다

6. Analyze
Store
Amazon
Glacier
Amazon
S3
Amazon
DynamoDB
Amazon RDS,
Aurora
AWS 빅데이터 포트폴리오 – 새로운 서비스들
AWS Data
Pipeline
Amazon
CloudSearch
Amazon
EMR
Amazon EC2
Amazon
Redshift
Amazon
Machine
Learning
AWS Database
Migration Service
New
Amazon
Kinesis
Firehose
New
AWS Import/
Export
AWS Direct
Connect
Collect
Amazon Kinesis
Amazon
QuickSight
New
Amazon
Elasticsearch
Launched
Amazon
Kinesis
Analytics
New

7. 고객들이 직면한
빅데이터에 대한 도전은 ?

8. 너무나 많은 데이터
Who are my top customers and what are they buying?
Which devices are showing time for maintenance?
What is my product profitability by region?
Why is my most profitable region not growing?
How much inventory do I have?
Has my fraud account expense increased?
How is my marketing campaign performing?
How is my employee satisfaction trending?
너무나 많고 많은 질문들
약간의 통찰력

9. Old-guard BI
너무 많은 비용
Pay $ million before seeing first analysis
3 year TCO $150 to $250 per user per
month
너무 오래 걸림
Spend 6 to 12 months of consulting
and SW implementation time

10. 여러분이 가진 데이터에서
의미있는 값을 얻을 수 있는 자유

11. Analyze
Store
Amazon
Glacier
Amazon
S3
Amazon
DynamoDB
Amazon RDS,
Aurora
AWS 빅데이터 포트폴리오 – 새로운 서비스들
AWS Data
Pipeline
Amazon
CloudSearch
Amazon
EMR
Amazon EC2
Amazon
Redshift
Amazon
Machine
Learning
AWS Database
Migration Service
New
Amazon
Kinesis
Firehose
New
AWS Import/
Export
AWS Direct
Connect
Collect
Amazon Kinesis
Amazon
QuickSight
New
Amazon
Elasticsearch
Launched
Amazon
Kinesis
Analytics
New

12. Introducing
Amazon QuickSight

13. 아주 빠르고, 클라우드로 제공되는
구시대 BI 소프트웨어에 비해 10분의 1 비용으로
제공되는 BI 서비스

14. $9
per user per month
With 1 year commitment

15. Register for preview beginning Oct 7 at aws.amazon.com/quicksight
수분 이내에 첫번째 분석
비지니스 사용자
Sign-in

16. 비지니스
사용자
QuickSight API
Data Prep
Metadata
Suggestions
Connectors
SPICE
비지니스
사용자
QuickSight UI
Mobile Devices
Web Browsers
Partner BI products
Amazon
S3
Amazon
Kinesis
Amazon
DynamoDB
Amazon
EMR
Amazon
Redshift
Amazon RDS
Files
Third-party

17. AWS 내 데이터의 손쉬운 탐색
SPICE를 통한 빠른 통찰력
직관적인 시각화 및 전환 (AutoGraph)
네이티브 모바일 경험
안전한 공유 및 협업 (StoryBoard)
혁신

18. How do I SPICE up my data?

20. • 안전하게 검색하고 AWS 데이터에 연결
• 신속하게 AWS 데이터 소스를 탐색
• Relational databases (Amazon RDS, Amazon RDS for Aurora,
Amazon Redshift)
• NoSQL databases (Amazon DynamoDB)
• Amazon EMR, Amazon S3, files (CSV, Excel, TSV, XLF, CLF)
• Streaming data sources (Amazon DynamoDB, Amazon Kinesis)
• 테이블이나 파일에서 데이터를 쉽게 임포트
• 데이터 유형 자동 감지
AWS 내 데이터의 손쉬운 탐색

21. • Super-fast, Parallel, In-memory optimized,
Calculation Engine
• 2배 ~ 4배 압축된 columnar data
• 머신 코드로 생성된 컴파일된 쿼리
• 질 높은 계산
• SQL 과 유사한 구문
• 쿼리에 대한 매우 빠른 응답시간
• 관리형 서비스 – 하드웨어와 소프트웨어 라이센스 고민 불필요
SPICE를 통한 빠른 통찰력

22. • 데이터 유형 자동 감지
• 최적의 쿼리 생성
• 적절한 그래프 유형 선택
• 그래프 유형 커스터마이징 가능
• 매우 빠른 응답
AutoGraph를 통한 직관적인 시각화

23. • iOS, Android
• 태블릿에서의 모든 경험
• 스마트폰에서의 사용 경험
• 매우 빠른 응답
네이티브 모바일 경험

24. • 분석의 중요한 스냅샷을 캡처
• 분석 순서 빌드
• 안전하게 공유
• 대화형 탐사 가능
• 매우 빠른 응답
여러분의 데이터를 통한 스토리

26. 빠르게 시작
SPICE를 통한 빠른 통찰력
AWS 데이터의 손쉬운 탐색
사용 및 공유가 용이
용이한 확장성
저렴한 비용

27. 릴리즈 현황, 사용비용 및 기타 참고사항
릴리즈 상태
Preview 사용가능 리젼
미정
가격정책
기타
관련 Web페이지
§ http://aws.amazon.com/ko/quicksight/

28. Analyze
Store
Amazon
Glacier
Amazon
S3
Amazon
DynamoDB
Amazon RDS,
Aurora
AWS 빅데이터 포트폴리오 – 새로운 서비스들
AWS Data
Pipeline
Amazon
CloudSearch
Amazon
EMR
Amazon EC2
Amazon
Redshift
Amazon
Machine
Learning
AWS Database
Migration
New
Amazon
Kinesis
Firehose
New
AWS Import/
Export
AWS Direct
Connect
Collect
Amazon Kinesis
Amazon
QuickSight
New
Amazon
Elasticsearch
Launched
Amazon
Kinesis
Analytics
New

29. Amazon Kinesis
Streams
스트리밍 데이터를 처
리하거나 분석하는 커
스텀 애플리케이션을
개발
Amazon Kinesis
Firehose
방대한 볼륨의 스트리
밍 데이터를 Amazon
S3나 Redshift 로 쉽게
로드
Amazon Kinesis
Analytics
표준 SQL 쿼리를 이용
하여 데이터 스트림을
쉽게 분석
Amazon Kinesis: 스트리밍 데이터를 쉽게 이용
AWS 에서 스트림에 대한 캡처, 진송 그리고 처리를 가능하게 하는 서비스

30. Amazon Web Services
AZ AZ AZ
Durable, highly consistent storage replicates data
across three data centers (availability zones)
Aggregate and
archive to S3
Millions of
sources producing
100s of terabytes
per hour
Front
End
Authentication
Authorization
Ordered stream
of events supports
multiple readers
Real-time
dashboards
and alarms
Machine learning
algorithms or
sliding window
analytics
Aggregate analysis
in Hadoop or a
data warehouse
Inexpensive: $0.028 per million puts
Real-Time Streaming Data Ingestion
Custom-built
Streaming
Applications
(KCL)
Inexpensive: $0.014 per 1,000,000 PUT Payload Units
Amazon Kinesis Streams (re:Invent 2013)
Fully managed service for real-time processing of streaming data

31. Select Kinesis Customer Case Studies
Ad Tech
Gaming
IoT

32. 고객들의 의견에 귀 기울였습니다 !

33. Amazon Kinesis Streams, select new features…
Kinesis Producer Library
PutRecords API, 500 records or 5 MB payload
Kinesis Client Library in Python, Node.JS, Ruby…
Server-Side Timestamps
Increased individual max record payload 50 KB to 1 MB
Reduced end-to-end propagation delay
Extended Stream Retention from 24 hours to 7 days

34. Amazon Kinesis Streams
스트리밍 데이터를 처리하기 위한 애플리케이션을 개발
쉬운 관리: 손쉽게 새로운 스트림 생성, 샤드의 수로 원하는 수준의 용량을 설정. 데이터 처리
속도 및 용량에 맞게 확장 가능.
실시간 애플리케이션 개발: Kinesis Client Library (KCL), Apache Spark/Storm, AWS
Lambda 등을 이용하여 스트리밍 데이터에 대한 지속적인 처리 가능
저렴한 비용: 어떤 스케일의 워크로드에도 비용 효율적

35. Sushiro: Kaiten Sushi Restaurants
380개의 상점에서 발생한 스시 접시 센서 데이터를 Kinesis로 스트리밍

36. Sushiro: Kaiten Sushi Restaurants
380개의 상점에서 발생한 스시 접시 센서 데이터를 Kinesis로 스트리밍

37. Sushiro: Kaiten Sushi Restaurants
380개의 상점에서 발생한 스시 접시 센서 데이터를 Kinesis로 스트리밍

38. 제로 관리: 애플리케이션 개발 및 관리 인프라 없이 스트리밍 데이터를 Amazon S3 또는
Redshift 로 전송.
데이터 저장소와 직접 통합: 간단한 설정만으로 거의 60초 이내에 스트리밍 데이터를 목
표 저장소로 전송하기 위해 일괄처리, 압축 그리고 암호화.
매끄러운 탄력성: 특별한 개입없이 데이터 처리량과 일치하도록 확장이 원활.
Capture and submit
streaming data to
Firehose
Firehose loads streaming data
continuously into S3 and Redshift
Analyze streaming data using your favorite
BI tools
Amazon Kinesis Firehose
방대한 볼륨의 스트리밍 데이터를 Amazon S3나 Redshift 로 쉽게 로드

39. Amazon Kinesis Firehose Customer Experience

40. 1. 전송 스트림: Firehose 의 기본 엔터티. 전송 스트림을 생성한 후, 데이터
를 전송 스트림으로 보내어 Firehose를 사용합니다.
• 스트림 또는 샤드를 생성할 필요 없음
• 파티션 키를 지정할 필요 없음
2. 레코드: 데이터 생산자가 1,000 KB 만큼의 데이터 블롭을 전송 스트림에
게 보냄. 이 데이터 블롭을 레코드라고 함.
3. 데이터 생산자: 생산자는 전송 스트림에 레코드를 보낼 수 있음. 예를 들
어, 웹서버는 로그 데이터를 전송 스트림에 보내는 데이터 생산자 임.
Amazon Kinesis Firehose
3 Simple Concepts

41. Amazon Kinesis Firehose Console Experience
Unified Console Experience for Firehose and Streams

42. Amazon Kinesis Firehose Console Experience
Unified Console Experience for Firehose and Streams

43. Amazon Kinesis Firehose Console Experience (S3)
Create fully managed resources for delivery without building an app

44. Amazon Kinesis Firehose Console Experience
Configure data delivery options simply using the console

45. Amazon Kinesis Firehose to Redshift

46. Amazon Kinesis Firehose to Redshift
A two-step process
중간 대상지로 고객이 제공한 S3 버킷을 사용
• Redshift 에 대규모로 데이터를 로드할 때 가장 효율적인 방법
• S3 버킷내의 데이터는 읽어버리지 않고, 안전하며 사용가능
Firehose 는 고객이 제공한 COPY 명령어를 synchronous 하게 실행.
COPY 명령 실행이 완료되고 Redshift 로 부터 확인이 오는 즉시 새로
운 COPY 명령이 지속적으로 실행.
1
2

47. Amazon Kinesis Firehose Console (Redshift)
Configure data delivery to Redshift simply using the console

48. 릴리즈 현황, 사용비용 및 기타 참고사항
릴리즈 상태
퍼블릭 릴리즈
(GA)
사용가능 리젼
Virginia(us-east-1)
Oregon(us-west-2)
Ireland(eu-west-1)
가격정책
§ 입수되는 데이터 GB 당 : $0.035
기타
§ 각 레코드의 크기는 5KB 단위로 올림 처리
관련 Web페이지
§ https://aws.amazon.com/ko/kinesis/firehose/

49. Amazon Kinesis Analytics
표준 SQL 쿼리를 이용하여 데이터 스트림을 쉽게 분석
스트림에 SQL 적용: 데이터 스트림에 쉽게 연결하고 기존 SQL 기술을
적용
실시간 애플리케이션 개발: 서브-초 처리 지연의 스트리밍 빅데이터에
대한 연속적인 처리
탄력적인 확장: 운영자의 개입없이 데이터 처리 속도에 맞게 탄력적으로
확장
Announcement
Only!
Amazon Confidential
Connect to Kinesis streams,
Firehose delivery streams
Run standard SQL queries
against data streams
Kinesis Analytics can send processed
data to analytics tools so you can create
alerts and respond in real-time

50. § 확장성이 뛰어난 관리형 Elasticsearch 클러스터
§ 설정 가능 항목
ü 인스턴스 타입 및 갯수
ü 고 가용성(HA)
ü 가용존(AZ)인식
ü 스토리지 옵션 선택 (EBS or Instance store)
ü 스냅샷
§ 안전한 접근 제어
§ Kibana (v4) dashboard 빌트인
§ Cloudwatch Logs 통합 (Cloudtrail, VPC Flow logs and Lambda dashboards)
§ Cloudwatch 메트릭
Amazon Elasticsearch Service

51. 주요 특징
손쉬운 클러스터 생
성 및 구성 관리
손쉬운 ELK 스택 구성 IAM 을 통한 보안
CloudWatch 모니터링
CloudTrail을 이용한
감사(Audit)
다른 AWS서비스와 손
쉬운 연동
(CloudWatch Logs,
Amazon DynamoDB,
Amazon S3, Amazon
Kinesis)

52. Elasticsearch Service 구성 화면

53. Kibana 대시보드 빌트인

54. 릴리즈 현황, 사용비용 및 기타 참고사항
릴리즈 상태
퍼블릭 릴리즈
(GA)
사용가능 리젼
모든 리젼
가격정책
§ Amazon Elasticsearch 인스턴스 사용시간
§ Amazon EBS 스토리지 (EBS선택시)
§ 데이터 전송 비용
기타
§ Free Tier 사용가능
관련 Web페이지
§ https://aws.amazon.com/ko/elasticsearch-service/

55. Why MariaDB?
§ MySQL 변형된 버전으로 많은 고객의 수요 증가
§ MariaDB 의 장점과 관리형 RDS기능의 장점 조합
§ 다양한 Advanced 기능 제공
RDS for MariaDB
AWS RDS 옵션

56. 릴리즈 현황, 사용비용 및 기타 참고사항
릴리즈 상태
퍼블릭 릴리즈
(GA)
사용가능 리젼
모든 리젼
가격정책
§ Multi-AZ 지원, 최대 5 개 까지의 Read replica 지원
§ MySQL RDS와 동일한 가격정책
기타
§ Free Tier 사용가능
관련 Web페이지
§ https://aws.amazon.com/ko/rds/mariadb/

57. 온라인 자습 및 실습
다양한 온라인 강의 자료
및 실습을 통해 AWS에
대한 기초적인 사용법 및
활용 방법을 익히실 수 있
습니다.
강의식 교육
AWS 전문 강사가 진행하는 강의를
통해 AWS 클라우드로 고가용성, 비
용 효율성을 갖춘 안전한 애플리케
이션을 만드는 방법을 알아보세요.
아키텍쳐 설계 및 구현에 대한 다양
한 오프라인 강의가 개설되어 있습
니다.
인증 시험을 통해 클라우드
에 대한 자신의 전문 지식
및 경험을 공인받고 개발 경
력을 제시할 수 있습니다.
AWS 공인 자격증
http://aws.amazon.com/ko/training

58. 감사합니다 !
발표자료 / 녹화영상
http://bit.ly/awskr-webinar