Cloud Native Aurora Serverless를 통한 Data Lake 구축 - 최유정 솔루션즈 아키텍트, AWS

© 2018 Amazon Web Services, Inc. or its Affiliates. All rights reserved.
최유정
Database Solutions Architect
Cloud Native Aurora Serverless를
통한 Data Lake 구축

강연 중 질문하는 방법
Go to Webinar “Questions” 창에 자신이 질문한
내역이 표시됩니다. 기본적으로 모든 질문은
공개로 답변 됩니다만 본인만 답변을 받고 싶으면
(비공개)라고 하고 질문해 주시면 됩니다.
본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약 AWS
사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트 상에서
한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다.
AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한
종류의 손해에 대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다.
고지 사항(Disclaimer)

Agenda
• Amazon Aurora 소개
• Amazon Aurora Serverless 소개
• Aurora Serverless를 통한 Data Lake 구축

Amazon Aurora 소개

직접 설치
일부 자동화
완전 자동화
직접 설치 호스팅 관리형
EC2 DB Services
서버
하드웨어 구매 및 설치
OS 및 데이터베이스 설치
스토리지 배포 및 구성
데이터베이스
배포 및 구성
패치, 업그레이드, 백업,
모니터링 및 확장
데이터베이스 배포 옵션들

AWS 관리형 데이터베이스 서비스
Compute Storage
AWS Global Infrastructure
Database
Application Services
Deployment & Administration
Networking
Amazon RDS
Amazon
DynamoDB
Amazon Redshift
Amazon
ElastiCache

관계형 데이터베이스
완전 관리형 서비스
빠르고, 예측 가능한 성능
단순하고 빠른 확장
낮은 비용 구조, 사용한만큼 지불Amazon
RDS
Amazon Aurora
 MySQL
 PostgreSQL
Amazon RDS(Relational Database Service) 는?

Amazon RDS 서비스 사용 목적
스키마 설계
쿼리 작성
쿼리 최적화
마이그레이션
백업 및 복구
패칭
구성
소프트웨어 업그레이드
스토리지 업그레이드
서버 업그레이드
하드웨어 관리
Focus your
team here
Let AWS
focus here

Amazon Aurora는?
클라우드에 최적화된 관계형 데이터베이스
 하이엔드 상용 데이터베이스의 성능 과 가용성
 오픈소스 데이터베이스의 비용효율성 과 간단함
 MySQL, PostgreSQL와의 호환성
 Pay as you go 가격정책
관리형 서비스로 제공

Aurora 사용 고객
AWS 역사상 가장 빠르게 성장하는 서비스

 데이터베이스용으로 설계된 로그 구조
기반의 분산형 스토리지 시스템
 3개의 가용영역에 걸친 수백개 이상의
스토리지 노드로 스트라이핑
 AZ+1 장애까지 대비 가능한 총 6개의
복제본 유지 (각각의 가용 영역에
2개의 복제)
 10GB로 시작하여 64TB까지 자동으로
확장되며, 사용한 공간에 대해서만
청구
Master Replica Replica Replica
Availability
Zone 1
Shared storage volume
Availability
Zone 2
Availability
Zone 3
Storage nodes with SSDs
SQL
Transactions
Caching
SQL
Transactions
Caching
SQL
Transactions
Caching
스케일 아웃 가능한 분산 아키텍처

WRITE PERFORMANCE READ PERFORMANCE
MySQL SysBench results
R3.8XL: 32 cores / 244 GB RAM
Based on industry standard benchmarks
0
25,000
50,000
75,000
100,000
125,000
150,000
0
100,000
200,000
300,000
400,000
500,000
600,000
700,000
Aurora MySQL 5.6 MySQL 5.7
RDS MySQL에 비해 5배의 성능

WRITE PERFORMANCE READ PERFORMANCE
Aurora는 인스턴스 사이즈가 커짐에 따라 read 와 write 모두 성능 확장
Aurora MySQL 5.6 MySQL 5.7
인스턴스 사이즈에 따른 성능

Amazon Aurora Serverless 소개

서버리스 컴퓨팅 + 관계형 데이터베이스
 온디맨드로 시작하고, 사용하지 않을 시 종료할 수 있다면?
 관리할 인스턴스 없이 자동으로 확장할 수 있다면?
 데이터베이스 비용을 초단위로 사용한만큼만 지불할 수 있다면?
 기존 사용중인 어플리케이션과 호환성을 제공한다면?
Amazon Aurora Serverless를 소개합니다.
다양한 워크로드 서비스하는 어플리케이션에 온디맨드로 자동 스케일링되는 데이터베이스
이러한 데이터베이스 어떠신가요?

Aurora Serverless 사용 사례
 자주 사용되지 않는 어플리케이션 (예. 적은 데이터를 가진
블로그 사이트)
 다양한 부하량을 갖는 어플리케이션 – 예측하기 어려운
피크처리 (예. 뉴스 사이트)
 야간이나 주말에는 사용하지 않는 개발 및 테스트
데이터베이스
 멀티테넌트 SaaS 어플리케이션들의 모음

데이터베이스 엔드포인트 프로비저닝
데이터베이스 생성 시, Aurora Serverless는:
 Aurora 스토리지 볼륨 생성
 어플리케이션 연결을 위한 VPC 내 프록시
엔드포인트 생성
 데이터베이스 트래픽 처리를 위한 request
routers를 초기화
데이터베이스 인스턴스는 첫번째 요청이 발생할때
프로비저닝
어플리케이션
고객 VPC
VPC 프록시
엔드포인트
VPC
엔드포인트
네트워크 로드 밸런서
스토리지
볼륨
REQUEST
ROUTERS
데이터베이스 스토리지

스케일링 업/다운
 오로라는 어플리케이션의 부하량을
모니터링 (CPU, memory, connections)
 조정이 필요한 임계치에 도달하면
인스턴스는 자동으로 스케일 업/다운
(일반적으로 5초 이하)
 스케일링 작업은 어플리케이션에 투명하게
수행 – 연결 및 세션 정보를 신규 인스턴스로
전달
 스케일링을 위한 최소 및 최대 용량 설정
 데이터베이스 스토리지는 사용자가
명시적으로 삭제할때까지 유지
Aurora
WARM POOL
REQUEST
ROUTER
데이터베이스 스토리지
현재
인스턴스
신규
인스턴스
PROXY
엔드포인트
어플리케이션

Aurora Serverless 생성
인스턴스 타입 설정 불필요

Aurora Serverless 클러스터

Aurora Serverless 스케일링

 기존 Aurora 모니터링과 동일
 ACU : Aurora Capacity Unit
 1 ACU 가 최소 단위이며, 약
2GB 메모리와 이에 적정한
CPU 및 networking의 조합
 인스턴스 타입이 아닌,
ACU별 과금
Aurora Serverless 모니터링

유통 제조 / 통신 공공 / 서비스 항공 / 운송 스타트업게임/인터넷/미디어
CB Insights
회사소개
• 민간 시장 리서치/정보 회사
• 기계 학습 및 시각화를 사용하여 데이터를 분석
비지니스 요구사항
• 데이터 분석을 위한 대용량 데이터 처리 필요
• 계산 작업 시 버스팅 필요.
• 추가 비용 절감 고려
Aurora Serverless 적용
• Aurora Serverless는 개발 및 스테이징을 DB를 위한 좋은 옵션임을 확인
• 추가 비용 절감을 위해 사용하지 않을 때 시스템 종료 가능
효과
Aurora Serverless는 개발 및 스테이징 DB에 적합한 옵션으로 사용하지 않을 때는 종료
Quote : https://aws.amazon.com/rds/aurora/customers/
Cost Effective
초단위로
DB 를 사용한 시간만 과금
Proven
서버리스 기술에 적합한 DB
워크로드 발견

유통 제조 / 통신 공공 / 서비스 항공 / 운송 스타트업게임/인터넷/미디어
회사소개
• 정보 기술, 정보 보안, 컨설팅, ITO 및 BPO 서비스 제공
비지니스 요구사항
• "Cognizant Adaptive Data Foundation"및 "Cognizant Lab Insights"와 같은 일부 서비스
포트폴리오 보완 필요
Aurora Serverless 적용
• 다양한 통찰력( 대쉬보드, 모니터링, 프로세스 생성)을 얻기 위해 간헐적 데이터 활용이
필요 시 유연성, 확장성 및 경제적인 Aurora Serverless DB 를 적용
효과
확장성 및 비용 효율성이 뛰어난 Lab 환경의 간헐적인 데이터 사용 요구사항 충족.
Quote : https://aws.amazon.com/rds/aurora/customers/
Cost Effective
초단위로
DB 를 사용한 시간만 과금
Flexibility
API 기반 , 쉬운 설정
Scalable
작게 시작하고, 온라인 Scale
up/down
Cognizant

Aurora Serverless를 통한
Data Lake 구축

AWS는 데이터 레이크를 위한 모든 서비스를 제공
수집 저장 시각화 / 활용분석 / 처리
Kinesis
스트리밍 데이터
Database Migration
Service
Oracle, Netezza 등의
데이터 임포트
Amazon S3
안전하고, 비용
효율적인 스토리지
Direct Connect
데이터 센터와 연결
Snowball
벌크 데이터 로드
내부 사용자와 시스템
고객 대상 서비스
더 많은 방법들..
Redshift
데이터 웨어하우스
EMR
비정형 데이터 처리,
Apache Spark
Athena
ad-hoc 쿼리
SageMaker
머신러닝 플랫폼
QuickSight
시각화, BI
더 많은 방법들..
다양한 솔루션과 연동
Glue
데이터카타로그와 ETL
어디서든 활용 가능한 ..
Aurora Serverless 대체 가능

AWS
Cloud TrailAWS IAM
Amazon
CloudWatchAWS KMS
Ingest ServingData
sources
Speed (Real-time)
Scale (Batch)
Transactions
AWS Database
Migration Service
AWS Direct
Connect
Internet
Interfaces
Amazon S3
Stream Data
Amazon
Kinesis
Amazon EMR
Amazon ElasticSearch
Amazon RedShift
Amazon RDS
Amazon DynamoDB
Amazon SQS
AWS Storage
Gateway
Amazon
Kinesis Firehose
Event Scoring
Amazon AI
AWS Lambda AWS Lambda
Data analysts
Data scientists
Business users
Connected
devices
Social media
Engagement platforms
Automation / events
ERP
Amazon S3
Raw Data
Amazon S3
Staged Data
(Data Lake)
Amazon EMR
ETL
Amazon S3
Clean Data
Amazon S3
Schemaless
Amazon
Kinesis
Amazon EMR
Amazon EMR
MLlib
Deep LearningAmazon
SageMaker
AWS Glue
Amazon Athena
Data Lake on AWS
Aurora Serverless 대체 가능

Data Lake로 해결 가능한 문제들
• 저비용으로 대량의 데이터에 대한 인터렉티브 쿼리 = S3 + Glue + Athena
• 아카이빙 된 데이터에 대한 간헐적인 쿼리 = S3 / Glacier + Glue + Athena / Redshift
• 기존 데이터 웨어하우스의 확장 = S3 + Glue + Redshift Spectrum
• Log 분석 = S3 + Glue + Athena / EMR / Redshift Spectrum
• On-Prem Database 데이터를 활용한 ETL 솔루션 = Glue + S3
• 사용하고 못하고 버려지는 데이터에 대한 가치 탐색 = S3 + Glue + Athena / EMR
Aurora Serverless
Aurora Serverless
Aurora Serverless
Aurora Serverless

Data Lake - 작게 시작해서 반복적으로
AWS GLUE
데이터카타로그
Amazon
Quicksight
Amazon S3 Amazon Athena
데이터센터
웹 로그 Amazon
RDS
여러
데이터베이스
스트리밍
데이터
서버리스 분석 파이프라인
Ingest ConsumeStore Analyze
1 4
0
9
5
DATA INSIGHTS
수집 저장 분석/처리 시각화
Aurora
Serverless

Aurora Serverless를 통한 Build and Test
 목적
직접 Aurora Serverless Cluster를 만들어보고 간단한 Serverless Application 을 Build and Test
담당자 문의
Account Manager
Call
Service Credit Offer
(100$)
In-Account Seminar
(Optional)
 Use Cases
자주 사용하지 않는 DB
 Archiving 목적이지만 년/월 단위 조회
 장기 Asset Inventory 조회
 Data Lake 시나리오 중 reporting 빈도가 적지만 DB보관 필요
개발/테스트 DB
 주간에만 개발/테스트 목적으로 사용- 저녁에는 자동으로Shutdown)
예측이 힘든 DB Workload
 단일 Instance에서 무 중단 Scale-up
Serverless Application with Serverless Database
 담당자 문의
yonkm@amazon.com (Database BDM)

더 나은 세미나를 위해 여러분의 의견을 남겨주세요!
웨비나 종료 후 설문이 시작됩니다.
 질문에 대한 답변 드립니다.
 발표자료 / 녹화 영상을 제공합니다.
http://bit.ly/awskr-webinar
AWS 데이터 기반 의사결정 웹세미나에
참석해주셔서 대단히 감사합니다.

Cloud Native Aurora Serverless를 통한 Data Lake 구축 - 최유정 솔루션즈 아키텍트, AWS

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Cloud Native Aurora Serverless를 통한 Data Lake 구축 - 최유정 솔루션즈 아키텍트, AWS

Similar to Cloud Native Aurora Serverless를 통한 Data Lake 구축 - 최유정 솔루션즈 아키텍트, AWS (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

Cloud Native Aurora Serverless를 통한 Data Lake 구축 - 최유정 솔루션즈 아키텍트, AWS