[AWS Builders] AWS 스토리지 서비스 소개 및 사용 방법

AWS 스토리지 서비스 소개 및 사용 방법
박선준 [ June Park ] | Solutions Architect

강연 중 질문하는 방법 AWS Builders
Go to Webinar “Questions” 창에 자신이 질문한
내역이 표시됩니다. 기본적으로 모든 질문은
공개로 답변 됩니다만 본인만 답변을 받고
싶으면 (비공개)라고 하고 질문해 주시면 됩니다.
본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약 AWS
사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트
상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다.
AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한 종류의 손해에
대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다.
고지 사항(Disclaimer)

Block vs File vs Object
Block Storage
Raw Storage
Data organized as an array of unrelated blocks
Host File System places data on disk
e.g.: Microsoft NTFS, Unix ZFS
File Storage
Unrelated data blocks managed by a file (serving) system
Native file system places data on disk
Object Storage
Stores Virtual containers that encapsulate the data, data attributes, metadata and Object IDs
API Access to data
Metadata Driven, Policy-based, etc

스토리지의 특성
내구성 가용성 보안 비용 확장성 성능 Integration
데이터 손실
측정
Downtime 측정 at-rest 와 in-
transit 데이터
보안
Amount per
storage unit,
e.g. $ / GB
향상된
유연성,
스토리지
크기, 사용자
수
성능
메트릭(대역폭,
IOPS)
API 제공 여부
또는 다른
서비스와 상호
작용 가능성
스토리지 도입에 고려되는 사항들

AWS 에서 생각하는 스토리지

On-premises
• 선납 방식 - Capex
• 기간별로 다른 금액 정책
• 빠른 혁신이 불가능
불필요한 자원 소모
AWS
• 사용한 만큼만 과금
• 지속적이고 자동으로 가격 인하
• 끊임없는 혁신
UX 저하
AWS 모델

Data
클라우드의 중심은 스토리지

99.99%
내구성 디자인
하나의 Site 에 두개 복사본
99.999%
내구성 디자인
두개의 Site에 하나의
복사본
99.999999999%
내구성 디자인
GlacierStandard IA
AWS 리전
내구성 이해하기

© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
내구성 과 가용성
% 가용성 내구성
99.999 5 minutes 15 seconds 1 in 100,000
99.9999 31 seconds 1 in 1,000,000
99.99999 3 seconds 1 in 10,000,000
99.999999999 300 uSeconds 1 in 100,000,000,000

다양한 스토리지 옵션들
Amazon Elastic Block
Store (EBS)
Amazon Elastic File
System
Amazon FSx for LustreAmazon FSx
Amazon S3 GlacierAmazon Simple Storage
Service (S3)
AWS SnowballAmazon FSx for Windows
File Server
Volume
Gateway
File
Gateway
Tape
Gateway
AWS Storage GatewayAWS BackupAWS SnowmobileAWS Snowball Edge

EC2 인스턴스와 Block Storage
EC2 인스턴스
물리 호스트
인스턴스 스토어
or
EC2 인스턴스
물리 호스트
or
스토리지 호스트
EBS 스토어
Block IO
인스턴스 스토어 EBS (Elastic Block Store)

Amazon EBS(Elastic Block Store)
Amazon EBS
EC2 인스턴스를 위한 Persistent Block Level 스토리지
생성한 용량만큼만 비용을 지불
이중화(중복) 기본 제공 및 Write Cache
일관성 있는 낮은 지연의 성능을 제공
Random I/O에 최적화
저장된 상태에서의 암호화가 기본으로 제공

Amazon EBS(Elastic Block Store)
Amazon EBS
Network 연결 기반의 Block Storage
데이터 수명에 독립적
가상 디스크
하나의 EC2인스턴스가 다수의 EBS볼륨을 가질 수 있음
하나의 EBS 볼륨은 한번에 하나의 EC2인스턴스에만 연결이 가능
연결 해제 후, 다른 EC2 인스턴스에 장착이 가능
Raw Block Device
포멧되어 있지 않은 Block Device
데이터베이스 또는 파일시스템에 적합
다양한 종류의 EBS가 제공됨

EBS 볼륨 종류별 비교
항목
SSD(Solid State Drive) HDD(Hard Disk Drive)
Provisioned IOPS
SSD (io1)
General Purpose SSD
(gp2)
Throughput
Optimized HDD (st1)
Cold HDD (sc1)
간략한 설명
• 고성능 SSD 볼륨은
지연 시간에 민감한
트랜잭션
워크로드를 위해
설계됨
• 범용 SSD 볼륨은
다양한 트랜잭션
가격과 성능의 균형을
맞춤
• 저비용 HDD 볼륨은
자주 액세스하고
처리량 집약적인
설계됨
• 최저비용 HDD
볼륨은 액세스
빈도가 낮은
설계됨
사용 사례
• I/O 집약적 NoSQL
및 관계형
데이터베이스
• 대부분의 workload • Big Data 분석 • 간헐적 사용 데이터
볼륨 크기 • 4GB – 16TB • 1GB – 16TB • 500GB – 16TB • 500GB – 16TB
최대 IOPS/볼륨 • 32,000 -> 64000
• 16,000 (볼륨 size에
따라 다름)
• 500 • 250
비용
(버지니아 북부
기준)
• $0.125/GB-Month
• $0.065/Provisioned
IOPS
• $0.10/GB-Month
• I/O 양에 무관
• $0.045/GB-Month • $0.025/GB-Month
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSVolumeTypes.html

Amazon EBS의 기능
항목 제공 기능
내구성 (Durable)
• 99.999%(five 9’s)의 신뢰성을 제공하도록 설계됨
• 단일 가용영역(AZ) 내에서 다중의 스토리지로 복제
보안성 (Secure)
• Identity and Access 정책
• 암호화 기능
성능 (Performance)
• 지연이 낮은 SSD
• 일관적인 I/O 성능
• 보다 높은 성능을 위하여 다수의 EBS볼륨을 Stripe 볼륨으로 구성 가능
백업 (Backup)
• Point-in-Time 스냅샷 (시점 기반)
• 생성된 스냅샷을 가용영역(AZ)간 또는 리전(Region)간 복제 기능 제공
확장성 (Scalable)
• 필요시 제한 없는 용량의 제공
• 손쉽게 용량/성능의 확장 및 축소가 가능

EC2 Instance Store (Ephemeral Volumes)
EC2 인스턴스에 포함 (무료)
SAS, SSD, NVMe 디스크 제공
인스턴스 패밀리에 따라 종류 및 사이즈가 다름
로컬 하드웨어에 직접 연결된 디스크
Stop/Start로 인해 하드웨어가 바뀌면 사라짐 (휘발성)
디스크 오류, 인스턴스 중지, 인스턴스 종료 시 데이터
소실
IO의 타입에 따라 다양한 형태로 지원
I2
I3
D2

AWS Cloud
EC2 Availability Zone
EC2
Amazon S3
EBS
EC2 EC2
EBS EBS EBS EBS EBS
EBS Snapshot
EBS Snapshot
EBS Snapshot
Create Snapshot
Clone From Snapshot
Amazon EBS Snapshot
스냅샷을 찍는 시점에 대한 복사본
S3에 저장, EBS API 지원

EBS Volume
Time
Snapshot 1 Snapshot 2 Snapshot 3
S3
Block 1
Block 2
Block 3
Block 4
Chunk 1
Chunk 2
Chunk 3
Chunk 4
Amazon EBS Snapshot
용량 최적화
연속적으로 생성되는
스냅샷의 경우 용량
절감을 위하여
Incremental로 저장
스냅샷 삭제 시 해당
스냅샷에만
저장되었던 데이터
삭제

Elastic File System (EFS)
Amazon EFS
EC2인스턴스를 위한 완전 관리형 네트워크 파일시스템
표준 파일시스템 기능 제공
운영체제 표준 API 지원
수천대의 EC2 인스턴스간 파일스템 공유
페타바이트 규모로 탄력적으로 확장
다양한 워크로드를 위한 성능을 제공
고가용성 및 내구성
NFS v4 기반
On-Premise의 서버에서도 사용 가능(Direct Connect 지원,
VPN 미지원)

Amazon EFS - Simple
완전 관리형
하드웨어, 네트워크 및 파일시스템 불필요
수초이내에 확장가능한 파일시스템 생성
기존 도구 및 어플리케이션과 유연하게 통합
NFS v4.1 – 표준 기반
표준 파일시스템
운영체제의 표준 파일시스템 API 호환
단순한 비용 체계 – 손쉬운 비용 예측

Amazon EFS
사용자의 파일 추가, 제거에 따라 자동적으로 확장 또는
축소
스토리지 용령량 및 성능을 미리 준비할 필요가 없음
초기 비용 없이 사용한 만큼만 비용 지불
페타바이트 규모까지 파일시스템 확장 가능
파일시스템의 사용증가에 따라 자동으로 용량 및 성능이
확장
파일시스템 크기에 관계 없이 일관적인 성능 제공
수천개 이상의 동시접속 지원

Amazon EFS – High Available
가용영역 장애를 고려한 디자인
다수의 가용영역에 걸쳐 자원이 통합
전통적인 NAS보다 뛰어난 가용성 모델
Production 및 Tier-0 어플리케이션에 적합
Big Data Analytics
Media Workflow Processing
Web Services
Content Management
Home Directories

EFS Infrequent Access
자주 사용하지 않는 데이터 용도
EFS Lifecycle Policy
85% savings for files accessed <1 time
per month
EFS Standard EFS IA
Frequently
accessed
file system
Infrequently
accessed
file system

EFS Bursting Throughput
Data ingest
Compute
D U R AT I O N
AV E R A G E
T H R O U G H P U T
1TB of 1MB files
from 1 c5.2xlarge instance
2h 53m 105 MB/s
EFS

EFS Provisioned Throughput
Data ingest
Compute
D U R AT I O N
AV E R A G E
T H R O U G H P U T
1TB of 1MB files
from 1 c5.2xlarge instance
1h 12m 250 MB/s
2h 53m 105 MB/s
EFS

Compute
Compute
Compute
EFS Provisioned Throughput
Data ingest
Compute
D U R AT I O N
AV E R A G E
T H R O U G H P U T
1TB of 1MB files
from 4x c5.2xlarge instances
1h 12m 250 MB/s
EFS
2h 53m 105 MB/s

FSx for Windows
AWS 서비스들과
쉽게 연동
완전 관리형 Windows file
systems …
… built on Windows
Server

기본 Windows 호환성 및 기능
Native Windows
compatibility
DFS Namespaces
and
DFS Replication
Integrates with
Microsoft AD and
supports
Windows ACLs
AD
NTFS
Windows Server
Native SMB
2.0 to 3.1.1
SMB

Amazon FSx for Lustre
For compute-intensive data processing
use cases like HPC or Machine Learning
S3에 저장된 Raw 데이터를
처리를 위해 FSx에 저장
보존을 위해 S3에 반환된 처리
출력

Amazon FSx for Lustre 성능
대단위 확장 가능한 성능
100+ GB/s throughput | Millions of IOPS | 지속적인
sub-millisecond 호출시간
Parallel file system Supports hundreds of
thousands of cores
SSD-based

Amazon S3 (Simple Storage Service)
Amazon S3
웹에서 사용 가능한 오브젝트 저장소
사용한 만큼만 비용 지불
뛰어난 내구성 (99.999999999%의 내구성 설계)
제약없는 확장성
5가지 유형의 서비스
Standard Storage : $0.025/GB/월
Standard-IA(Infrequent Access) Storage : $0.018/GB/월
One Zone-IA(Infrequent Access) Storage : $0.0144/GB/월
Glacier(장기보존) : $0.005/GB/월
Glacier Deep Archive : $0.002/GB/월

Amazon S3 (Simple Storage Service)
Amazon S3
병렬 처리 지원 (Multipart Upload, Ranged GETs)
Resource 단위의 IAM 권한
버킷(Bucket) 접근 정책 및 ACL
API를 통한 직접 사용 가능
Server Side Encryption
Static Website Hosting
데이터에 대한 수명주기 관리 기능
Amazon Athena 지원
Amazon S3에 저장된 데이터를 표준 SQL을 사용하여
분석할 수 있게 하는 대화형 Query 서비스

AWS Object 스토리지의 특징
S3 Standard
S3 Intelligent-Tiering
S3 Standard-IA
Availability Zone
S3 One Zone-IA
AWS Region AWS Region
S3 Glacier
S3 Glacier Deep Archive
Availability Zone
Availability ZoneAvailability Zone

Object Storage Tiering
데이터에 대한 S3 Life Cycle 정책을 통한 Tiering
GlacierS3 - IAS3 Standard
주 사용 데이터
Big Data 분석용
데이터
작은 오브젝트들
작업용 임시 공간
파일 동기화 및
공유서비스
아카이브 또는 백업
미디어 트랜스 코딩
재해 복구용 (DR/Geo
Redundancy)
장기 보존용 아카이브
Tape Vaulting
백업 소산
Cold 유형의 데이터

알맞는 Amazon S3 스토리지 티어 선택하기
Access FrequencyFrequent Infrequent
• Active, frequently
accessed data
• Milliseconds access
• > 3 AZ
• Data with changing access
patterns
• > 3 AZ
• Monitoring fee per Obj.
• Min storage duration
• Infrequently accessed
data
• > 3 AZ
• Retrieval fee per GB
• Min object size
S3 Standard S3 Standard-IA S3 One Zone-IA S3 Glacier
• Re-creatable, less
accessed data
• 1 AZ
• Min object size
• Archive data
• Select minutes or hours
• > 3 AZ
• Min object size
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
S3 Glacier
Deep Archive
• Archive data
• Select 12 or 48 hours
• > 3 AZ
• Min object size

액세스 패턴에 따라 자동으로 스토리지 계층화

S3 performance increase
데이터 분석을 위한 S3
BEFORE
Compute
W R I T E T I M E R E A D T I M E
5TB of 2MB objects
S3
41m 40s 13m 52s
1with prefix

S3 요청 성능 향상
NOW
Compute
S3
12m 00s 7m 00s
41m 40s 13m 52s
5TB of 2MB objects
1with prefix

S3 요청 성능 향상
병렬 처리
Compute
S3
12m 00s 7m 00s
41m 40s 13m 52s
0h 1m 12s 0h 0m 42s
5TB of 2MB objects
1with 0 prefix

Amazon CloudFront
Amazon Glacier
구성과 사용이 매우 간단한 컨텐츠 전송 네트워크(CDN)
서비스
사용한 만큼만 비용을 지불, 초기 약정 불필요
다양한 원본 컨턴츠 Origin : S3, EC2, On-Premise
전세계 150여개 이상의 Edge Locations
Video Streaming
지역별 제한 기능 (Geo Restriction)
Custom SSL Certificate
Dynamic Content
POST/PUT 지원

데이터를 쉽게 옮기는 방법

AWS DataSync
온라인 데이터 이동을 쉽고 빠르게–
오픈소스 툴 대비 10배 이상 빠른 속도로
AWS Region
NAS
NFS
DataSync
Agent
AWS
DataSync
S3 Bucket
EFS File System
Corporate Data Center
AWS Direct Connect or WAN
Encryption with TLS
Migrate active application
data to AWS
Transfer data for timely
in-cloud analysis
Replicate data to AWS for
business continuity

Your SFTP
end users
FTP over SSH
Archival
Analytics
Processing
S3AWS Transfer for
SFTP
AWS Transfer for SFTP
S3를 위한 완전 관리형 SFTP 서비스
기존 Active Directory
및 LDAP 과 연동
데이터 이관 후 바로 S3
에서 아카이브나 처리
용도로 이용 가능
높은 가용성과 확장성
제공

Amazon S3 Transfer Acceleration
Rio De Janeiro Warsaw New York Atlanta Madrid Virginia Melbourne Paris Los Angeles Seattle Tokyo Singapore
Time[hrs]
500 GB 데이터를 싱가폴 S3 버킷에 업로드시
Internet 망Transfer Accelerator
최대 300% 속도 개선
평균 171%

AWS Snowball & Snowball Edge
On-Premise  AWS 클라우드간의 빠르고 단순하며 안
정적인 데이터 이동 수단 제공
10Gbps connection
50 TB/80 TB Capacity (Snowball)
100 TB Capacity (Snowball Edge)
Local S3 Storage APIs (Snowball Edge)
Local Lambda Functions (Snowball Edge)
멀티미디어 트랜스코딩, 실시간 압축, 커스텀 오디팅 지원
• Snowball Edge [Compute]
- 52 vCPUs or NVIDIA G100 GPU
- 42 TB capacity/100 Gb/s networking

AWS Snowball
E-ink 배송 라벨
매우 견고한
케이스
End-to-End
데이터 암호화
50 / 80 TB
10G 네트워크
방수 및 방진
기능
극한, 혹서의
환경에서도
기능을 발휘

더 나은 세미나를 위해
여러분의 의견을 남겨주세요!
▶ 질문에 대한 답변 드립니다.
▶ 발표자료/녹화영상을 제공합니다.
http://bit.ly/awskr-webinar

[AWS Builders] AWS 스토리지 서비스 소개 및 사용 방법

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie [AWS Builders] AWS 스토리지 서비스 소개 및 사용 방법

Ähnlich wie [AWS Builders] AWS 스토리지 서비스 소개 및 사용 방법 (20)

Mehr von Amazon Web Services Korea

Mehr von Amazon Web Services Korea (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (6)

[AWS Builders] AWS 스토리지 서비스 소개 및 사용 방법