- 동영상: https://aws.amazon.com/ko/blogs/korea/aws-unboxing-webinar-jun-2020/
Amazon FSx를 사용하면 손쉽게 주요 파일 시스템을 빠르게 시작하고 관리할 수 있습니다. 서버 관리, 소프트웨어 구성 및 패치 백업 없이 널리 사용되는 오픈 소스 및 상용 라이센스 파일 시스템의 풍부한 기능과 빠른 성능을 활용할 수 있습니다. 본 세션에서는 Windows File Server와 고성능 컴퓨팅을 위한 Luster 파일 시스템 구축 방법을 알아봅니다. (2020년 4월 서울 리전 출시)
2. / .
O Q s “ ”
Sp Q c s c Sp I “e
I I e Q
s P I a , z i “ W Q c , w
z u , w . . . Q , w z n
u n Q
,P s a I W r P z a “ m P
Q d P A t o G a Q Q
고지 사항(Disclaimer)
t x
3. Amazon FSx
for Lustre
… p
객체 스토리지
S3 Standard
S3 Glacier Deep Archive
S3 Glacier
S3 Intelligent-Tiering
S3 One Zone-IA
S3 Standard-IA
블록스토리지
Provisioned IOPS SSD
Cold HDD
Throughput-Optimized HDD
파일 스토리지
EFS Standard
EFS Infrequent Access
Elastic
Amazon
EFS
AWS Storage
Gateway Family
Amazon S3
Amazon FSx
for Windows
File ServerAmazon EBS
Amazon EC2
백업 스토리지
AWS Backup
4. … p
Amazon
Elastic File System
Amazon FSx for
Windows File Server
Amazon FSx
for Lustre
비지니스 업무에 대한 파일 시스템 고성능 컴퓨팅(HPC) 용 파일시스템
Linux-based workloads Windows-based workloads
Fully managed file storage
for Windows
Fully managed cloud-native file system
for Linux-based applications
Fully managed Lustre file system for
compute-intensive workloads
Compute-intensive workloads
AWS는 파일 기반 애플리케이션 및 워크로드의 다양한 요구를 쉽게 해결할 수 있는
))- ( 옵션을 제공합니다.
NFS SMB LustreServer Message BlockNetwork File System Linux and Clusters
6. B NDC 1 L DF C D 1 A F F
윈도 사용자
홈 디렉토리
윈도 기반
애플리케이션 저장소
IIS 기반 웹서비스 및
콘텐츠 관리
닷넷 기반
소프트웨어 개발
SQL Server
DB 고가용성
백업 및 재해 복구
기존 NAS의 손쉬운 클라우드 이전 (lift-and-shift)
7. B NDC 1 L DF C D 1 A F F
• f cl e z
Wv
• B:CK 0 B L z O v
• FC C H ), ) H , F HCFM
• ) z a ) , z .,, v
Wv
• xi e z
• v z vl wS g
8. y a
AWS Cloud
Availability Zone 1
On-premises network
Availability Zone 2
AWS
Direct
Connect
or VPN
Windows
file server
9. y
Availability Zone 1 Availability Zone 2
AWS Cloud On-premises network
Windows
file server
Windows
file server
AWS
Direct
Connect
or VPN
10. y 53 F F 2 y
Availability Zone 1 Availability Zone 2
AWS Cloud
Windows
file server
Windows
file server
SQL Server FCI Primary SQL Server FCI Secondary
Automatic
Failover
https://docs.aws.amazon.com/fsx/latest/WindowsGuide/sql-server.html
11. … p v pg
(per GB-month)
HDD-based storage 스토리지: 3TB-64TB
SSD-based storage 스토리지: 32GB-64TB
Single-AZ Multi-AZ
예) 서울 리전에서 HDD 스토리지를 사용하여 범용 파일 공유 데이터 10TB를 저장하려고 합니다. 50~60%라는 일반적인
중복 제거 절감 효과를 기준으로, 처리 용량이 16MBps인 5TB 다중 AZ 파일 시스템을 프로비저닝합니다.
스토리지: 5TB x 0.0262 USD/GB/월= 128 USD/월
처리량: 16MBps x 5.04 USD/MBps/월 = 72 USD/월
총 월별 요금: 200 USD (데이터 10TB에 대해 0.054 USD/GB/월)
Backup storage $0.050
$2.460 $5.040
(per MB/s-month)
Throughput capacity 8 MB/s – 2048 MB/s
(필요 시 버스팅/캐싱 가능)
(per GB-month)
12. Region
Instances
fs-0123456789.example.comA-F
VPC
Subnet 2
Availability Zone A
fs-9876543210.example.comN-Z
Availability Zone X
Subnet N
Namespace
Server 2
example.comcorp
A-F
G-M
N-Z
3x read/write
performance
fs-5678901234.example.comG-M
Availability Zone B
Namespace
Server 1
Subnet 1
… p v pg Q 1 4o … p
Demo:
https://www.youtube.com/watch?v=s482kj_xMeE
Microsoft's Distributed File System (DFS) Namespaces
13. ( m z
Shadow Copy 지원 (Volume Snapshot Service, Volume Shadow Copy Service)
높은 내구성
파일 시스템
일관성
증분 백업 기능
완전관리형
14. ) ~ v
VPC 보안 그룹을
사용하는 네트워크
트래픽 액세스 제어
PCI-DSS + ISO-
+ SOC + GDPR 규정 준수
및 HIPAA 지원
AWS CloudTrail을
사용하여 API 호출
모니터링 및 로그
AWS IAM을 사용한 관리
API 액세스 제어
유휴 및 전송 중
암호화 데이터
전송 중 암호화를
시행하는 옵션
Microsoft Active
Directory와 통합
Windows ACL 지원
20. 3 HF … f
15+
오픈 소스 기반병렬 파일 시스템 1999년 CMU 상위 100 슈퍼컴퓨터
60%
3D 디자인금융 모델링지진파 관측
고성능 컴퓨팅 기반 워크로드에 활용
미디어 렌더링지리 정보 처리
21. B NDC 1 L DF 3 HF
컴퓨팅 집약적 워크로드를위한 완전 관리 형 Luster 파일 시스템
기본 파일 시스템
인터페이스
완전 관리형 서비스Amazon S3에 대한
원활한 액세스
대규모로 확장 가능한 성능
컴퓨팅 집약적 워크로드에
최적화 된 비용
보안 및 표준 규정 준수
22. B NDC 1 L DF 3 H F
• A B i OI OIB
( ) ) . , A
• , n - G X X
• A S
• L PW n
• , G y 3NLM K W W
• , G A D K , G / , K EE E-ENLM K
• P , .CK M- GG M
• n
24. B NDC ( Z v
Amazon S3에 저장된 데이터는
FSx로 자동 로드
보존을 위해 처리 결과를
Amazon S3로 반환
Amazon S3 데이터 세트를 Amazon FSx for Luster 파일 시스템에 연결 한 다음….
25. B NDC ( Z v
/file1.txt
/file2.txt
/folder1/file3.txt
/folder2/file4.txt
s3://bucket/file1.txt
s3://bucket/file2.txt
s3://bucket/folder1/file3.txt
s3://bucket/folder2/file4.txt
26. ( …
비용 효율적
파일 시스템
스크래치 (200MB/s/TiB 기준, 최대 1.3GB/s/TiB 버스트) 0.165 USD
영구 (200MB/s/TiB 기준, 최대 1.3GB/s/TiB 버스트) 0.328 USD
영구 (100MB/s/TiB 기준, 최대 1.3GB/s/TiB 버스트) 0.216 USD
영구 (50MB/s/TiB 기준, 최대 1.3GB/s/TiB 버스트) 0.159 USD
2020/06 - 서울 리전 기준
예) 스크래치 파일 시스템이 서울 리전에 위치해 있고, 4,800GB의 스토리지 용량이 프로비저닝되어 있으며, 매일 8시간
분량의 워크로드를 위해 파일 시스템을 가동한 후 종료한다고 가정합니다. 이 운영을 30일(1개월) 동안 수행합니다.
월별 GB당 0.165 USD / 30 / 24 = 시간별 GB당 0.000214 USD
4,800GB x 시간별 GB당 0.000214 USD x 8시간 x 30일 = 244 USD
해당 월의 FSx for Lustre 요금 합계: 244 USD
27. 로컬 NFS 또는 SMB
서버에 효율적으로
액세스 할 수 있도록
VMware 또는 EC2에
에이전트 배포
최적화 된 네트워크
프로토콜을 사용하여
높은 병렬 전송을 보호
파일 서버용 Amazon
S3, Amazon EFS 및
Amazon FSx에 최적화
된 읽기 및 쓰기
에이전트에서 데이터를
보내거나받을 수 있도록
완벽하게 관리되는
서비스 확장
On-Premises Region
AWS DataSyncShared
file system
AWS DataSync
agent
NFS or SMB
TLS
) iu… c d H C
AWS Storage Resources
Amazon S3
Direct to all storage
classes
Amazon Elastic File
System
Amazon FSx for
Windows File Server
28.
29.
30.
31. 4 LH! l ~
https://github.com/aws-samples/amazon-fsx-workshop
https://github.com/aws-samples/amazon-fsx-tutorial