Weitere ähnliche Inhalte Ähnlich wie Scaling MongoDB on AWS (20) Mehr von Yasuhiro Matsuo (13) Scaling MongoDB on AWS2. 自己紹介
Name:松尾康博 ( @understeer )
Company:Amazon Data Services Japan
Job:Solutions Architect
Famous AWS Services :
High Performance Instance
High Performance Storage
Community
MongoDB-JP
Copyright © 2013 Amazon Data Services Japan
5. AWSの様々なサービス
お客様のアプリケーション
ライブラリ & SDKs
Java, PHP, .NET,
Python, Ruby,
node.js
IDEプラグイン
Eclipse
Visual Studio
Web管理画面
Management
Console
認証
AWS IAM
メッセージ
Amazon SNS
Amazon SQS
Amazon SES
デプロイと自動化
モニタリング
Amazon
CloudWatch
検索エンジン
Amazon Cloud Search
AWS Elastic Beanstalk
AWS Cloud Formation
AWS OpsWorks
ワークフロー管理
Amazon SWF
AWS DataPipeline
コンテンツ配信
分散処理
トランスコード
Amazon CloudFront
Elastic MapReduce
データベース
Amazon S3
Amazon EBS
Amazon Glacier
AWS StorageGateway
Amazon RDS
Amazon DynamoDB
Amazon ElastiCache
Amazon Redshift
Application
Service
Amazon Elastic Transcoder
ストレージ
コンピュータ処理
Amazon EC2
Auto Scale
ネットワーク & ルーティング
Amazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct Connect
5 Region
Development &
Administration
AZ
AWS グローバルインフラ
Geographical Regions, Availability Zones, Points of Presence
Infrastructure
Service
12. Easy to start a single node
AWS マーケットプレイス
MongoDB 2.4.8がプリインストールされたイメージを無償提供
• https://aws.amazon.com/marketplace/pp/B00COAAEH8/
Copyright © 2013 Amazon Data Services Japan
13. Easy to start a single node
AWS マーケットプレイス
MongoDB がプリインストールされたイメージを無償提供
• https://aws.amazon.com/marketplace/pp/B007IBMJPI/
手順も公開
• http://www.mongodb.org/display/DOCS/AWS+Marketplace
Copyright © 2013 Amazon Data Services Japan
23. 3.75 m1.medium
7.5 m1.large
15 m1.xlarge
17.1 m2.xlarge …
34.2 m2.2xlarge
68.4 m2.4xlarge
60.5 c3.8xlarge
244 cr1.8xlarge
GBメモリ
Copyright © 2013 Amazon Data Services Japan
24. High I/O 4XL 60.5 GB
35 EC2 Compute Units
16 virtual cores
2*1024 GB SSD-based local instance storage
High Storage 8XL 117 GB
35 EC2 Compute Units,
24 * 2 TB ephemeral drives
10 GB Ethernet
256
Hi-Mem 2XL 34.2 GB
13 EC2 Compute Units
4 virtual cores
64
Memory (GB)
M3 XL 15 GB
13 EC2 Compute Units 4
virtual cores
EBS storage only
Medium 3.7 GB,
2 EC2 Compute Units
1 virtual core
Large 7.5 GB
4 EC2 Compute Units
2 virtual cores
4
2
Cluster GPU 4XL 22 GB
33.5 EC2 Compute Units,
2 x NVIDIA Tesla “Fermi”
M2050 GPUs
Extra Large 15 GB
8 EC2 Compute Units
4 virtual cores
16
Cluster Compute 8XL 60.5 GB
88 EC2 Compute Units
Cluster Compute 4XL 23 GB
33.5 EC2 Compute Units
Hi-Mem XL 17.1 GB
6.5 EC2 Compute Units
2 virtual cores
32
8
10 GB
InterInstance
Network
Hi-Mem 4XL 68.4 GB
26 EC2 Compute Units
8 virtual cores
128
Hi-Mem Cluster Compute 8XL 244
GB
88 EC2 Compute Units
16 virtual cores
240 GB SSD
Small 1.7 GB,
1 EC2 Compute Unit
1 virtual core
M3 2XL 30 GB
26 EC2 Compute Units 8
virtual cores
EBS storage only
High-CPU XL 7 GB
20 EC2 Compute Units
8 virtual cores
High-CPU Med 1.7 GB
5 EC2 Compute Units
2 virtual cores
Micro 613 MB
Up to 2 ECUs (for
short bursts)
1
1
2
4
8
16
32
EC2 Compute Units
64 128 256
30. New Instances まとめ
ファミリー (6)
汎用
General Purpose
M1
M3
コンピューティング最適化
Compute Optimized
C1
CC2
メモリ最適化
Memory Optimized
M2
CR1
ストレージ最適化
Storage Optimized
HI1
HS1
マイクロインスタンス
Micro
T1
GPUインスタンス
GPU
30
タイプ (10)
CG1
新しいタイプ (3)
C3
I2
G2
32. Test: random 4k reads
EBS One Volume: ~200 MongoOPS
Loaded instance: ~ 1000 MongoOPS
+
4,000 MongoOPS
Loaded Instance: 80,000 MongoOPS
PIOPS One Volume:
SSD
I2 SSD: ~180,000 MongoOPS
Copyright © 2013 Amazon Data Services Japan
33. Test: random 4k reads
+
PIOPS
EBS
Copyright © 2013 Amazon Data Services Japan
SSD
36. Ext4 or XFS, noatime
Raise file descriptor limits
Set disk read-ahead
No large virtual memory pages
Freeze IO’s during snapshots
Copyright © 2013 Amazon Data Services Japan
Fast!!!
Stable
Config Tips
43. SnapDish by Vuzz.inc
• Replicaset( 2 nodes +arb)
• 1000 PIOPS EBS RAID10
• hi1.4xlarge + SSD
• GridFS – photos from users
• GeoIndex – location of photo
AWSを利用することで、インフラ管理を自分で全部で
きるのでコスト削減に役立っています。あと、アプリ
開発により時間がとれるので、サービスの向上に繋
がっています。
Copyright © 2013 Amazon Data Services Japan
Vuzz CTO 清田史和様
45. ELB
Web Server
Web Server
Web Server+
Apache
CakePHP
Cloud Front
Web Server
Web Server
Web Server
Apache +
CakePHP
ap-northeast-1a:c1.medium *
nap-northeast-1c:c1.medium * n
Admin Server
ElastiCache
Mongo DBPrimary
Jenkins Server
github
Mongo
DBSecondary
Mongo
DBSecondary
ap-northeast-1a:m3.2xlarge * 2
ap-northeast-1c:m3.2xlarge * 1
Batch Server
S3
Hinweis der Redaktion Cc1 – bargain on the spot market! Cc1 – bargain on the spot market! Cc1 – bargain on the spot market!