クラウドを掴むような話 amazon ec2とかs3とかxenとかhadoopとか

1. クラウドを掴むような話
Amazon EC2, S3, Xen, Hadoop
とか

2. 目次
最近の話題
Amazon Web Services
Amazon Elastic Compute Cloud
Amazon Simple Storage Service
Xen
Hadoop
ほとんどリンク集です

3. 最近の話題

4. http://www.kddi.com/corporate/news_release/2009/0324/index.html
2009/6/5からKDDIもサービス開始

5. Amazon Web Services
沢山種類がある

6. Amazon web services (1/2)
Infrastructure Services
Amazon Elastic Compute Cloud (Amazon EC2)
Amazon SimpleDB
Amazon Simple Storage Service(Amazon S3)
Amazon CloudFront
Amazon Simple Queue Service(Amazon SQS)
AWS Premium Support
Payments & Billing Services
Amazon Flexible Payments Sercie(Amazon FPS)
Amazon DevPay
On-Demand Workforce
Amazon Mechanical Turk

7. Amzaon web services (2/2)
Web search & Information Service
Alexa Web Search
Alexa Web Information Service
Alexa Top Sites
Alexa Site Thumbnail
http://aws.amazon.com/products/
Amazon Web Services LLCが提供するサービス

8. Elastic Compute Cloud
クラウドコンピューティング

9. Amazon Elastic Computer Cloud(EC2)
ネイティブに近いサーバ環境を提供するサービス
xenベースのディスクイメージ（AMI）
ユーザがOSを自由に選択することができる
SLA提供
Annual Uptime Percentage of at least 99.95% during the
Service Year.
http://aws.amazon.com/ec2-sla/
Windowsサーバ，ms sql serverサポート（βサービス）
Amamzon Elastic Block Store for Amazon EC2
（βサービス）
データを永続化
データベースとしての利用が一般的

10. 99.95%の信頼性ってどれぐらい？
年：4.38時間，停止可
99.95%
2重障害だとアウト
年：26.28分，停止可
99.995%
年：2.628分，停止可
99.9995%
年：15.768秒，停止可
99.99995% キャリアグレード

11. EC2 Instance Type
Standard Instances
Small Instance (default)
Large Instance
Extra Large Instance
High-CPU Instances
High-CPU Medium Instance
High-CPU Extra Large Instance
http://aws.amazon.com/ec2/instance-types/

12. Standard Instances (1/2)
Small Instance Large Instance
1.7GB mem 7.5GB mem
1 EC2 Compute Unit 4 EC2 Compute Units
1 virtual core 2 virtual cores x 2
10+150GB storage 2x420+10GB storage
32bit platform 64bit platform
$0.10/h $0.40/h
$0.125/h (windows) $0.50/h(windows)

13. Standards Instances (2/2)
Extra Large Instance
15GB mem
8 EC2 Compute Units
4 virtual cores x 2
4x420+10GB storage
64bit platform
$0.80/h
$1.00/h (windows)

14. High-CPU Instances
High-CPU Medium Instance High-CPU Extra Large
1.7GB mem Instance
5 EC2 Compute Unites 7GB mem
2 virtual cores x 2.5 20 EC2 Compute Unites
350GB storage 8 virtural cores x 2.5
32bit platform 1690GB storage
$0.20/h $0.80/h
$0.30/h(windows) $1.20/h(windows)

15. トラフィックも課金対象

16. http://calculator.s3.amazonaws.com/calc5.html
詳細な料金はこちらで把握

17. 申込方法
面倒なのでここでは説明しません
日本語での説明は以下が秀逸です
ってか，元々そこを読んでもらえばいいんだけど
http://d.hatena.ne.jp/rx7/20080528/p1

18. 制御方法
提供されたjavaベースのCUIで制御
ブラウザのアドオンで制御
AWSが提供するwebサービスで制御
サードパーティのwebサービスで制御

19. http://docs.amazonwebservices.
com/AWSEC2/latest/DeveloperGuide/
提供されたコマンドラインツール

20. Elasticfox
ブラウザ addon EC2用

21. http://console.aws.amazon.com
AWSが提供するwebサービス

22. サードパーティのwebサービス利用

23. Amazon
Simple Storage Service

24. Amazon Simple Storage Service
1Bから5GBまでのデータの固まりを読み書き消去
保存できるデータ群は無制限
米国と欧州に保存可能
Amazon S3 Service Level Agreementで保証
http://aws.amazon.com/s3-sla/

25. 料金体系

26. S3 Organizer
ブラウザのaddon S3用

27. http://jeremy.zawodny.com/blog/archives/007641.html
利用例：S3を利用したバックアップツールとか

28. http://code.google.com/p/s3fs/wiki/FuseOverAmazon
利用例：S3FS

29. http://wiki.apache.org/hadoop/AmazonS3
利用例：S3FS for Hadoop

30. http://github.com/why/parkplace/tree/master
開発中はParkPlaceで (S3 Clone)

31. EC2/S3以外のサービス
ざっと紹介

32. Amazon SimpleDB
Amazon謹製 Dynamo
http://www.allthingsdistributed.
com/2007/10/amazons_dynamo.html
CTO Werner Vogels らが開発
key-valueストア（ハッシュテーブル）
スケールアウト（数百台とか）
障害に強い（マシン障害のみならずラック障害にも）
my %hash = (
key1 => quot;value1quot;,
key2 => quot;value2quot;
);

33. Amazon CloudFront
CDNサービス
米国8箇所，ロンドン，ダブリン、アムステルダム，フランクフル
ト，香港，東京
1000Mbps, 1000req/sのピーク負荷に耐える

34. Amazon Simple Queue Service
信頼性が高く，高度にスケーラブルなキュー環境
分散アプリケーションのコンポーネント同士のメッセージバッファ
キューに関しては以下の説明を読んでください
http://japan.cnet.
com/blog/kenn/2004/11/05/entry_amazon_simple_q/

35. Payments & Billing Services
Amazon Flexible Payments Service (Amazon FPS)
PaypalとGoogle Checkoutに対抗する決裁サービス
クレジット／デビットカード，Amazon Payments
Amazonでつかっている情報を利用
Amazon DevPay
EC2上で動かすサービスに対して開発者が課金
Amazon EC2 Machine Image (AMI) 販売

36. On-Demand Workforce
Amazon Mechanical Turk
沢山の人にタスクをこなしてもらうためのマーケット
Q&Aだけではない
例えば．．．

37. http://www.allthingsdistributed.com/2007/02/help_find_jim_gray.html
利用例：Help Find Jim Gray

38. http://www.tenthousandcents.com/index.html
利用例：Ten Thousand Cents

39. サービスが止まってないか？
簡単な死活監視

40. http://status.aws.amazon.com/
AWS Service Health Dashboard

41. http://itpro.nikkeibp.co.jp/article/EVENTS/20090309/326164/
何げにでかいこと書いてる日経BP

42. Xen
EC2はXenベース

43. 最近の話題
Xenネタで

44. プライベートクラウド
普段はローカルな環境のXenでゲストを動かしておき，必要な時
にはEC2にそのゲストを投げる
OpenNebula
http://www.opennebula.org/doku.php

45. パブリッククラウド
Amazon EC2/S2互換インタフェース
Eucalyptus
http://eucalyptus.cs.ucsb.edu/wiki/EucalyptusOverview

46. XenServer無料ダウンロード開始
http://deliver.citrix.com/go/citrix/wbFreeXenServer

47. 概要
ドキュメントが実体に
おいついてない

48. http://tinyurl.com/dbkul7

49. Xenのネットワーク周り
二つの仮想スイッチ

50. 仮想ネットワーク(Xenbr)

51. 仮想ネットワーク(Virbr)

52. こういうのもでてきた
http://www.linode.com/

53. Hadoop
試しにインストールはしてみたけど
まだよくわかってない

54. 使っているところ
A9.com(Amazon) 1-100
Adknowledge 50-200
Baidu 10-500
Cornell University Web Lab 100
Facebook 600
Neptune 200
NetSeer <1000
Powerset/Microsoft <400
Search Wikia 125
The Lydia News Analysis Project 17+103
Visible Technologies 150
Yahoo! 20,000
http://wiki.apache.org/hadoop/PoweredBy

55. http://oreilly.com/catalog/9780596521998/index.html#top
年内に本が出る

56. 日本語解説
Hadoop, hBaseで構築する大規模分散データ処理システム
http://codezine.jp/article/detail/2448
複数マシンへHadoopをインストールする
http://codezine.jp/article/detail/2699
Hadoopのインストールとサンプルプログラムの実行
http://codezine.jp/article/detail/2485
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
https://codezine.jp/article/detail/2841
mapreduceに対するnaoya氏の解説
http://d.hatena.ne.jp/naoya/20080511/1210506301
Hadoop Streamingに対するnaoya氏の解説
http://d.hatena.ne.jp/naoya/20080513/1210684438

57. おまけ
Googleファンの方向け

58. http://code.google.com/p/appscale/
Google AppEngine クローン