Weitere ähnliche Inhalte Ähnlich wie Data discoveryを支えるawsのbig data技術と最新事例 Ähnlich wie Data discoveryを支えるawsのbig data技術と最新事例 (20) 2. ⾃⼰紹介
⼩梁川 貴史(こやながわ たかし）
• パートナーソリューションアーキテクト
– APNさまへの技術⽀援
• アーキテクチャの検討⽀援やレビューなど
• 経歴
– ソフトハウスにて、開発とSI業務を経験
– 電機メーカーにて、⾃社Webサービスの設計から運⽤まで経験
• AWSのユーザとして4年半、1000台を超えるインスタンス環境での開発・運⽤
• 好きなサービス
– Cloudwatch events
– AWS WAF
6. AWS グローバルネットワーク
12のリージョン
1. US EAST (Virginia)
2. US WEST (N. California)
3. US WEST 2 (Oregon)
4. EU WEST (Ireland)
5. JAPAN (Tokyo)
6. South America (Sao Paulo)
7. ASP 1 (Singapore)
8. ASP 2 (Sydney)
9. GovCloud
10.BJS 1 (Beijing China) limited
11.EU (Frankfurt)
12.Seoul(korea) 12 Regions (地域) | 30 Availability Zones(データセンター群)
54か所のエッジロケーション
7. Enterprise
Applications
Virtual Desktop Sharing & Collaboration
Platform
Services
Analytics
Hadoop
Real-time
Streaming Data
Data
Warehouse
Data
Pipelines
App Services
Queuing &
Notifications
Workflow
App streaming
Transcoding
Email
Search
Deployment & Management
One-click web
app deployment
Dev/ops resource
management
Resource
Templates
Mobile Services
Identity
Sync
Mobile
Analytics
Push
Notifications
Administration
& Security
Identity
Management
Access
Control
Usage
Auditing
Key
Storage
Monitoring
And Logs
Core
Services
Compute
(VMs, Auto-scaling
and Load Balancing)
Storage
(Object, Block
and Archival)
CDN
Databases
(Relational, NoSQL,
Caching)
Networking
(VPC, DX, DNS)
Infrastructure Regions Availability Zones Points of Presence
サーバー、ストレージ、DBから、アプリケーションまで
50を超えるクラウドサービスを提供
8. Amazon Elastic Compute Cloud (EC2)
• 特徴 (http://aws.amazon.com/jp/ec2/)
– 必要な時に必要なだけ1時間単位の従量課⾦で
利⽤できる仮想サーバリソース
– 世界12箇所のリージョンで利⽤可能
– 様々なスペック・OSを選択可能
• 価格体系 (http://aws.amazon.com/jp/ec2/pricing/)
– インスタンス利⽤料($0.02/hour 〜)
– データ転送量(OUT $0.14/GB )
仮想クラウドサーバ
11. AWS の基盤サービス
コンピュー
ティング
ストレージ データベース
ネットワー
キング
AWS グローバ
ルインフラスト
ラクチャ リージョン
アベイラビリ
ティーゾーン エッジロケー
ション
クライアント側で
のデータ暗号化
サーバー側での
データ暗号化
ネットワークトラ
フィックの保護
プラットフォーム、アプリケーション、アイデンティティ
＆アクセス管理
オペレーティングシステム、ネットワーク、ファイア
ウォール構成
お客様のアプリケーションとコンテンツ
お客様
共有責任モデル 〜AWSのセキュリティに関する考え⽅
顧客はクラウ
ド内のセキュ
リティに責任
を持ちます。
AWS はクラウド
のセキュリティに
責任を持ちます。
15. すべての IT を on AWSで
1000台以上のサーバーを
ほぼ全てをクラウドへ移⾏
5年間で40%のコスト削減
500台規模のプライベート
クラウドを丸ごとAWSへ
業務システムの全インフラを
数年かけてAWSに移⾏
基幹システムをAWSに移⾏
その他の業務システムも
順次AWSに移⾏
20. 収集 分析 活⽤
• 環境データ（温湿度など）
• 位置情報
• ⾞載データ
• 装置データ
• 機器ログ
• 機器ステータス
• ⽣体データ
• 監視動画・画像
• 機器稼働実績
• 機器交換予測
• 異常検知
• ハザードマップ
• 運送計画
• ドライバ運転実績
• 歩留まり管理
• 在庫管理
• 資産管理
• 配送管理
• 社員教育
データ活⽤例
25. Amazon Simple Storage Service
• 特徴 (http://aws.amazon.com/jp/s3/)
– ⾼い堅牢性(99.999999999%)
– 格納容量無制限
– 様々なAWSサービスと連携するセンター
ストレージ
• 価格体系 (http://aws.amazon.com/jp/s3/pricing/)
– 1GByteあたり⽉額 $0.033
– データ転送量(OUT)
– APIリクエスト数
マネージドオンラインストレージサービス
Amazon S3
26. Amazon Kinesis stream
• 特徴 (http://aws.amazon.com/jp/kinesis/)
– ⽣成されるデータをリアルタイムに近
い状況でデータ処理部に伝送
– 預かったデータは、3AZに24時間保存
(最⼤7⽇まで延⻑可能)
– AWSのサービスとの簡単インテグレー
ション
– ⽬的に応じた処理を並列処理すること
が可能
• 価格体系 (http://aws.amazon.com/jp/kinesis/pricing/)
– シャード数
– Put APIコール数
フルマネージド型リアルタイム⼤規模ストリーミング処理
⼤量トランザク
ション処理
複数データ処理の
容易なインテグ
レーション
27. Amazon DynamoDB
• 特徴 (http://aws.amazon.com/jp/dynamodb/)
– 複数のデータセンターにデータをレプリケーションする
ことにより、⾼い耐久性と可⽤性を提供。
– ユーザーは必要なスループットを決めるだけで利⽤可能。
ストレージ容量は事前に決める必要がなく、必要に応じ
てプロビジョンされる。
– データ容量やスループットが増えてきても低いレイテン
シで安定した性能を発揮する
• 価格体系 (http://aws.amazon.com/jp/dynamodb/pricing/)
– スループットキャパシティ
• 書き込み: $0.00742/10ユニット/時間
• 読み込み: $0.00742/50ユニット/時間
– ストレージ: $0.285/GB
Amazonが提供する⾼い信頼性、スケーラビリティ、低レイテンシで安定した
性能を兼ね備えたNoSQLデータベースサービス
DynamoDBの使いドコロ
• ゲーム
• 広告配信
• DMP
• センサーデータ
• モバイルアプリケーションの
バックエンド
いずれも、⾼いスループットと低
いレイテンシが求められ、更に扱
うデータ量が⼤きくなりやすいと
いう共通の特徴を持つ
29. AWS Lambda
• 特徴 (http://aws.amazon.com/jp/lambda/)
– OS、キャパシティ等インフラの管理不要
– S3、Kinesis、SNS等でのイベント発⽣を元に
ユーザが⽤意したコードを実⾏
– ユーザアプリからの同期/⾮同期呼び出し
• 価格体系 (http://aws.amazon.com/jp/lambda/pricing/)
– コード実⾏時間（100ms単位）
– Lambdaファンクションへのリクエスト回数
– 1⽉あたり100万リクエスト、400,000GB/秒
が無料で利⽤可能
イベントをトリガーにコードを実⾏するコンピュートサービス
AWS LambdaAmazon S3 Bucket イベント
元画像 サムネイル画像
1
2
3
AWS LambdaAmazon DynamoDB
Table and Stream
プッシュ通知
別テーブルを更
新
■イメージのリサイズやサムネイルの作成
■値チェックや別テーブルへのコピー
31. Amazon Redshift
• 特徴 (http://aws.amazon.com/jp/redshift/)
– 160GBから最⼤1.6PBまで拡張可能
– 超並列(MPP)、カラムナ型DBエンジンによ
る⾼速処理
– 他のAWSサービスとの⾼い親和性
– 従来のデータウェアハウスの1/10のコスト
• 価格体系 (http://aws.amazon.com/jp/redshift/pricing/)
– インスタンスタイプに応じ、1時間単位（イ
ンスタンスにはストレージを内蔵）
– バックアップストレージは利⽤量に応じて
フルマネージドのデータウェアハウスサービス
10Gb Ether
SQLクライアント/BIツール
128GB RAM
16TB disk
16 cores
JDBC/ODBC
128GB RAM
16TB disk
16 coresCompute
Node
128GB RAM
16TB disk
16 coresCompute
Node
128GB RAM
16TB disk
16 coresCompute
Node
Leader
Node
Redshift ⼤規模分散処理
で分析SQLを
⾼速実⾏
32. Amazon Elastic MapReduce(Amazon EMR)
• 特徴 (http://aws.amazon.com/jp/elasticmapreduce/)
– フルマネージド：クラスタの構築から構成変更、破棄ま
ですべてマネージしてくれる
– ⾃動化：Amazon EMRのAPIを利⽤するとジョブに合わ
せてクラスタを起動し、実⾏させ、終了したらクラスタ
を破棄、というような⾃動化が容易
– AWS：Amazon S3やAmazon DynamoDBからデータ
の⼊出⼒が可能
• 価格体系 (http://aws.amazon.com/jp/elasticmapreduce/pricing/)
– EMRを使った全体費⽤考え⽅
• 時間あたりのEMR費⽤ + 時間あたりのEC2（EMRによって起動され
るHadoopクラスタを構成するEC2）費⽤
– 例えば東京リージョンでc3.xlarge * 8のクラスタ
• (EMR $0.053 + EC2 $0.255) * 8 / hour
フルマネージドなHadoopを提供。利⽤者は運⽤を気にせずHadoop
アプリケーションの開発や利⽤ができる。
Hadoop
Hadoop
Amazon EMRクラスタ
AWSサービスとの連携
スマートインサイトスマートインサイト
33. Amazon CloudSearch
• 特徴 (http://aws.amazon.com/jp/cloudsearch/)
– 検索ソリューションが容易に導⼊可能
– 2015年4⽉現在 34 の⾔語をサポート
– 豊富な検索機能
– ⾼度な⽇本語解析処理機能
• 形態素解析、Bi-gramでのIndexing
• 読み仮名でのサジェスト(AutoComplete)
• 価格体系 (http://aws.amazon.com/jp/cloudsearch/pricing/)
– 検索インスタンス数
– ドキュメントバッチのアップロード回数
– INDEX再作成リクエスト回数
フルマネージドなクラウド型検索エンジン
Amazon CloudSearch
データ増加に
⾃動対応
トラフィック増加に
⾃動対応
34. Amazon Elasticsearch Service
• 特徴 ( https://aws.amazon.com/jp/elasticsearch-service/ )
– ElasticsearchのAPIをそのまま利⽤可能
– AWSのサービスと連携した構成を簡単に構築
例)
• CloudWatch Logs -> Lambda -> Amazon ES
• DynamoDB Streams -> Logstash -> Amazon ES
– 検索ドメインを作成すると同時にKibanaが利⽤可能
– ⽇本語解析に対応
• Elasticsearch ICUプラグイン
• Elasticsearch Kuromojiプラグイン
• 価格体系 ( https://aws.amazon.com/jp/elasticsearch-service/pricing/ )
– Elasticsearchインスタンス時間
– Amazon EBSストレージ
ELK(Elasticsearch, Logstash, Kibana)スタックをサポートした
マネージドAnalyticsサービス
Logstash Amazon ESData Source
