ビックデータ最適解とAWSにおける新しい武器
•
7 gefällt mir•4,819 views
CTO Night & Day 2016 winterでのモーニングセッションの資料です！
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Ähnlich wie ビックデータ最適解とAWSにおける新しい武器
Ähnlich wie ビックデータ最適解とAWSにおける新しい武器 (20)
Mehr von Akihiro Kuwano
Mehr von Akihiro Kuwano (20)
ビックデータ最適解とAWSにおける新しい武器
- 1. ビックデータ最適解とAWSにおけ る新しい武器 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 桑野 章弘
- 4. ビッグデータ処理基盤 on クラウド：変わらないこと • データを収集して、分析し、可視化 • 分析では、標準的な技術・OSSや商⽤ソフトウェアを活⽤ • AWSのマネージドサービスを活⽤することでより便利に 収集 分析 可視化 データを収集 ⼤規模データ を⾼速に分析 ⼈間が参照し やすい形に
- 8. ⼤規模データ分析に必要な基盤 • データを消さずにデータレイクに集め、分析に つなげる 収集 データレイク （保存） 分析 可視化 データを収集 し、データレイ クへ格納 全期間保存。 共通APIでア クセス ニーズ #1 分析 可視化 ニーズ #2API
- 10. スケールアウト ≠ ⾼価 クラウドではスケールアウトがコスト・時間の両⾯で効率的 必要な時に必要なだけノードを追加できる ノードを増やしても利⽤時間が短くなればコストは同じ 処理時間 8時間 処理時間 2時間 JOB 16ノードに 拡張 JOB 4ノード×8時間 ＝32 16ノード×2時間 ＝32
- 11. ⼤規模データ分析 on クラウド（ここまでのまとめ） データをデータレイクに集め、多様な分析につなげる 分析はスケールアウト可能なインフラの上で 収集 データレイク （保存） 分析 可視化 データを収集 し、データレイ クへ格納 全期間保存。 共通APIでア クセス 可視化 スケールアウト 可能な技術 分析 スケールアウト 可能な技術API
- 12. AWS＋ビッグデータ分析基盤
- 13. EC2があれば何でも出来るけど… マネージドサービスで管理負荷を低減可能 電源・ネットワーク ラッキング HWメンテナンス OSパッチ ミドルウェアパッチ 定形運⽤設計 スケールアウト設計 ミドルウェア導⼊ OS導⼊ アプリケーション作成 オンプレミス 独⾃構築 on EC2 AWSマネージドサービス お客様がご担当する作業 AWSが提供するマネージド機能 電源・ネットワーク ラッキング HWメンテナンス OSパッチ ミドルウェアパッチ 定形運⽤設計 スケールアウト設計 ミドルウェア導⼊ OS導⼊ アプリケーション作成 電源・ネットワーク ラッキング HWメンテナンス OSパッチ ミドルウェアパッチ 定形運⽤設計 スケールアウト設計 ミドルウェア導⼊ OS導⼊ アプリケーション作成
- 14. 分析保存 Amazon Glacier Amazon S3 Amazon DynamoDB Amazon RDS/ Aurora AWSマネージドサービス：ビッグデータ AWS Data Pipeline Amazon CloudSearch Amazon EMR Amazon EC2 Amazon Redshift Amazon Machine Learning AWS IoT AWS Direct Connect 収集 Amazon Kinesis Amazon Kinesis Firehose Amazon Elasticsearch Amazon Kinesis Analytics Amazon QuickSight AWS DMS New!!! New!!! Snowball 可視化 Amazon EC2 Amazon Athena New!!!
- 17. データレイク on AWS あらゆるデータが集まるス トレージ 構造化データだけではなく ⾮構造化データも 様々なデータを跨いで分析 可能 Amazon S3が最適 EMR/Redshift等で活⽤ 低頻度アクセスストレージ /GlacierでTiered DB 各種クライアント メディア ファイル 多様な データベース サーバ Amazon Kinesis Amazon S3 Amazon Glacier Amazon EMR Amazon Redshift Amazon Machine Learning Amazon Athena
- 20. スケールアウト可能な分析サービス Amazon Redshift マネージドRDBMS SQL（標準） スケールアウト可能 Amazon Elastic MapReduce (EMR) マネージドHadoop Hadoop/Spark（標準） スケールアウト可能 OR マネージド, 標準技術, スケールアウトが選択の鍵
- 21. Amazon Redshift 特徴 データサイズ：最⼤2PBまで拡張可能 超並列(MPP)、カラムナ型DBエンジン による⾼速SQL処理 スケールアウト可能。最⼤128台 PostgreSQLとの互換性 使った分だけの利⽤料⾦。従来のデータ ウェアハウスの1/10のコストで実現 フルマネージドのデータウェアハウスサービス 10Gb Ether JDBC/ODBC Redshift ⼤規模分散処理 で分析SQLを⾼ 速実⾏
- 22. SQLを分散処理（スケールアウト） SELECT * FROM … SQLをコンピュート ノードへ配信 CPU CPU CPU CPU CPU CPU リーダーノード コンピュートノード ノードに直結した⾼ 速ストレージ
- 23. SQLを分散処理（スケールアウト） SELECT * FROM … CPU CPU CPU CPU CPU CPU リーダーノード コンピュートノード ノードに直結した⾼ 速ストレージ
- 24. SQLを分散処理（スケールアウト） SELECT * FROM … SQLをコンピュート ノードへ配信 CPU CPU CPU CPU CPU CPU リーダーノード コンピュートノード 分散して SQLを処理 ノードに直結した⾼ 速ストレージ
- 26. Amazon Elastic MapReduce （EMR） ⼤規模データ処理をHadoop/Sparkなどの 分散処理フレームワークを使って効率的に処理 AWS上の分散処理サービス • 簡単かつ安全にBig Dataを処理 • 多数のアプリケーションサポート 簡単スタート • 数クリックでセットアップ完了 • 分散処理アプリも簡単セットアップ 低コスト • ハードウェアへの投資不要 • 従量課⾦制 • 処理の完了後、クラスタ削除 • Spotインスタンスの活⽤ Hadoop 分散処理アプリ 分散処理基盤 Amazon EMRクラスタ 簡単に複製 リサイズも1クリック Spotも利⽤可能
- 28. EMRで稼動するSQLエンジン SQLエンジン操作アプリ ストレージ YARN Map Reduce Tez Spark Hive Spark SQL Presto JDBC/ODBC HiveMetastore HDFS EMRFS Hue Zeppelin SELECT…
- 29. データ分析プラットフォーム⽐較 Amazon Redshift Amazon EMR 分類 大規模データ処理に特化したマネー ジドRDBMS Hadoop/Spark等分散処理フレームワー クのマネージド環境 処理系 SQL（PostgreSQLと互換性） アプリケーションに依存：Hive、Pig … Presto等でSQLでの分析も可能 スケールアウト 可能 可能 ストレージの種類 高速なローカルストレージ HDFS、もしくはEMRFSでS3上のデータ を取り込まずにアクセス ノードとストレージの分 離 ノードとストレージは同時に増加・削 減 ストレージに影響を与えずにノード増減が 可能（EMRFSの場合） 最大処理サイズ 2PB（圧縮後） 上限無し（EMRFSの場合） 処理レイテンシー Low • Presto (Low) • Hive (Midium~High) 運用管理 運用管理に必要な機能がビルトイン 分散処理系＋OSSアプリ環境を容易に 分析ツール、ETL等 JDBC/ODBC+プッシュバック対応等 ネイティブレベルでの対応 JDBC/ODBC経由もしくはHive メタストア 経由で多くの環境がサポート
- 30. 分析サービスの選択例 Amazon Redshift SQL処理に特化・⾼速 ローカルディスク上で 処理 Amazon Elastic MapReduce (EMR) ⾃由にアプリケーションを 選択 EMRFSでS3データにアク セス S3に直接アクセスできるEMRFSを 使い、データレイク上の全期間の データ分析に活用 頻繁にアクセスされるホットデータを 格納し、高速なSQLアクセス機能を 活用して分析
- 32. EMR:プリプロセス処理に向く⾼い接続性 例）Spark on EMRとAWSサービスとの連携 Amazon EMR Amazon S3 (データレイク） DynamoDB Amazon RDS Amazon Kinesis Amazon Redshift Elastic Search Service EMRFS Streaming Data Connector Copy from HDFS EMR-DynamoDB Connector JDBC(SparkSQL ) Elastic Search Connector
- 33. 例）プリプロセスの構成例 Amazon RedshiftAmazon EMR• ⾮構造化データの構造化・整形 • 構造化データのフィルタリング • S3へ変形済データを出⼒ サマリー テーブル ファクト テーブル マート・サマ リー表の更新を SQLで実⾏ Amazon S3 全データ 変形済データ
- 34. Amazon Athenaリリース！ Amazon S3に置いたデータをインタラクティブにSQL実⾏可能 AthenaはPrestoで提供するSQL Engineが利⽤でき、JSON, CSV, ログファイル, 区切り⽂字のあるテキストファイル, Apache Parquet, Apache ORCに対してクエリが可能 ペタバイトクラスのデータに対するクエリをサポート、データを S3から取り込む⼿間はない、ANSI-SQLもサポート JDBCでのアクセスも可能 バージニア、オレゴンで利⽤可能 スキャンしたデータ1TBあたり$5の料⾦(⽶国)
- 35. Athenaを活⽤することでプリプロセスの部分が⼤幅に 簡略化される Hadoop関連の知識も必要無い Amazon RedshiftAmazon Athena• ⾮構造化データの構造化・整形 • 構造化データのフィルタリング • S3へ変形済データを出⼒ サマリー テーブル ファクト テーブル マート・サマ リー表の更新を SQLで実⾏ Amazon S3 全データ 変形済データ
- 37. Athena Tips Amazon Athenaはリージョンまたいだ Amazon S3バケットにもクエリできるので、東 京リージョンにあるS3にもアクセス可 転送量とレイテンシが許容できるなら今からでも使⽤可能 37
- 38. Athena Tips Amazon S3の標準 - 低頻度アクセスの活⽤ Amazon Athenaで何回もクエリしないようなデータには、 Amazon S3の標準 - 低頻度アクセスにすることで耐久性等は標 準そのままに、容量単価を節約 38
- 44. 事例：Nasdaq様 Redshift/EMRを使い分け Redshift:300TB分の直近データ EMR+Presto+S3:全期間データ 共通のSQLで アクセス re:Invent 2015発表資料 BDT314 「A Big Data & Analytics App on Amazon EMR & Amazon Redshift 」より引用
- 45. 事例：Finra様 750億イベント/⽇の処理基盤 • S3をデータ共有サービスとして定義し、EMRやRedshiftからアク セス re:Invent 2015発表資料 BDT305 「Amazon EMR Deep Dive & Best Practices」より引用
- 46. Finra様：DWHアプライアンスとHive/Tez＋S3⽐較 S3に置いたままのデータをHive/Tez on EMRでアクセス DWHアプライアンスとの⽐較で⼗分な速度を実現 re:Invent 2015発表資料 BDT305 「Amazon EMR Deep Dive & Best Practices」より引用