Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie [DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
Ähnlich wie [DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装 (20)
Mehr von de:code 2017
Mehr von de:code 2017 (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (11)
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
- 4. * Gartner, Big Data (Stamford, CT.: Gartner, 2016), URL: http://www.gartner.com/it-glossary/big-data/ ビッグデータとは、より拡張された洞察、 意思決定、プロセスの自動化を可能にす る費用効率の高い、革新的な情報処理の 形態で求められる、高ボリューム(high- volume)、高速(high-velocity)、多彩 な(high-variety) 情報資産です。 – ガートナー, ビッグデータの定義*
- 5. Microsoft. FY16 Q4 Results, URL: http://www.microsoft.com/en-us/Investor/earnings/FY-2016-Q4/press-release-webcast
- 6. Source: Gartner ビジネス価値 ビジネス活用のステージ バッチレポート 定型検索 分析・アドホック 非定型検索 予測分析 自動化支援 何が起きたのか？ 状況の把握 何故起きたのか？ 原因を把握 過去を分析し、今後 とるべき行動を判断 判断を元にした アクションの自動化 これまでの Business Intelligence 人が戦略的な意思決定をするための支援ツール Advanced Analytics が目指すもの より精度の高い蓄積データを活かして、将来を予測し、 業務判断を自動化する高いビジネス価値を提供 過去の見える化（BI） ・基本統計量 （平均、最大、最小、 標準偏差など） ・クロス集計 ・グラフ等による可視化 ・予測モデリング ・相関、パターン発見 ・セグメンテーション ・最適化 ・シミュレーション ・ディープラーニング ＋将来予測（発見型） 分析ステージを過去の要因分析から未来の予測分析にシフトし、 高精度の意思決定を実現
- 12. クラウドベースの統合ビッグデータ基盤 ビッグデータカタログ データレイクストア データウェアハウス 構造化データ 定型分析用 非構造Rawデータ Tier 1 半構造データ Tier 2 SQL Data Warehouse Data Lake Store Data Catalog アーカイブデータ Tier 3 アーカイブ 変換 ロード アーカイブ ビッグデータカタログ： • 大量データオブジェクトに対するメタデータのカタログ データウェアハウス： • 大量の構造化データを高速に集約／分析処理を実行 • 領域ごとにデータモデル（スタースキーマ）を設計 （例：売上分析、経理／経営分析） データレイクストア： 第1層（Tier 1） • 非構造データをそのままのフォーマット（Raw）で保存／ 蓄積（IoTデバイス、センサー、ドキュメントなど） 第2層（Tier 2） • 半構造形式のデータ（csv, tsvなど） • Hadoop/Spark、機械学習などから利用される 第3層（Tier 3） • 第2層やデータウェハウスのデータで時間が経過したもの をアーカイブする • データ構造は基本的に半構造形式
- 13. データウェアハウスデータレイクストア 非構造Rawデータ （ログ、文書、バイナリ） Tier 1 Machine Learning Data Lake Analytics HDInsight 目的に合わせた データウェハウス分析処理 （売上分析、経営分析） データウェハウスに 格納しきれなかった 過去データ、関連データ を連結して分析 ハードウェアの性能限界 によって行えなかった 処理量の分析を実現 ※ディスク／コンピューティング 非構造データの 分析処理 （画像、音声、映像など） 広範囲のデータを利用した 機械学習、統計解析処理 などによる高度分析 SQL Data Warehouse Data Lake Analytics HDInsight Data Lake Analytics 構造化データ 半構造データ 分析用に加工(csv等) Tier 2 アーカイブデータ Tier 2, DWHのアーカイブ Tier 3
- 15. 統合ビッグデータ基盤 ビッグデータカタログ 構造化データ 定型分析用 非構造Rawデータ （ログ,文書,バイナリ） Tier 1 半構造データ 分析用に加工(csv等) Tier 2 SQL Data Warehouse Data Lake Store Data Catalog 情報可視化 経営ダッシュボード 情報アクセス高度化・ 統合検索 レポーティング Power BI 高度予測分析 自然言語認識 翻訳・要約 統計解析・分析 類似・相関分析 機械学習 Deep Learning 仮説設定・検証 Cognitive HDInsight Machine Learning Bot サービス 会話型問合せ Bot Services Data Lake Analytics デ ー タ 収 集 ・ 連 携 Data Factory System of Records (ERP等) 構造化データ コミュニケーション インフラストラクチャ 等の非構造化データ ワード・Excel ・PDF等の 非定型データ 外部ソース （構造化・非構造化） オープンデータ 半構造データ アーカイブ用 Tier 3 データ連携Data Factory Azure Active Directory ユーザ管理／認証／アクセス制御
- 19. Data Factory Tools for Visual Studio Azure Portal
- 20. Azure Table Storage (Web ログ レコード) Data Factory HDInsight (Web ログを ファイルにして バッチ処理で集計) SQL Database (集計データを DB テーブル に格納) Power BI
- 21. 社内システム Data Management Gateway SQL Database Data Warehouse Blob Storage Table Storage
- 23. Analytics Storage HDInsight (“managed clusters”) Azure Data Lake Analytics Azure Data Lake Store Azure Data Lake
- 24. LOB Applications SocialDevices Clickstream Sensors Video Web Relational HDInsight Data Lake Analytics Machine Learning Spark R Azure Data Lake Store
- 25. 実質無制限の容量のファイル群を格納出来るビッグデータストア （数十、数百ペタバイト以上のクラスのデータを格納可能） Azure のクラウド基盤上の HDFS (Hadoop 分散ファイルシステム) 互換の ファイルシステム、全てのファイルをそのままの書式（raw data）で格納可能 並列分散処理（MPP)により高スループットを実現 「企業向けレベルのセキュリティ」に対応 （セキュリティ、アクセス制御、暗号化など） １つのデータオブジェクトに対して、２つのレプリカを同時に複製 （全体で３つのコピーを保持）することで高可用性を実現 拡張可能 高信頼性 互換性 パフォーマンス アクセス制御
- 26. Azure Data Lake Store file …Block 1 Block 2 Block 2 Backend Storage Data node Data node Data node Data node Data nodeData node Block Block Block Block Block Block パフォーマンス
- 27. アクセス制御
- 28. 障害時でさえデータは消失しない Replica 1 Replica 2 Replica 3 Fault/upgrade domains Write Commit 高信頼性
- 31. Control Node SQL DB Compute Node Compute Node Compute Node Compute Node SQL DB SQL DB SQL DB SQL DB コンピュート層 • スケールアウト・ダウン可能 • 停止可能 データはストレージ層 MPP処理 コンピュート層とストレージ層を 分離することで、スケール アウトを容易にし、同時に 課金も柔軟にする DMS DMS DMS DMS DMS Compute Node SQL DB DMS プレミアムストレージ（SSD）
- 32. Azure Data Lake Store Azure Storage Blob 外部表Azure SQL Data Warehouse
- 34. 従来型の処理・分析 Azure Data Lake を中心とした処理・分析 Business apps Custom apps Sensors and devices ADL Store People 非構造化データも 含めてあらゆる データを格納 Azure SQL DW Azure AD Power BI ADF ADL Analytics • 処理・分析業務の大半はデータ準備作業が占める • 処理・分析業務に手間・時間が必要 Business apps Custom apps Sensors and devices HDInsight ユーザー管理、認証 データの連携 Power BI File System Database Database Hadoop DWH Data Mart
- 38. HDInsight 開発者は OSS に馴染んでいる: Java, Eclipse, Hive, etc. マネージド Hadoop クラスタ において、カスタマイズ・管理 が可能で、フレキシビリティが ある Azure Data Lake Analytics C#, SQL & PowerShell のスキ ル・経験を活かせる 利便性、効率性、自動スケール、 ジョブ実行の仕組みが提供され る
- 39. (New) (New)
- 41. REFERENCE ASSEMBLY WebLogExtASM; @rs = EXTRACT UserID string, Start DateTime, End DateTime, Region string, SitesVisited string, PagesVisited string FROM “/Logs/WebLogRecords.txt” USING WebLogExtractor (); @result = SELECT UserID, (End.Subtract(Start)).TotalSeconds AS Duration FROM @rs ORDER BY Duration DESC FETCH 10; OUTPUT @result TO “/Logs/Results/top10.tsv" USING Outputter.Tsv(); • 型定義は C# の型定義と同じ • データをファイルから抽出・読み込み するときに、スキーマが必要 Data Lake Store 内 のファイル 独自形式を解析するカスタム関数 C# の関数 行セット: （中間テーブルの 概念に近い） TSV形式で書き込む関数
- 42. U-SQL ジョブのサブミット Azure PortalやVisual StudioのAzure Data Lake ToolsからU-SQLジョブをサブミット可能 42
- 43. 進捗 統計情報
- 46. ※ Power BI Desktop は下記サイトから無償でダウンロード可能です https://powerbi.microsoft.com/ja-jp/desktop
- 47. • レポートの例
- 50. ハイブリッド データ オンプレミスとクラウドの両方の データにアクセスすることが可能 インタラクティブ 主要な可視化・BI ツールをサポート し、インタラクティブなセルフサービス 型のデータ分析を実現 実績のある技術 SQL Server Analysis Services の テーブル モデルを搭載 クラウド PaaS のため簡単にデプロイでき、 簡単にスケールさせることができる マネージド型サービス セキュリティ管理 データモデリング 分析の高速化 SQL Database などのデータベース Excel、フラットファイル 分析サーバデータソース 可視化・分析機能
- 54. セッションアンケートにご協力ください 専用アプリからご回答いただけます。 decode 2017 スケジュールビルダーで受講セッションを 登録後、アンケート画面からご回答ください。 アンケートの回答時間はたったの 15 秒です!
- 55. Ask the Speaker のご案内 本セッションの詳細は『Ask the Speaker Room』各コーナーカウンタにて ご説明させていただきます。是非、お立ち寄りください。
- 56. © 2017 Microsoft Corporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。