【de:code 2020】 Azure Synapse Analytics 技術編～最新の統合分析プラットフォームによる新しい価値の創出（前編）

*本資料の内容 (添付文書、リンク先などを含む) は de:code 2020 における公開日時点のものであり、予告なく変更される場合があります。
#decode20 #D09
Azure Synapse Analytics 技術編
最新の統合分析プラットフォームによる新しい価値の創出
(前編)
宮原誠治 (ドク)
日本マイクロソフト株式会社
デジタルトランスフォーメーション事業本部
エンタープライズクラウドアーキテクト技術本部
Senior Cloud Solution Architect

本セッションについて
対象者
課題
ゴール
• IoT, ビッグデータ, データウェアハウスに関心のある技術者
• IT/DX 戦略に関わる方
• 日々増大するデータ、ペタバイトを超えるデータをどう扱うのか？
• データ収集や投入、非構造化・構造化データの加工・分析・可視化は？
• 複数の PaaS を組み合わせて、セキュリティは？運用は？
• Azure SQL Data Warehouse を大きく進化させ、PaaS を組み合わせる
複雑性を排除した最新の統合分析プラットフォームの価値をご理解頂きます

セッションアジェンダ
前編 (D09)
>開発者/分析者視点
後編 (D14)
>管理者/運用者視点
• Azure Synapse Analytics とは
• Azure Synapse Analytics のアーキテクチャ
• 開発生産性の観点
• セキュリティと運用性の観点
• まとめ

Microsoft Learn おすすめコンテンツ
本セッションの内容は，以下の Microsoft Learn コンテンツでも補完的に学習できます。
ぜひアクセスし，Microsoft Azure の Azure Synapse Analytics 関連サービスの理解を深めて
ください。
Azure Synapse Analytics (ワークスペースプレビュー) とは
https://docs.microsoft.com/ja-jp/azure/synapse-analytics/overview-what-is
What is Azure Synapse Link for Azure Cosmos DB (Preview)?
https://docs.microsoft.com/ja-jp/azure/cosmos-db/synapse-link

Azure Synapse Analytics とは

Cloud Scale Analytics - イノベーションの３本の矢
Open Source
Analytics
Azure Synapse
Analytics
Data Governance
(Project Babylon)

従来の Azure Synapse Analytics
(Azure SQL Data Warehouse)
にもアドバンテージがありました
GigaOm TPC-H benchmark report, January 2019, “GigaOm report: Data Warehouse in the Cloud Benchmark”
$33
Azure Synapse
Analytics
$103
Snowflake
Standard
$48
Amazon
Redshift
…$564
Google
BigQuery per byte
94% less
TPC-H ベンチマーク比較
価格性能比 | 低い値の方が優れている

Azure Synapse Analytics は次のレベルに
Open Source Analytics Azure Analytics
ベストな OSS と Azure サービス
を組み合わせ、エンドツーエンド
のシングルサービスとして提供
HDInsight
Enterprise-grade service for open source analytics
Hadoop Spark Kafka
Ingest
Azure Data
Factory
Prep
Azure
Databricks
Explore
Azure Data
Explorer
Streaming
Azure Stream
Analytics
IoT
Azure Event
Hubs
Share
Azure Data
Share
Store
Azure Data
Lake Storage

Azure Analytics
Store
Transform QueryIngest
Azure
Data Factory
Azure Data Lake Storage Gen2
Azure Databricks Azure SQL Data
Warehouse
クラウドデータ
SaaS データ
オンプレミスデータ
デバイスデータ
Power BI
Azure
Machine Learning

2
データウェアハウスとビッグデータ分析システム全体のあらゆるデータから、
驚異的なスピードでインサイトを提供する無制限の分析サービス
Store Azure Data Lake Storage Gen2
Azure Synapse Analytics
クラウドデータ
SaaS データ
オンプレミスデータ
デイバイスデータ
Power BI
Azure
Machine Learning

Azure Synapse Analytics の重要な開発領域
サーバーレス型 + プロビジョニング型
構造/非構造データに対する
統合されたセキュリティ
ワークロード別のスケジューリング
オンラインスケーリング
共有データに対する
マルチコンピュートクラスター
統合された SQL + Spark

BI, AI と継続的なインテリジェンスの為の統合データプラットフォーム
Platform
Azure
Data Lake Storage Gen2
Common Data Model
Enterprise Security
Optimized for Analytics
Data Lake Storage との統合、
Common Data Model の採用
METASTORE
SECURITY
MANAGEMENT
MONITORING
マネジメント, セキュリティ, モニタリング,
メタストアに対して統合プラットフォーム
を提供
DATA INTEGRATION
Analytics Runtimes
統合された Analytics Runtime を
プロビジョニング型とサーバーレス型 (オン
デマンド) で提供
SQL Analytics : T-SQL バッチ, スト
リーミング, インタラクティブ処理に適応
Spark : Python, Scala, R, .NET に
よるビッグデータ処理に適応
PROVISIONED ON-DEMAND
Form Factors
SQL
Languages
Python .NETJava Scala R
様々な分析ワークロードに適した多様な
言語をサポート
Experience Synapse Analytics Studio
コードフリー & コードファーストの SaaS
開発者エクスペリエンスを提供
AI / Machine Learning / IoT / Intelligent Apps / BI
をシングルサービスで提供
あらゆるスケールの分析ワークロードを
処理できるように設計

ペタバイトスケールにおける
全ての TPC-H クエリを実行
できた最初で、かつ、唯一の
クラウド分析プラットフォーム
1 2 3 4 5 6 7 8 9 10 11 12 13 14 16 17 18 19 20 21 2215
TPC-H queries
TPC-H 1 Petabyte query times

Azure Synapse Analytics のアーキテクチャ

Analytics Runtimes
全体アーキテクチャ
SQL on-demand
SQL Runtime
共有クラスター
自動スケール
共有ストレージ
SQL pool
SQL Runtime
プロビジョンクラスター
現在、手動スケールのみ
共有
ストレージ
専用
ストレージ
クラスター × N 個
を作成可能
クラスター × N 個
を作成可能
Spark pool
Spark Runtime
プロビジョンクラスター
自動/手動スケール
共有ストレージ
データ統合機能
パイプライン/データフロー
Azure
※現在、Spark pool から SQL Analytics にメタデータ共有可能なのは、Parquet ファイル形式のマネージドテーブル/外部テーブルで、SQL pool への共有は coming soon
Synapse Studio
開発/監視/管理

SQL pool アーキテクチャ
Azure
Azure Storage 上ではあるが、SQL pool の占有ストレージとして
内部的に 60 個のデータベースを保持し、Compute Node が均等に分担する
Adaptive
Cache
TempDB
ノードは、NVMe SSD を搭載し、
SQL Engine は、Adaptive Cache に
カラムストアセグメントをキャッシュ
⚫最大 60 ノード＝30,000 cDWU までスケール
⚫カラムストアのデータサイズは無制限
Parquet
ファイル
従来の Polybase のように一度 TempDB に読み込む方式とは異なり、
Parquet Direct 機能による高速アクセスを実現

SQL on-demand アーキテクチャ
Azure Data Lake Storage Gen2 上にあるファイル (現在、CSV, JSON, Parquet をサポート)
を対象としており、SQL pool のような占有ストレージではない
⚫MPP エンジンではなく、DQP エンジンが稼働
⚫クエリのフォールトトレランス機能を提供
⚫Compute Node は、負荷状況に応じて自動スケール
⚫コンピュートノードは、SQL pool 同様のスペック
Adaptive
Cache
TempDB

Azure
Data movement
channel
Communication channel
Meta data
Transactions
Centralized services
User
Partitions
Hash Partitions

Communication channel
自動スケール
⚫ 増分単位は、ノード
⚫ タスクは以前のトポロジーで継続実行
⚫ スケールは、セルの数と同じタスク数に制限
Meta data
Transactions
Centralized services
Data movement
channel

自動スケール
Meta data
Transactions
Centralized services Communication channel
Data movement
channel
⚫ 増分単位は、ノード
⚫ タスクは以前のトポロジーで継続実行
⚫ スケールは、セルの数と同じタスク数に制限

Meta data
Transactions
Data movement
channel

フォールトトレランス
Meta data
Transactions
Data movement
channel

フォールトトレランス
Meta data
Transactions
Data movement
channel
⚫ SLA の向上
⚫ ペタバイトスケールの性能

ホットスポット
Meta data
Transactions
Data movement
channel

継続的ホットスポット
Meta data
Transactions
Data movement
channel

Meta data
Transactions
Data movement
channel
⚫ SLA の向上
⚫ ペタバイトスケールの性能

SQL pool と SQL on-demand との比較
類似点
⚫ 分散型 Analytics Engine
⚫ T-SQL のサポート
⚫ データウェアハウス機能
⚫ Spark pool とのメタデータ共有
相違点
⚫ サーバーレスクエリ
⚫ 管理オーバーヘッドが無い
⚫ データは Data Lake に存在し、データロード不要
適用領域
⚫ Data Lake に対するダイレクトクエリ
類似点
⚫ 分散型 Analytics Engine
⚫ T-SQL のサポート
⚫ データウェアハウス機能
⚫ Spark pool とのメタデータ共有
相違点
⚫ プロビジョニングされている
⚫ ワークロードに特化した最適化
⚫ 先進的なワークロードマネジメント
⚫ ロードデータに対するガバナンスが有効
適用領域
⚫ ロードデータに対する最適化されたワークロード

SQL pool 新機能 - Microsoft Ignite での発表 (2019/11)
GA 済みの機能 :
⚫ 性能 : Resultset Caching
⚫ 性能 : Materialized View
⚫ 性能 : Ordered ColumnStore
⚫ データタイプ : JSON サポート
⚫ セキュリティ : Dynamic Data Masking
⚫ セキュリティ : Private Link のサポート
⚫ CI & CD : SSDT (SQL Server Data Tools) サポート
⚫ SQL : Read committed snapshot isolation
プレビュー機能 :
⚫ ワークロード管理 : Workload Isolation
⚫ データ取込み : COPY ステートメント
⚫ データ共有 : Azure Data Share によるデータ共有
⚫ データ取込み : Streaming Ingestion & Analytics
⚫ ビルトイン ML : ネイティブな予測/スコアリング
⚫ Data Lake 統合 : Parquet ファイルへのダイレクトクエリ
⚫ SQL : 更新可能分散カラム
⚫ SQL : JOIN を伴う FROM 句
⚫ SQL : 複数カラムによる分散

Azure Synapse Link - Microsoft Build での発表 (2020/05/19)
⚫ Transactional ストア (OLTP DB) の機能として、カラムストア型の Analytical ストアに自動同期
⚫ ETL 無し (データの 2 重持ちが不要) で Synapse に統合
⚫ Azure Cosmos DB (プレビュー開始), Azure SQL Database (予定), Azure Database for PostgreSQL / MySQL (予定)

Synapse ワークスペースのプロビジョニング

Home Data
Monitor Manage
Quick-access to common
gestures, most-recently used
items, and links to tutorials
and documentation.
Explore structured and
unstructured data
Centralized view of all resource
usage and activities in the
workspace.
Configure the workspace, pool,
access to artifacts
Develop
Write code and the define
business logic of the pipeline
via notebooks, SQL scripts,
Data flows, etc.
Orchestrate
Design pipelines that that
move and transform data.
Synapse Studio

Demo
- Synapse Studio 開発者/分析者の視点

Data Hub - ストレージアカウント
ADLS Gen2 ストレージ
コンテナー (ファイルシステム)
ファイルパス

ファイルやフォルダーに権限設定が可能

ファイルから分析をすぐに開始
T-SQL や PySpark コードを自動生成
SQL スクリプトエディターが起動
Spark Notebook が起動

Develop Hub - SQL スクリプト

Develop Hub - Notebook
%%<言語名>

開発者による Spark セッションの設定ができ、
Notebook の実行に必要なリソースを調整可能

Notebook のセルを実行すると、セルの直下に Spark アプリケーションの実行状況
が表示され、詳細な進捗状況やボトルネックなどを確認可能

Develop Hub - データフロー

Synapse Studio
Orchestrate Hub

Orchestrate Hub - パイプライン

© 2018 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。
© 2020 Microsoft Corporation. All rights reserved.
本情報の内容 (添付文書、リンク先などを含む) は、公開日時点のものであり、予告なく変更される場合があります。
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。

【de:code 2020】 Azure Synapse Analytics 技術編～最新の統合分析プラットフォームによる新しい価値の創出（前編）

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 【de:code 2020】 Azure Synapse Analytics 技術編～最新の統合分析プラットフォームによる新しい価値の創出（前編）

Ähnlich wie 【de:code 2020】 Azure Synapse Analytics 技術編～最新の統合分析プラットフォームによる新しい価値の創出（前編） (20)

Mehr von 日本マイクロソフト株式会社

Mehr von 日本マイクロソフト株式会社 (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (9)