2021年11月に実施されたマイクロソフト主催の開発者向け、グローバルイベント Microsoft Ignite が実施されました。 Azure AIや機械学習及び、Azure のデータ分析サービスは凄まじいスピードで進化を進めており、マイクロフトにおける同領域への注力領域が伝わってくるイベントになっておりました。Azure Cognitive Services, Azure Applied AI Service、Azure Machine Learning、Azure Synapse Analytics、どのプロダクトもよりデベロッパーフレンドリー、データサイエンティストフレンドリーなものになっており、お客様のデータを用いたビジネスの価値最大化に少しでも貢献できればと思います。 Azure Synapse Analytics アップデート： 統合的な分析環境として進化を続ける Azure Synapse Analytics、今回も大きな発表がいくつかありました！その最新情報についてお伝えします。 https://dllab.connpass.com/event/232219/

1. Microsoft Ignite 2021 最新アップデート
Azure Synapse Analytics
永田 祥平 - Shohei Nagata
Cloud Solution Architect (Data & AI) – Microsoft Japan

2. 永田祥平 (Shohei Nagata)
 Microsoft 所属
 Cloud Solution Architect (Data & AI)
 主に機械学習やデータ分析基盤の導入/活用支援を実施
 もともとの専門は Genomics, Bioinformatics
 好きなもの/マイブーム
 日本酒・コーヒー勉強中
Personal Info
@shohei_aio

3. Agenda

4. Azure Synapse Analytics 振り返り

5. Azure Analytics
Store
Transform Query
Ingest
Azure
Data Factory
Azure Data Lake Storage Gen2
Azure Databricks Azure SQL Data
Warehouse
クラウド データ
SaaS データ
オンプレミス データ
デバイス データ
Power BI
Azure
Machine Learning

6. 2
データ ウェアハウスとビッグデータ分析システム全体のあらゆるデータから、
驚異的なスピードでインサイトを提供する無制限の分析サービス
Store Azure Data Lake Storage Gen2
Azure Synapse Analytics
Azure Synapse Analytics
クラウド データ
SaaS データ
オンプレミス データ
デバイス データ
Power BI
Azure
Machine Learning

7. 分析ランタイム
Azure Synapse Analytics
ワークスペース
サーバーレス
SQL プール
SQL ランタイム (DQP)
共有クラスター
自動スケール, 自動解放
共有ストレージ
専用 SQL プール
SQL ランタイム (MPP)
プロビジョン クラスター
手動スケール, 手動停止
共有
ストレージ
専用
ストレージ
クラスター × N 個
を作成可能
クラスター × N 個
を作成可能
Spark プール
Spark ランタイム
プロビジョン クラスター
自動/手動スケール, 自動停止
共有ストレージ
Azure
Data Lake Storage Gen2
※現在、Spark プール から SQL Analytics にメタデータ共有可能なのは、Parquet ファイル形式のマネージドテーブル/外部テーブルで、専用 SQL プール への共有は coming soon
Synapse Studio
開発/分析/監視/管理
Synapse
パイプライン
クラウド オーケストレーション
& クラウド ETL
手動スケール, 自動停止
パイプライン
エンジン
(IR)
データ フロー
エンジン
(Spark)
Azure Synapse Analytics の物理アーキテクチャ

8. Azure Synapse Analytics - Ignite Update

9. Dataverse*

10. •
•

11. 分析ストア
分析クエリに最適化された「列ストア」
トランザクション ストア
トランザクション操作に最適化された「行ストア」
Azure Cosmos DB Azure Synapse Analytics
コンテナー
クラウド ネイティブ
HTAP
Azure
Synapse
Link
SQL
自動同期
機械学習
ビッグ データ分析
BI ダッシュボード
オペレー
ショナル
データ
オペレーショナル データに対する準リアルタイムの洞察を生成
Azure Synapse Link for Cosmos DB の動作

12. カスタムパーティション分割がプライベートプレビュー

13. Azure Synapse Link for Dataverse
•
•
•
Azure Synapse Link - Power Apps | Microsoft Docs

14. Azure Synapse Link for Azure Cosmos DB でのカスタムパーティション分割
•
•
•
Azure Synapse Link for Azure Cosmos DB: Custom partitioning support in public preview | Azure の更新情報 | Microsoft Azure
Azure Synapse Link for Azure Cosmos DB でのカスタム パーティション分割 (プレビュー) | Microsoft Docs
<パーティション定義>
<パーティションクエリ>

15. Azure Synapse Link for SQL Server 2022
•
•
•
Announcing SQL Server 2022 preview: Azure-enabled with continued performance and security innovation - Microsoft SQL Server Blog
Power BI
Cloud data
IoT data
SaaS data Azure Synapse
Analytics
Azure Machine
Learning
On-premises ETL
Azure Data
Lake Storage
SQL pools Spark
pools

16. Event Hub Premium
•
•
•
•
Azure シナプス データ エクスプローラーのイベント ハブ データ接続 (プレビュー) - Azure シナプス分析
General availability: Event Hubs Premium | Azure の更新情報 | Microsoft Azure
Event Hubs Premium の概要 - Azure Event Hubs | Microsoft Docs

17. •
•
Public preview: Near real-time analytics for telemetry, time series, and log data on Azure Synapse | Azure の更新情報 | Microsoft Azure
Introducing Azure Synapse data explorer for log and telemetry analytics (microsoft.com)

18. Synapse Data Explorer
•
•
•
•
Azure Synapse Data Explorer (プレビュー) とは - Azure Synapse Analytics | Microsoft Docs
Azure Data Explorer と Azure Synapse Data Explorer の違い (プレビュー) - Azure Synapse Analytics | Microsoft Docs
Azure Synapse Analytics の
コンピューティング プール
あらゆる分析シナリオに最適化された
ベスト オブ ブリードの分析エンジン
SQL プール
Spark プール
Data Explorer
プール
SQL Data Warehouse
SQL データ レイクの探索
ビッグ データ処理
予測分析
ビッグデータ インタラクティブ
テレメトリ分析
(監視、ログ分析、 時系列、IoT)
ワークロードの最適化
製造、コネク
テッド カー、車
両管理
自動車
Web 分析、IoT
分析
小売
セキュリティ分析、
脅威検出、SIEM
セキュリティ
IoT デバイ
ス
分析
医療

19. Synapse Data Explorer

20. •
•
•
•
Public preview: Industry-aware analytics with database templates in Azure Synapse | Azure の更新情報 | Microsoft Azure
Azure Synapse データベース テンプレートの概念 - Azure Synapse Analytics | Microsoft Docs

21. Synapse Spark 3.1
• ANSI SQL 準拠
• Adaptive Query Execution や Dynamic Partition Pruning による Spark エンジン本体の性能改善
• AQE：シャッフルパーティションの動的統合、結合戦略の動的切り替え、スキューデータ結合時の動的な最適化
• Azure 固有のチューニングにより更に２倍の性能改善
• スキャン再利用、事前集計、ブルームフィルター、述語プッシュダウン、シャッフル管理の効率化など
• Delta Lake(v0.8) サポート
OSS Spark vs. Synapse Spark (TPC-DS / 1TB)
Azure E8V3 cluster、8ノード (15 executors – 28GB memory, 4 cores)
Apache Spark 3.0 support in Azure Synapse Analytics - Microsoft Tech Community
Apache Spark 3.0 の概要
Apache Spark in Azure Synapse - Performance Update - Microsoft Tech Community
Query Delta Lake format using serverless SQL pool - Azure Synapse Analytics | Microsoft Docs

22. NVIDIA GPU Acceleration for Synapse Spark
•
•
•
Private preview: NVIDIA GPU Acceleration for Apache Spark™ in Azure Synapse Analytics | Azure の更新情報 | Microsoft Azure (現在は Public)
NVIDIA GPU Acceleration for Apache Spark™ in Azure Synapse Analytics (microsoft.com)
Azure Synapse Analytics November 2021 Update - Microsoft Tech Community

24. Delta Lake とは
•
•
•
•
•
•
•
概要-Azure Databricks | Microsoft Docs

25. Cognitive Services との統合
•
•
•
Azure Synapse Analytics での Cognitive Services - Azure Synapse Analytics | Microsoft Docs

26. Synapse Spark プールでの PREDICT 機能
•
•
•
Additional ML options for Spark on Azure Synapse now in public preview | Azure の更新情報 | Microsoft Azure
チュートリアル: サーバーレス Apache Spark プールで PREDICT を使用して機械学習モデルをスコア付けする - Azure Synapse Analytics | Microsoft Docs

27. レイク データベース
•
• テーブル及びカラムの説明、テーブル同士の
リレーションシップ
• データベース デザイナー
•
•
Azure Synapse lake データベースの概念 - Azure Synapse Analytics | Microsoft Docs

28. © Copyright Microsoft Corporation. All rights reserved.