前処理に欠かせない存在となっている Azure Synapse Analytics。実は推論実行の場の側面も持っています。Spark・SQL Pool(s)・機械学習連携に焦点を当ててご紹介します。

1. Azure Synapse Analytics
update – 2021年6月
畠山 大有 | Daiyu Hatakeyama | @dahatake
Architect && Software Engineer && Applied Data Scientist (目指している)
Microsoft Japan

2. Data
ML
Code
Configuration
Data Collection
Data
Verification
Feature
Extraction
Machine
Resource
Management
Analysis Tools
Process
Management Tools
Serving
Infrastructure
Monitoring
“Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015

3. • 前処理
• Azure Synapse Pathway
• Spark 3.0
• Spark Cluster での NVIDIA RAPID Acieration
• Delta Support
• Data Catalog
• Azure Purview 連携
• 学習
• Auto ML
• Azure Machine Learning からの Spark Cluster の利用
• 推論
• SQL Dedicated Pool での ONNX モデルのStored Procedure
• Spark table への推論
Data Collection
Data Verification
Feature Extraction
Machine
Resource
Management
Analysis
Tools
Serving
Infrastructure
ML
Code

5. Azure Synapse Analytics Azure Machine Learning
Power
BI
Azure Data Lake Storage
Cloud data
SaaS data
On-premises data
Devices data
Batch
Data Sources
Data and Compute
Models
Azure Purview

6. 2
Analytics runtimes
SQL
Common data estate
Shared meta data
Unified experience
Synapse Studio
Store Azure Data Lake Storage Gen2
Power BI
Azure
Machine Learning
クラウド デー
タ
SaaS データ
オンプレミス
データ
デバイス デー
タ

8. • ACID transactions
• バッチ/ストリーミングの両方をサポート
• スキーマ管理
• メタデータのハンドルがスケールする
• バージョンと履歴管理
• 更新と削除の記録
https://delta.io

9. • 既存の Spark SQL のフォーマット指定を parquet や csv から delta
に変更
• (例) パーティションが定義されたテーブル
dataframe.write
.format("parquet")
.partitionBy(“date")
.save("/path/to/parquet")
CREATE TABLE events (
date DATE,
eventId STRING,
eventType STRING)
USING parquet
OPTIONS (path = ‘/path/to/parquet' )
PARTITIONED BY (date)
CREATE TABLE events_delta
USING delta
LOCATION ‘/path/to/delta'
dataframe.write
.format(“delta")
.partitionBy(“date")
.save("/path/to/delta")

10. • Azure DataBricks とのシームレスなデータ共有
• Delta エコシステム
Query Delta Lake using T-SQL in Synapse Analytics (microsoft.com)

12. • Spark SQL エンジンの改良
• 適応型クエリ実行（AQE）、動的パーティ
ション
プルーニング、各種の最適化機能により、
TPC-DS のベンチマークテストで Spark2.4
の 2 倍の
パフォーマンス
• ANSI SQL に準拠
• PySpark API の拡充
• Python の型ヒント と Pandas UDF の追加に
より Pandas API を大きく改善
• PySpark における例外を簡略化し、
Python のエラー処理を改善
• 構造化ストリーミング用の
新しい UI を導入
• R のユーザー定義関数の呼び出
しを最大で 40 倍高速化

13. TPC-DS / 1TB
Azure E8V3 cluster、8ノード (15 executors – 28GB memory, 4 cores)
詳細: Apache Spark in Azure Synapse - Performance Update - Microsoft Tech Community

14. • NVIDIA RAPIDS
Accelerator
• SparkSQL と DataFrame の
コードの変更が不要
• Shuffle の最適化
• Spark での Data
Preparation と ML/DL
でクラスターを共有
• Package Management
• Cost
NVIDIA GPU Acceleration for Apache Spark™ in Azure Synapse Analytics (microsoft.com)
Apache Spark 3.0

16. Unified experience
Azure Synapse Studio
Integration Management Monitoring Security
Analytics runtimes
SQL
Azure Data Lake Storage
バッチ推論
学習
バッチ推論
Azure
Machine Learning

17. データ移動の排除
運用しやすい ML のスクリプトとモデ
ル
エンタープライズグレードのパフォー
マンスと
スケール
直接対話する
データを
データの管理と
分析をまとめる
SQL 変換
リレーショナル
データ
分析ライブラリ
R 統合 Python 統合

18. Machine Learning
機械学習の習熟度を問わない環境
Notebook でのコーディングと実行
AutoML の GUI によるノーコードでのモデル作成
Azure Cognitive Services の推論
SQL Pool / Spark Pool での Azure Machine Learning
で作成したモデルを取り込んでのバッチ推論
All Code Low/No-Code Pre-built models

19. AutoML GUI での
モデル作成
コーディング不要
Azure Machine Learning の Auto ML 連
携
ONNX モデル作成
Spark Pool が対象
Classification (分類)、Regression (回帰)、
Time-Series Forecasting (時系列の予測)

20. 推論用 T-SQL コード作成

21. コーディング不要の
推論処理
データの傍での推論実施
データのコピー不要
Azure Machine Learning のモデルを取り込
み、T-SQL Stored Procedure として実行

22. Cognitive Services
による推論
データの傍での推論
データコピー不要
Anomaly Detector と
Text Analytics – Sentiment Analysis

23. 認証 Open Notebook and run
Sentiment analysis

24. Link workspace と Spark Pool を Compute
としてアタッチ
Azure Machine Learning 内部でも Synapse
Spark Pool のメリットを享受
Synapse Apache Spark in
Azure Machine Learning

26. • 前処理
• Azure Synapse Pathway
• Spark 3.0
• Spark Cluster での NVIDIA RAPID Acieration
• Delta Support
• Data Catalog
• Azure Purview 連携
• 学習
• Auto ML
• Azure Machine Learning からの Spark Cluster の利用
• 推論
• SQL Dedicated Pool での ONNX モデルのStored Procedure
• Spark table への推論

27. Apache Spark でビッグデータ分析
Apache Spark pool
120 vCore-hours/月
サーバレスなデータレイク探索
Serverless SQL pool
10TB queries/月

28. Invent with purpose.

30. On-premises &
cloud data warehouse
Azure Synapse Analytics

31. 移行は、困難で、高コストで、
かつ時間がかかる
On-premises &
cloud data warehouse
Azure Synapse Analytics

32. 一番の課題はそれぞれの Data warehouse に
最適化された SQL Code の変換
多くはエンジニアによる手作業
プロジェクトの期間は数か月。場合によっ
ては年を超える
SQL code translation
On-premises &
cloud data warehouse
Azure Synapse Analytics
移行は、困難で、高コストで、
かつ時間がかかる

33. • T-SQL の自動生成
• 数か月の時間を、数分に
Azure Synapse Pathway
On-premises &
cloud data warehouse
Azure Synapse Analytics

34. • Windows ベースのスタンドアロン アプリ
• DDLファイル指定で、
Synapse SQL Dedicated Pool の DDL文 と レポート作成
• Preview
• IBM Netezza
• SQL Server
• Snowflake
• Coming Soon
• Amazon Redshift
• Google BigQuery
• Teradata

35. Source
Lexer Parser
Tokenization Pre-parsing
Parsing and
binding
Azure
Synapse
Symbolic
Tree
SQL Script
Generator
それぞれの DDL ファ
イルから、Synapse
へのDeploy用のスク
リプト
作成
変換レポート
対象オブジェクト
エラーと警告
Reporting
DDL/DML スクリ
プト
変換 出力

37. UNIFIED DATA GOVERNANCE
Data Map
• メタデータの収集と管理
Data Catalog
• データの探索とDB化
Data insights
• メタデータのメタを機械学習も活用し
て検知、レポート化
Data Map
Multicloud
On-prem
Data Insights
Azure Purview
Data Catalog
SaaS

38. Purview Data Map
• データソース横断での
メタデータのスキャンと、
Lineage (系列) 作成
• 100以上の分類ルール
• Microsoft Information
Protection による、機微な
データのラベル付け

39. • セマンティックサーチ
• 用語集とメタデータのためのワー
クフロー
• ソース、データ責任者、変換、ラ
イフサイクル管理 などの Lineage
(系列化)

40. • アセット、スキャン、用語集、
分類、ラベリングなどのレ
ポート