https://sqlserver.connpass.com/event/210963/ Delta Lake with Mapping dataflow 登壇資料

1. 【中級者向け】
Delta Lake with Mapping Dataflow
Microsoft MVP for Data Platform 2021
永田 亮磨
Twitter:@ryomaru0825
Linkedin:ryoma-nagata-0825
Qiita:qiita.com/ryoma-nagata

2. 1. Delta Lakeの利点
2. デモ
AGENDA

3. • DWHではできたSQLによる1行1行に対するUPDATEコマンドなどの修正も、
ファイル保管となるデータレイクでは不正データ1行を修正することは困難
（わらの中の針）
データレイクの課題
データスワンプ（沼）
生データフォルダ/
├ 2020-01-01/
├ 2020-01-02/
│└ data-01.csv
├ 2020-01-03
│└ data-01.csv
・
・
・
DataLake
ID eventtype data
1click AAA
2click BBB
ID eventtype data
2click BBB'
3conversion CCC

4. OSSプロジェクト『Delta Lake』
• Sparkに最適化されたデータレイク用
ソフトウェア
• ファイルシステム上で動作しUpdate
などのDML実行が可能
• 実態はparquetファイルのため高圧
縮率
• 現在version 1.0.0
• https://delta.io/

5. Delta Lake ベネフィット例
- CRUDオペレーション
• Update、Delete、 Mergeをサポー
トし、データの修正・削除Upsertを
実行
• ストレージ上で動作するOSSソフト
ウェアなので、RDBMSに対して費用
を払わないでよい
ID eventType timestamp
1 clck 2020/4/1 23:00
2 clck 2020/4/1 23:01
3 conversion 2020/4/1 23:02 UPDATE events
SET eventType = 'click’
WHERE eventType = 'clck'
ID eventType data
1 click AAA
2 click BBB
3 conversion CCC
ID eventType data
3 conversion ccc'
4 conversion DDD
MERGE INTO events
USING updates
ON events.eventId = updates.eventId
WHEN MATCHED THEN
UPDATE SET events.data = updates.data
WHEN NOT MATCHED THEN
INSERT (date, eventId, data) VALUES (date, eventId, data)
ID eventType data
1 clck AAA
2 clck BBB
3 conversion ccc'
4 conversion DDD

6. • 分離されたクエリエンジンにより物理的なDWHを構成しなくてもデータの利用が
可能。
物理DWH/論理DWH
専用
ストレージ
データレイク
テーブル
テーブル
ファイル
ファイル
データレイク
ファイル
ファイル
クエリ発行口
（URL）
＋
エンジン
クエリ発行口
（URL）
＋
エンジン
BI,SQL
BI,SQL
論理DWH
=サーバーレスSQLプールやDatabricks
物理DWH
＝専用SQLプール
• 専用ストレージを利用した
高速クエリ
• データの実体はデータレイクに持つ
（レイクハウス）
テーブル
テーブル
仮想テーブル
View
ロード
都度
アクセス

7. Azure Analyticsにおけるデータ分析処理ツール
ローコード
コードファースト
• データを利用可能な状態に整えて保存する
• データクレンジングなどを用いて高品質なデータを生成
• 個別のニーズに応じた分析用データを創り上げる
• データ探索をしながら特化データを生成
データ統合（ETL） データ準備（プレパレーション）
T-SQL/ Spark Notebook
Mapping Dataflow Power Query Online

8. • シナリオ:過去の映画評価データの統合、可視化
デモ構成
• 参考:Delta Lake ETL とデータ フロー - Azure Data Factory | Microsoft
Docs
Azure Data Lake Storage Gen2
スケジュール実行な
どでAPI負荷をかけな
いように注意
GUIデータ統合
1. ～1999年データ登録
• 列追加（高評価フラグ）
2. 追加/更新/削除処理
1. 不正データ削除
2. 2000年～データ追加
3. 1999年データ更新
データ連携
Azure Databricks
可視化分析
Power BI
Synapse Pipeline Dataflow
Power BI から
Delta Lakeへの
アクセスを仲介
（高速クエリエンジン）
Cluster