Data Drift feature in Azure Machine Learning

1. linkedin.com/in/keita-onabuta/github.com/konabuta

2. データセットの変化を検知する
Data Drift の機能について説明します。

4. Let’s check Data Drift !

6. ML
Code
Only a small fraction of real-world ML systems is composed of the ML code, as shown by the small blue box in the
middle. The required surrounding infrastructure is vast and complex.
Configuration
Data Collection
Data
Verification
Feature
Extraction
Machine
Resource
Management
Analysis Tools
Process
Management Tools
Serving
Infrastructure
Monitoring
“Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015
Monitoring

7. Azure Machine Learning

8. Train Models Package &
Validate
Manage ML
Assets
MonitorDeploy &
Serve
CI/CD and model retraining
Azure DevOps & GitHub integration

12. データ
ゴール設定
制約条件
Optimized model
Feature
Engineering
model
selection
Hyperparameter
Tuning
自動機械学習 Automated ML

14. 学習データ 推論データドリフト検知
メトリック、アラート、インサイトの取得 アラート可視化
精度改善

15. データ ドリフトの大きさ
0 から 100 の範囲で示されるドリフト係数。0 は “同一” を表し、
1 は ドリフト用分類モデルで ”完全に識別可能” であることを意味する
特徴量ごとのドリフトへの影響
ターゲット データセット内の各特徴量が、
測定されたドリフトの大きさに与える影響

16. メトリックの選択
ワッサースタイン距離、平均値、最小値、最大値
特徴量の分布

17. メトリックの選択
ユークリッド距離、一意の値の数
特徴量の分布

18. 分布をある別分布へ移動させるときの距離
# SciPyコード例
from scipy.stats import wasserstein_distance,beta
wasserstein_distance(stats.beta.pdf(x,5,5), stats.beta.pdf(x,8,5))

19. Azure Machine Learning イベントを使用する (プレビュー)
イベント ドリブン Machine Learning ワークフローを作成する (プレビュー)
Azure Machine Learning からイベントドリブンなワークフローを作成

21. Azure ML Event Grid
Logic Apps メール
アラート
Data Factory
AutoML
Pipeline
再学習
自動化
Functions
Webhook
3rd Party
連携Teams
イベント

22. + +
Azure ML Event Grid Logic Apps

24. Data Drift Monitoring for Azure ML Datasets
データセットでデータ ドリフトを検出する (プレビュー)
Azure Kubernetes Service (AKS) にデプロイされたモデルのデータの誤差 (プレビュー) を検出する
Analyze data drift in Azure Machine Learning datasets
Monitor data drift on models deployed to Azure Kubernetes Service