BrainPad - Doors - A-1 - Microsoft Data and AI
•Als PPTX, PDF herunterladen•
0 gefällt mir•505 views
システムの一部として、AI を組み込む際に、大きな課題となっているのは、Data の扱いです。ツールの出来る事はまだ少ないのですが、その中でも2020年2月時点の Azure のBig Data x Machine Learning の Platform の方向性を取り扱います。
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie BrainPad - Doors - A-1 - Microsoft Data and AI
Ähnlich wie BrainPad - Doors - A-1 - Microsoft Data and AI (20)
Mehr von Daiyu Hatakeyama
Mehr von Daiyu Hatakeyama (20)
BrainPad - Doors - A-1 - Microsoft Data and AI
- 1. 畠山 大有 | Daiyu Hatakeyama | @dahatake Architect && Software Engineer && Applied Data Scientist (目指している) Microsoft Japan Data と Machine Learning の蜜 月 - 収束する Tool 達 -
- 2. Data ML Code Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015
- 4. データ分析のための無制限のデータウェアハウス Store Azure Data Lake Storage SQL Analytics Runtimes Synapse Studio Unified experience Integration Management Monitoring Security Cloud data SaaS data On-premises data Devices data Azure Synapse Analytics Power BI
- 5. Azure Open Source AnalyticsAzure Analytics Best of open source + Azure for end-to-end analytics HDInsight Enterprise-grade service for open source analytics Ingest Azure Data Factory Prep Azure Databricks Explore Azure Data Explorer Streaming Azure Stream Analytics IoT Azure IoT Hub Share Azure Data Share Store Azure Data Lake Storage Hadoop Spark Kafka Azure Synapse Azure HDInsight
- 6. SELECT TOP 100 * FROM OPENROWSET( BULK 'https://<storage>/path/to/files/*.parquet’, FORMAT = 'Parquet’ ) AS [r] Data Lake SQL on-demand Client
- 7. Azure Cloud Services Compute (Container) / Storage Python & R SDK データの加工 モデルの学習 モデルの管理 モデルの展開と追跡
- 8. Azure Machine Learning Develop Your Own Model 20 https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/technology-choices/data-science-and-machine-learning https://medium.com/microsoftazure/9-advanced-tips-for-production-machine-learning-6bbdebf49a6f Use Pre-trained Model 80 Azure Cognitive Services
- 9. セキュリティ
- 14. User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration & Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “HyperDrive” Logging for Visualize
- 15. User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration & Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “HyperDrive” Logging for Visualize
- 16. User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration & Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “HyperDrive” Logging for Visualize
- 17. トレーニング ターゲット AutoML Hyperparameter Turning ローカル Yes リモート VM Yes Yes Azure Machine Learning Compute Yes Yes Azure Databricks Yes Azure HDInsight Azure Data Lake Analytics Azure Batch https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-compute-target
- 21. Open Source Repo Link Azure ML Notebook Examples Azure Machine Learning 公式サンプルコード https://aka.ms/ml-notebooks BERT Large 自然言語モデル BERT のサンプルコード http://aka.ms/azure-bert Microsoft Recommenders レコメンデーション サンプルコード http://aka.ms/recommenders LightGBM LightGBM トップページ https://aka.ms/lightgbm Natural Language Recipies 自然言語 サンプルコード https://aka.ms/nlp-recipes ONNX ONNX トップページ https://aka.ms/onnx ONNX RT ONNX Runtimeトップページ https://aka.ms/onnx-rt Kubeflow & MLOps Kubeflow + Azure ML + DevOps サンプル コード https://aka.ms/kubeflow-and-mlops Azure Open Datasets Azure Open Datasets Webページ https://aka.ms/azure-open-datasets Azure ML Free Trial Azure フリートライアル https://aka.ms/amlfree Azure ML Docs Azure Machine Learning ドキュメント https://aka.ms/azureml-ja-docs
- 22. 会員数 4,150 名 全国 6 都市で 36 回イベント開催 福岡 大阪 広島 名古屋 東京 札幌 オンライン・オフライン含めた 機械学習教育講座の全国での推進 機械学習 SI エコシステム日本最大の AI コミュニティ https://dllab.connpass.com/
- 23. Step-by-Step Learning Achievements スムーズな学習環境 無料 日本語対応 ブラウザーのみ。ハンズオン環境 も含めて ダウンロード可能なサンプルコード Product/Service, 技術レベル, job role, などに応じたガイダンス Videos, チュートリアル, ハンズオン スキルアップを促す ユーザー プロファイル毎に カスタマイズ www.microsoft.com/learn
Hinweis der Redaktion
- Microsoft Envision 2016