機械学習 / Deep Learning を実プロジェクトとして実施する際に、従来型のシステム開発とは異なる部分も多々あります。成熟途中の技術だからこそ、慎重に取り扱う必要があります。ここでは、それらを整理してみました。

1. #azurejp
https://www.facebook.com/dahatake/
https://twitter.com/dahatake/
https://github.com/dahatake/
https://daiyuhatakeyama.wordpress.com/
https://www.slideshare.net/dahatake/

5. Kate Crawford’s NIPS 2017 Keynote presentation: Trouble with Bias

10. ツールやデータプラットフォームは成熟している
のに、
そのプロジェクトの実行・成功は難しい

11. • 目的を明確に
• データソースを特定
ビジネスの理解
• Ingest Data
• Explore Data
• Update Data
データの取得とその
理解
• Feature Selection
• Model の作成とトレーニ
ング
Modeling
• OperationalizeDeployment
• テストと評価
• リリース
• 再トレーニング
顧客の受け入れ

12. Agile and iterative process
to develop, deploy and
manage AI applications in
the cloud

13. o Infrastructure as Code (IaC)
o Building
o Testing
o CI / CD
o …
o App performance monitoring

14. Standardized Data Science Lifecycle
Project Structure, Templates & Roles
Infrastructure & Toolkits
Re-usable Data Science Utilities
Project execution guidelines
(incl. DevOps components)

16. Lifecycle

17. Structure,templates,roles
NOTE: Specific roles depend on organizations

18. Infrastructure&toolkits

19. Data Flow diagram
Infrastructure&toolkits
https://gallery.cortanaintelligence.com/solutions
https://gallery.cortanaintelligence.com/Solution/Population-Health-Management-for-Healthcare-6

20. o Data quality assessment
o Getting business insights from the data
o Association between variables
o Generating standardized data quality reports automatically
Clustering Distribution assessment
https://github.com/Azure/Azure-TDSP-Utilities
DSutilities

21. Predicted vs. Actual (multiple algorithms) Feature Importance (multiple algorithms)
https://github.com/Azure/Azure-TDSP-Utilities
DSutilities

23. TDSP Components Data Science Challenges
Standardized Data Science Lifecycle
Project Structure, Templates & Roles
Infrastructure & Toolkits
Re-usable Data Science Utilities
Project execution guidelines
(DevOps components)

24. #azurejp
大量のデータ
データ
に対する知見
データ分析の
知識・経験
データ分析
ツール・基盤× × ×
大量の分析用データを
保持している
分析用データの中身を
理解している
分析内容やデータ
に適してアルゴリ
ズムを把握してい
る
大量データを分
析できるツール
を持ち
使いこなせる
最も重要

25. #azurejp

26. © 2018 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.
The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a
commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation.
MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.