TensorFlow Extend (TFX) の解説資料です。 https://docs.google.com/presentation/d/1R-vsoCKb1XPrMv81tpYddVH8mVunKCFuShHAOfWv9Rs/edit?usp=sharing GIF 動画の部分がレンダリングできないので、気になる方は Google Slide ver. を御覧ください https://d3m.connpass.com/event/98934/ Data Driven Developer Meetup #1 で発表した資料です。 TensorFlow DataValidation, TensorFlow Transformation, TensorFlow Model Analysis の解説を行っています。

1. Introduction to TFX Family
1. TFT
2. TFMA
3. TFDV
上田隼也 @hurutoriya 2018/09/01

2. $ whoami
● 上田隼也 :: @hurutoriya
● キカイガクシュウエンジニア
● Machine Learning Casual Talks Co-Organizer
● https://shunyaueta.com/

3. 機械学習システムの困難性
機械学習モデルができた後に立ちはだかる壁
引用 : Hidden Technical Debt in Machine Learning Systems (NIPS2015)

4. 機械学習システムの困難性
● 継続的再学習 (Continuous Learning)
● システムに必ずヒトが介在する (Human-in-the-loop)
● データは不変の存在ではない (Data is mutable)
引用 : Hidden Technical Debt in Machine Learning Systems (NIPS2015)

5. 機械学習システムコンポーネント
● データ収集→特徴量抽出→データ検証 (ETL)
● 各種ワークフロー管理
● 推論結果のサービング環境
● マシンリソース管理
● モデルの精度トラッキング

6. プロダクションレベルの機械学習システムとは?
● 最重要: Reliability + Scalability
○ Google が提唱する機械学習基盤の考え
○ TensorFlow Extend
● 機械学習システム各種ワークフロー
● 機械学習エンジニアとユーザーとして捉えた際に
何が必要案件なのかを洗い出してくれてる
KDD Link here, KDD Video here, Paper Link here, Author Demo Video here .

7. High-level component overview of a machine learning platform.

8. 現在リリースされているTFXコンポーネント
1. TensorFlow Data Validation (TFDV)
2. TensorFlow Transformation (TFT)
3. TensorFlow Model Analysis (TFMA)
Apache Beam に依存しており、Python2.7環境が必須

9. TensorFlow Data Validation
● データ検証を行うコンポーネント
● データパイプラインの定義: Apache Beam
○ 柔軟性
■ 各種統計値を柔軟に計算可能
○ 拡張性
■ 分散処理フレームワークの特性

10. TensorFlow Data Validation
● Notebook上で統計値を可視化(Facets を利用)

11. TensorFlow Data Validation
● スキーマの推測
○ データの特性を反映する形でスキーマを推測
○ データは流動的なものなのでシステム側で適合させる

12. TensorFlow Data Validation
● 新データに対する検証

13. TensorFlow Data Validation
● 継続的なデータ検証

14. TensorFlow Data Validation
● 異なるデータセットに対する検証

15. TensorFlow Data Validation
● 学習環境と本番環境間の不均衡検出

16. TensorFlow Transformation
● 平均・標準偏差に基づいた正規化
● (入力データの語彙に基づいた)文字列→数値の変換
● TensorFlowの計算グラフとしてエクスポート可能

17. TensorFlow Model Analysis
機械学習モデルの解析を行う
● TensorBoard との違い
○ TensorBoeard : 学習の判断に必要
■ モデルの収束など
○ TFMA: モデルリリースの判断に必要
■ Cross Validationの結果など

18. TensorFlow Model Analysis
● One model VS. multiple models
○ TensorBoard: 基本的に単一モデルのメトリクス
○ TFMA: 複数モデルを時系列に沿って評価可能

19. TensorFlow Model Analysis
● モデルの評価をセグメントごとに分割

20. TensorFlow Model Analysis
● セグメントごとに分割された評価指標の可視化

21. Reference
● TFX: A TensorFlow-Based Production-Scale Machine Learning Platform
○ 日本語解説資料
● Kubeflow
○ 日本語解説資料
● Applied Machine Learning at Facebook: A Datacenter Infrastructure
Perspective
● Introducing FBLearner Flow: Facebook’s AI backbone
● Machine Learning in Uber's Data Science Platforms
● Bighead: Airbnb’s End-to-End Machine Learning Platform
● Rules os ML: EN, JP
● Machine Learning Glossary by Google