機械学習デザインパターン Machine Learning Design Patterns

1. 機械学習デザインパターン Machine Learning Design Patterns 鷲崎弘宜早稲田大学 / 国立情報学研究所 / システム情報 / エクスモーション 2021年 7月2日 washizaki@waseda.jp http://www.washi.cs.waseda.ac.jp/ 1 MLSE夏合宿2021チュートリアル

2. 目次 • 機械学習デザインパターン • 各デザインパターン紹介 • デザインパターンの整理と認知 2

3. 機械学習工学とパターン（ランゲージ） • 特定文脈での問題と解決をまとめたもの（のまとまり） • 抽象と具象をつなぐ道具: 問題・解決再利用、アーキテクチャ一貫 • 様々な関係者間の共通言語 • 設計や要求・プロセスのパターン整理とフレームワークへの統合へ • 『Machine Learning Design Patterns』(MLDP), V. LakshmananらGoogleプラットフォームチームによる30 のパターン, et al., O’Reilly 2020（eAIチームにより10月訳書出版予定） • 『Software Engineering Patterns for ML Applications』 (SEP4MLA), eAIチームによる系統的文献調査に基づく15 のパターン, https://github.com/eai-transfer/ml-design- pattern • 『AIエンジニアのための機械学習システムデザインパターン』澁井雄介（翔泳社, 2021）,機械学習のモデルやワークフローを本番システムで稼働させる作法, https://github.com/mercari/ml-system-design-pattern 3

4. 機械学習システムの構成とパターン 4 学習データ学習済みモデル予測・推論(に基づく振舞い) 基盤ソフトウェアシステムデータデータ表現パターン問題表現パターンモデル訓練パターンレジリエントサービングパターン再現性パターン責任のあるAIパターンレジリエントサービングパターン

6. データ表現パターン 6 • 様々なデータから機械学習モデルが扱いやすいフィーチャへの表現パターン問題解決ハッシュ化フィーチャ Hashed Feature カテゴリ変数についてとりうる種類を特定困難。One-hot encodingではCold-Start問題。ユニークな文字列としたうえでハッシュ値に変換。埋め込み Embeddings One-hot encodingではデータの近さを扱えない意味的な近さを表すように特徴の埋め込み。フィーチャ交差 Feature Cross もともとの変数群そのままでは関係に基づく分類や予測が困難複数のカテゴリ変数の組み合わせで関係を容易に表現マルチモーダル入力 Multimodal Input 異なる種別の入力を扱いにくい分散表現の結合 x × y ラベル AC ＋ BC － AD － BD ＋ A B C D フィーチャ交差マルチモーダル入力 x y

7. ハッシュ化フィーチャ Hashed Feature • 問題: カテゴリ変数についてとりうる種類を特定困難。One-hot encodingではout-of-vocabulary問題・Cold-Start問題。 • 解決: • 1. ユニークな文字列へ変換 • 2. 決定的な方法でハッシュ値に変換 • 3. ハッシュ値の設定バケット数（カテゴリ数）の剰余の採用 • 考慮: バケット衝突、他の集約フィーチャ併用、バケット数チューニング 7 One-hot encoding tf.feature_column.categorical_column_with_hash_bucket( airport, num_buckets, dtype=tf.dtypes.string ) Hashed Feature TensorFlowにおける実装

8. 埋め込み Embeddings • 問題: カテゴリ数が膨大な場合の難しさ（疎行列化）。One-hot encoding ではデータの近さを扱えない。 • 解決: 訓練可能な特徴埋め込みレイヤで意味的な近さを表すように小次元のベクトル化、および、重みの訓練 • 考慮 • 経験則: 次元数 = 元のカテゴリ数の4乗根 • テキスト: 語単位の小次元ベクトル表現、平均をとるなどの集約。Word2Vecや BERTなどのさらなる意味・文脈考慮。 • 画像: 畳み込みCNN、オートエンコーダなど 8 訓練後のベクトル表現オートエンコーダ

9. 問題表現パターン 9 パターン問題解決問題再設定 Reframing 当初の目的変数や出力で限界回帰から分類へ変更（逆も）マルチラベル Multilabel 出力層の活性化がsoftmaxではマルチラベルの扱い困難出力層の活性化にsigmoidを用いるアンサンブル学習Ensembles バイアス（偏り）とバリアンス（分散）のトレードオフアンサンブル学習: 学習不足時はブースティング、過学習時はバギングほかカスケード Cascade 通常と特殊を同一モデルで扱い困難通常と特殊に分類のうえそれぞれに訓練・予測し集約中立クラス Neutral Class データに主観評価を含むなどにより任意・ランダム性 Yes, NoにMaybeを加えた分類とする Rebalancing リバランシングデータセットが不均衡 Accuracy以外評価、ダウンサンプリング、アップサンプリング、Reframing ブースティングバギングマルチラベルアンサンブル学習

10. 問題再設定 Reframing • 問題: 確率的であるため、特に精緻な実数の予測に固執すると当初の目的変数や出力形式では限界を生じる場合が有る（特に分布上のピークが複数の場合）。 • 解決: 問題を捉えなおす。特に回帰から分類へ変更する。 • 考慮: • 数値が重要な場合は逆に回帰へ（例: 都市そのものより緯度・経度） • 分類への移行方法: 回帰結果による分類、マルチタスク学習 • 真に目的にかなうものか注意（例:おすすめ映画の種類からユーザのクリック数へと予測問題を変更すると、過剰にクリック数の増大方向） 10 分類が正確な場合回帰が正確な場合

11. カスケード Cascade • 問題: 通常と特殊を同一モデルで扱い困難 • 解決: 通常と特殊に分類のうえ、それぞれに訓練したモデルで予測し、最後に集約 • 考慮 • 分類が決定的であれば、本来は入力を加えて単一モデル化すべき • Rebalancingできるのであればそうすべき 11 分類通常時の予測特殊時の予測最終評価

12. モデル訓練パターン • 訓練の繰り返し（ループ）の仕方 12 パターン問題解決価値ある過学習Useful Overfitting 物理シミュレーションのように全入力を扱える過学習で良い。実際にはモンテカルロ法でサンプリングなどチェックポイント Checkpoints 複雑なモデルは訓練に時間を要する訓練モデル外の情報も含めて全ての状態をエポック単位で保存・再開転移学習 Transfer Learning 非構造データ訓練に巨大データ転移学習、ファインチューニング分散戦略 Distribution Strategy 深層学習モデルの訓練に長時間並列化による分散学習ハイパーパラメータチューニング Hyperparameter Tuning ハイパーパラメータ人手チューニングは長時間・不正確。グリッドサーチでは非効率。外側の最適化ループとしてのハイパーパラメータチューニング。ベイズ最適化による効率的探索。価値ある過学習ハイパーパラメータチューニング

13. 転移学習 Transfer Learning • 問題: 非構造データ訓練に巨大データ必要。特にテキストや画像では汎用のモデルで個別の問題を十分に扱えない。 • 解決: 同種データで訓練済みのモデルによる転移学習 • 考慮: 重みの変更是非 • フィーチャエクストラクション: 重みFix • ファインチューニング: 重みの更新 13 基準データセットタスクの同一性許容時間・コストフィーチャエクストラクション小異なるタスク少ファインチューニング大同一・類似タスク多訓練済みモデル

14. 分散戦略 Distribution Strategy • 問題: 深層学習モデルの訓練に長時間 • 解決: 訓練データの分割によるデータ並列化・分散学習 • 考慮 • 同期: ミニバッチとしての単位ごとに全ワーカで共有集約 • 非同期（Parameter-Server-Architecture）: 各ワーカは他による更新を待つことなく学習、遅い計算機がある場合や通信が遅い場合に有効 • モデル並列化: モデル全体がメモリに乗りきらない場合にモデルの分割 14 同期非同期モデル並列化

15. レジリエントサービングパターン MLDP • 訓練モデルをデプロイし人の関与なく弾力的に予測稼働・運用 15 パターン問題解決ステートレスサービング関数Stateless Serving Function モデルの巨大化。訓練時と稼働時の環境相違モデルの中核のみエキスポート、ステートレスREST APIとしてデプロイバッチサービングBatch Serving 非同期の予測を数多く実施困難バッチ処理、分散処理環境下で大量データによる非同期予測継続的モデル評価 Continued Model Evaluation コンセプトドリフト、データドリフト継続的なモデル評価・モニタリングと再訓練 2段階予測 Two-Phase Predictions エッジデバイス上の縮退された訓練モデルの性能低下単純なタスク用のモデルをエッジ、複雑なものをクラウド上で稼働キー付き予測 Keyed Predictions 多数の入力データをスケーラブルに扱えない入力へキー付加、キー付きで出力することで分散環境下で容易な扱いキー付き予測

16. 継続的モデル評価 Continued Model Evaluation • 問題: モデルはデプロイした瞬間から劣化していく。背景にある前提の変化に伴う入力と目標の関係の変化（コンセプトドリフト）、入力データからの予測時データの変化（データドリフト）。 • 解決: 継続的なモデル評価・モニタリングと再訓練 • 考慮 • 閾値による性能と訓練コストのトレードオフ • オフラインでの古いデータによる学習モデルの新データへの適用評価 16 閾値による変化古いデータ最新データ学習モデル学習モデル流用古いデータによる評価最新データによる評価評価メトリクス比較

17. 2段階予測 Two-Phase Predictions • 問題: エッジデバイスへデプロイする縮退訓練モデルの性能低下 • 解決: 単純なタスク用のモデルをエッジ（例: 「OK, Google」の識別分類）、複雑なものをクラウド上で稼働（例: 音声指示の認識） • 考慮 • 通信が貧弱な場合に備えてエッジデバイスで完結するオフラインモデル • センサデータを、エッジで異常判定時のみクラウドへ送信 • エッジデバイス側のモデルの定期的な更新 17

18. 再現性パターン • 決定的な出力を得やすく、訓練・開発効率 18 パターン問題解決変換Transform 入力とフィーチャの異なり変換・前処理の仕方を保存再利用、訓練・予測時で一貫繰り返し可能な分割 Repeatable Splitting ランダムな訓練、検証、テスト用分割では再現困難関係を用いたい変数をハッシュ化し剰余によりデータ分割ブリッジ化スキーマ Bridged Schema 入力データのスキーマが訓練後に幾らか変更古いデータを確率的な方法で新データスキーマへ変換ウィンドウ化推論 Windowed Inference 訓練・運用間の歪みを避けられるよう一定の時間枠ごと集約モデルの状態を外部記録、時間依存の方法で集約計算された特徴量の一貫利用ワークフローパイプライン Workflow Pipeline 単一ファイルではスケールせず各ステップを分けてサービス化フィーチャストア Feature Store アドホックなフィーチャエンジニアリングプロジェクトやチームを超えたフィーチャ共有モデルバージョニング Model Versioning モデル更新時の後方互換性困難モデルバージョンを異なるエンドポイント提供、比較 (cash, card) (cash, gift card, debit card, credit card) 変換ブリッジ化スキーマ

19. 繰り返し可能な分割 Repeatable Splitting • 問題: ランダムな訓練、検証、テスト用分割では再現困難かつ関係なし • 解決: 関係を用いたい変数をハッシュ化し剰余により、その関係持った形での訓練、検証、テスト用それぞれのデータ分割 • 考慮 • 時系列上の同様の分割（時間的連続性） • 非構造化データの場合: メタデータの利用、一律エンコードしてハッシュ化など 19 airline delay date airport AAA 1000 2020/6/14 NRT BBB 1100 2020/6/14 HND CCC 1200 2020/6/14 HND CCC 30 2020/6/15 NRT DDD 10 2020/6/16 LAX 単純な分割 dateに着目した分割

20. 責任のあるAIパターン • 様々な利害関係者へのモデルの影響 20 パターン問題解決経験的ベンチマークHeuristic Benchmark 結果の良し悪しの程度を意思決定者へ説明困難過去との比較や経験則に基づく判断説明可能な予測 Explainable Predictions 予測の説明困難シンプルなモデル採用、予測結果における説明など公平性レンズ Fairness Lens 不均衡データに基づく異なる人々のグループに対する問題のあるバイアス（What-If toolや Fairness Indicatorsなどによる）訓練前後のデータセットの分析、結果比較、均衡化など (Short) using 19990914 build on win98 using the new account wizard if I add multiple accounts with the same server… (Long) this mean the problem was with their web page and its cool now or we still need to figure out what the actual bug was and fix that… Y. Noyori, H. Washizaki, et al., “Extracting features related to bug fixing time of bug reports by deep learning and gradient- based visualization,” 2021 IEEE International Conference on Artificial Intelligence and Computer Applications

21. 経験的ベンチマーク Heuristic Benchmark • 問題: 結果の良し悪しの程度を意思決定者へ説明困難 • 解決: 過去との比較や経験則に基づく判断 • 考慮 • （機械学習に限らず）業界標準やプラクティスがあればそれに従う • ときとしてエキスパートの知見 • モデルの改善の影響を利用価値（採用判断上の指標、例えば金銭的価値、良い検索結果など）に翻訳して説明できることが望ましい 21 シナリオ例経験上のベンチマーク例タスク例時系列の将来値を予測する回帰問題 • 永続的か、線形トレンドか。 • 季節性の考慮 • 年間データの場合、前年の同じ日/ 週/四半期と比較週間の販売量を予測現在、人間の専門家が解決している分類問題人間の専門家のパフォーマンス網膜スキャンから目の病気を検出・・・・・・・・・

23. MLDP および SEP4MLA の整理 Topology Programming Model operations レジリエントサービング再現性責任・説明性モデル訓練問題表現データ表現 Hashed Feature Embeddings Feature Cross Multimodal Input Reframing Multilabel Ensembles Cascade Neutral Class Rebalancing Useful Overfitting Checkpoints Transfer Learning Distribution Strategy Stateless Serving Function Hyperparameter Tuning Batch Serving Continued Model Evaluation Keyed Predictions Windowed Inference Repeatable Splitting Transform Bridged Schema Two-Phase Predictions Feature Store Model Versioning Heuristic Benchmark Workflow Pipeline Fairness Lens Explainable Predictions Different Workloads in Different Computing Environments Distinguish Business Logic from ML Models ML Gateway Routing Architecture Microservice Architecture for ML Lambda Architecture Kappa Architecture Data Lake for ML Parameter- Server Abstraction Data flows up, Model flow down Secure Aggregation Separation of Concerns and Modularization of ML Components Discard PoC Code ML Versioning Encapsulate ML models within Rule-base Safeguards Deployable Canary Model 今後の拡充検討エリア

24. 機械学習デザインパターンの認知と組織的取り組み • 2021年3月セミナー参加者アンケート調査、118名回答 • 高活用: Ensembles, Rebalancing, ML Versioning, Microservice Architecture for ML • 低活用: Feature Store, Federated Learning, Deployable Canary Model • SEP4MLA（再現性、運用中心）よりMLDP（データ、問題表現、訓練ほか広範）活用多い • チームや組織としての設計課題への取り組みがより組織化されるにつれて、パターンの利用割合が増加 ⇒ フレームワークへの組み入れを通じた組織的再利用の取り組み促進へ 24 取り組み方針回答者数 #MLDP MLDP割合 #SEP4MLA SEP4MLA割合チーム・組織内での知識化 37 202 18.2% 64 11.5% 外部のパターン参照あり 31 168 18.1% 50 10.8% 共有や再利用の取り組み無し 37 152 13.7% 35 6.3% その他（機械学習検討中など） 13 20 5.1% 3 1.5%

25. 25

26. まとめ • 『Machine Learning Design Patterns』(MLDP), V. Lakshmananら Googleプラットフォームチームによる30のパターン, et al., O’Reilly 2020（eAIチームにより10月訳書出版予定） • 機械学習モデルおよびシステムの設計のコツをまとめたデザインパターン • 網羅的: データ表現、問題表現、モデル訓練、レジリエントサービング、再現性、責任のあるAI • 実践的: 特にGoogleプラットフォーム上で有用、コード例あり • 発展的: 個々に代替やトレーオフの考慮解説あり、パターン間の関連あり • 展望: 実践整理、パターン間関連ほか 26 問題表現データ表現モデル訓練問題表現データ表現モデル訓練モデル訓練サービング再現性再現性責任AI 責任AI 再現性責任AI サービングサービング問題表現データ表現 PoC 開発運用(MLOps)

機械学習デザインパターン Machine Learning Design Patterns

機械学習デザインパターン Machine Learning Design Patterns

Recomendados

Más contenido relacionado

Was ist angesagt?

Was ist angesagt?(20)

Similar a 機械学習デザインパターン Machine Learning Design Patterns

Similar a 機械学習デザインパターン Machine Learning Design Patterns(20)

Más de Hironori Washizaki

Más de Hironori Washizaki(20)

機械学習デザインパターン Machine Learning Design Patterns