MLOps に基づく AI/ML 実運用最前線～画像、動画データにおける MLOps 事例のご紹介～（映像情報メディア学会2021年冬季大会企画セッション発表資料）

2. サマリー ✓ 機械学習のシステム開発はなぜ上手くいかないのか？ ✓ どうすれば良いのか？ ✓ 画像＋動画データにおけるベストプラクティスは？

4. 一般的なビジネスプロセス企画・戦略構想検証開発運用 GTM UTM PoB PoC PoV 勝ち目ありそうなコンセプトや戦略をうまく作り上げたい立てた戦略の実現性を検証で確認し、可能性を確認したい誰より（競合）も早くリリースしたい適宜、ニーズにより機能・サービス拡大したい ◼ フェーズごとに狙いが分かれている。フェーズビジネス一般の狙い AI/ML 固有の狙い戦略にAI/MLを活かし、（競合と）差別化を図りたいビジネス&技術の双方の実現性を確かめたい誰より（競合）も早くリリースしたい ※ 一般的なビジネス開発と一緒サービス価値(≒モデル価値)を継続的に向上したい図１：DX案件の導入フェーズ

5. AIだとの場合は？企画・戦略構想検証開発運用 GTM UTM PoB PoC PoV 課題1（PoC）精度面がネックでPoCから商用適用へたどり着けない課題2（商用）通常のシテム開発の違いがネックでデリバリースピードが出せず、ビジネス価値を維持できない ◼ PoCとデリバリーでそれぞれ課題があり、前に進まない、、、図１：DX案件の導入フェーズ

6. 課題1：PoCから商用フェーズへ移行出来ない案件化前実証実験（PoC）商用開発概要案件数 FY2018~ 自社データでどの程度価値のあるサービスができるか素早く手軽に見極めたい全大量データをフル活用したAI &堅牢なサービスにて業務/サービス変革を達成したいニーズ汎用AI すぐ使えるツールセットでデモスピーディーに低コストで自社データを使って AIモデル作成~デモアプリ作成を実行高品質システム構築（大量データを利用したAI&堅牢基盤） AIで一般的にはどの程度のことができるか知りたい 20件 8件 3件某通信会社某広告代理店某エンタメ企業某電力会社：某エンタメ企業某電力会社：某電力会社： ◼ 短期間にて精度面で実用可能なAIを作成することは困難である事から、 PoCから商用フェーズへ辿りつかない案件が多い（※ PoC期間は３カ月）図１：PoCから商用開発への移行率の関係

7. 参考：AI開発は試行錯誤の繰り返し 1 2 3 4 5 6 図１：AIモデルチューニングプロセス（CRISP-DMを元に作成） CRISP-DM:https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining ◼ AIモデルチューニングプロセスは試行錯誤の繰り返し分析デザインを行ったり来たりしながらチューニング繰り返し、ビジネス要求に耐えられる精度を目指す

8. 課題1：PoCから商用フェーズへ移行出来ない図１：PoCから商用開発への移行率の関係 100% 80% 60% 40% 20% 0% モデルチューニング回数 1回 5回 2回 3回 4回前提：一回のPoCが3か月とした場合、３回以上モデルチューニングを行う事で、成功確率が８０％以上を推移 ◼ PoCが成功する確率（≒商用開発へ発展）は、チューニング回数と相関あり。 →チューニングを高速化していかに回数をこなせるかが重要

9. 課題2：デリバリースピードが出せずビジネス価値が維持できない図１：[Sculley, 2015] より翻訳をして引用 URL:https://papers.nips.cc /paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf 小さい、、、 ◼ 機械学習モデルを作成するコード部分は、機械学習システム全体の一部分 ◼ 比重はとても小さく、それ以外の検討事項が多すぎる

10. 参考：機械学習システム開発の成功率は非常に低い ◼ 商用成功は１３％に留まり、８７％は適用に失敗している 13% 87% 商用運用に成功商用適用に失敗 https://venturebeat.com/2019/07/19/why-do- 87-of-data-science-projects-never-make-it- into-production/ AIの商用システム稼働率図１：PoCから商用開発への移行率の関係

11. 参考：機械学習システム開発の成功率は非常に低い図１：PoCフェーズ（MLのみ）データエンジニア（Data） AIエンジニア（ML）デベロッパー（Dev）データ収集データ品質チェックデータクレンジングリアルタイム予測バッチ予測運用（Ops）リアルとバッチ用のコード作成 AIエンジニア（ML）前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 実業務に耐えられるような、高精度なモデルを作成しますデータ品質をチェック＋加工して、データサイエンティストに高品質なデータを提供致します AIモデルを内包したアプリケーション開発実施＋当該アプリを商用システムでデプロイします。前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 アプリのエラー監視モデル精度監視システム運用アプリとモデル精度を監視して、アプリエラーはDevへ連絡、精度劣化はAIエンジニアへ連絡します図２：商用開発フェーズ（Data、ML、Dev、Opsなど、多数参加）実業務に耐えられるような、高精度なモデルを作成します ◼ 機械学習の商用開発フェーズでは、PoCフェーズと異なり様々なケイパビリティの専門家がコラボレーションしながら開発を進める必要があります。

12. 参考：機械学習システム開発の成功率は非常に低い図１：PoCフェーズ（MLのみ）データエンジニア（Data） AIエンジニア（ML）デベロッパー（Dev）データ収集データ品質チェックデータクレンジングリアルタイム予測バッチ予測運用（Ops）リアルとバッチ用のコード作成 AIエンジニア（ML）前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 実業務に耐えられるような、高精度なモデルを作成します前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 アプリのエラー監視モデル精度監視システム運用図２：商用開発フェーズ（Data、ML、Dev、Opsなど、多数参加）実業務に耐えられるような、高精度なモデルを作成します ◼ 参画する複数の専門家のケイパビリティがかなり異なるため、連携コストが大きくなる事から、全体の生産性は低下しがちの傾向にあります。ソースコードは Notebook形式のままで、グローバル変数多用＋エラー処理も甘いので、このままでは商用で利用できないよ！アプリのエラーログが分かりずらいので、ジョブが失敗した際にディスパッチ先が判断しずらい、、モデル精度をチェックするための閾値が分からないから、精度劣化の閾値基準が分からないよ！上流システムから流れてくるデータに関してスキーマ変更が発生。これではAIエンジニア側に高品質なデータを渡せないよ！

14. MLOps導入サービスの開始 ◼ ２０２０年９月３０日に社外プレスにて公開  AIにおいては素早く精度を高めつつも、サービス公開後に継続的に精度改善を行う必要があるため、既存のDevOpsサービスにおける顧客へ素早く価値を届けるためのノウハウをベースに、多数のAI案件で得られた知見を本サービスへ適用  本サービスを導入する事で、従来は数カ月ほどかかるAIサービスを最短数週間で実現し、継続的にビジネス価値を改善  3年間で案件への導入件数100件を目指す *1 https://www.nttdata.com/jp/ja/news/release/2020/093001/

15. MLOpsサービスイメージ（１／３）ツールは案件毎に最適な物をテーラーリングデータ確認データ前処理モデル設計モデル管理評価 1 3 4 5 6 2 学習プロセス期待効果 OSS 4週間を 1週間へ短縮 2週間を作業ゼロへ 1週間を作業ゼロへ Amazon SageMaker Machine Learning クラウドサービス図１：MLOpsツールチェーン Amazon Web Service Google Cloud Microsoft Azure AI Platform AutoML Vision AutoML Table ◼ 試行錯誤回数（≒モデルチューニング回数）を増加させるためにはDevOpsツールのMachine Learning版が必須（≒MLOps） ◼ ツール導入により、250%の高速化(=3か月PoCで平均5回のチューニング)が可能

16. MLOpsサービスイメージ（２／３）開発時期・状況 CD用途 α月 α＋１月 α＋２月 α＋３月 α＋４月テスト機配信（インテグ） 21回 54回 225回 126回 36回商用β配信（サイレントリリース） 12回 15回 12回商用ストア配信（リリース） 1回 3回最終的には隔週で商用リリース ➢ ML版“CI“からはじめる ✓ サーバー、エッジの両方とも精度監視を行い、常に業務的に意味があるモデルになるようCECDを行うため、パイプラインを拡張 ✓ MLモデルを継続的にテストするためのパイプライン作成 ✓ MLモデルのテストは決定論的では無く確率論的に振舞う繰り返す ➢ ” CD”と”CE”を同時導入 ◼ ML版CI・CDに加えて、継続的なモデル評価（CE）を行うパイプラインを導入し、常に価値のあるモデルを商用サービスへ繰り返しリリースするフローを整備。図１：機械学習開発の自動化イメージ

17. MLOpsサービスイメージ（３／３） ◼ AIモデル開発はアプリケーション開発と同様で、作るだけではなく運用する事が重要 ◼ 作業自動化を進める事で、ぐるぐるを効率化させる 1.モデル開発入力データ正解データ 2.デプロイ入力データ予測結果データキャプチャー入力データ予測結果 3.モデル精度監視 Requese Response 4.データ作成＋再学習新しい入力データ新しい正解データ MLチーム Opsチーム業務チーム 1だけでは無く、 2、3、4が重要で、 Opsツールで効率化を図りたい図１：機械学習の開発サイクル

18. （参考）リリース頻度向上≒顧客満足度向上 ◼ 機械学習システムの開発プロセスを最適化する事で改善したモデルを継続リリースし、その結果エンドユーザーからの評価が高まると考えております。図１：リリース頻度（X軸）と顧客満足度（Y軸）の関係

20. 機械学習の開発フロー（１／２） ◼ 機械学習開発の大まかな流れ、、学習評価前処理特徴量ストア実験環境ステージング／プロダクション環境ソースコード (自動化パイプライン) ソースリポジトリ (VCS) CI CD モデル構築･評価 (自動化されたパイプライン) CD モデルレジストリ予測サーバモニタリング通知図１：機械学習開発のワークフロー

21. 機械学習の開発フロー（１／２） ◼ 各工程ごとに必要な機能は異なります、、学習評価前処理特徴量ストア実験環境ステージング／プロダクション環境ソースコード (自動化パイプライン) ソースリポジトリ (VCS) CI CD モデル構築･評価 (自動化されたパイプライン) CD モデルレジストリ予測サーバモニタリング通知パイプライン化（処理フローの定義）本番環境でパイプラインを実行することで、再現性を担保試行錯誤でのAIモデル開発運用における精度監視実験・本番時に利用できる一元化されたリポジトリ自動テスト自動ビルド図１：機械学習開発のワークフロー

22. 機械学習開発フェーズ毎に必要な機能（１／４） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 1 共通複数の開発者がコラボレーション可能な開発環境〇〇〇〇共通化された開発環境・Notebook形式の開発環境・JupyterHub ・JupyterGateway ・Kubeflow 2 ソースコード共有が可能〇〇〇〇ソースコード共有が可能・ソースコードバージョン管理・Git 3 CPU、GPU等の計算リソースを柔軟に利用したい。〇〇〇計算リソースを自由に利用したい。・計算リソース抽象化・Kubernetes 4 各種運用作業を自動化したい。〇〇〇〇機械学習版CICD ・CI（ContinusIntegration）・CT（ContinusTuning）・CD（ContinusDerivery）・CM（ContinusMonitaring）・個別実装 5 データ収集と管理商品の画像を撮影しサーバに格納する〇撮影画像のアップロード・LabelingTool ・CVAT ・LabelStudio ・VoTT 6 データを検索したい〇〇〇必要なデータを検索して、データ毎の意味を確認したい・DataCatalogTool ・Collibra ・Alation 7 画像にラベルを付与する〇〇ラベル付与作業のコスト削減支援同上同上 8 前処理機械学習に適さない画像を削除する〇異常値などの自動判別同上同上 9 付与されたラベルの誤りを修正する〇付与ラベルチェックのコスト削減支援同上同上 10 データの品質を確認する〇各種データ品質の確認・データ品質確認・GreatExpectations ・Dequu 表１：機械学習開発フェーズ毎に必要な機能

23. 機械学習開発フェーズ毎に必要な機能（２／４） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 11 特徴量作成データの水増しや正規化などの、後続のモデル作成による推論精度が高くなるようなデータ加工を行う〇データ前処理が可能な実行環境・前処理実行環境・Python ・Spark ・dbt 12 どんな特徴量を作成すれば良いか考える〇探索的にデータの傾向を確認したい・EDA ・Re:Dash ・Metabase ・Pandas or Koalas ・Bamboolib 13 二値化等の特徴量が分かりやすくなる加工処理を実施する〇特徴量加工処理が可能な実行環境・特徴量加工実行環境同上 14 似た商品を検索できるようにしたい〇特徴量ベクトル間の距離検索・ベクトル化＋量子化・weaviate 15 特徴量設計したデータをバージョン管理する〇データバージョン管理と特徴をストア可能な機能・データバージョン管理・DVC ・GitLFS ・Pachyderm 16 加工したデータをACID＋最適なフォーマットで管理したい〇最適なストレージフォーマット・ACIDストレージフォーマット・DeltaLake ・Hudi ・IceBerg 17 加工した特徴量データをバッチ学習用とオンライン推論用の用途に分けたい〇データバージョン管理と特徴をストア可能な機能・FeatureStore ・Feast ・HopsWorks ・Tecton 18 モデル学習モデルのトレーニングに利用するデータ、検証に利用するデータを検証方式 (holdout、cross validation)にしたがって分割する〇トレーニングデータ、検証データの正解ラベルの分散や画像データの特徴(ノルム、エントロピーなど)を考慮した自動分割支援・データ分割・各種MLFrameWork 19 なるべく短時間で学習を終わらせる〇分散ノードで並列学習したい・分散データ学習・Horovod 20 識別商品の追加＆削除を考慮して、再学習を行う。〇学習済みモデルから差分データを使って学習を行う。・FineTuning ・各種MLFrameWork 表１：機械学習開発フェーズ毎に必要な機能

24. 機械学習開発フェーズ毎に必要な機能（３／４） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 21 評価モデル精度の評価と管理を行う〇モデルの実施結果(学習時間、検証データ予測時間、予測結果)の自動評価(ダウングレードの自動検証) ・実験管理機能・MLFlow ・Polyaxon 22 最適な性能を出すモデルを探索する〇ハイパーパラメータをチューニングし検証用データを使って予測精度を確認に最適な性能モデルをgrid seachする・ハイパーパラメーターチューニング・ニューラルモデルサーチ・Katib ・HyperOpt ・Optuna 23 学習済モデルをモデルリポジトリに登録する〇モデルリポジトリへの学習済みモデルの登録・ModelRegistry ・ModelRegistry 24 シチズンデータサイエンティストでも最適なモデル作成を行いたい。〇自動でモデル学習と最適化を行う・AutoML ・NoCodeAI ・Pycaret ・AutoKeras 25 後続のDev側で引継ぎやすいように、 Script＋Model形式を標準化する〇モデルフォーマットの標準化・各種Scirpt呼び出し形式標準化・モデルフォーマット標準化・MLflowModels ・MlflowProject ・Onnx 26 作成したDeepLearnnigモデルの構造を確認して、無駄が無いか可視化したい〇 DeepLearningで作成したモデルをユーザーフレンドリーなGUIで可視化＋デバッグしたい・NuralArchitectureDebug ・Netron ・Tensorflowboard 27 モデルの再現性を確保する〇トレーニングに使用するデータ、検証に使用するデータ、パイプライン、ハイパーパラメータ学習済みモデルをDocker イメージにパッケージングする・コンテナイメージ化・ContainerRegistry ・Docker ・Harbor ・GitlabRegistry 28 前処理～評価までの一連のタスクを自動化し、繰り返し評価を行う〇〇データ抽出～前処理～モデルの実行までの一連の手順をパイプラインとして構築し自動実行する・パイプライン機能・MlflowMultStep ・Airflow ・Kubeflow ・ZenML ・Kedoro ・TFX 表１：機械学習開発フェーズ毎に必要な機能

25. 機械学習開発フェーズ毎に必要な機能（４／４） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 29 モデルの推論根拠や公平性を確認したい〇 AIモデルの推論根拠や、人種＋性別などの本人の努力ではどうしても変えられない属性利用を検出したい・ExplanationAI ・公平性・Shaply ・Lime ・Fairlearn 30 Notebookベースでパイプラン処理を実装する〇〇各種処理をパイプライン化するに当たり、 JupyterNotebook形式のファイルも外部引数を与えた形で呼び出し可能な形にする。・Notebook形式ファイルの実行・PapperMills 32 サービング精度評価で問題なかったモデルをデプロイする〇モデルレジストリ経由で、APIサーバーとして環境にデプロイする・Serving＆Deploy ・MLflow ・SeldonCore ・BentML 33 推論コストを下げるような取り組みをしたい。〇〇〇 DeepLearningで作成したモデルのネットワーク構造の最適化・モデル構造最適化・Trition ・TVM 34 モデル運用 ABテストを実施したい、、〇 ABテスト環境を自作せずに実現可能・Canaryリリース・ブルーグリーンデプロイメント・Kubernetes ・Istio 35 データドリフトやコンセプトドリフトを検知する〇学習データと推論データの分布的なズレを検知する・データドリフト検知・コンセプトドリフト検知・AllibiDetect ・Evidently 表１：機械学習開発フェーズ毎に必要な機能

27. 画像＋動画はなぜ難しいのか？（１／２） ◼ 構造化データと比較して、非構造化データは開発＋運用コストが桁違いにかかる、、（例：学習＋推論にGPUが必須、、、） A）構造化データ B）非構造化データ Bと比較して、開発＋運用コストは小さい図１：開発＋運用コスト構造

28. 画像＋動画はなぜ難しいのか？（２／２） ◼ 複数の施策を組み合わせる事で、現実的なコスト（≒マネタイズ可能）に落とし込む必要がある、、初期コスト想定開発効率改善開発効率改善によりコスト 25％削減学習＋推論コスト改善インスタンスタイプの改善によりコスト45％削減最終コスト試算最終コスト 70％削減図１：コスト改善のStepイメージ学習データ生成改善学習データ生成コスト25％削減

29. 画像アノテーション効率化（１／５） ◼ 赤枠の取り組み事例に関してご紹介致します初期コスト想定開発効率改善開発効率改善によりコスト 25％削減学習＋推論コスト改善インスタンスタイプの改善によりコスト45％削減最終コスト試算最終コスト 70％削減図１：コスト改善のStepイメージ学習データ生成改善学習データ生成コスト25％削減

30. 画像アノテーション効率化（２／５） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 1 共通複数の開発者がコラボレーション可能な開発環境〇〇〇〇共通化された開発環境・Notebook形式の開発環境・JupyterHub ・JupyterGateway ・Kubeflow 2 ソースコード共有が可能〇〇〇〇ソースコード共有が可能・ソースコードバージョン管理・Git 3 CPU、GPU等の計算リソースを柔軟に利用したい。〇〇〇計算リソースを自由に利用したい。・計算リソース抽象化・Kubernetes 4 各種運用作業を自動化したい。〇〇〇〇機械学習版CICD ・CI（ContinusIntegration）・CT（ContinusTuning）・CD（ContinusDerivery）・CM（ContinusMonitaring）・個別実装 5 データ収集と管理商品の画像を撮影しサーバに格納する〇撮影画像のアップロード・LabelingTool ・CVAT ・LabelStudio ・VoTT 6 データを検索したい〇〇〇必要なデータを検索して、データ毎の意味を確認したい・DataCatalogTool ・Collibra ・Alation 7 画像にラベルを付与する〇〇ラベル付与作業のコスト削減支援同上同上 8 前処理機械学習に適さない画像を削除する〇異常値などの自動判別同上同上 9 付与されたラベルの誤りを修正する〇付与ラベルチェックのコスト削減支援同上同上 10 データの品質を確認する〇各種データ品質の確認・データ品質確認・GreatExpectations ・Dequu 表１：機械学習開発フェーズ毎に必要な機能

31. 画像アノテーション効率化（３／５）図１：PoCフェーズ（MLのみ）データエンジニア（Data） AIエンジニア（ML）デベロッパー（Dev）データ収集データ品質チェックデータクレンジングリアルタイム予測バッチ予測運用（Ops）リアルとバッチ用のコード作成 AIエンジニア（ML）前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 実業務に耐えられるような、高精度なモデルを作成します前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 アプリのエラー監視モデル精度監視システム運用図２：商用開発フェーズ（Data、ML、Dev、Opsなど、多数参加）実業務に耐えられるような、高精度なモデルを作成しますソースコードは Notebook形式のままで、グローバル変数多用＋エラー処理も甘いので、このままでは商用で利用できないよ！アプリのエラーログが分かりずらいので、ジョブが失敗した際にディスパッチ先が判断しずらい、、モデル精度をチェックするための閾値が分からないから、精度劣化の閾値基準が分からないよ！アノテーションする画像枚数が多すぎて、、とても稼働がかかる！！！ ◼ 画像アノテーションは地味に稼働（≒お金）がかかる、、、

32. 画像アノテーション効率化（４／５） ◼ CVATはインテルで開発されたコンピュータービジョン用OSSアノテーションツール ◼ 自分で作成したモデルを用いたAutomatic annotationを実行可能（＝Active Learning）図１：CVAT画面例

33. 画像アノテーション効率化（５／５） ◼ AIが得意な識別はAIに任せる ◼ 逆にAIが苦手な識別は、先生（≒専門家）と組み合わせたで、AIをさらに賢くする１．AIで判定２．確信度で場合分け 0.90 0.89 0.70 0.40 0.20 0.09 0.05 0.02 0.01 赤枠は“AI自信なし”なので、集中的に学習が必要例：英語は得意だが数学が苦手な生徒は、数学を集中的に勉強する必要ありクレーム確信度３－１．そのままAIで再学習３－２．人手で再ラベリング後、 AIで再学習 AIが苦手なデータ（科目）は、専門家から答えを教えてもらって、学習する専門家

34. 分散学習（１／４） ◼ 赤枠の取り組み事例に関してご紹介致します初期コスト想定開発効率改善開発効率改善によりコスト 25％削減学習＋推論コスト改善インスタンスタイプの改善によりコスト45％削減最終コスト試算最終コスト 70％削減図１：コスト改善のStepイメージ学習データ生成改善学習データ生成コスト25％削減

35. 分散学習（２／４） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 11 特徴量作成データの水増しや正規化などの、後続のモデル作成による推論精度が高くなるようなデータ加工を行う〇データ前処理が可能な実行環境・前処理実行環境・Python ・Spark ・dbt 12 どんな特徴量を作成すれば良いか考える〇探索的にデータの傾向を確認したい・EDA ・Re:Dash ・Metabase ・Pandas or Koalas ・Bamboolib 13 二値化等の特徴量が分かりやすくなる加工処理を実施する〇特徴量加工処理が可能な実行環境・特徴量加工実行環境同上 14 似た商品を検索できるようにしたい〇特徴量ベクトル間の距離検索・ベクトル化＋量子化・weaviate 15 特徴量設計したデータをバージョン管理する〇データバージョン管理と特徴をストア可能な機能・データバージョン管理・DVC ・GitLFS ・Pachyderm 16 加工したデータをACID＋最適なフォーマットで管理したい〇最適なストレージフォーマット・ACIDストレージフォーマット・DeltaLake ・Hudi ・IceBerg 17 加工した特徴量データをバッチ学習用とオンライン推論用の用途に分けたい〇データバージョン管理と特徴をストア可能な機能・FeatureStore ・Feast ・HopsWorks ・Tecton 18 モデル学習モデルのトレーニングに利用するデータ、検証に利用するデータを検証方式 (holdout、cross validation)にしたがって分割する〇トレーニングデータ、検証データの正解ラベルの分散や画像データの特徴(ノルム、エントロピーなど)を考慮した自動分割支援・データ分割・各種MLFrameWork 19 なるべく短時間で学習を終わらせる〇分散ノードで並列学習したい・分散データ学習・Horovod 20 識別商品の追加＆削除を考慮して、再学習を行う。〇学習済みモデルから差分データを使って学習を行う。・FineTuning ・各種MLFrameWork 表１：機械学習開発フェーズ毎に必要な機能

36. 分散学習（３／４）図１：PoCフェーズ（MLのみ）データエンジニア（Data） AIエンジニア（ML）デベロッパー（Dev）データ収集データ品質チェックデータクレンジングリアルタイム予測バッチ予測運用（Ops）リアルとバッチ用のコード作成 AIエンジニア（ML）前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 実業務に耐えられるような、高精度なモデルを作成します前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 アプリのエラー監視モデル精度監視システム運用図２：商用開発フェーズ（Data、ML、Dev、Opsなど、多数参加）ソースコードは Notebook形式のままで、グローバル変数多用＋エラー処理も甘いので、このままでは商用で利用できないよ！アプリのエラーログが分かりずらいので、ジョブが失敗した際にディスパッチ先が判断しずらい、、モデル精度をチェックするための閾値が分からないから、精度劣化の閾値基準が分からないよ！アノテーションする画像枚数が多すぎて、、とても稼働がかかる！！！ ◼ 巨大モデル（例：Vit）は学習時間がとてもかかる、、、、学習モデルが大きすぎて、全然学習が終わらないよ！！！

37. 分散学習（４／４） ◼ 安価なGPUノード（V100）を複数並列で並べた上で、分散ノードで学習を行う。 ◼ 計算リソースはK8sで抽象化した上で、必要なノードを利用する、、学習を複数GPUインスタンスで実施する方法は大きく二つある a)データを分割して並列処理 b)モデルのニューラルアーキテクチャーを分割して並列処理 Horovodは前者、a)に対応可能但し、データのGPUインスタンス間のレプリケーションや学習パラメーターのレプリケーション同期のオーバーヘッドがあるため、GPU インスタンスに乗算した速度は出ない図２：k8s device plugin との連携図１：Horovod

38. DSとDevとの連携効率化（１／４） ◼ 赤枠の取り組み事例に関してご紹介致します初期コスト想定開発効率改善開発効率改善によりコスト 25％削減学習＋推論コスト改善インスタンスタイプの改善によりコスト45％削減最終コスト試算最終コスト 70％削減図１：コスト改善のStepイメージ学習データ生成改善学習データ生成コスト25％削減

39. DSとDevとの連携効率化（２／４） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 21 評価モデル精度の評価と管理を行う〇モデルの実施結果(学習時間、検証データ予測時間、予測結果)の自動評価(ダウングレードの自動検証) ・実験管理機能・MLFlow ・Polyaxon 22 最適な性能を出すモデルを探索する〇ハイパーパラメータをチューニングし検証用データを使って予測精度を確認に最適な性能モデルをgrid seachする・ハイパーパラメーターチューニング・ニューラルモデルサーチ・Katib ・HyperOpt ・Optuna 23 学習済モデルをモデルリポジトリに登録する〇モデルリポジトリへの学習済みモデルの登録・ModelRegistry ・ModelRegistry 24 シチズンデータサイエンティストでも最適なモデル作成を行いたい。〇自動でモデル学習と最適化を行う・AutoML ・NoCodeAI ・Pycaret ・AutoKeras 25 後続のDev側で引継ぎやすいように、 Script＋Model形式を標準化する〇モデルフォーマットの標準化・各種Scirpt呼び出し形式標準化・モデルフォーマット標準化・MLflowModels ・MlflowProject ・Onnx 26 作成したDeepLearnnigモデルの構造を確認して、無駄が無いか可視化したい〇 DeepLearningで作成したモデルをユーザーフレンドリーなGUIで可視化＋デバッグしたい・NuralArchitectureDebug ・Netron ・Tensorflowboard 27 モデルの再現性を確保する〇トレーニングに使用するデータ、検証に使用するデータ、パイプライン、ハイパーパラメータ学習済みモデルをDocker イメージにパッケージングする・コンテナイメージ化・ContainerRegistry ・Docker ・Harbor ・GitlabRegistry 28 前処理～評価までの一連のタスクを自動化し、繰り返し評価を行う〇〇データ抽出～前処理～モデルの実行までの一連の手順をパイプラインとして構築し自動実行する・パイプライン機能・MlflowMultStep ・Airflow ・Kubeflow ・ZenML ・Kedoro ・TFX 表１：機械学習開発フェーズ毎に必要な機能

40. DSとDevとの連携効率化（３／４）図１：PoCフェーズ（MLのみ）データエンジニア（Data） AIエンジニア（ML）デベロッパー（Dev）データ収集データ品質チェックデータクレンジングリアルタイム予測バッチ予測運用（Ops）リアルとバッチ用のコード作成 AIエンジニア（ML）前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 実業務に耐えられるような、高精度なモデルを作成します前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 アプリのエラー監視モデル精度監視システム運用図２：商用開発フェーズ（Data、ML、Dev、Opsなど、多数参加）アプリのエラーログが分かりずらいので、ジョブが失敗した際にディスパッチ先が判断しずらい、、モデル精度をチェックするための閾値が分からないから、精度劣化の閾値基準が分からないよ！ ◼ MLとDevはケイパビリティが異なる＋別Teaｍが多い事から、連携コストが大きくなりがち、、アノテーションする画像枚数が多すぎて、、とても稼働がかかる！！！良し！！学習用コードとモデルが作成出来たので、 Devへ引継ぎを行う！！ソースコードは Notebook形式で呼び出し方不明、、モデルだけ渡されても、どのようなAPIで推進すれば良いかわからないよ、、、

41. DSとDevとの連携効率化（４／４） ◼ 複数のMLフレームワーク毎のモデルフォーマットを標準化する事で、推論（モデル呼び出し）を標準化 ◼ 後続のDev側の開発効率を下げさせないために、連携資材のフォーマットを工夫する、、、 AsIs：モデルフォーマットがバラバラ ToBe：モデルフォーマット標準化

42. ML開発ワークフローの自動化（１／４） ◼ 赤枠の取り組み事例に関してご紹介致します初期コスト想定開発効率改善開発効率改善によりコスト 25％削減学習＋推論コスト改善インスタンスタイプの改善によりコスト45％削減最終コスト試算最終コスト 70％削減図１：コスト改善のStepイメージ学習データ生成改善学習データ生成コスト25％削減

43. ML開発ワークフローの自動化（２／４） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 1 共通複数の開発者がコラボレーション可能な開発環境〇〇〇〇共通化された開発環境・Notebook形式の開発環境・JupyterHub ・JupyterGateway ・Kubeflow 2 ソースコード共有が可能〇〇〇〇ソースコード共有が可能・ソースコードバージョン管理・Git 3 CPU、GPU等の計算リソースを柔軟に利用したい。〇〇〇計算リソースを自由に利用したい。・計算リソース抽象化・Kubernetes 4 各種運用作業を自動化したい。〇〇〇〇機械学習版CICD ・CI（ContinusIntegration）・CT（ContinusTuning）・CD（ContinusDerivery）・CM（ContinusMonitaring）・個別実装 5 データ収集と管理商品の画像を撮影しサーバに格納する〇撮影画像のアップロード・LabelingTool ・CVAT ・LabelStudio ・VoTT 6 データを検索したい〇〇〇必要なデータを検索して、データ毎の意味を確認したい・DataCatalogTool ・Collibra ・Alation 7 画像にラベルを付与する〇〇ラベル付与作業のコスト削減支援同上同上 8 前処理機械学習に適さない画像を削除する〇異常値などの自動判別同上同上 9 付与されたラベルの誤りを修正する〇付与ラベルチェックのコスト削減支援同上同上 10 データの品質を確認する〇各種データ品質の確認・データ品質確認・GreatExpectations ・Dequu 表１：機械学習開発フェーズ毎に必要な機能

44. ML開発ワークフローの自動化（３／４）図１：PoCフェーズ（MLのみ）データエンジニア（Data） AIエンジニア（ML）デベロッパー（Dev）データ収集データ品質チェックデータクレンジングリアルタイム予測バッチ予測運用（Ops）リアルとバッチ用のコード作成 AIエンジニア（ML）前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 実業務に耐えられるような、高精度なモデルを作成します前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 アプリのエラー監視モデル精度監視システム運用図２：商用開発フェーズ（Data、ML、Dev、Opsなど、多数参加） ◼ 機械学習開発はやる事が多いため、おのずと手作業が発生する事で稼働がかかってしまう、、、手作業が多すぎてつらい！！！手作業が多すぎてつらい！！！手作業が多すぎてつらい！！！手作業が多すぎてつらい！！！

45. ML開発ワークフローの自動化（４／４） ◼ ①CI：ソースコードをバージョン管理へ登録後、テスト、コンテナイメージ作成及びパイプラインのデプロイを実施。 ◼ ②CT：新規データ着地をトリガーに、①でデプロイしたパイプラインを実行し、モデルレジストリに登録。 ◼ ③CD：承認者が精度で問題無い事を確認した後、当該モデルを１Clickでプロダクションへデプロイ ◼ ④CM：継続的にモデル精度劣化やデータドリフト発生等をモニタリングし、必要であれば再学習を行う。 ① ② ③ 図１：CI＋CT＋CD＋CEの方式案 URL： https://cloud.google.com/architecture/mlops- continuous-delivery-and-automation-pipelines-in- machine-learning?hl=ja ④

46. 学習と推論コストの効率化（１／６） ◼ 赤枠の取り組み事例に関してご紹介致します初期コスト想定開発効率改善開発効率改善によりコスト 25％削減学習＋推論コスト改善インスタンスタイプの改善によりコスト45％削減最終コスト試算最終コスト 70％削減図１：コスト改善のStepイメージ学習データ生成改善学習データ生成コスト25％削減

47. 学習と推論コストの効率化（２／６） ◼ 赤枠に関して、画像＋動画での事例をご紹介致します。項番タスク Role 必要な機能フェーズ内容 Cus An Biz DE DS Dev Ops 要求仕様機能名実現方法 29 モデルの推論根拠や公平性を確認したい〇 AIモデルの推論根拠や、人種＋性別などの本人の努力ではどうしても変えられない属性利用を検出したい・ExplanationAI ・公平性・Shaply ・Lime ・Fairlearn 30 Notebookベースでパイプラン処理を実装する〇〇各種処理をパイプライン化するに当たり、 JupyterNotebook形式のファイルも外部引数を与えた形で呼び出し可能な形にする。・Notebook形式ファイルの実行・PapperMills 32 サービング精度評価で問題なかったモデルをデプロイする〇モデルレジストリ経由で、APIサーバーとして環境にデプロイする・Serving＆Deploy ・MLflow ・SeldonCore ・BentML 33 推論コストを下げるような取り組みをしたい。〇〇〇 DeepLearningで作成したモデルのネットワーク構造の最適化・モデル構造最適化・Trition ・TVM 34 モデル運用 ABテストを実施したい、、〇 ABテスト環境を自作せずに実現可能・Canaryリリース・ブルーグリーンデプロイメント・Kubernetes ・Istio 35 データドリフトやコンセプトドリフトを検知する〇学習データと推論データの分布的なズレを検知する・データドリフト検知・コンセプトドリフト検知・AllibiDetect ・Evidently 表１：機械学習開発フェーズ毎に必要な機能

48. 学習と推論コストの効率化（３／６）図１：PoCフェーズ（MLのみ）データエンジニア（Data） AIエンジニア（ML）デベロッパー（Dev）データ収集データ品質チェックデータクレンジングリアルタイム予測バッチ予測運用（Ops）リアルとバッチ用のコード作成 AIエンジニア（ML）前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 実業務に耐えられるような、高精度なモデルを作成します前処理モデル設計モデル管理精度評価 1 2 3 4 5 6 アプリのエラー監視モデル精度監視システム運用図２：商用開発フェーズ（Data、ML、Dev、Opsなど、多数参加）ソースコードは Notebook形式のままで、グローバル変数多用＋エラー処理も甘いので、このままでは商用で利用できないよ！アプリのエラーログが分かりずらいので、ジョブが失敗した際にディスパッチ先が判断しずらい、、モデル精度をチェックするための閾値が分からないから、精度劣化の閾値基準が分からないよ！ ◼ 非構造化データに関する処理はGPUが必須。そのため、、GPUリソースを大量に消費する（≒コスト増）アノテーションする画像枚数が多すぎて、、とても稼働がかかる！！！ダメだ、、、学習と推論で GPUリソースを利用しまくるので、計算リソースコストが掛かりまくる、、、

49. 学習と推論コストの効率化（４／６） ◼ 各種深層学習コンパイラーを利用する事で、モデル構造を最適化（枝切りや量子化）を行う ◼ 下記はTVM（TensorVertualMachine）の例だが、グラフ全体＋各オペレーターを最適化する事で、コスト効率が良いモデルに変換を行う。 ONNX MXNet TensorFlow Keras グラフ＋オペレータ最適化 LLVM CUDA OpenCL x86 ARM AMDGPU NNVM：グラフ全体変換 TVM：オペレータ変換 Pytorch 図１：TVMを利用したモデルコンパイルイメージ

50. 学習と推論コストの効率化（５／６） ◼ 学習＋推論コストを下げるような、特化型ASICの利用を検討する ◼ 下記はAWSの事例になるが、各種特化型ASICを利用する事で、コスト低減を図る、、参考URL： https://aws.amazon.com/jp/machine-learning/elasticinference/ 参考URL： https://aws.amazon.com/jp/about-aws/whats- new/2021/03/amazon-ec2-inf1-instances-aws-inferentia- available-additional-regions/ 参考URL： https://aws.amazon.com/jp/machine-learning/trainium/ 図１：Trainum 図２：Inferentia 図３：ElasticInference

51. 学習と推論コストの効率化（６／６） ◼ 下記はAWSのベンチマーク資料抜粋になる、 ◼ AWSが提供する最安値GPU（g4dn）よりも、コスト効率を上げる事が可能となる。参考URL： https://aws.amazon.com/jp/blogs/news/increasing-performance-and-reducing-the-cost-of-mxnet- inference-using-amazon-sagemaker-neo-and-amazon-elastic-inference/ 図１：コストと性能評価グラフ

53. Conclusion ✓ 機械学習のシステム開発はなぜ上手くいかないのか？ ✓ どうすれば良いのか？ ✓ 画像＋動画データにおけるベストプラクティスは？ー＞ ✓ MLOpsはいまだ業界標準のべスプラ＋考え方はありません ✓ 各社＋各人知恵を捻って対応してのが現状です、 ✓ 是非本日の適用事例を参考にしてください！！！

54. 問い合わせ先 ✓ Comnapy ：NTTDATA ✓ Name ：Ei Yamaguchi ✓ E-Mail ：ei.yamaguchi@nttdata.com ✓ Organization ：apcj@kits.nttdata.co.jp

MLOps に基づく AI/ML 実運用最前線～画像、動画データにおける MLOps 事例のご紹介～（映像情報メディア学会2021年冬季大会企画セッション発表資料）

Du liest eine Vorschau.

Hier ansehen

MLOps に基づく AI/ML 実運用最前線～画像、動画データにおける MLOps 事例のご紹介～（映像情報メディア学会2021年冬季大会企画セッション発表資料）

Weitere Verwandte Inhalte

Diashows für Sie (20)

Ähnlich wie MLOps に基づく AI/ML 実運用最前線～画像、動画データにおける MLOps 事例のご紹介～（映像情報メディア学会2021年冬季大会企画セッション発表資料） (20)

Weitere von NTT DATA Technology & Innovation (20)

Aktuellste (20)