機械学習モデルのサービングについて

1. 機械学習モデルのサービングとは？
2021/9/25 機械学習の社会実装勉強会

2. 自己紹介
名前：tsho
販促メディア/人材メディアにてデータ分析者 /データエンジニアとし
てレコメンドエンジン等の開発 /実装/運用を担当。
データに関わらずウェブアプリケーションの開発からサーバーサイ
ド、インフラ構築ど幅広く従事。
本発表は所属する組織とは関係なく、
個人の見解と調べたことを発表いたします。

3. 本発表のターゲット
- エンジニア中級者などは退屈かもしれません。
初心者 中級者 上級者
データサイエンティスト ◯ ◯ △
ビジネスユーザー ◯ ◯ ◯
エンジニア ◯ △ ✕

4. @mshr-itoさんの内容を参考にしています。
@mshr-itoさん
ありがとうございます。
参考：MLOpsの概要と機械学習モデルのサービングシステム

5. サービングとは？
- 機械学習モデルの文脈だと作成したモデルを活用するために
”提供”すること
- 例：APIで利用できる状態にする、アプリケーションとして提供できる状態にする、 etc.
- 厳密な期限は終えませんでしたが見たところ
2017 Oreillyや 2018 Google i/oでの表記は確認
- 上記より古いのはまだ確認できずご存知な方いたら教えてもらえると助かります。

6. 機械学習パイプラインの大まかな構成
MLOps レベル0: 手動プロセス
参考：MLOps: 機械学習における継続的デリバリーと自動化のパイプライン

7. モデルのサービングに必要な要素
- 事前に学習した機械学習モデル
- 学習済み機械学習モデルを利用するための入力データの特徴量の前処理
- 外部から機械学習モデルを利用するためのインタフェース
入力データ
処理
※
Model
I/F

8. モデルのサービングが無い場合
サービングの機能がなく、
APIを実装しないといけない
場合は、モデル作成以外にコーディングが必要
参考：FastAPIを使って 機械学習モデルをapi化してみた

9. サービングを提供しているフレームワーク例
機械学習ライブラリでサービングを提供している例
- TensorFlow
- PyTorch etc.
様々なライブラリのモデルを対応しているサービングフレームワーク例
- BentoML
- NVIDIA Triton Inference Server etc.
参考：MLOpsの概要と機械学習モデルのサービングシステム

10. PyTorchを使った例
参考：pytorch/serve: Model Serving on PyTorch

11. 詳細は公式Doc
参考：serve/README.md at master · pytorch/serve · GitHub

12. おわり
サービングは、APIなどコーディングして実装しなくても機械学習モデルを
システムに簡単に組み込むことができます。
さまざまな機械学習モデルのライブラリでサービングの機能を提供しているので、
チームで利用しているライブラリなど最適なものを選択して実装することが可能です。

13. 参考
https://qiita.com/mshr-ito/items/f456f60fc5c557a19cf5
https://ubuntu.com/blog/guide-to-ml-model-serving
https://www.oreilly.com/library/view/serving-machine-learning/9781492024095/
https://twitter.com/TensorFlow/status/994356340716920832
https://qiita.com/mshr-ito/items/f456f60fc5c557a19cf5
https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja
https://github.com/pytorch/serve/