機械学習の社会実装勉強会第13回で発表した内容です。 https://machine-learning-workshop.connpass.com/event/254936/ 動画はこちら https://www.youtube.com/watch?v=QfsojLXyhAA

1. Amazon SageMakerで
scikit-learnで作ったモデルのEndpoint作成
独自のモデルを使う
2022/07/30 第13回勉強会

2. 自己紹介
● 名前: 西岡 賢一郎
○ Twitter: @ken_nishi
○ note: 西岡賢一郎@研究者から経営者へ (https://note.com/kenichiro)
○ YouTube: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル
(https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg)
● 経歴
○ 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得
○ 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社ト
ライディアを設立
○ トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職
○ CDPのスタートアップと株式会社データインフォームドの2つに所属
○ 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験

3. 今回のお話
● Amazon SageMakeのEndpoint
● カスタムコンテナ
● SKLearnクラスを使ったscikit-learnの組み込み
● デモ: scikit-learnで作ったモデルでEndpointを作成

4. Amazon SageMakerのEndpoint

5. SageMakerのEndpoint作成フロー
SageMakerで学習を実施しEndpoint作成する
Step
1.学習 (fit)
2.モデル作成
3.Endpoint Config作成
4.Endpoint作成

6. 学習 (fit)
● まずは、fit前にEstimatorをイニシャライズ
をするときに学習に使用するコンテナ, role,
インスタンス数, インスタンスのタイプなど
を与える
● ハイパーパラメーターを指定
● fitを実行
1.ECRから学習に使うモデルのコンテナを
取得
2.S3からトレーニングデータを取得
3.学習を実施
4.学習済みモデル (model artifact, tar.gz形
式) をS3にアップ (arnはdescribe-
training-jobを使って取得可能)

7. モデル作成
S3に保存された学習済みモデル (model artifact)
からSageMakerのモデルを作成。create_model
でモデル名, Role, 使用するコンテナなどを指定

8. Endpoint Config作成
EndpointのConfigでは、create_endpoint_config
でEndpoint名やEndpointで使用するインスタン
スなどを指定する

9. Endpoint作成
create_endpointにendpoint configのarnを指定し
てEndpoint作成

10. Endpoint作成までのおさらい
fit, create_model, create_endpoint_config, create_endpointと実行することで
Endpointの作成ができる

11. Endpoint簡単作成
deployメソッドでcreate_model, create_endpoint_config, create_endpointをすべ
てまとめて実施することもできる
deployメソッドで一括実行

12. カスタムコンテナ

13. SageMakerで独自の学習
カスタムコンテナを使えるようにする
SageMakerで独自の学習を実施するためにはfit, create_modelで利用するMLコン
テナをカスタムコンテナに変更すれば良い

14. カスタムコンテナ
出典: https://aws.amazon.com/jp/blogs/news/sagemaker-custom-containers-pattern-training/
カスタムコンテナは以下の3種類のパターンで
作成できる
1. AWS 提供のコンテナイメージを拡張
a. 最も簡単
b. 独自ライブラリを使いたいときなど
2. 独自のコンテナイメージ + SageMaker
Training Toolkit
a. SageMaker Training Toolkit
3. スクラッチのコンテナイメージ
a. 非推奨
b. 最も難しい
c. SageMaker Training Jobの外部とデータとの
やり取りの使用の理解が必要
今回は、これらのどれでもなく既存のコンテナ
イメージを使用するEstimatorのコンストラクタ
にスクリプトを指定して実装

15. SKLearnクラスを使ったscikit-learnの組み込み

16. scikit-learnを組み込む
● sagemaker.sklearn.estimator.SKLearnクラスを使えば、scikit-learnを実行す
るための環境を備えたイメージを利用可能
● イメージ上で実行させたいscikit-learnのカスタムスクリプトをSKLearnクラ
スに与える

17. sagemaker.sklearn.estimator.SKLearn
カスタムスクリプト、フレームワーク
のバージョン、インスタンスタイプ、
ハイパーパラメータを渡して初期化

18. https://github.com/knishioka/machine-learning-workshop/blob/main/sagemaker/sklearn_custom_ml.py
カスタムスクリプト: 基本
大きく分けて2つのパートを用意しておく
1.モデルを学習しシリアライズ
○ SKlearnのコンテナはカスタムスクリプトを
インポートするため、間違えて実行されな
いように if __name__ == "__main__"
に入れておく
2.学習済みモデルの読み込み
○ model_fnは、学習、評価、予測をサポート
するすべてのロジックを含む関数
学習 → シリアライズ
モデル読み込み

19. https://github.com/knishioka/machine-learning-workshop/blob/main/sagemaker/sklearn_custom_ml.py
カスタムスクリプト: ハイパーパラメータ
● ハイパーパラメータは、argparseを使って
渡すことができる
● SKLearnの初期化のときにdictで渡すことが
可能
hyperparameters={"max_leaf_nodes": 30}

20. https://github.com/knishioka/machine-learning-workshop/blob/main/sagemaker/sklearn_custom_ml.py
カスタムスクリプト: ハイパーパラメータ
SageMaker独自の変数の設定も必要
● SM_OUTPUT_DATA_DIR: 出力先
● SM_MODEL_DIR: モデルの書き込み先
● SM_CHANNEL_TRAIN: 学習データの場所

21. デモ
● sagemaker.sklearn.estimator.SKLearnとカスタムスクリプトを使ってirisのデ
ータを学習しエンドポイントを作成
● コード
○ カスタムスクリプト: https://github.com/knishioka/machine-learning-
workshop/blob/main/sagemaker/sklearn_custom_ml.py
○ 実行用notebook: https://github.com/knishioka/machine-learning-
workshop/blob/main/sagemaker/create_sklearn_endpoint.ipynb