Rancher Deep Dive #02 発表資料 https://rancherjp.connpass.com/event/131560/ #rancherjp

1. オンプレ Rancher Server × ML基盤
をはじめます
Rancher Deep Dive #02
やっさん
@yassan168

2. オンプレ Rancher Server × ML基盤
をはじめます
はじめたかった話
Rancher Deep Dive #02
やっさん
@yassan168

3. #rancherjp
何を解決したいのか？
• データサイエンティストが実験出来る場所が十分に提供出来ていない
• 可能な限りリードタイムゼロで提供したい
• 作成したも学習モデルは本番環境に簡単に投入出来るようにしたい
• 学習モデルは複数バージョン共存して効果を比較できるようにしたい

4. #rancherjp
制約条件
1. メインのデータはすべてオンプレ上にある（TBオーダー）
2. オンプレ上は、HTTP PROXYがある
3. Kubernetesに精通した人がいない（これからやっていき）
4. 学習モデルの利用先はオンプレ上のシステムと連携が必要
ただし
1. データ量を減らせば学習データをGCPに上げる事は可能
2. GCPの利用は可能
3. ML基盤以外の他のシステムもコンテナ→Kubernetes化のタイミング

5. #rancherjp
何が必要か？
1. マルチテナントなKubernetesクラスター管理出来る何か
2. Kubernetesに精通した人
3. 直ぐに準備できてスケールアウト出来る学習モデル作成環境
※出来ればGPUとかも使いたい
4. オンプレ環境に学習モデルをデプロイ出来る仕組み
5. 複数の学習モデル 及び 複数Ver.の学習モデルが同居出来て、
クライアントにより使い分けが可能

6. #rancherjp
何が必要か？
マルチテナントなKubernetesクラスター管理
と言えば、、

7. #rancherjp
何が必要か？
マルチテナントなKubernetesクラスター管理
と言えば、、

8. #rancherjp
何が必要か？
Kubernetesに精通した人
採用するにも探すのも大変、、勉強して青舵力を高めるにも時間ががが
Rancherの有償サポートを選択
月割で考えればk8s強い人を雇ったと思えば高いとも言えない
cf. Rancher Labs Support and Maintenance – Terms of Service
またサポート範囲が広い。
OS&Docker、Kubernetes、flannel、canal、nginx-ingress-controller、
マネージドKubernetes（AKS、GKE、EKS）、
Rancherで使うPrometheus and Grafanaなど。

9. #rancherjp
何が必要か？
直ぐに準備できてスケールアウト出来る学習モデル作成環境
※出来ればGPUの利用も視野に入れておきたい
→オンプレでは直ぐに準備できないので、クラウドを使う。
BQやGCSはすでに利用してて、ML系ならGCPが良さそう。
また、GKEを使ってそこにkubeflowをデプロイすれば、
TensorflowやJupyterHubも使えるのでモデルの作成環境には良さげ

10. #rancherjp
何が必要か？
• オンプレ環境に学習モデルをデプロイ出来る仕組み
• 複数の学習モデル 及び 複数Ver.の学習モデルが同居出来て、
クライアントにより使い分けが可能
TensorFlow ServingならDockerでも動く
複数モデル×複数Ver.の同居が可能で、クライアントによりどれを使いた
いか選べる（らしい）
※ドキュメント Architecture | TFX | TensorFlow より

11. #rancherjp
どう実現するか？
● 学習モデルの作成環境をkubeflow on GKEで構築
● 作成した学習モデルはGCSへ格納
● オンプレ上にTF-ServingをDockerで構築
○ まずはDockerだけで
○ いきなりオンプレKubernetesはハードルが高い
● GCSの学習モデルをオンプレのTF-Servingにエクスポート
● 生データを前処理して、学習モデルの入力に加工する中継サーバを用
意してアプリはそこと通信

12. #rancherjp
さぁ後は手を動かすだけだ
と、これから手を動かすぞってタイミング。
Deep Diveで話しませんか？
いいですよ（多分いけるだろう）
※6/10の事であった

13. #rancherjp
悲しい現実
オンプレにVM用意して、SSL証明書用意して、docker runして、
Rancher の Web UI拝めた。
おっしゃ、らくしょー
HTTP PROXYの洗礼を受けて、ちょっと躓くが予想の範囲内。
GKEにデプロイ出来るサービスアカウントを指定してGKE作成。
Helmからkubeflowを選択して、デプロイ開始。
勝ったな。ガハハ。

14. #rancherjp
悲しい現実
ん？待てど暮らせど、エラーの嵐でActiveにならない。。
よくよくログを見ていくと、cattle-node-agentが全ノードエラーで機能
していない。。
なんでだー×100。。。
なんてことをグルグルやってたら、タイムリミット ← 今ここ

15. #rancherjp
悲しい現実
原因は単純で、Rancher ServerがGKEから見えない（≠Public IP）
っというとてもしょうもない問題でした。。。
なので、Rancher ServerがGKEから見えるように、
疎通に必要なGKEのIP・ポートをRancher Serverの先にある
EdgeのLBがGKEからRancher ServerにNAT出来るようにしてやるか
VPNを貼るか判断が必要。

16. #rancherjp
甘かったぁぁぁ

17. #rancherjp
まとめ
「知っている」と「出来る」の壁は厚い。