Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie OHS#2 GREでディープラーニング学習REST APIを作る
Ähnlich wie OHS#2 GREでディープラーニング学習REST APIを作る (20)
OHS#2 GREでディープラーニング学習REST APIを作る
- 1. 2016.06.29 村上真奈 GPU REST Engineを用いた ディープラーニングの学習
- 2. 3 Key Technology NVIDIA Docker GPU Rest Engine CUDA
- 3. 4 What is CUDA? • エヌビディアのGPUで汎用計算を行う為のプラットフォーム(無償提供) • 最新はCUDA8.0 RC • Windows,Linux,Mac OS X(+Android)で動作 • 超並列コンピューティングで高速に計算 • 開発環境も充実。ライブラリも充実。色々な言語に対応。 • コンパイラ、デバッガはもちろん解析ツールも充実。IDE(WindowsはVS、LinuxはEclipse)もある • ライブラリはエヌビディア製、3rdパーティー製含めて沢山 • 対応言語はC/C++/Python/Fortran/Java , etc… CUDA = Compute Unified Device Architecture
- 6. 7 nvidia-docker ディープラーニング開発あるある CUDAを入れて、caffeをGPU用にコンパイルしなおして…⇒環境構築大変 CUDAバージョン/cuDNNバージョン/caffeのバージョン/Digitsのバージョン…⇒管理大変 nvidia-dockerを使えば CUDA toolkitやcuDNNの環境を構築する必要がない。バージョン切り替えも簡単。 caffeやdigitsのイメージがついてくる。すぐに使えて簡単 前提条件 Fermi以降のGPU(+NVIDIAドライバ) / docker 1.90以上/linuxx86_64 kernel 3.10 以上 GPUを搭載したdokcerコンテナ http:/https://github.com/NVIDIA/nvidia-docker
- 7. 8 nvidia-docker+コンテナでアプリケーションを起動 GPU2 GPU3 GPU4 GPU6 GPU7 NVIDIA CUDA Driver Dockerエンジン GPU5GPU0 GPU1 ホストPC GPU0 GPU1 CUDA Libraries Dockerコンテナ1 CUDA 7.5 Runtime アプリケーション1 GPU0 GPU1 GPU2 CUDA Libraries Dockerコンテナ2 CUDA 8.0 Runtime アプリケーション2 GPU0 GPU1 GPU2 CUDA Libraries Dockerコンテナ3 CUDA 7.0 Runtime アプリケーション3
- 8. 9 nvidia-docker+コンテナでアプリケーションを起動 GPU2 GPU3 GPU4 GPU6 GPU7 NVIDIA CUDA Driver Dockerエンジン GPU5GPU0 GPU1 ホストPC GPU0 GPU1 GPU2 CUDA Libraries Dockerコンテナ2 CUDA 8.0 Runtime アプリケーション2 GPU0 GPU1 CUDA Libraries Dockerコンテナ1 CUDA 7.5 Runtime アプリケーション1 GPU2 GPU3 GPU4
- 9. 11 GPU Rest Engine 低レイテンシーのウェブサービスを作る為の開発者の為コンポーネント • RESTfulなウェブサービスを実現可能なマルチスレッドのHTTPサーバ • GOで書かれたREST API対応HTTPサーバ • 非同期リクエストに対応した作業キューを提供、効率よくマルチGPUでサービスを処理 • GPUのコンテクストなど計算に必要なリソースをプールする為のスレッドセーフなキューを提供 https://developer.nvidia.com/gre
- 10. 12 GPU Rest Engine REST APIをトリガーに呼び出されるコールバックの部分を実装する事で簡単にGPU+Webサービスを 実現 ソースコードも公開中 • https://github.com/NVIDIA/gpu-rest-engine ディープラーニングの推論処理を行うサンプルを公開中 https://github.com/NVIDIA/gpu-rest-engine/tree/master/inference
- 11. 13 GREで学習用REST APIを作ってみた(デモ) • GPU Rest Engineを用いてディープラーニング学習用サーバを作成 • HTTPリクエストで学習を開始 • 学習可能なモデル一覧を取得 • 学習を開始 Caffeを用いた学習 学習用コンテナ GPU REST Engine Deep Learning 学習サーバー ①. データセット一覧取得命令 ②. 結果を取得(JSON) ③. 学習の開始 ④. 割り当てられたGPU ID
- 12. 14 GREで学習用REST APIを作ってみた • ディープラーニングの学習パラメータは数が膨大、全部APIでユーザーから指定するのは無理 • サーバー内に学習に必要なデータセット(train_dbやlenet.prototxtなど)をいくつか用意 • 今回は mnist / cifar10 / ilsvrc2012 の3種類を用意 • 学習パラメータはprototxtのものを初期値とし、特定のパラメータのみREST APIから更新できるように 作成 基本方針
- 13. 15 GREで学習用REST APIを作ってみた #inference_serverをベースにして足りない部分を追加 FROM inference_server #train_testをコンパイル COPY train_test /go/src/train_test COPY common.h /go/src/common.h RUN go get -ldflags="-s" train_test #train_testサーバー起動 CMD ["train_test“, “/usr/share/digits/digits/jobs”] Dockerfile.train_testの作成 ここだけ実装
- 14. 16 GREで学習用REST APIを作ってみた #inference_serverをベースにして足りない部分を追加 FROM inference_server #train_testをコンパイル COPY train_test /go/src/train_test COPY common.h /go/src/common.h RUN go get -ldflags="-s" train_test #train_testサーバー起動 CMD ["train_test“, “/usr/share/digits/digits/jobs”] Dockerfile.train_testの作成 検索する学習データセットのパス
- 16. 18 クライアントから学習用サーバー(コンテナ)にREST APIを投げる GREで学習用REST APIを作ってみた クライアントからREST APIを投げる サーバーからの応答(JSON形式)
- 19. THANK YOU!