Infrastructure as CodeでReNom環境構築入門

富士通株式会社
山中惇平
ReNom User Group #2
Infrastructure as Codeで
ReNom環境構築入門
Copyright 2017 FUJITSU LIMITED0
本資料及びLTでお話する内容は、個人の見解であり、
所属する組織の公式見解でも代表する意見でもありません。

Who?
 名前山中惇平 / Jumpei Yamanaka
 所属富士通株式会社
AIサービス事業本部
AIインテグレーション事業部
 仕事 AIプラットフォームサービスの開発
↑で作ったAIプラットフォームを用いた商談対応、データ分析
 言語 R/Python/Javascript/Java
 昔ロボットの強化学習 (DL黎明期、まだ黒魔術と呼ばれていた頃。私は触れずに卒業)

話しの内容
Copyright 2017 FUJITSU LIMITED
2

話しの内容
？
3

話しの内容
多くの人が
ReNomを
すぐに
使えるように！
4

データ分析環境の構築
 データ分析の「環境」をどう整えるか？
1. サーバーを用意する
2. OSをインストールする
3. 分析に用いる言語（Python、Rなど）をインストールする
4. パッケージをインストールする
5. エディタ、または統合開発環境を用意する
データ分析を始めるまで
ただしデータそのもののの準備は除く
5

データ分析環境の構築
 データ分析の「環境」をどう整えるか？
1. サーバーを用意する
2. OSをインストールする
3. 分析に用いる言語（Python、Rなど）をインストールする
4. パッケージをインストールする
5. エディタ、または統合開発環境を用意する
データ分析を始めるまで
ただしデータそのもののの準備は除く
その後
このパッケージPython 2しか
対応して無い！
Pythonのバージョンを変えないと～
上司「分析の手が足り無そうなので
新しい分析者をアサインしました。
環境の準備をよろしく。」
実データの分析に移行するにあたって
より強力なクラウドサーバで分析を…パッケージがアップデートされて
以前と同じ実験結果が出ない…
6

Docker！！

DockerでReNom分析環境構築

注：今回はGPU、cudaまわりは置いておいて
まずはCPU環境で作ります。
DockerでReNom分析環境構築
nvidia-dockerという
dockerのラッパーのようなもので
作れそうではあります
9

Dockerとは
 オープンソースの仮想化プラットフォーム
 「コンテナ」としてソフトウェアをパッケージングし、
個別の仮想マシンのように使えるようにする。
コンテナと仮想マシンの違い
Docker公式Webページより https://www.docker.com/what-container
コンテナは個別にOSを持たない＝仮想マシンより軽量、立ち上がりも早い
⇒分析環境の構築/分離/再現に便利
10

Docker導入
 https://www.docker.com/
 様々なプラットフォームに対応
•デスクトップ *| Windows / Mac
•クラウド向け | Docker for AWS / Docker for Azure
•サーバ | Windows Server / CentOS / Debian / RHEL / Ubuntu /…
*) Windows、MacはバージョンによりDockerの種類が変わる
イメージの作成
or
ダウンロード
イメージから
コンテナの起動
使ってみる
ここから
入手
インストール後
イメージ
＝コンテナの素
Docker Hubで
様々なものが公開されている
https://hub.docker.com/
11

ReNomイメージの作成

Python分析環境の導入
 DockerはDockerfileというスクリプトからイメージのビルドを行う
# イメージの取得。今回はReNomの推奨環境であるUbuntu 16.04ベース
FROM Ubuntu:16.04
# パッケージのインストールとアップデート
RUN apt-get update && apt-get –y upgrade
RUN apt-get –y install build-essential ¥
git vim curl wget ¥
zlib1g-dev ¥
libssl-dev ¥
libreadline-dev ¥
libyaml-dev ¥
libxml2-dev ¥
libxslt-dev ¥
libncurses5-dev ¥
libncursesw5-dev
# pyenvのインストール
RUN git clone https://github.com/yyuu/pyenv.git /root/.pyenv
RUN git clone https://github.com/yyuu/pyenv-pip-rehash.git ¥
/root/.pyenv/plugins/pyenv-pip-rehash
ENV PYENV_ROOT root/.pyenv
ENV PATH $PYENV_ROOT/bin:$PATH
# anacondaのインストール
ENV ANACONDA_VER 4.4.0
RUN pyenv install anaconda3-$ANACONDA_VER
RUN pyenv global anaconda3-$ANACONDA_VER
ENV PATH $PYENV_ROOT/versions/anaconda-$ANACONDA_VER/bin:$PATH
# pyenvの初期化
RUN cd /root && eval “$(pyenv init -)”
RUN echo ‘eval “$(pyenv init -)”’ >> /root/.bashrc
# ReNomインストール
RUN git clone https://github.com/ReNom-dev-team/ReNom.git ¥
/root/ReNom
RUN mkdir /root/work
ENV RENOM_PRECISION 64
RUN cd /root/ReNom && /root/.pyenv/shims/pip install -e .
# コンテナ起動時の実行コマンド（Jupyterの起動）
CMD /bin/bash -l –c ¥
'/root/.pyenv/shims/jupyter notebook ¥
--NotebookApp.open_browser=False ¥
--NotebookApp.ip=* ¥
--allow-root ¥
--NotebookApp.notebook_dir="/root/work/"'
ReNom推奨であるUbuntuイメージから作成
Anacondaで必要なライブラリやJupyterを
一気にいれる
肝のReNomインストール
コンテナ起動時にJupyterが動くようにする
or
ダウンロード
イメージから
使ってみる
注）2017/9/26現在（ReNom ver 2.1.0）でビルド確認
13

 Dockerfileがあるフォルダでビルドのコマンドを実行する
 コンテナを起動
$ docker build –t renom-jupyter:2.1.0 .
…（省略）…
$ docker images
REPOSITORY TAG IMAGE ID CREATED
renom-jupyter 2.1.0 3f63a0357beb 42 seconds a
or
ダウンロード
イメージから
使ってみる
$ docker run -d -p 8989:8888 -v /home/yamanaka/work/:/root/work/ --name renom_2_1_0_yamanaka renom-jupyter
f30d5b9504b5855c6f0cf4714e28c5055c62e3fa2eb5c95ab865336029aae749
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED
PORTS
f30d5b9504b5 renom-jupyter:2.1.0 "/bin/sh -c '/bin/..." 16 minutes
minutes 0.0.0.0:8989->8888/tcp
yamanaka
ホストのポート8989を8888にフォワード
ホストのフォルダを作業フォルダとしてマウント
Dockerはコンテナ立ち上げ後にデータを保持できない
（終了させるとイメージの状態に戻る）ため
データはコンテナ外部に保存する必要がある
14

 コンテナが起動したらブラウザでPythonを使える（Jupyter）
or
ダウンロード
使ってみる
イメージから
15

できあがったもの
Docker コンテナ
サーバOS（基本的にはLinux、Windows等でも可）
Docker
pyenv
anaconda (Jupyter, Numpy, …)
Python
ReNom
できたこと→ReNomを使ったデータ分析環境の素早い構築
一度イメージを作れば、あとはdocker run ～～で環境を作成可能
Anacondaが入った重めのイメージでも約2.6GB
16

まだできていないこと
 Docker Hub等への公開
 誰か有志がいらっしゃいましたら作ってくださってもいいです
 GPU対応
 必要に迫られるまでは…
 ポート枯渇問題
 一サーバに環境をたくさんたてすぎるとポートが枯渇する（してる）
 その他分析環境とあわせる
 R / Rstudio等
 その他ツールとあわせる
 Git等

Infrastracture as Code？
 インフラのコード化
 インフラの構成をコードとして自動化し、また管理、再利用しやすくする
 コードなのでアプリケーションの知見（テストやバージョン管理など）が適用できる
 特に「アジャイル」の文脈から継続的インテグレーションに運用面の課題を解決する
ために出てきた経緯がある
 データ分析における役割
 分析環境を自動で立ち上げる（本日の話でおそらく第一歩）
 作ったロジックをディストリビュートするには？
 データ分析とアプリとインフラをつなぐ「たしなみ」
 データ分析者を増やす
→データ分析への敷居を下げに下げることが重要
データ
アプリインフラ
初学者的理解
18

Infrastracture as Code？
 インフラのコード化
 インフラの構成をコードとして自動化し、また管理、再利用しやすくする
 コードなのでアプリケーションの知見（テストやバージョン管理など）が適用できる
 特に「アジャイル」の文脈から継続的インテグレーションに運用面の課題を解決する
ために出てきた経緯がある
 データ分析における役割
 分析環境を自動で立ち上げる（本日の話でおそらく第一歩）
 作ったロジックをディストリビュートするには？
 データ分析とアプリとインフラをつなぐ「たしなみ」
 データ分析者を増やす
→データ分析への敷居を下げに下げることが重要
データ
アプリインフラ
初学者的理解
より多くのデータサイエンティストを！！
19

http://renom.jp/ja/notebooks/tutorials.html
より多くのデータサイエンティストを！！
20

まとめ
 データ分析の環境をどう立ち上げる？
 DockerでReNomコンテナをたててみた
 二度目以降は数分で分析環境を立ち上げられるようになる
 Infrastructure as Code
 データ分析にもとっても役立つ

Thank you!_
22

Infrastructure as CodeでReNom環境構築入門

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Infrastructure as CodeでReNom環境構築入門

Similar to Infrastructure as CodeでReNom環境構築入門 (20)

More from ReNom User Group

More from ReNom User Group (20)

Infrastructure as CodeでReNom環境構築入門