Weitere ähnliche Inhalte
Ähnlich wie TFUG#3 Retty流 「2200万ユーザさんを支える機械学習基盤」 の作り方 (20)
TFUG#3 Retty流 「2200万ユーザさんを支える機械学習基盤」 の作り方
- 2. Who am I?
■ Masato Taruishi
■ 学生時代
✓ Debian Project 公式開発者
✓ Debian-JP Project 理事会役員
■ Career
✓ Red Hat / VA Linux (Eng / Sales)
− OS / コンパイラ / ミドルウェア
✓ Google (SWE/SRE)
− アプリ・サーバサイド・インフラ・Corp
✓ Rakuten (Eng)
− Private Cloud
✓ Retty (CTO)
− なんでも屋
- 5. Agenda
■ Rety の紹介 (会社、サービス、データ)
■ Retty 機械学習基盤の紹介 (Docker 周り)
✓ 機械学習でやっている事の詳細は別の機
会、または次の氏原の発表で触れたいと
思います
- 12. Retty は飲食店に関する CGM (UGC) です
2011~2015 2016~
グルメ情報と
グルメユーザさん集め
投稿内容の分析・編集・公開と
グルメ TOPUSER さんの発掘
- 14. ユーザさん・飲食店さん双方が Happy になる世界
■ みんながHappyになる Win-Win 関係
✓ オススメのお店を投稿するコンセプト (リコメンド)
− ≠評価 (レビュー)
✓ オススメ情報を適切なユーザさんに届けるマッチング
投稿ユーザさん 飲食店さん
ファン
ユーザさん
どなたの発言かがわかる
(*) 飲食店さんも含めた
Web of Trust (信頼の輪)
信頼
信頼
- 22. アーキテクチャ全体像
Hardware - Akiba 1-x
OS
hdd
Distributed
storage
Container
Home
Container
Containers
Network
GPU
CPU,
devices
Configuration
Container
Qemu
KVM
Kubernetes (docker)
qemu on docker
- 23. 根幹はRubuntu Server (Retty ubuntu) と Kubernetes
(Docker)
Hardware - Akiba 1-x
OS
hdd
Home
Container
GPU
CPU,
devices
Configuration
Kubernetes (docker)
- 26. すべての Docker イメージはコア Docker から継承
retty2-runtime-core
retty2-runtime-cuda
retty2-runtime-anaconda
retty2-runtime-builder
retty2-runtime-dev retty2-tech-home
監視エージェント・ログ・証明書管理・
パッケージ監視(セキュリティ対策)など
retty2 開発環境 on retty2
cuda
anaconda / tensorflow / chainer /
mxnet / cabocha / mxnet / fasttext …..
shell / editors /
tmux / screen ….
ssh / samba ...
- 27. docker build は configure && make -j で
http proxy cache ローカル対応で docker build が超高速
public データのダウンロード速度最大 350MB/s
- 33. おまけ
■ Retty 機械学習基盤は sshd でログインできる ubuntu があれば使
えます。そのため大量のGPU環境の確保が容易です。
✓ http://jp.techcrunch.com/2017/02/22/20170221google-launches-gpu
-support-for-its-cloud-platform/