ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ

1
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
MLOps NYC 19
&
Strata Data Conference 2019 New York
注目セッションまとめ
2019/12/4
JapanTaxi
次世代モビリティ事業部
渡部徹太郎

2
2
自己紹介
ID : fetaro
名前：渡部徹太郎
研究：東京工業大学でデータベースと情報検索の研究(@日本データベース学会)
前職：
- 大手SIer: オンライントレードシステム基盤
- 大手SIer: オープンソース技術部隊 (MongoDB等)
- リクルートテクノロジーズ: ビッグデータ分析基盤 (EMR, Hortonworks, BigQuery, Oracle Exadata)
現職：
- JapanTaxi: データエンジニア
エディタ：
- emacs派 → InteliJ派
趣味:
- 自宅サーバ
日本AWSユーザ会(JAWS)
ビッグデータ支部

3
3
 MLOps NYC 2019
o カンファレンスの概要
o Netflix社事例
oWalmart社事例
目次
 Strata Data Conference 2019 NewYork
o カンファレンスの概要
oSurvey Monkey 社事例
o Geotab社 / Google 社事例
o おまけ
• EXPO
• 求人ボード

4
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
ML Ops NYC 2019
カンファレンスの概要

5
5
ML Ops NYC 2019の様子
 MLOps（機械学習の本番化や運用）をテーマにしたカンファレンス
 著名なStrata Data Conferenceの初日(Dev Day)に近くの会場で開催されたカンファレンス
o 間違いなくStrataの参加者を取り込もうと狙っている
 セッションは１並列だが、著名な企業の発表が多く内容の濃いカンファレンスだった
 参加費は約$300

6
Netflix社
A Human Friendly Approach to
MLOps

7
7
 MLのプロジェクト
o データ探索（〜２週間）
o プロトタイピング（６〜８週間）
o 本番化（１２〜１４週間）
o リリース後のモデル更新（〜８週間）
 課題
o プロトタイピング、本番化、リリース後のモデル更新に時間がかかる
 解決法
o 独自フレームワーク「Metaflow」の導入
o Metaflowは以下の開発スタック全体をラッピングしてくれる
Netflix
Metaflow

8
8
 MetaflowではPythonのデコレータ（@で始まる関数修飾子）を駆使する
o データサイエンティストはローカルでPythonを書くだけで良い
o ローカルで開発することができ、そのままクラスタ上で分散処理させることが可能
Netflix
DAG(データアローダイアグラム）の生成各ステップの結果の永続化

9
9
Netflix
計算リソースの確保 forループで並列処理

10
10
Netflix
オンライン推論エンドポイントの作成
https://blog.japantaxi.co.jp/2019/11/20/5133詳細な説明：JapanTaxiブログ：
DAGの中間状態をNotebookでデバッグ
https://www.youtube.com/watch?v=fOSZuONmLbA#action=share動画：
 結果
o サイエンティストからは「本番デプロイの複雑さを軽減してくれた」と好評を得ている
o 最初のモデルの本番化であれば、１週間未満で実現できているプロジェクトが最も多くなった
o 〜100のアクティブユーザ

11
Walmart社
Data as the Enabler of Digital
Transformation

12
12
 MLプロジェクトの60%〜80%がプロダクションにならずに頓挫している
o 連携不足
• IT担当、エンジニア、データ、そしてデータサイエンスのチームの連携不足
• データサイエンティストがエンジニアリングの知識不足
o ビジネスの理解を得られない
• データの品質が不明瞭
• ビジネスとの握りが曖昧
• ビジネスへの説明不足
o MLのOps(運用)の難しさ
• データサイエンティストが書いたコードは本番には採用できない
• データのETLにかなり苦労する
Walmart

13
13
 Walmartでのアプローチ
o MLプロジェクトで３つのゴールデンルールを作り、これを説明することを徹底した
1. なぜ重要なのか？
• だれかがそれに金を払うか
• 「Cool」なプロダクトはいらない
2. 説明できるか？
• ビジネスの言葉で説明できるか
3. 実装できるか？
• 本番化する計画は明瞭か
 MLOpsの実践
o 「人」「プロセス」「技術」の３つを常に考える
• 自動化を推進する
• プロセスは包括的になるようにする
• フィードバックループを回す
• ビジネスユーザフレンドリーにする
Walmart

14
14
 MLソリューションの全体像
Walmart

15
Strata Data Conference 2019 NewYork
カンファレンスの概要

16
16
Strata Data Conference 2019 NeyWorkの概要
 O’REILLY社主催のデータ系カンファレンス
 Hadoop全盛期はHadoopの事例が多く発表されたが、近年は機械学習やHadoop以外のデータ系ソリューションの
話題にシフトしてきている
 参加費は約$1000

17
Survey Monkey 社
Your cloud, your ML,
but more and more scale?
How Survery Monkey did it

18
18
 MLの進化
o Phase1: アドホックML
• jupyter nootbookやExcelなどを用いたアドホックな機械学習
o Phase2: ML as a Service (2017)
• 予測モデルごとにサービスを作っていった
• Nginx → pyramid → 予測モデルという組み合わせを何個も作った
• 良かった点
• いろいろなMLライブラリを使える
• リソースが分離されている
• 悪かった点
• 複数のSDKが存在し管理が大変
• A/Bテストが存在しない
• 特徴量の共有がない
• 同期的な推論しかできない
Survey Monkey

19
19
 MLの進化
o Phase3: ML as Platform
• 一つのエンドポイントを用意し、
リクエストをルーティング
• A/Bテスト
• 非同期の推論のサポート
• 特徴量のシェア
• リソースの最適配分
• スケーラビリティの確保
• モデル・学習データの標準化
• AWS / kong(API) / Clipper(推論サービス) /
Tensorflowで作った
o Phase3の結果
• リリースが8週間から2週間に
• 50%のコスト削減
• 20倍のサービング容量
• ただし、デバッグは大変になった
Survey Monkey

20
Geotab社 / Google社
Turning petabytes of data
from millions of vehicles
into open data with Geotab

21
21
 扱うデータ
o 180万のコネクティッド車両
o 1日に409億のデータポイント
o 5ペタのデータをBigQueryに格納
 データの用途
o 交通・安全
• 交差点の調査、危険エリア、速度、タイヤの空気圧
o 効率的なコミュニケーション
• ライドシェア、メンテナンス
o 環境
• 天気、大気の品質管理、ガスの排気量のモデリング、
EVの充電場所
 どうやってデータを取るか
o 自前のセンサを付ける
GeoTAB / Google

22
22
 GeoTABのデータ分析の遷移
o データはアプリケーションに依存してバラバ
ラだった
o 部署ごとにバラバラの値をレポートしていた
o 会社が小さく、誰に聞けばよいかがわかった
o データも小さく、レポートを作る過程でデー
タを浄化すればよかった
o Google Sheetでコラボレーションしていた
GeoTAB / Google
o BigQueryにデータを統合した
o 全ての物事をBigQueryに格納した
o GSuiteを使っていたから、簡単にBigQueryを使
い始めることができた
o 標準SQLが多くの開発者にとって使いやすかった
o WebUIベースで多くのツールを付け足す形で進化
していった
2014年 2019年
 まとめ
o BigQueryとともに成長してきた。
o BigQueryは180万の車両になった今も、40万の車両だったときと同じパフォーマンスを出して
いる
o GISクエリ、BQ ML、スピードの改善、パーティショニングなど日々進化している
o 完全にマネージドなデータウェアハウスなので、価値の提供に集中できる

23
おまけ

24
24
 Expoにブース出店していた割合 ※私が話を聞いた２９社中の割合
o データベース（グラフDBなど）：５社
o データガバナンス：４社
o ETL：４社
o 機械学習製品：３社
o データカタログ：３社
o データレイク（オブジェクトストレージなど）：３社
o データウェアハウスサービス：２社
o データテストソリューション：１社
o その他（BI、 SIer、ワークフロー）：４社
 所感
o 実際にデータ分析を進めていくと苦労する領域である、「データガバナンス」や「データカ
タログ」の会社が増えてきた
Strata Expoブースの傾向

25
25
 データサイエンティストと同じぐらいデータエンジニアの求人が多い
Strata 求人ボード

ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ

Ähnlich wie ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ (20)

Mehr von Tetsutaro Watanabe

Mehr von Tetsutaro Watanabe (9)

Kürzlich hochgeladen

Kürzlich hochgeladen (10)

ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ