SlideShare ist ein Scribd-Unternehmen logo
1 von 30
Downloaden Sie, um offline zu lesen
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
タクシーxAIを支える
KubernetesとAIデータパイプラインの
信頼性の取り組みについて
Jan 25, 2020
Atsushi Morimoto, Takashi Suzuki
DeNA Co., Ltd.
1
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
Contents
■ MOVお客様探索ナビの紹介
■ プロダクトとその開発体制
■ ML基盤のエンジニアリング
■ ドメインアルゴリズムを支えるエンジニアリング
2
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
3
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
MOVお客様探索ナビ
■ MOVIE
4
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
プロダクトの課題設定
オンデマンド交通の
タクシーの乗務員不足
タクシー乗務員は歩合給
お客様を拾える能力に依存
↓
需要を予測して最適な「営業経路」を提案
収益構造を改善
仕事としても魅力的な交通にする
5
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
アーキテクチャー
6
走行軌跡
乗車ポイント
タクシー
需要・供給
実績データ
動態データプロセッシング
ワークフロー
MLワークフロー
API
統計・予測
特徴量
最適探客経路推薦
アルゴリズム
走行コスト道路
ネットワーク
道路規制・特徴
抽出アルゴリズム
経路案内
アプリ
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
MLワークフロー
開発メンバー
7
走行軌跡
乗車ポイント
タクシー
需要・供給
実績データ
動態データプロセッシング
ワークフロー
MLワークフロー
API
統計・予測
特徴量
最適探客経路推薦
アルゴリズム
走行コスト道路
ネットワーク
道路規制・特徴
抽出アルゴリズム
DS MLEG
ドメインアルゴリズム
スペシャリスト
ドメインアルゴリズム
エンジニア
経路案内
アプリ
アプリエンジニア
ML担当範囲
オートモーティブドメイン担当範囲
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
開発フロー
8
タクシー流し営業
需要供給シミュレーション
MLモデル
最適探客経路推薦
アルゴリズム
タクシー需要・供給
実績データ
タクシー事業者と協力して
実証実験
シミュレーション上の
売上
実営業の売上
道路規制・特徴
抽出アルゴリズム
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
ML基盤のエンジニアリング
9
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
信頼性におけるMLエンジニアの目指すところ
■ 複数モデル・パラメータの実験における再現性の担保
■ DSメンバーが冪等性や依存関係を意識することない高速なジョブ実行
■ デプロイ前の動作・検証・評価テストの実施
ML基盤のエンジニアリング
10
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
実験の再現性担保における課題
実験パラメータの管理
■ 複数モデル・複数ハイパーパラメータの管理が複雑化していた
学習データの一貫性
■ 予測モデルの実験時にBQを利用している
■ BQの元データが都度更新されるため、実験の再現性が担保できていなかった
■ 単純にBQに対してappend tableするとrerun時にデータ重複が発生する
11
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
実験パラメータの管理の解決策について
comet.mlの利用
■ 豊富な可視化、実験比較、コード管理
12
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
学習データの一貫性の解決策について
Merge Queryの利用
■ Mergeステートメントを使用することで、既存のレコードには重複・影響なく新規レコード
を生成することが可能
13
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
実験の冪等性や依存関係の課題
実験環境での依存関係
■ 本番環境ではAirflowやKubeflowなどのワークフローエンジンで決まり
■ とはいえ、実験環境のような細かいパラメータ調整や素早いイテレーションサイクルが
必要な場合だとワークフローシステムは仰々しい
■ しかしメンバーには冪等性や依存関係を意識することなくジョブを実行してほしい
■ ワークフローと同様に依存関係がないジョブは並列で実行してほしい
14
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
実験の冪等性や依存関係の解決策について
実験用に最適化したカスタムランナー
■ タスクランナーInvokeを利用して実験環境の依存ジョブを定義
■ 並列処理はconcurrent.featuresモジュールでカスタマイズ
■ パラメータはyamlファイルで定義
■ 処理が重い箇所はAI Platform Training JobやGKEに外出しして軽量化
15
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
評価・テストの課題
実験時のテストについて(主にコストな意味合い)
■ 複数の実験に対して、都度人力で動作・検証チェックを実施していると毎回工数がか
かってしまう
■ 機械的に動作・検証テストを実施できるようにしたい
本番時のテストについて(主に性能な意味合い)
■ 不良モデルが本番デプロイされるのは困る
■ リリースモデルに関しては精度担保できるように評価判定がしたい
16
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
実験時のテストについて
■ CircleCI + pytestを利用
■ branchにpushされたタイミングで、pytestの動作・検証テストを発火
■ 統計値からのズレが多い場合に失敗
実験時の評価・テストの解決策について
17
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
本番時の評価・テストの解決策について
18
本番時のテストについて
■ Airflow内で各ジョブの連携テストと、Predictionデータの評価を実施
■ Prediction評価には統計値と比較して劣っていた場合には失敗
■ シミュレーションでの営収評価を実施し、評価が良いもののみデプロイ
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
MLエンジニアのまとめ
1. 実験の再現性の担保の課題
- パラメータ管理と、元データの一貫性の担保
2. 実験における依存関係の課題
- 実験用のカスタムランナー
3. 動作・検証・評価テストの課題
- CIによるテストと、ワークフロー・シミュレーションでのテスト
19
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
ドメインアルゴリズムを支えるのエンジニアリング
20
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
ドメインアルゴリズムを支えるエンジニアリング
アプリチームの目指すところ
■ DS、ドメインアルゴリズムスペシャリストの取組を
品質を損なわずアプリ化すること
■ コア課題”ではない”ビジネス要件の吸収
■ 安全なアプリであること
戦っているもの
■ データ、アルゴリズム、アプリ、ビジネス要件の複雑なバージョン管理
(さらに複数パターン同時にリリースできること)
■ 安全に関わる要因
21
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
複雑なバージョン管理
データ
■ 道路ネットワーク
■ 日付・時刻ごと統計特徴量 5種
■    〃   予測特徴量 2種
■    〃   道路規制・走行コスト 7種
ビジネス要件
■ タクシー営業エリア
■ お客様探索ナビ営業エリア
ロジック
■ 最適探客経路推薦アルゴリズム
■ アルゴリズムパラメータ
22
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
複雑なバージョン管理で発生した問題
シミュレーション
■ 予測と異なる結果を説明できない
実証実験
■ お客さんにが居るはずのない自動車専用道に向かう
■ 通行禁止の道路を案内(乗務員さんの判断で通らず)
■ シミュレーションで出たことのないルート案内が発生する
■ 実証実験の結果を評価が難しい
23
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
Kubernetes+Git Ops
■ データのバージョン、ビジネス要件を
全て1つのバージョン定義YAMLに集中してGit管理
■ GitからKubernetesマニフェストとして一気にリリースする
24
API
最適探客経路推薦
アルゴリズム
バージョン定義YAML
● 道路ネットワーク:v2.1812
● 統計需要:Latest
● 予測需要:Latest
● オリジナル規制データ
○ パターンA:v3.1812
○ パターンB:v2.1812
● 走行コスト特徴量
○ 抽出クエリA:v1
○ 抽出クエリB:v2
● 営業エリア
Git Submodule
APIコンテナ
Git Revision Kubernetes
マニフェスト
Git Revision
ConfigMapバージョンYAML
道路ネットワーク
規制・特徴抽出
アルゴリズム
更新時には
必ずVersion変更
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
バージョン定義の差分管理
25
ベースバージョン
● 道路ネットワーク:v2.1812
● 統計需要:Latest
● 予測需要:Latest
● オリジナル規制データ
○ パターンA:v3.1812
○ パターンB:v2.1812
● 走行コスト特徴量
○ 抽出クエリA:v1
○ 抽出クエリB:v2
〇〇市実証実験差分
● 道路ネットワーク:v3.1812
● オリジナル規制データ
○ パターンA:v4.1812
○ パターンB:v3.1812
● 営業エリア
サービス中地域差分
● 道路ネットワーク:v2.1812
● オリジナル規制データ
○ パターンA:v3.1812
○ パターンB:v2.1812
● 営業エリア
+
+
=
=
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
再現ツールの拡充
最適探客経路推薦アルゴリズム実行に必要なデータを、
中間データを含めて全てバックアップをとり、再現可能にする。
26
最適探客経路推薦
アルゴリズム
全データ 時刻・地理
近傍データ
バックアップ
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
安全に関わる要因
■ 直前でのバリデーション
⁃ データの異常値
⁃ アルゴリズムの推薦経路の異常値
■ 判断の難しい道路の推定(高速、私有地、埠頭)
 → 無理に経路案内を行わず、走行中を配慮したメッセージで指示する
27
API
最適探客経路推薦
アルゴリズム
経路案内
アプリ
みちなりに走行してください
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
信頼性評価(策定中)
■ 評価を大きく2つに分ける
⁃ 機能要因
⁃ データ、モデル、アルゴリズムによる提供価値の品質要因
■ 2つをかけ合わせたものを、SLOの指標とする
28
Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
ドメインアルゴリズムを支えるエンジニアリング
1. バージョン管理の課題 → GitOps、環境間差分管理
2. 安全性→
ユーザに返す前にバリデーションをかけ、
安全性に考慮したエラーメッセージを出す
3. 信頼性評価は、「機能要因」「品質要因」を分ける
29
DeNA TechCon 2020
2020/03/04 Wed@渋谷ヒカリエ
TechCon2020 検索

Weitere ähnliche Inhalte

Was ist angesagt?

リクルートのWebサービスを支える「RAFTEL」
リクルートのWebサービスを支える「RAFTEL」リクルートのWebサービスを支える「RAFTEL」
リクルートのWebサービスを支える「RAFTEL」Recruit Technologies
 
AutoMLとQumicoを使って、ラズパイでディープラーニングを動かす話
AutoMLとQumicoを使って、ラズパイでディープラーニングを動かす話AutoMLとQumicoを使って、ラズパイでディープラーニングを動かす話
AutoMLとQumicoを使って、ラズパイでディープラーニングを動かす話Rakuten Group, Inc.
 
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理Takeshi Yamamuro
 
AIチップ戦国時代における深層学習モデルの推論の最適化と実用的な運用を可能にするソフトウェア技術について
AIチップ戦国時代における深層学習モデルの推論の最適化と実用的な運用を可能にするソフトウェア技術についてAIチップ戦国時代における深層学習モデルの推論の最適化と実用的な運用を可能にするソフトウェア技術について
AIチップ戦国時代における深層学習モデルの推論の最適化と実用的な運用を可能にするソフトウェア技術についてFixstars Corporation
 
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
Optuna on Kubeflow Pipeline 分散ハイパラチューニングOptuna on Kubeflow Pipeline 分散ハイパラチューニング
Optuna on Kubeflow Pipeline 分散ハイパラチューニングMasao Tsukiyama
 
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例Recruit Technologies
 
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~Recruit Technologies
 
Teslaにおけるコンピュータビジョン技術の調査
Teslaにおけるコンピュータビジョン技術の調査Teslaにおけるコンピュータビジョン技術の調査
Teslaにおけるコンピュータビジョン技術の調査Kazuyuki Miyazawa
 
リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」Recruit Technologies
 
製造業向け量子コンピュータ時代のDXセミナー_生産計画最適化_20220323.pptx
製造業向け量子コンピュータ時代のDXセミナー_生産計画最適化_20220323.pptx製造業向け量子コンピュータ時代のDXセミナー_生産計画最適化_20220323.pptx
製造業向け量子コンピュータ時代のDXセミナー_生産計画最適化_20220323.pptxFixstars Corporation
 
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
 [db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ!  by 株式会社日立製作所 村上順一 [db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ!  by 株式会社日立製作所 村上順一
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一Insight Technology, Inc.
 
DeNA の Slack 導入と活用の事例紹介
DeNA の Slack 導入と活用の事例紹介DeNA の Slack 導入と活用の事例紹介
DeNA の Slack 導入と活用の事例紹介DeNA
 
SORACOM S+Cameraを利用して在庫チェックをやってみた
SORACOM S+Cameraを利用して在庫チェックをやってみたSORACOM S+Cameraを利用して在庫チェックをやってみた
SORACOM S+Cameraを利用して在庫チェックをやってみたTakanori Suzuki
 
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦Preferred Networks
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Recruit Technologies
 
オートモーティブ事業におけるMLOps / ShibuyaSynapse #4
オートモーティブ事業におけるMLOps / ShibuyaSynapse #4オートモーティブ事業におけるMLOps / ShibuyaSynapse #4
オートモーティブ事業におけるMLOps / ShibuyaSynapse #4Shota Suzuki
 
マイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with Karateマイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with KarateTakanori Suzuki
 
Spring 5でSpring Testのここが変わる_公開版
Spring 5でSpring Testのここが変わる_公開版Spring 5でSpring Testのここが変わる_公開版
Spring 5でSpring Testのここが変わる_公開版Yuichi Hasegawa
 

Was ist angesagt? (20)

リクルートのWebサービスを支える「RAFTEL」
リクルートのWebサービスを支える「RAFTEL」リクルートのWebサービスを支える「RAFTEL」
リクルートのWebサービスを支える「RAFTEL」
 
AutoMLとQumicoを使って、ラズパイでディープラーニングを動かす話
AutoMLとQumicoを使って、ラズパイでディープラーニングを動かす話AutoMLとQumicoを使って、ラズパイでディープラーニングを動かす話
AutoMLとQumicoを使って、ラズパイでディープラーニングを動かす話
 
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理
 
AIチップ戦国時代における深層学習モデルの推論の最適化と実用的な運用を可能にするソフトウェア技術について
AIチップ戦国時代における深層学習モデルの推論の最適化と実用的な運用を可能にするソフトウェア技術についてAIチップ戦国時代における深層学習モデルの推論の最適化と実用的な運用を可能にするソフトウェア技術について
AIチップ戦国時代における深層学習モデルの推論の最適化と実用的な運用を可能にするソフトウェア技術について
 
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
Optuna on Kubeflow Pipeline 分散ハイパラチューニングOptuna on Kubeflow Pipeline 分散ハイパラチューニング
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
 
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
 
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
 
Teslaにおけるコンピュータビジョン技術の調査
Teslaにおけるコンピュータビジョン技術の調査Teslaにおけるコンピュータビジョン技術の調査
Teslaにおけるコンピュータビジョン技術の調査
 
リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」
 
製造業向け量子コンピュータ時代のDXセミナー_生産計画最適化_20220323.pptx
製造業向け量子コンピュータ時代のDXセミナー_生産計画最適化_20220323.pptx製造業向け量子コンピュータ時代のDXセミナー_生産計画最適化_20220323.pptx
製造業向け量子コンピュータ時代のDXセミナー_生産計画最適化_20220323.pptx
 
RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)
 
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
 [db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ!  by 株式会社日立製作所 村上順一 [db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ!  by 株式会社日立製作所 村上順一
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
 
DeNA の Slack 導入と活用の事例紹介
DeNA の Slack 導入と活用の事例紹介DeNA の Slack 導入と活用の事例紹介
DeNA の Slack 導入と活用の事例紹介
 
SORACOM S+Cameraを利用して在庫チェックをやってみた
SORACOM S+Cameraを利用して在庫チェックをやってみたSORACOM S+Cameraを利用して在庫チェックをやってみた
SORACOM S+Cameraを利用して在庫チェックをやってみた
 
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
 
オートモーティブ事業におけるMLOps / ShibuyaSynapse #4
オートモーティブ事業におけるMLOps / ShibuyaSynapse #4オートモーティブ事業におけるMLOps / ShibuyaSynapse #4
オートモーティブ事業におけるMLOps / ShibuyaSynapse #4
 
マイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with Karateマイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with Karate
 
SPAを選択した理由とその結果 ~Reactを添えて~
SPAを選択した理由とその結果 ~Reactを添えて~SPAを選択した理由とその結果 ~Reactを添えて~
SPAを選択した理由とその結果 ~Reactを添えて~
 
Spring 5でSpring Testのここが変わる_公開版
Spring 5でSpring Testのここが変わる_公開版Spring 5でSpring Testのここが変わる_公開版
Spring 5でSpring Testのここが変わる_公開版
 

Ähnlich wie タクシー×AIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて

AITCオープンラボ 2018年5月度(2)
AITCオープンラボ 2018年5月度(2)AITCオープンラボ 2018年5月度(2)
AITCオープンラボ 2018年5月度(2)aitc_jp
 
Reinforcement Learning For Taxi Rebalancing
Reinforcement Learning For Taxi RebalancingReinforcement Learning For Taxi Rebalancing
Reinforcement Learning For Taxi RebalancingTakuma Oda
 
アジャイルソフトウェア開発における テスティングの課題およびその解決アプローチ
アジャイルソフトウェア開発におけるテスティングの課題およびその解決アプローチアジャイルソフトウェア開発におけるテスティングの課題およびその解決アプローチ
アジャイルソフトウェア開発における テスティングの課題およびその解決アプローチTetsuya Kouno
 
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...オラクルエンジニア通信
 
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCDataSendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCDataCData Software Japan
 
Java クライント実装におけるAPIスタイル頂上決戦! 野良REST vs GraphQL vs OData vs OpenAPI (Swagger)
Java クライント実装におけるAPIスタイル頂上決戦! 野良REST vs GraphQL vs OData vs OpenAPI (Swagger)Java クライント実装におけるAPIスタイル頂上決戦! 野良REST vs GraphQL vs OData vs OpenAPI (Swagger)
Java クライント実装におけるAPIスタイル頂上決戦! 野良REST vs GraphQL vs OData vs OpenAPI (Swagger)Kazuya Sugimoto
 
解明! Dynamics 365 Web API 全体像! 第7回JDUC勉強会
解明! Dynamics 365 Web API 全体像! 第7回JDUC勉強会解明! Dynamics 365 Web API 全体像! 第7回JDUC勉強会
解明! Dynamics 365 Web API 全体像! 第7回JDUC勉強会Kazuya Sugimoto
 
共有、自動化、計測 - DevOps ツール考察 -
共有、自動化、計測 - DevOps ツール考察 -共有、自動化、計測 - DevOps ツール考察 -
共有、自動化、計測 - DevOps ツール考察 -Chie Sasaki
 
BCI Profile 2012(Japanese)
BCI Profile 2012(Japanese)BCI Profile 2012(Japanese)
BCI Profile 2012(Japanese)Nurng Thanapon
 
Dynamics 365 Customer Engagement 理解のススメ -サブスクリプションビジネスモデルから読み解くカスタマーサポート機能活用の...
Dynamics 365 Customer Engagement 理解のススメ -サブスクリプションビジネスモデルから読み解くカスタマーサポート機能活用の...Dynamics 365 Customer Engagement 理解のススメ -サブスクリプションビジネスモデルから読み解くカスタマーサポート機能活用の...
Dynamics 365 Customer Engagement 理解のススメ -サブスクリプションビジネスモデルから読み解くカスタマーサポート機能活用の...Kazuya Sugimoto
 
20180831 [DeLTA TECH] DeLTA-Liteを支える技術(システム構成編)
20180831 [DeLTA TECH] DeLTA-Liteを支える技術(システム構成編)20180831 [DeLTA TECH] DeLTA-Liteを支える技術(システム構成編)
20180831 [DeLTA TECH] DeLTA-Liteを支える技術(システム構成編)LeapMind Inc
 
Icml2018読み会_overview&GANs
Icml2018読み会_overview&GANsIcml2018読み会_overview&GANs
Icml2018読み会_overview&GANsKentaro Tachibana
 
海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会
海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会 海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会
海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会 IoTビジネス共創ラボ
 
AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方Shota Suzuki
 
クラウド連携でのJDBC エコマップ LT#2 JJUG CC 2018
クラウド連携でのJDBC エコマップ LT#2 JJUG CC 2018クラウド連携でのJDBC エコマップ LT#2 JJUG CC 2018
クラウド連携でのJDBC エコマップ LT#2 JJUG CC 2018CData Software Japan
 
入社半年での開発ストーリー - 千人規模の顔認証受付サービスを 1ヶ月で作った話 -
入社半年での開発ストーリー - 千人規模の顔認証受付サービスを 1ヶ月で作った話 -入社半年での開発ストーリー - 千人規模の顔認証受付サービスを 1ヶ月で作った話 -
入社半年での開発ストーリー - 千人規模の顔認証受付サービスを 1ヶ月で作った話 -Yoshitaka Haribara
 
デブサミ2020 事業グロースを加速させる「分析基盤」の作り方 japantaxi
デブサミ2020 事業グロースを加速させる「分析基盤」の作り方 japantaxiデブサミ2020 事業グロースを加速させる「分析基盤」の作り方 japantaxi
デブサミ2020 事業グロースを加速させる「分析基盤」の作り方 japantaxiMasatoshi Ida
 
GCP本格採用で遭遇した課題とマイクロサービス的解決
GCP本格採用で遭遇した課題とマイクロサービス的解決GCP本格採用で遭遇した課題とマイクロサービス的解決
GCP本格採用で遭遇した課題とマイクロサービス的解決Google Cloud Platform - Japan
 

Ähnlich wie タクシー×AIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて (20)

AITCオープンラボ 2018年5月度(2)
AITCオープンラボ 2018年5月度(2)AITCオープンラボ 2018年5月度(2)
AITCオープンラボ 2018年5月度(2)
 
Reinforcement Learning For Taxi Rebalancing
Reinforcement Learning For Taxi RebalancingReinforcement Learning For Taxi Rebalancing
Reinforcement Learning For Taxi Rebalancing
 
アジャイルソフトウェア開発における テスティングの課題およびその解決アプローチ
アジャイルソフトウェア開発におけるテスティングの課題およびその解決アプローチアジャイルソフトウェア開発におけるテスティングの課題およびその解決アプローチ
アジャイルソフトウェア開発における テスティングの課題およびその解決アプローチ
 
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
 
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCDataSendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
 
Java クライント実装におけるAPIスタイル頂上決戦! 野良REST vs GraphQL vs OData vs OpenAPI (Swagger)
Java クライント実装におけるAPIスタイル頂上決戦! 野良REST vs GraphQL vs OData vs OpenAPI (Swagger)Java クライント実装におけるAPIスタイル頂上決戦! 野良REST vs GraphQL vs OData vs OpenAPI (Swagger)
Java クライント実装におけるAPIスタイル頂上決戦! 野良REST vs GraphQL vs OData vs OpenAPI (Swagger)
 
解明! Dynamics 365 Web API 全体像! 第7回JDUC勉強会
解明! Dynamics 365 Web API 全体像! 第7回JDUC勉強会解明! Dynamics 365 Web API 全体像! 第7回JDUC勉強会
解明! Dynamics 365 Web API 全体像! 第7回JDUC勉強会
 
共有、自動化、計測 - DevOps ツール考察 -
共有、自動化、計測 - DevOps ツール考察 -共有、自動化、計測 - DevOps ツール考察 -
共有、自動化、計測 - DevOps ツール考察 -
 
BCI Profile 2012(Japanese)
BCI Profile 2012(Japanese)BCI Profile 2012(Japanese)
BCI Profile 2012(Japanese)
 
Dynamics 365 Customer Engagement 理解のススメ -サブスクリプションビジネスモデルから読み解くカスタマーサポート機能活用の...
Dynamics 365 Customer Engagement 理解のススメ -サブスクリプションビジネスモデルから読み解くカスタマーサポート機能活用の...Dynamics 365 Customer Engagement 理解のススメ -サブスクリプションビジネスモデルから読み解くカスタマーサポート機能活用の...
Dynamics 365 Customer Engagement 理解のススメ -サブスクリプションビジネスモデルから読み解くカスタマーサポート機能活用の...
 
20180831 [DeLTA TECH] DeLTA-Liteを支える技術(システム構成編)
20180831 [DeLTA TECH] DeLTA-Liteを支える技術(システム構成編)20180831 [DeLTA TECH] DeLTA-Liteを支える技術(システム構成編)
20180831 [DeLTA TECH] DeLTA-Liteを支える技術(システム構成編)
 
Icml2018読み会_overview&GANs
Icml2018読み会_overview&GANsIcml2018読み会_overview&GANs
Icml2018読み会_overview&GANs
 
Innovation and Startups Today
Innovation and Startups TodayInnovation and Startups Today
Innovation and Startups Today
 
海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会
海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会 海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会
海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会
 
AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方
 
クラウド連携でのJDBC エコマップ LT#2 JJUG CC 2018
クラウド連携でのJDBC エコマップ LT#2 JJUG CC 2018クラウド連携でのJDBC エコマップ LT#2 JJUG CC 2018
クラウド連携でのJDBC エコマップ LT#2 JJUG CC 2018
 
入社半年での開発ストーリー - 千人規模の顔認証受付サービスを 1ヶ月で作った話 -
入社半年での開発ストーリー - 千人規模の顔認証受付サービスを 1ヶ月で作った話 -入社半年での開発ストーリー - 千人規模の顔認証受付サービスを 1ヶ月で作った話 -
入社半年での開発ストーリー - 千人規模の顔認証受付サービスを 1ヶ月で作った話 -
 
デブサミ2020 事業グロースを加速させる「分析基盤」の作り方 japantaxi
デブサミ2020 事業グロースを加速させる「分析基盤」の作り方 japantaxiデブサミ2020 事業グロースを加速させる「分析基盤」の作り方 japantaxi
デブサミ2020 事業グロースを加速させる「分析基盤」の作り方 japantaxi
 
Google cloudinside3
Google cloudinside3Google cloudinside3
Google cloudinside3
 
GCP本格採用で遭遇した課題とマイクロサービス的解決
GCP本格採用で遭遇した課題とマイクロサービス的解決GCP本格採用で遭遇した課題とマイクロサービス的解決
GCP本格採用で遭遇した課題とマイクロサービス的解決
 

Mehr von Takashi Suzuki

到着予想時間サービスの特徴量のニアリアルタイム化
到着予想時間サービスの特徴量のニアリアルタイム化到着予想時間サービスの特徴量のニアリアルタイム化
到着予想時間サービスの特徴量のニアリアルタイム化Takashi Suzuki
 
AI予約サービスのMLOps事例紹介
AI予約サービスのMLOps事例紹介AI予約サービスのMLOps事例紹介
AI予約サービスのMLOps事例紹介Takashi Suzuki
 
MLプロジェクトのリリースフローを考える
MLプロジェクトのリリースフローを考えるMLプロジェクトのリリースフローを考える
MLプロジェクトのリリースフローを考えるTakashi Suzuki
 
MOVの機械学習システムを支えるMLOps実践
MOVの機械学習システムを支えるMLOps実践MOVの機械学習システムを支えるMLOps実践
MOVの機械学習システムを支えるMLOps実践Takashi Suzuki
 
MOV お客さま探索ナビの GCP ML開発フローについて
MOV お客さま探索ナビの GCP ML開発フローについてMOV お客さま探索ナビの GCP ML開発フローについて
MOV お客さま探索ナビの GCP ML開発フローについてTakashi Suzuki
 
[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1Takashi Suzuki
 
[Gree] Dialogflowを利用したチャットボット導入事例
[Gree] Dialogflowを利用したチャットボット導入事例[Gree] Dialogflowを利用したチャットボット導入事例
[Gree] Dialogflowを利用したチャットボット導入事例Takashi Suzuki
 
[Gree] グリーのソーシャルゲームにおける機械学習活用事例
[Gree] グリーのソーシャルゲームにおける機械学習活用事例[Gree] グリーのソーシャルゲームにおける機械学習活用事例
[Gree] グリーのソーシャルゲームにおける機械学習活用事例Takashi Suzuki
 

Mehr von Takashi Suzuki (9)

到着予想時間サービスの特徴量のニアリアルタイム化
到着予想時間サービスの特徴量のニアリアルタイム化到着予想時間サービスの特徴量のニアリアルタイム化
到着予想時間サービスの特徴量のニアリアルタイム化
 
AI予約サービスのMLOps事例紹介
AI予約サービスのMLOps事例紹介AI予約サービスのMLOps事例紹介
AI予約サービスのMLOps事例紹介
 
Kubernetes超入門
Kubernetes超入門Kubernetes超入門
Kubernetes超入門
 
MLプロジェクトのリリースフローを考える
MLプロジェクトのリリースフローを考えるMLプロジェクトのリリースフローを考える
MLプロジェクトのリリースフローを考える
 
MOVの機械学習システムを支えるMLOps実践
MOVの機械学習システムを支えるMLOps実践MOVの機械学習システムを支えるMLOps実践
MOVの機械学習システムを支えるMLOps実践
 
MOV お客さま探索ナビの GCP ML開発フローについて
MOV お客さま探索ナビの GCP ML開発フローについてMOV お客さま探索ナビの GCP ML開発フローについて
MOV お客さま探索ナビの GCP ML開発フローについて
 
[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
 
[Gree] Dialogflowを利用したチャットボット導入事例
[Gree] Dialogflowを利用したチャットボット導入事例[Gree] Dialogflowを利用したチャットボット導入事例
[Gree] Dialogflowを利用したチャットボット導入事例
 
[Gree] グリーのソーシャルゲームにおける機械学習活用事例
[Gree] グリーのソーシャルゲームにおける機械学習活用事例[Gree] グリーのソーシャルゲームにおける機械学習活用事例
[Gree] グリーのソーシャルゲームにおける機械学習活用事例
 

タクシー×AIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて

  • 1. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. タクシーxAIを支える KubernetesとAIデータパイプラインの 信頼性の取り組みについて Jan 25, 2020 Atsushi Morimoto, Takashi Suzuki DeNA Co., Ltd. 1
  • 2. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Contents ■ MOVお客様探索ナビの紹介 ■ プロダクトとその開発体制 ■ ML基盤のエンジニアリング ■ ドメインアルゴリズムを支えるエンジニアリング 2
  • 3. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 3
  • 4. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. MOVお客様探索ナビ ■ MOVIE 4
  • 5. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. プロダクトの課題設定 オンデマンド交通の タクシーの乗務員不足 タクシー乗務員は歩合給 お客様を拾える能力に依存 ↓ 需要を予測して最適な「営業経路」を提案 収益構造を改善 仕事としても魅力的な交通にする 5
  • 6. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. アーキテクチャー 6 走行軌跡 乗車ポイント タクシー 需要・供給 実績データ 動態データプロセッシング ワークフロー MLワークフロー API 統計・予測 特徴量 最適探客経路推薦 アルゴリズム 走行コスト道路 ネットワーク 道路規制・特徴 抽出アルゴリズム 経路案内 アプリ
  • 7. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. MLワークフロー 開発メンバー 7 走行軌跡 乗車ポイント タクシー 需要・供給 実績データ 動態データプロセッシング ワークフロー MLワークフロー API 統計・予測 特徴量 最適探客経路推薦 アルゴリズム 走行コスト道路 ネットワーク 道路規制・特徴 抽出アルゴリズム DS MLEG ドメインアルゴリズム スペシャリスト ドメインアルゴリズム エンジニア 経路案内 アプリ アプリエンジニア ML担当範囲 オートモーティブドメイン担当範囲
  • 8. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 開発フロー 8 タクシー流し営業 需要供給シミュレーション MLモデル 最適探客経路推薦 アルゴリズム タクシー需要・供給 実績データ タクシー事業者と協力して 実証実験 シミュレーション上の 売上 実営業の売上 道路規制・特徴 抽出アルゴリズム
  • 9. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ML基盤のエンジニアリング 9
  • 10. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 信頼性におけるMLエンジニアの目指すところ ■ 複数モデル・パラメータの実験における再現性の担保 ■ DSメンバーが冪等性や依存関係を意識することない高速なジョブ実行 ■ デプロイ前の動作・検証・評価テストの実施 ML基盤のエンジニアリング 10
  • 11. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 実験の再現性担保における課題 実験パラメータの管理 ■ 複数モデル・複数ハイパーパラメータの管理が複雑化していた 学習データの一貫性 ■ 予測モデルの実験時にBQを利用している ■ BQの元データが都度更新されるため、実験の再現性が担保できていなかった ■ 単純にBQに対してappend tableするとrerun時にデータ重複が発生する 11
  • 12. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 実験パラメータの管理の解決策について comet.mlの利用 ■ 豊富な可視化、実験比較、コード管理 12
  • 13. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 学習データの一貫性の解決策について Merge Queryの利用 ■ Mergeステートメントを使用することで、既存のレコードには重複・影響なく新規レコード を生成することが可能 13
  • 14. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 実験の冪等性や依存関係の課題 実験環境での依存関係 ■ 本番環境ではAirflowやKubeflowなどのワークフローエンジンで決まり ■ とはいえ、実験環境のような細かいパラメータ調整や素早いイテレーションサイクルが 必要な場合だとワークフローシステムは仰々しい ■ しかしメンバーには冪等性や依存関係を意識することなくジョブを実行してほしい ■ ワークフローと同様に依存関係がないジョブは並列で実行してほしい 14
  • 15. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 実験の冪等性や依存関係の解決策について 実験用に最適化したカスタムランナー ■ タスクランナーInvokeを利用して実験環境の依存ジョブを定義 ■ 並列処理はconcurrent.featuresモジュールでカスタマイズ ■ パラメータはyamlファイルで定義 ■ 処理が重い箇所はAI Platform Training JobやGKEに外出しして軽量化 15
  • 16. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 評価・テストの課題 実験時のテストについて(主にコストな意味合い) ■ 複数の実験に対して、都度人力で動作・検証チェックを実施していると毎回工数がか かってしまう ■ 機械的に動作・検証テストを実施できるようにしたい 本番時のテストについて(主に性能な意味合い) ■ 不良モデルが本番デプロイされるのは困る ■ リリースモデルに関しては精度担保できるように評価判定がしたい 16
  • 17. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 実験時のテストについて ■ CircleCI + pytestを利用 ■ branchにpushされたタイミングで、pytestの動作・検証テストを発火 ■ 統計値からのズレが多い場合に失敗 実験時の評価・テストの解決策について 17
  • 18. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 本番時の評価・テストの解決策について 18 本番時のテストについて ■ Airflow内で各ジョブの連携テストと、Predictionデータの評価を実施 ■ Prediction評価には統計値と比較して劣っていた場合には失敗 ■ シミュレーションでの営収評価を実施し、評価が良いもののみデプロイ
  • 19. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. MLエンジニアのまとめ 1. 実験の再現性の担保の課題 - パラメータ管理と、元データの一貫性の担保 2. 実験における依存関係の課題 - 実験用のカスタムランナー 3. 動作・検証・評価テストの課題 - CIによるテストと、ワークフロー・シミュレーションでのテスト 19
  • 20. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ドメインアルゴリズムを支えるのエンジニアリング 20
  • 21. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ドメインアルゴリズムを支えるエンジニアリング アプリチームの目指すところ ■ DS、ドメインアルゴリズムスペシャリストの取組を 品質を損なわずアプリ化すること ■ コア課題”ではない”ビジネス要件の吸収 ■ 安全なアプリであること 戦っているもの ■ データ、アルゴリズム、アプリ、ビジネス要件の複雑なバージョン管理 (さらに複数パターン同時にリリースできること) ■ 安全に関わる要因 21
  • 22. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 複雑なバージョン管理 データ ■ 道路ネットワーク ■ 日付・時刻ごと統計特徴量 5種 ■    〃   予測特徴量 2種 ■    〃   道路規制・走行コスト 7種 ビジネス要件 ■ タクシー営業エリア ■ お客様探索ナビ営業エリア ロジック ■ 最適探客経路推薦アルゴリズム ■ アルゴリズムパラメータ 22
  • 23. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 複雑なバージョン管理で発生した問題 シミュレーション ■ 予測と異なる結果を説明できない 実証実験 ■ お客さんにが居るはずのない自動車専用道に向かう ■ 通行禁止の道路を案内(乗務員さんの判断で通らず) ■ シミュレーションで出たことのないルート案内が発生する ■ 実証実験の結果を評価が難しい 23
  • 24. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Kubernetes+Git Ops ■ データのバージョン、ビジネス要件を 全て1つのバージョン定義YAMLに集中してGit管理 ■ GitからKubernetesマニフェストとして一気にリリースする 24 API 最適探客経路推薦 アルゴリズム バージョン定義YAML ● 道路ネットワーク:v2.1812 ● 統計需要:Latest ● 予測需要:Latest ● オリジナル規制データ ○ パターンA:v3.1812 ○ パターンB:v2.1812 ● 走行コスト特徴量 ○ 抽出クエリA:v1 ○ 抽出クエリB:v2 ● 営業エリア Git Submodule APIコンテナ Git Revision Kubernetes マニフェスト Git Revision ConfigMapバージョンYAML 道路ネットワーク 規制・特徴抽出 アルゴリズム 更新時には 必ずVersion変更
  • 25. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. バージョン定義の差分管理 25 ベースバージョン ● 道路ネットワーク:v2.1812 ● 統計需要:Latest ● 予測需要:Latest ● オリジナル規制データ ○ パターンA:v3.1812 ○ パターンB:v2.1812 ● 走行コスト特徴量 ○ 抽出クエリA:v1 ○ 抽出クエリB:v2 〇〇市実証実験差分 ● 道路ネットワーク:v3.1812 ● オリジナル規制データ ○ パターンA:v4.1812 ○ パターンB:v3.1812 ● 営業エリア サービス中地域差分 ● 道路ネットワーク:v2.1812 ● オリジナル規制データ ○ パターンA:v3.1812 ○ パターンB:v2.1812 ● 営業エリア + + = =
  • 26. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 再現ツールの拡充 最適探客経路推薦アルゴリズム実行に必要なデータを、 中間データを含めて全てバックアップをとり、再現可能にする。 26 最適探客経路推薦 アルゴリズム 全データ 時刻・地理 近傍データ バックアップ
  • 27. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 安全に関わる要因 ■ 直前でのバリデーション ⁃ データの異常値 ⁃ アルゴリズムの推薦経路の異常値 ■ 判断の難しい道路の推定(高速、私有地、埠頭)  → 無理に経路案内を行わず、走行中を配慮したメッセージで指示する 27 API 最適探客経路推薦 アルゴリズム 経路案内 アプリ みちなりに走行してください
  • 28. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 信頼性評価(策定中) ■ 評価を大きく2つに分ける ⁃ 機能要因 ⁃ データ、モデル、アルゴリズムによる提供価値の品質要因 ■ 2つをかけ合わせたものを、SLOの指標とする 28
  • 29. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. ドメインアルゴリズムを支えるエンジニアリング 1. バージョン管理の課題 → GitOps、環境間差分管理 2. 安全性→ ユーザに返す前にバリデーションをかけ、 安全性に考慮したエラーメッセージを出す 3. 信頼性評価は、「機能要因」「品質要因」を分ける 29
  • 30. DeNA TechCon 2020 2020/03/04 Wed@渋谷ヒカリエ TechCon2020 検索