Suche senden
Hochladen
プロダクション環境でオンラインで機械学習を動かすにあたってツライ話 #MLCT
•
Als PPTX, PDF herunterladen
•
45 gefällt mir
•
17,797 views
Tokoroten Nakayama
Folgen
オフライン学習、オンライン予測ってジャンルが微妙に無いので、ツライことになるよ、という話。
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 30
Jetzt herunterladen
Empfohlen
データサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたこと
Tokoroten Nakayama
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
Ryo Iwaki
なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論
Tokoroten Nakayama
DeepLearning 輪読会 第1章 はじめに
DeepLearning 輪読会 第1章 はじめに
Deep Learning JP
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
Preferred Networks
高速な倍精度指数関数expの実装
高速な倍精度指数関数expの実装
MITSUNARI Shigeo
一般向けのDeep Learning
一般向けのDeep Learning
Preferred Networks
自動定理証明の紹介
自動定理証明の紹介
Masahiro Sakai
Empfohlen
データサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたこと
Tokoroten Nakayama
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
Ryo Iwaki
なぜコンピュータを学ばなければならないのか 21世紀の君主論
なぜコンピュータを学ばなければならないのか 21世紀の君主論
Tokoroten Nakayama
DeepLearning 輪読会 第1章 はじめに
DeepLearning 輪読会 第1章 はじめに
Deep Learning JP
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
Preferred Networks
高速な倍精度指数関数expの実装
高速な倍精度指数関数expの実装
MITSUNARI Shigeo
一般向けのDeep Learning
一般向けのDeep Learning
Preferred Networks
自動定理証明の紹介
自動定理証明の紹介
Masahiro Sakai
[DL輪読会]機械学習におけるカオス現象について
[DL輪読会]機械学習におけるカオス現象について
Deep Learning JP
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
深層強化学習と実装例
深層強化学習と実装例
Deep Learning Lab(ディープラーニング・ラボ)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
株式会社MonotaRO Tech Team
モダリティ変換と画像生成 SSII OS2 マルチモーダル深層学習
モダリティ変換と画像生成 SSII OS2 マルチモーダル深層学習
Hiroharu Kato
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
機械学習 / Deep Learning 大全 (4) GPU編
機械学習 / Deep Learning 大全 (4) GPU編
Daiyu Hatakeyama
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
Takahiro Kubo
最適化計算の概要まとめ
最適化計算の概要まとめ
Yuichiro MInato
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
カルマンフィルタ入門
カルマンフィルタ入門
Yasunori Nihei
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
hoxo_m
モデル高速化百選
モデル高速化百選
Yusuke Uchida
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
研究の基本ツール
研究の基本ツール
由来 藤原
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
Kazuki Fujikawa
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Masanao Ochi
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
第21回八子クラウド座談会資料(討議メモ付き) 20161022
第21回八子クラウド座談会資料(討議メモ付き) 20161022
知礼 八子
SORACOM LTE-M Buttonで「かえるボタン」を作ったら家族が使ってくれている話
SORACOM LTE-M Buttonで「かえるボタン」を作ったら家族が使ってくれている話
TomohisaYamazoe
Weitere ähnliche Inhalte
Was ist angesagt?
[DL輪読会]機械学習におけるカオス現象について
[DL輪読会]機械学習におけるカオス現象について
Deep Learning JP
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
深層強化学習と実装例
深層強化学習と実装例
Deep Learning Lab(ディープラーニング・ラボ)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
株式会社MonotaRO Tech Team
モダリティ変換と画像生成 SSII OS2 マルチモーダル深層学習
モダリティ変換と画像生成 SSII OS2 マルチモーダル深層学習
Hiroharu Kato
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
機械学習 / Deep Learning 大全 (4) GPU編
機械学習 / Deep Learning 大全 (4) GPU編
Daiyu Hatakeyama
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
Takahiro Kubo
最適化計算の概要まとめ
最適化計算の概要まとめ
Yuichiro MInato
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
カルマンフィルタ入門
カルマンフィルタ入門
Yasunori Nihei
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
hoxo_m
モデル高速化百選
モデル高速化百選
Yusuke Uchida
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
研究の基本ツール
研究の基本ツール
由来 藤原
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
Kazuki Fujikawa
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Masanao Ochi
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
Was ist angesagt?
(20)
[DL輪読会]機械学習におけるカオス現象について
[DL輪読会]機械学習におけるカオス現象について
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
深層強化学習と実装例
深層強化学習と実装例
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モダリティ変換と画像生成 SSII OS2 マルチモーダル深層学習
モダリティ変換と画像生成 SSII OS2 マルチモーダル深層学習
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
機械学習 / Deep Learning 大全 (4) GPU編
機械学習 / Deep Learning 大全 (4) GPU編
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
最適化計算の概要まとめ
最適化計算の概要まとめ
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
カルマンフィルタ入門
カルマンフィルタ入門
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
モデル高速化百選
モデル高速化百選
不均衡データのクラス分類
不均衡データのクラス分類
研究の基本ツール
研究の基本ツール
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
協調フィルタリング入門
協調フィルタリング入門
Ähnlich wie プロダクション環境でオンラインで機械学習を動かすにあたってツライ話 #MLCT
第21回八子クラウド座談会資料(討議メモ付き) 20161022
第21回八子クラウド座談会資料(討議メモ付き) 20161022
知礼 八子
SORACOM LTE-M Buttonで「かえるボタン」を作ったら家族が使ってくれている話
SORACOM LTE-M Buttonで「かえるボタン」を作ったら家族が使ってくれている話
TomohisaYamazoe
片岡Io tltシリーズネタ 2016/10/29
片岡Io tltシリーズネタ 2016/10/29
Yukihito Kataoka
IoT キットハンズオンのソースコード解説します クラウド編 Part1 Section2
IoT キットハンズオンのソースコード解説します クラウド編 Part1 Section2
Yoshitaka Seo
八子クラウド座談会当日討議メモ付資料 20171007
八子クラウド座談会当日討議メモ付資料 20171007
知礼 八子
(インテージテクノスフィア)FY20_技術探究委員会_ブロックチェーン分科会活動報告
(インテージテクノスフィア)FY20_技術探究委員会_ブロックチェーン分科会活動報告
INTAGEGROUP
IoT キットハンズオンのソースコード解説します クラウド編 Part1 Section3
IoT キットハンズオンのソースコード解説します クラウド編 Part1 Section3
Yoshitaka Seo
見える!「IoT」NefryでJenkinsのXFD作ってみた
見える!「IoT」NefryでJenkinsのXFD作ってみた
Tone Blue
東京大学 経済学部講義 後半
東京大学 経済学部講義 後半
Youichiro Miyake
たのしいアノテーション
たのしいアノテーション
Kazuhiro Sasao
2016 0422 io tlt勉強会
2016 0422 io tlt勉強会
yasuyuki_suzuki
家のIoT・スマートハウス・おうちハック
家のIoT・スマートハウス・おうちハック
sonycsl
151119 iotlt-talk
151119 iotlt-talk
sonycsl
八子クラウドon the Beach 資料(当日メモ付) 20170811
八子クラウドon the Beach 資料(当日メモ付) 20170811
知礼 八子
Quantum teleportation
Quantum teleportation
YuuOkano
座談会資料(討議メモ付き) 20170225
座談会資料(討議メモ付き) 20170225
知礼 八子
チャットボットの自然言語処理
チャットボットの自然言語処理
Yoshitaka Seo
失敗から学ぶデータ分析グループのチームマネジメント変遷
失敗から学ぶデータ分析グループのチームマネジメント変遷
Tokoroten Nakayama
八子クラウド座談会 当日討議メモ付き資料 20180721
八子クラウド座談会 当日討議メモ付き資料 20180721
知礼 八子
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
Satoshi Fujimoto
Ähnlich wie プロダクション環境でオンラインで機械学習を動かすにあたってツライ話 #MLCT
(20)
第21回八子クラウド座談会資料(討議メモ付き) 20161022
第21回八子クラウド座談会資料(討議メモ付き) 20161022
SORACOM LTE-M Buttonで「かえるボタン」を作ったら家族が使ってくれている話
SORACOM LTE-M Buttonで「かえるボタン」を作ったら家族が使ってくれている話
片岡Io tltシリーズネタ 2016/10/29
片岡Io tltシリーズネタ 2016/10/29
IoT キットハンズオンのソースコード解説します クラウド編 Part1 Section2
IoT キットハンズオンのソースコード解説します クラウド編 Part1 Section2
八子クラウド座談会当日討議メモ付資料 20171007
八子クラウド座談会当日討議メモ付資料 20171007
(インテージテクノスフィア)FY20_技術探究委員会_ブロックチェーン分科会活動報告
(インテージテクノスフィア)FY20_技術探究委員会_ブロックチェーン分科会活動報告
IoT キットハンズオンのソースコード解説します クラウド編 Part1 Section3
IoT キットハンズオンのソースコード解説します クラウド編 Part1 Section3
見える!「IoT」NefryでJenkinsのXFD作ってみた
見える!「IoT」NefryでJenkinsのXFD作ってみた
東京大学 経済学部講義 後半
東京大学 経済学部講義 後半
たのしいアノテーション
たのしいアノテーション
2016 0422 io tlt勉強会
2016 0422 io tlt勉強会
家のIoT・スマートハウス・おうちハック
家のIoT・スマートハウス・おうちハック
151119 iotlt-talk
151119 iotlt-talk
八子クラウドon the Beach 資料(当日メモ付) 20170811
八子クラウドon the Beach 資料(当日メモ付) 20170811
Quantum teleportation
Quantum teleportation
座談会資料(討議メモ付き) 20170225
座談会資料(討議メモ付き) 20170225
チャットボットの自然言語処理
チャットボットの自然言語処理
失敗から学ぶデータ分析グループのチームマネジメント変遷
失敗から学ぶデータ分析グループのチームマネジメント変遷
八子クラウド座談会 当日討議メモ付き資料 20180721
八子クラウド座談会 当日討議メモ付き資料 20180721
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
Mehr von Tokoroten Nakayama
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
Tokoroten Nakayama
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
Tokoroten Nakayama
ビジネスパーソンのためのDX入門講座エッセンス版
ビジネスパーソンのためのDX入門講座エッセンス版
Tokoroten Nakayama
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
Tokoroten Nakayama
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
Tokoroten Nakayama
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
Tokoroten Nakayama
データマイニングの話詰め合わせ
データマイニングの話詰め合わせ
Tokoroten Nakayama
機械学習の精度と売上の関係
機械学習の精度と売上の関係
Tokoroten Nakayama
難易度ボラタリティグラフという分析手法
難易度ボラタリティグラフという分析手法
Tokoroten Nakayama
インターネット上の情報発信手段の変遷 情報発信の簡易化
インターネット上の情報発信手段の変遷 情報発信の簡易化
Tokoroten Nakayama
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
Tokoroten Nakayama
ヒューレットパッカード社の社員の離職リスク予測 第一回機械学習ビジネス研究会 #ml_business
ヒューレットパッカード社の社員の離職リスク予測 第一回機械学習ビジネス研究会 #ml_business
Tokoroten Nakayama
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)
Tokoroten Nakayama
失敗から学ぶデータ分析グループのチームマネジメント変遷 (デブサミ2016) #devsumi
失敗から学ぶデータ分析グループのチームマネジメント変遷 (デブサミ2016) #devsumi
Tokoroten Nakayama
特徴ベクトル変換器を作った話 #dogenzakalt
特徴ベクトル変換器を作った話 #dogenzakalt
Tokoroten Nakayama
特徴ベクトル変換器を作った話
特徴ベクトル変換器を作った話
Tokoroten Nakayama
jubatusのECサイトへの適応 #jubatus_hackathon
jubatusのECサイトへの適応 #jubatus_hackathon
Tokoroten Nakayama
スマホマーケットの概要と、マーケティングの失敗例と改善 (アナリティクス アソシエーション 特別セミナー)
スマホマーケットの概要と、マーケティングの失敗例と改善 (アナリティクス アソシエーション 特別セミナー)
Tokoroten Nakayama
DAUを評価指標から捨てた会社の話 #tokyowebmining
DAUを評価指標から捨てた会社の話 #tokyowebmining
Tokoroten Nakayama
BattleField3に見る自己表現としてのゲームプレイ
BattleField3に見る自己表現としてのゲームプレイ
Tokoroten Nakayama
Mehr von Tokoroten Nakayama
(20)
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
ラボラトリーオートメーションのためのソフトウェア思想教育(非プログラマ―が知っておくべきプログラミングの本質)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
事業の進展とデータマネジメント体制の進歩(+プレトタイプの話)
ビジネスパーソンのためのDX入門講座エッセンス版
ビジネスパーソンのためのDX入門講座エッセンス版
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
データマイニングの話詰め合わせ
データマイニングの話詰め合わせ
機械学習の精度と売上の関係
機械学習の精度と売上の関係
難易度ボラタリティグラフという分析手法
難易度ボラタリティグラフという分析手法
インターネット上の情報発信手段の変遷 情報発信の簡易化
インターネット上の情報発信手段の変遷 情報発信の簡易化
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
ヒューレットパッカード社の社員の離職リスク予測 第一回機械学習ビジネス研究会 #ml_business
ヒューレットパッカード社の社員の離職リスク予測 第一回機械学習ビジネス研究会 #ml_business
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)
失敗から学ぶデータ分析グループのチームマネジメント変遷 (デブサミ2016) #devsumi
失敗から学ぶデータ分析グループのチームマネジメント変遷 (デブサミ2016) #devsumi
特徴ベクトル変換器を作った話 #dogenzakalt
特徴ベクトル変換器を作った話 #dogenzakalt
特徴ベクトル変換器を作った話
特徴ベクトル変換器を作った話
jubatusのECサイトへの適応 #jubatus_hackathon
jubatusのECサイトへの適応 #jubatus_hackathon
スマホマーケットの概要と、マーケティングの失敗例と改善 (アナリティクス アソシエーション 特別セミナー)
スマホマーケットの概要と、マーケティングの失敗例と改善 (アナリティクス アソシエーション 特別セミナー)
DAUを評価指標から捨てた会社の話 #tokyowebmining
DAUを評価指標から捨てた会社の話 #tokyowebmining
BattleField3に見る自己表現としてのゲームプレイ
BattleField3に見る自己表現としてのゲームプレイ
Kürzlich hochgeladen
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
Kürzlich hochgeladen
(9)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
プロダクション環境でオンラインで機械学習を動かすにあたってツライ話 #MLCT
1.
プロダクション環境で オンラインで機械学習を ぶん回すにあたってツラい話 Emotion Intelligence株式会社 (旧DoBoken) ところてん
2.
お前誰よ • ところてん • http://twitter.com/tokoroten •
高機能雑用 • 半導体計測屋 • セキュリティ研究者 • ビッグデータ屋 • ソシャゲ・クロス集計おじさん • ソシャゲ・ゲームデザイナ • 広告部門の手伝い • 機械学習おじさん Now 2
3.
最近の活動 • 一般社団法人未踏のお手伝い • http://www.mitou.org/
4.
最近の活動 • タッチパネル性のゲーム開発 4http://www.nicovideo.jp/watch/sm25185906 https://www.youtube.com/watch?v=7-hPyxorhho
5.
最近の活動 5https://twitter.com/t_tutiya/status/591536291050704896 https://twitter.com/dnasoftwares/status/591421236653133824
6.
最近の活動 6
7.
Emotion Intelligence株式会社 気持ちを解するテクノロジーの探究 ※4/1に社名変更しました
8.
ZenClerk https://www.zenclerk.com/
9.
リアルタイムオファー • ECサイトに訪れているお客様にとって、 最適なタイミングでクーポンを提示する • 家電量販店の店員のイメージ •
フロアを歩いて情報収集しているときは、 声をかけてこない • 商品を比較検討していると、 声をかけてきて商品の説明をしてくれる • 場合によっては、特別な割引を提案してく れる
10.
リアルタイム分析 • お客様の動きをリアルタイム分析 • 複数の商品間で迷っているが、意思決定には至っていない? •
ウィンドウショッピングで眺めているだけで、買う気ゼロ? • 買いたい商品がなくて離脱直前なのか? • テレビや雑誌で情報を得て、買う気満々で訪問した? • 適切な人にのみクーポンを提示する • 気持ちいいタイミングでクーポンが出るので、 コンバージョンレートが大幅上昇 • クーポンの露出量の減少、ブランド価値の維持 • ABテストで成果を確認 • クーポンを出すべきと判断した人のうち、 数割をコントロールグループとして、クーポンを表示しない • クーポンを出した群と、出さなかった群でCVRの変化を効果検証
11.
オンラインで機械学習 • お客様の動きをリアルタイムに予測する必要がある • オンライン予測が必要 •
お客様の傾向は時間に対して大きくは変化しない • 学習はデイリーバッチでもよい • 月間10億PVのデータを使って、オフラインでバッチ学習 • ZenClerkに必要な機械学習 • オフライン学習 • オンライン予測 • 多少データの欠落や、エラーがあっても良い • これに該当するライブラリが微妙にない
12.
データ分析の分類と、ツールの状況 学習がオンライン 学習がオフライン 予測がオンライン アルゴリズムトレード(HFT) Twitterのタイムライン分析 ZenClerk アドテク 予測がオフライン データ量多すぎて保存できない 系、IoT系? バッチで予測、分析コンサル 協調フィルタリング系レコメンド 空白地帯 ブルーオーシャン? ↑たとえば、牛舎の大量のセンサーから、 将来の牛乳の生産量を予測する問題とか。
13.
ツールの整備状況 • オンライン機械学習、オンライン予測 • Jubatus、Spark
MLlib • 分散処理を前提とするので、重厚長大になりがち • エラー耐性を真面目にやりすぎている • ZenClerkは多少のエラーは許容できるビジネスモデル • サーバで動くので、プロダクションに持っていきやすい • 学習、予測をオフラインにすることもできる • オフライン機械学習、オフライン予測 • R、Scikit-learn • 小さいデータに対して、気軽に機械学習が書ける • 精度面では十分であることが多い • スクリプトとして動くので、プロダクションに導入しづらい • オンラインで予測させるには、根性が必要
14.
機械学習の流れ 生データ 特徴 ベクトル 機械学習 パラメータ 予測器 学習結果 教師データ テストデータ 前処理
15.
オンラインシステムでの処理の流れ 生データ 特徴 ベクトル 機械学習 パラメータ 予測器 学習精度 テストデータ 生データ コピー 特徴 ベクトル 予測器 本番データ 結果 教師データ コピー 前処理 前処理 オフライン学習 データ分析屋の世界 オンライン予測 プロダクション環境 データ分析の世界(Pythonとか、Rとか) 本番環境の世界(RubyとかNodeとか)
16.
前処理を移植する • リアルタイム予測の課題 • データ分析環境とプロダクション環境で、同じ特徴量を予測 器に入力する必要がある •
データ分析環境と、プロダクション環境では、言語が異なる • 前処理用の言語を開発 • 特徴ベクトル変換器 • 特徴ベクトル変換言語を使って、 source to sourceコンパイルすることで、 同質のPythonとJSを出力 • 詳細は道玄坂LT祭りの資料を参照 http://www.slideshare.net/TokorotenNakayama/vector-converter-dogenzakalt-dogenzakalt https://github.com/tokoroten/forth_fv_converter
17.
オンライン予測器を根性移植する • 根性でアルゴリズムを移植 • 決定木の移植 •
ロジスティック回帰の移植 • 既存のオフライン予測器をオンライン化 • scikit-learnをオンライン化
18.
決定木を移植する • Scikit-learnの出力した決定木のdotファイルをパース JS(Coffee)を出力する
19.
決定木を移植する • JSに変換された決定木を、Node.jsでevalする • Nodeで実行されるので、プロダクションに組み込める •
V8でJITされて、Pythonを叩くよりも高速に実行される • ツライ • 決定木は簡単に移植できた • AdaBoostへの適用は?RandomForestは? • JS側にゴリゴリとロジックを書く必要がある • 個別の部品の移植だけでは、分類器の組み合わせが困難
20.
ロジスティック回帰を移植する • 特徴ベクトル変換器が吐いたJSをmongoに格納 • スタック型仮想マシンによる特徴ベクトル変換 •
Scikit-learnが出力したロジスティック回帰の係数をmongoに 格納 この画面は、compose.io(旧mongohq)のmongodbの管理画面
21.
ロジスティック回帰を移植する • ロジスティック回帰の変換式と係数をNodeで読み込む • 特徴ベクトル変換式をevalして実行 •
クソコードだけど、JITしているので、そこそこ早い • ロジスティック回帰の式を利用して、Node側でProbaを算出 http://www.mwsoft.jp/programming/numpy/logistic_regression.html
22.
もう限界 • これ以上複雑なアルゴリズムを移植するのは無理 • エラー処理とか心折れる •
テスト工数が半端ない • プロダクションコードと密結合になるので、 アルゴリズムの多段化などが難しい • Nodeで作られたシステムの中にpythonでscikit-learn が動くサーバを持ち込む
23.
Python分析サーバ Python分析サーバを立てる 生データ 特徴 ベクトル 機械学習 パラメータ 予測器 学習精度 テストデータ 生データ コピー 結果 教師データ コピー 前処理 オフライン学習 データ分析屋の世界 オンライン予測 プロダクション環境 データ分析の世界(Pythonとか、Rとか) 本番環境の世界(RubyとかNodeとか)
24.
予測タスクQueueモデル Front Server(JS) JS系分析サーバ Application Server
(JS) Application Server (JS) Python Demon 予測タスクをPush Pull Python DemonLB
25.
固いところは固く、柔軟なところは柔軟に • データ分析はPDCA速度が第一 • 実験コードを本番投入して、アイディアをすぐに検証したい •
データ分析の書くコードの品質はヒドイ • データ分析者にNW系のコード書かせると、サービスが死ぬ • データ分析側のコードは余計なことを考えないですむ仕組みが必要 • お客様と直接つながるフロントサーバは固く作る • 分析サーバが落ちても問題ないようにする • Python系分析サーバは、タスクQueue • プロダクション環境と切り離されたPython分析環境を構築 • Pythonのデーモンがタスクをpull、分析スクリプトを実行 • コードの品質が安定したら、本番系mongodbに書き込み
26.
顧客が本当に必要だった物 • issue • プロダクションとデータ分析から同じ意味のものが叩ける •
分析の実験コードを気軽にプロダクション投入したい • 要件 • オンラインで利用できる • レイテンシーが低い • 保守性、安定性が高い • プロダクションに影響を与えない • アプローチ • 独立サーバに切り離された、機械学習用サーバ
27.
機械学習サーバの検討 • 独立サーバ型のシステム • Jubatus •
オンライン機械学習がしたいほどのデータ量ではない • マルチテナントほしい、欲しい学習機がない • Spark MLlib • Sparkが重厚長大すぎる • プロダクションがJavaで書かれていたら、選択肢としてはありえそう? • このためだけにJVMのメンテはおつらい • 金の弾丸 • SPSS、 Amazon Machine Learning、Azure Machine Learning • 情報求む • 根性で自作する • 今回のアプローチ • R serve を本番投入している人いる?
28.
まとめ • 機械学習をオンライン系サービスで利用するツラミ • プロダクションとデータ分析の言語が異なる •
サービスと予測器を疎結合にするのがつらい • 機械学習サーバによる解決 • 独立系サーバシステムによる解決 • Jubatus,Spark MLlib • 根性による実装 • 今回採用した手段 • ホント、機械学習は地獄だぜ!フゥハハハーハァー
29.
採用の話 • Emotion Intelligenceは機械学習がコアコンピタンス •
精度を上げればあげるほど、利益が増える • 新しいアルゴリズムを開発すればするほど、 適用可能範囲が増えて、利益が増える • 金稼ぎが好きな機械学習エンジニアを募集中
30.
採用の話 • 募集しているポジション • エンジニア(機械学習がわかっている) •
機械学習モデラー • 機械学習基盤エンジニア • 機械学習のビジュアライズ (管理画面エンジニア) • 会社は恵比寿 • ガーデンプレイス(ここ)から 徒歩五分 • 月間10億PVを分析しましょう
Jetzt herunterladen