Suche senden
Hochladen
効果のあるクリエイティブ広告の見つけ方(Contextual Bandit + TS or UCB)
•
6 gefällt mir
•
4,323 views
Y
Yusuke Kaneko
Folgen
TokyoR 第70回 LT での発表スライドです
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 34
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
智之 村上
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
最適化超入門
最適化超入門
Takami Sato
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Shoichi Taguchi
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
cyberagent
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
Empfohlen
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
智之 村上
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
最適化超入門
最適化超入門
Takami Sato
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Pydata_リクルートにおけるbanditアルゴリズム_実装前までのプロセス
Shoichi Taguchi
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
cyberagent
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
Ayako_Hasegawa
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
Recruit Technologies
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
harmonylab
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
Ken'ichi Matsui
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
情報推薦システム入門:講義スライド
情報推薦システム入門:講義スライド
Kenta Oku
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
最適輸送の解き方
最適輸送の解き方
joisino
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
ARISE analytics
探索と活用の戦略 ベイズ最適化と多腕バンディット
探索と活用の戦略 ベイズ最適化と多腕バンディット
H Okazaki
最適輸送入門
最適輸送入門
joisino
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Yusuke Kaneko
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
Yusuke Kaneko
Weitere ähnliche Inhalte
Was ist angesagt?
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
Ayako_Hasegawa
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
Recruit Technologies
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
harmonylab
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
Ken'ichi Matsui
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
情報推薦システム入門:講義スライド
情報推薦システム入門:講義スライド
Kenta Oku
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
最適輸送の解き方
最適輸送の解き方
joisino
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
ARISE analytics
探索と活用の戦略 ベイズ最適化と多腕バンディット
探索と活用の戦略 ベイズ最適化と多腕バンディット
H Okazaki
最適輸送入門
最適輸送入門
joisino
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
Was ist angesagt?
(20)
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
実践 Amazon Mechanical Turk ※下記の注意点をご覧ください(回答の質の悪化・報酬額の相場の変化・仕様変更)
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
情報推薦システム入門:講義スライド
情報推薦システム入門:講義スライド
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
最適輸送の解き方
最適輸送の解き方
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
探索と活用の戦略 ベイズ最適化と多腕バンディット
探索と活用の戦略 ベイズ最適化と多腕バンディット
最適輸送入門
最適輸送入門
Active Learning 入門
Active Learning 入門
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Mehr von Yusuke Kaneko
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Yusuke Kaneko
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
Yusuke Kaneko
企業の中の経済学
企業の中の経済学
Yusuke Kaneko
TokyoR_74_RDD
TokyoR_74_RDD
Yusuke Kaneko
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
Yusuke Kaneko
Hastie_chapter5
Hastie_chapter5
Yusuke Kaneko
How to correctly estimate the effect of online advertisement(About Double Mac...
How to correctly estimate the effect of online advertisement(About Double Mac...
Yusuke Kaneko
Mehr von Yusuke Kaneko
(7)
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
Kdd 2021 読み会(clustering for private interest-based advertising & learning a l...
DID, Synthetic Control, CausalImpact
DID, Synthetic Control, CausalImpact
企業の中の経済学
企業の中の経済学
TokyoR_74_RDD
TokyoR_74_RDD
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
Hastie_chapter5
Hastie_chapter5
How to correctly estimate the effect of online advertisement(About Double Mac...
How to correctly estimate the effect of online advertisement(About Double Mac...
効果のあるクリエイティブ広告の見つけ方(Contextual Bandit + TS or UCB)
1.
効果のある クリエイティブ広告の 見つけ方
2.
自己紹介 ● サイバー何ちゃらの新卒1年目 ● 配属の結果,CTRひたすら予測するマンにならないといけないので色々勉強中 研修ではGo触ったりしてましたが今は
Pythonメイン ● twitter:@coldstart_p(前のは恥ずかしくなって変えました ) github:https://github.com/ykaneko1992 (今日のシミュレーションのコードをあげます)
3.
今日の話 Contextual Banditにおいて, 決定的アルゴリズムのUCBよりベイズ的アプローチのThompson Samplingの方がよくなる,というお話
4.
元ネタ ● 元ネタ:Dimakopoulou, Maria,
Susan Athey, and Guido Imbens. "Estimation Considerations in Contextual Bandits." arXiv preprint arXiv:1711.07077 (2017). → 元々はContextual Banditは推定法に対してsensitiveだというモチベーションから,パラメトリック な手法とノンパラメトリックな手法での推定法を提案した論文 ● 全部紹介していると時間がないので,パラメトリックな手法のみの紹介に絞ります → generalized random forestを使用したノンパラ推定や, Inversed Propensity Score(IPW)を用い た補正などが紹介されているので興味があれば元論文を読んでください
5.
どっちの広告を出すべきか? 広告A CTR:15% クリック数:1500 imp数: 10000 広告B CTR:10% クリック数:10 imp数:100 問題: 次のユーザーにどちらの広告を 配信すべきか? →Bの方がいい可能性もある →どれくらいimp数重ねればいい? 試行の中で利益得るには?
6.
バンディット(Bandit)アルゴリズム ● モチベ:「どちらの広告を配信すべきか」という意思決定を N回繰り返して,最終的に多くのク リック数を得たい ●
Aだけ配信してると,実は Bの方がよかった場合には損 →Bが本当はどんなCTRなのかを確認しつつ,適度に Aでクリックを稼ぎたい! ● 本当のCTRの確認に極振りすると A/Bテストになるが,要はこれも損をしてる ● クリック率の期待値と分散を用いて,上のことを行うのが バンディットアルゴリズム ● 詳しく知りたい人は本多・中村本参照
7.
どっちの広告を出すべきか?(続) 広告A CTR:15% imp数:20000 CTR(男女別) 男性:25% 女性: 2% 広告A CTR:12% imp数:10000 CTR(男女別) 男性:1%
女性: 20% 問題: 次のユーザーにどちらの広告を 配信すべきか? →男女の差異が非常に大きい →通常のBanditだと男女差を考慮 できない
8.
Contextual Bandit ● クリック率の期待値と分散を,特定の変数(コンテクスト,今回は男女)ごとに変えれば,男 女で取る選択肢を変えることができる →Contextual
Bandit ● 具体的には,変数ごとに回帰モデルを持つなどして実行する
9.
どうやって選択肢を選ぶのか ● 以下の2つの方法(本田・中村 3章) 1.UCB
アルゴリズム →信頼区間の上限 (Upper Confidence Bound :UCB) が最大になる選択肢を引く = 決定論的アルゴリズム 2.Thompson Sampling(TS) →その選択肢が最適である 事後確率に従って選択肢をランダムに選択 =ランダムアルゴリズム (ベイズ戦略) ● Thompson Samplingの方がいい! という話をします
10.
論文のシミュレーション設定 ● 選択肢3つ(0,1,2),コンテクスト2つ(X_0, X_1),選択肢の利得は以下の図
(グラフの縦軸は報酬の 期待値) ● 利得の式に1次項と2次項が入っていることに注意
11.
手法 1. コンテクストを50セット用意して,一様ランダムに選択肢を引く (コールドスタート) 2.
各選択肢ごとにブートストラップを用いて復元抽出をして(今回は 100回)リッジ回帰を回す これによって,各選択肢ごとに標本分布の平均と分散が得られる 3. 平均,分散を元に次の 10セットを以下の基準で選択をする (バッチ学習) UCB: となる選択肢を選ぶ TS: に従い各選択肢で乱数を生成し,乱数が最大になった選択肢を選ぶ 4. 各バッチごとに10セットのコンテクストを追加して 2,3のプロセスを繰り返す. ● 今回はパラメトリックなのでリッジ回帰をまわす時は1次項と2次項を含めて回す
12.
シミュレーション ● Rでシミュレーションを回してみた ● 下の図(再掲)を上から見て2次元化したものを再現する つまり,右上に赤(0),左下に青(2)が来るようになればうまくいっていると言える
13.
シミュレーション(左がUCB,右がTS)
14.
シミュレーション(左がUCB,右がTS)
15.
シミュレーション(左がUCB,右がTS)
16.
シミュレーション(左がUCB,右がTS)
17.
シミュレーション(左がUCB,右がTS)
18.
シミュレーション(左がUCB,右がTS)
19.
シミュレーション(左がUCB,右がTS)
20.
シミュレーション(左がUCB,右がTS)
21.
シミュレーション(左がUCB,右がTS)
22.
シミュレーション(左がUCB,右がTS)
23.
シミュレーション(左がUCB,右がTS)
24.
シミュレーション(左がUCB,右がTS)
25.
シミュレーション(左がUCB,右がTS)
26.
シミュレーション(左がUCB,右がTS)
27.
シミュレーション(左がUCB,右がTS)
28.
シミュレーション(左がUCB,右がTS)
29.
シミュレーション(左がUCB,右がTS)
30.
シミュレーション(左がUCB,右がTS)
31.
シミュレーション(左がUCB,右がTS)
32.
シミュレーション(左がUCB,右がTS)
33.
まとめ ● TSの方が,UCBよりよくなった ● TSの方が良くなる理由としては,UCBだと決定的アルゴリズムなので,フィードバック ループのような状況に陥りやすいという問題があるからと思われる ●
(時間があれば)ノンパラの方の再現などもしてみたい
34.
シミュレーション結果(論文) 上がTS,下がUCB → TSの方がうまくいってる
Jetzt herunterladen