20161110 tristan 広告ランキング
•
1 gefällt mir•1,846 views
2016-11-10 AJA Recommend 勉強会の発表 Tristan Irvine秋葉原ラボ
Empfohlen
Weitere ähnliche Inhalte
Empfohlen
Empfohlen (20)
20161110 tristan 広告ランキング
- 4. 自己紹介（２） 趣味は：サプリメントを飲む なんでも病気をなおれるコンビ ビタミン D 10,000 IU ビタミン K2 MK7 360 ug（納豆） 肝油 10ml 怪我を早く回復するために Cissus quadrangularis (シッサス属のツタ)
- 5. 広告ランキング問題 一番売り上げが良い広告を配信したい CPC (Cost per click) * CTR (Click through rate) * Impression数 = 売り上げ では、CPC * CTRが高い広告を配信した方が良いです！ 僕の仕事は、CPC * CTRによって広告をランキングすることです。 時間にCPCが固定ですので、CTRによってランキングするのを集中する。 なぜこれは難しい？！ 過去CTR順によってランキングすればいいじゃん？
- 6. 例１ー無知識 新しいサイトを作った！ 四つの広告があるんだけど、どっちも配信したことない！ 広告１ 広告２ 広告３ 広告４ 過去インプ 0 0 0 0 過去クリック 0 0 0 0
- 7. 例１ー無知識 新しいサイトを作った！ 四つの広告があるんだけど、どっちも配信したことない！ CTRによってのランキング作れないんです ランダムで配信するしかないな〜 広告１ 広告２ 広告３ 広告４ 過去インプ 0 0 0 0 過去クリック 0 0 0 0 やっぱシンプルすぎるです ね。。
- 8. 例２ー探求か、活用か 二つの広告を100回ずつ配信して見た 広告１ 広告２ 広告３ 広告４ 過去インプ 100 100 0 0 過去クリック 10 25 0 0
- 9. 例２ー探求か、活用か 二つの広告を100回ずつ配信して見た 広告２の勝ち！！ でも広告３、４はまだ一回も配信したことない。CTRは広告２以上かもしれない。 今まで集まった知識を活用するか、知識を得るために探求するか 広告１ 広告２ 広告３ 広告４ 過去インプ 100 100 0 0 過去クリック 10 25 0 0
- 10. 例３ーその結果を信頼するの？ 広告３・４をちょっと配信してみた 広告１ 広告２ 広告３ 広告４ 過去インプ 100 100 10 100 過去クリック 10 25 5 20
- 11. 例３ーその結果を信頼するの？ 広告３・４をちょっと配信してみた 広告３のCTRは 50%！！圧倒的に良いですね。ずっとまでもこれを配信しよう でも本当にこの結果を信頼できるか？たった10回配信したので、統計誤差は高いです。 広告１ 広告２ 広告３ 広告４ 過去インプ 100 100 10 100 過去クリック 10 25 5 20
- 12. バンディットアルゴリズム バンディットはこの問題を解決するためのアルゴリズムの種類です。 機械学習世界にはこれは「強化学習」の一種です。 幾つかのバンディットアルゴリズムがある。 ● -first ● -greedy ● UCB ● Thompson Sampling ちょっと紹介しましょう
- 13. -first とてもシンプルです！ 1) ある期間（0 → t1 ）ランダムで配信する。 2) その後はずっと一番良いCTRの広告を配信する。 でもアメバに毎日新規広告が入っちゃっている。そいつらを探求できないじゃん？ t1 時間 ランダムで配信 トップCTR広告を配信 探求期間 活用期間
- 14. -greedy 新規広告を探求できる！ x (~10%) のリクエストにランダムで配信する 1 - x (~90%) のリクエストに最適な広告を配信する これで実際のシステムを作れるんだけど、まだ最適じゃない 時間 ランダム配信・探求 トップ広告配信・活用
- 15. 例4： -greedyの弱点 先に例をまた考えてください。今は -greedyを使おう。 広告３の実績が少ないので、それを探求としてもっと配信してみたい 広告１のCTRがよくないし、実績が十分あるし、もっと探求しなくてもいいです 探求のリクエストに -greedyはこんなことを考えずに全部の広告を同じほどランダムで 配信しちゃう！どう改善すればいいかな〜 広告１ 広告２ 広告３ 広告４ 過去インプ 100 100 10 100 過去クリック 10 25 5 20
- 16. CTRの確率密度関数 (PDF) 広告３の実績は 10インプ、5クリックです。 実績によるとCTR = 0.5。でも、たった10インプ しかないので誤差が大きい。0.5は尤らしいCTR だけど、本当のCTRは 0.2 - 0.8 の範囲にある 可能性がある。 CTRの確率密度関数はある広告の実績で、全 部可能なCTRを表す分布です。 CTR確率密度関数 click = 5 imp = 10 PDFの計算仕方はとても簡単です。 Beta分布を使えば Beta(1 + click, 1 + imp - click) = Beta(6,6) Beta分布は何でも統計パッケージに見つかれる
- 17. CTR確率密度関数の例 もっと実績があれば、この分布は狭くなる。 実績が少なかったら、分布が広くなる。 広告１： click 10 imp 100 = Beta(11, 91) 新規広告 click 0 imp 0 = Beta(1, 1)
- 18. Thompson Sampling Thompson Samplingというバンディット アルゴリズムには 1). 広告のCTR確率関数分布からランダ ムでCTRを抽出する 2). 一番高いCTRの広告を配信する 黒、赤、青は別の 広告 赤の広告は30クリック、100インプ。平均CTR 0.3。 青の広告は2クリック、8インプ。平均CTR 0.25。実績が少なくて分布が広いの で、時々赤の変わりに配信される 黒の広告は10クリック、100インプ。平均CTR 0.1。これが一番いい広告じゃな いって確かなので、ほぼ配信されない。
- 19. Thompson Sampling 実装 Thompson Samplingは実際のglasgowレコメンドエンジンに回している。 これでスーパー簡単に誰でもレコメンドエンジンを作れる。コードは下記 クリック数 インプ数 alpha = 1 beta = 1
- 21. メソッド１ー実績を分ける 実績を分けて、普通のバンディットアルゴリズムで計算する 性別の場合は別に問題ないんだけど、いつでも分けたら使える実績が減る。 性別 x 広告枠 x 年齢 x 時間帯別でやろうとしたら各バンディットで使えるインプは少な すぎる。 性別分け Thompson Samplingを使う 男性ユーザの場合 Beta(1 + 男性click, 1 + 男性(imp-click)) 女性ユーザの場合 Beta(1 + 女性click, 1 + 女性(imp-click))
- 23. 機械学習紹介 - Stochastic Gradient Descent 幾つかの広告CTRに関する素性を入力する：ad_id=5, ad_spot_id=23, user_id=655 な ど 各素性はあるウエートに対応する。それが高いほど予測CTRが高いです wtotal ~ wad_id5 + wad_spot_id23 + wuser_id655 wtotal は制限されていないので、CTR (0-1)へ転換するためにシグモイド関数を使う。
- 24. Stochastic Gradient Descent (2) ウエート更新 予測してからウエートを調整する。予測誤差は大きーほど調整する。 y = 1 (実際クリックされた) 、0（実際クリックされてなかった） 変化率 = CTR予測 - y wx = wx - 変化率 （各素性の対応ウエート） 以上！皆はSGDを使えるようになった。 でもSGDはエラーを予測しにくいし 予測精度あんまりよくないし 。。別のアルゴリズムを使いましょー
- 25. AdPredictor (Microsoft) Microsoft Bingが使っているCTR予測アルゴリズム ベイズ系ですので、全部のウエートは固定ではなく正規分布の形です。平均（ ）＋分散 （ 2 ）で定義されている。 最初は w. = 0 w. 2 = 1 （好きに選べばいい）
- 27. AdPredictor（更新） 毎回平均と分散両方を調整しないといけないんです。 この方程式を作る数学はシンプルではな い。詳しく知りたいと自分で論文を読ん で！ i, j の二次元は フィールド (ad_id)、値 (5)の意味です。アルゴリズムに大事 じゃない。 学習率は分散（ 2 ）による。では、最初に見 た素性は早く学習する、たくさん見たやつ はほぼ変わらない。
- 28. AdPredictorでThompson Sampling Thompson Samplingリマインド：広告のCTR確率関数分布からランダムでCTRを抽出 する。それで広告をランキングする。 では、予測エラーによってCTRを偏りたい。 合計予測エラーを知らないんだけど、各ウエートのエラーを知っている。 だから、予測する時は各ウエートをエラーによって偏ればランダムサーンプリングは行い ます！ ← N( , 2 ).ランダムサーンプル() それで予測CTR順番に配信すれば良いです！ モデルを更新する時はこ うしない〜
- 29. 入力素性 広告系：business_id, ad_group_id, campaign_idなど 属性系：性別、年齢、URL、user_agent、広告枠など 目的はad_group_idをCTR順にランキングしたい 属性系素性は全部の候補広告に対して同じです。なのでそのまま使えば、ランキングに 何も影響ない。「女性ならCTRが上がる！」 ← 役に立てない 必要なのは属性系と広告系の素性の相互作用項です。「女性はad_group_id 5を見た らCTRはどうなる」 ← 役に立てる！
- 31. 話す暇がないこと データサーンプリング 指標・アルゴリズム評価 強調フィルタリング ストリーミング・バッチ更新 素性の前処理 他のアルゴリズム 実装の詳細 後で興味あればいつでも質問してもいいです！
- 32. まとめ AdPredictorという機械学習アルゴリズムでThompson Sampling見たいなバンディットア ルゴリズムを実装した 現在Glasgow（広告）とアメトピ（トピック）である程度回している。 コンテキストなしのバンディットよりの改善は Glasgow CPM +7% アメトピ CTR +1% まだ初期ですので、さらに改善するために頑張ります！