Counterfaual Machine Learning（CFML）のサーベイ

5. ©2022 ARISE analytics 5 5 Counterfactual Machine Learning（CFML） 次世代の意思決定技術として注目を浴びている RecSys2021 Tutorial Counterfactual Learning and Evaluation for Recommender Systems: Foundations, Implementations, and Recent Advances KDD2021 Tutorial Counterfactual Explanations in Explainable AI: A Tutorial RecSys 2021 Best Paper Awards にCFMLが選出 https://recsys.acm.org/best-papers/ トップカンファレンスのチュートリアルや Best Paperに選出

6. ©2022 ARISE analytics 6 6 CFMLのビジネス適用  Artwork Personalization at Netflix Netflixは同じ動画でもユーザによってサムネイル画像を変えている ログデータを活用し、新しい施策をオフラインで評価（CFMLを活用） https://netflixtechblog.com/artwork-personalization-c589f074ad76 ラブストーリーが好きな人は、恋愛的なサムネイルをおっさんが好きな人は、おっさん的なサムネイルを

7. ©2022 ARISE analytics 7 7 CFMLのビジネス適用  Artwork Personalization at Netflix Netflixは同じ動画でもユーザによってサムネイル画像を変えている ログデータを活用し、新しい施策をオフラインで評価（CFMLを活用） https://netflixtechblog.com/artwork-personalization-c589f074ad76 Contextual banditで学習したモデルを replay （Off-Policy Evaluationの一種）で評価本番環境に導入する前に、モデルの性能を評価可能

8. ©2022 ARISE analytics 8 8 CFMLのビジネス適用  Reinforcement Learning for Recommender Systems: A Case Study on Youtube Youtubeでユーザの視聴時間が最大化するようなレコメンドを目指す 強化学習でモデルを学習するとき、ユーザからのフィードバックにバイアスが生じる システムが推薦した動画のフィードバックしか返ってこない バイアスを吸収できるような形でオフライン評価 https://www.youtube.com/watch?v=HEqQ2_1XRTs

16. ©2022 ARISE analytics 16 16 因果推論をうまく適用できないケース  似たグループには同じ施策を適用した場合（例：レコメンド） 似た集団（＝同じ特徴を持つ）には同じものをレコメンド 結果、未観測（Counterfactual）な部分が多くなるアイテム 1 2 3 4 ユーザ A 観測未観測未観測未観測 B 未観測未観測未観測観測 C 未観測未観測未観測観測 D 観測未観測未観測未観測観測範囲は偏っており、未観測のCounterfactualを代表するデータが得られていない

17. ©2022 ARISE analytics 17 17 因果推論をうまく適用できないケース  似たグループには同じ施策を適用した場合（例：レコメンド） 似た集団（＝同じ特徴を持つ）には同じものをレコメンド 結果、未観測（Counterfactual）な部分が多くなるアイテム 1 2 3 4 ユーザ A 観測未観測未観測未観測 B 未観測未観測未観測観測 C 未観測未観測未観測観測 D 観測未観測未観測未観測観測範囲は偏っており、未観測のCounterfactualを代表するデータが得られていないアイテム１を推薦しても買ってもらえなかったけど、アイテム３を推薦すれば、買ってもらえたかも？

18. ©2022 ARISE analytics 18 18 Counterfactual Machine Learning とは？  反実仮想（Counterfactual）を含んだアルゴリズムの学習・評価手法 目的：反実仮想（Counterfactual）を含んだ世界全体を良く予測したい 方法：ログデータを活用して、ログが観測されなかった領域を最適化する Faual World （観測された世界）一般的なレコメンド/予測はこの世界にFitするようにモデル学習 Counterfactual World （観測不可能な世界）本来はこの世界も含めて最適化したい Faual Worldのログデータを活用して、 Counterfactual Worldを観測・評価し、全体最適化につなげる

20. ©2022 ARISE analytics 20 20 バンディットアルゴリズム  Interaive Learningの一種 実験ログに基づき、Policy（施策方針）を逐一更新する 探索と活用をバランス良く行いながら、最終的な報酬（因果効果）を最大化する 強化学習に似た考え方  バンディットマシン（スロットマシン）が由来 たくさんあるバンディットマシンから、どれを選べば一番儲かるか？（＝報酬最大化）

30. ©2022 ARISE analytics 30 30 バンディットアルゴリズム  Interaive Learningの一種 報酬が最大化するようにPolicyを更新して最適化 Policy ユーザ情報購入する推薦 Feedbackして Policy更新この繰り返しでPolicy最適化 ※１）実運用ではサンプル単位ではなく数時間ごとのバッチ単位でPolicyの更新が行われる事が多い ※２）Policyの意思決定は確率的に表現されることが多い（スコアを出力する）

31. ©2022 ARISE analytics 31 31 バンディットアルゴリズムの報酬最大化  報酬最大化＝因果効果最大化 選択肢aと選択肢bがある 選択肢aの効果を以下のように考える 選択肢aを選ぶときの報酬は以下のようになる τ𝑎 = 𝑌𝑎 (1) − 𝑌𝑎 (0) 𝑅𝑎 = 𝑌𝑎 (1) + 𝑌𝑏 0 = 𝑌𝑎 0 + 𝑌𝑏 0 + τ𝑎 aが選ばれたときの売上 aが選ばれないときの売上 aが選ばれたときの報酬 ← 因果効果と同じ因果推論 n Counterfactualを観測するための⼿法の⼀つ l似た集団のグループから無作為分割し、２つの施策の効果を測定して⽐較 10 投薬あり投薬なし 2/3⼈治癒 0/3⼈治癒ギャップ＝因果効果 80代男性

34. ©2022 ARISE analytics 34 34 A/Bテストとバンディットアルゴリズム  A/Bテスト AかBの2つの選択肢のどちらがより優れているかを統計学的に判断  バンディットアルゴリズム 限られた試行の中で報酬の最大化を目指す t A B 集団A 集団B A/Bテスト A Aがよい t A B ユーザ１ Policy Policy Policy B feedback ユーザ２ feedback ユーザ３ feedback ・・・・・・

35. ©2022 ARISE analytics 35 35 事前学習レコメンドとバンディットアルゴリズム  事前学習レコメンド 事前にPolicyを学習、 Interaiveなポリシー更新は行わない  バンディットアルゴリズム 限られた試行の中で報酬の最大化を目指す Policy データセット t A B ユーザ１ Policy Policy Policy B feedback ユーザ２ feedback ユーザ３ feedback ・・・・・・ Policy ユーザ１ユーザ２ユーザ３ A B A

36. ©2022 ARISE analytics 36 36 （参考）バンディットアルゴリズムの手法一覧手法概要利点欠点 ε-greedy 確率εで探索を、確率1-εで活用を行う。探索時は、すべての腕からランダムに腕kを選択する。シンプルで理解しやすい・すべての選択肢を平等に扱ってしまうため、事前情報の活用ができない・常に確率εで探索を行ってしまうため、報酬がかなり大きいものが見つかっても、探索ペースを変えない Softmax それぞれの腕を探索する確率p_kを個別に設定する。確率p_k は腕kから得られる報酬の期待値から算出する既知の情報を活かし、良さそうな腕ほど探索されやすくなる選択肢の分散を考慮していないため、試行回数が多い腕も少ない腕も同じ価値になる UCB1 期待値に加え、試行回数を考慮した腕の選択を行う・既知の情報に加え、未知度が高い腕を優先的に探索できる・試行回数が増えるほど、選択が最も良い腕に収束する・期待値が小さい腕でも、試行回数が少なければ選ばれてしまう事がある・バッチ単位で推定量を更新する場合は、挙動が不安定になりやすい Thompson Sampling 腕から得られる報酬の期待値を確率的にモデル化する既知情報が全く同じであっても、異なる腕を選択するため、バッチ処理でも挙動が安定する

43. ©2022 ARISE analytics 43 43 Off-Policy Evaluation(OPE)  目的：ログデータ𝐷0を活用してポリシー 𝜋𝑒の評価を行う 𝜋0の代わりに𝜋𝑒 を使っていたら、結果はどうなっていたか？ これをオフラインで探る 𝑉 𝜋𝑒 ≈ 𝑉 𝜋𝑒; 𝐷0 𝜋𝑒の本来の価値新しいポリシー 𝜋𝑒 古いポリシー 𝜋0 のログデータ𝐷0 𝐷0だけを用い、 𝜋𝑒の本来の価値を近似的に得る OPE estimate ここがCounterfactual な要素 Off-Policy Evaluation ＝ポリシーをオフライン環境で評価する

44. ©2022 ARISE analytics 44 44 A/BテストとOPEの処理  A/Bテスト：複数ポリシーを順次処理で評価  OPE：複数ポリシーを並列処理で評価ログデータ𝐷1 from ポリシー 𝜋1 →価値 𝑉 𝜋1 ログデータ𝐷2 from ポリシー 𝜋2 →価値 𝑉 𝜋2 ログデータ𝐷3 from ポリシー 𝜋3 →価値 𝑉 𝜋3 ログデータ𝐷4 from ポリシー 𝜋4 →価値 𝑉 𝜋4 ログデータ𝐷0 from ポリシー 𝜋0 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋10 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋20 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋1 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋6 𝑉 𝜋30

45. ©2022 ARISE analytics 45 45 A/BテストとOPEの利点・欠点 A/Bテスト OPE 利点・直感的でわかりやすい・バイアスがない・必要な前提条件が少ない・並列処理ができるため同時に複数のポリシーを試すことができる・悪いポリシーを公開する懸念がない・過去のログデータを活用できる・素早く試すことができる・ポリシーを実装しなくてもよい（ポリシーが生成するログデータを自作して評価すればよい）欠点・悪いポリシーを公開する懸念がある・手間と時間がかかる・逐次処理のため同時に複数のポリシーを試すことができない・評価がうまくいかないことがある・必要な前提条件が多い（バイアスなどを気にしないといけない）

46. ©2022 ARISE analytics 46 46 Off-Policy Evaluation(OPE)  OPEのゴール：𝑉 𝜋𝑒 ≈ 𝑉 𝜋𝑒; 𝐷0 を実現すること 𝑉 𝜋𝑒 と𝑉 𝜋𝑒; 𝐷0 の誤差が小さければ良い 誤差はmean-squared-error(MSE)で測定 𝑀𝑆𝐸 𝑉; 𝜋𝑒 ≔ 𝔼𝐷0 𝑉 𝜋𝑒 − 𝑉 𝜋𝑒; 𝐷0 2 𝜋𝑒の本来の価値 OPE estimate MSEが小さくなるようなOPE estimateの設計がポイントバイアスと分散（網羅性）を考慮することが重要古いポリシーのログデータを使って新しいポリシーの価値を算出したとき、できるだけA/Bテストの結果に近づくような価値算出方法を設計する、という意味

47. ©2022 ARISE analytics 47 47 OPEの代表的な手法 Direct Method （DM） Inverse Propensity Score (IPS) Clipped IPS （CIPS） Self-Normalized IPS （SNIPS） Doubly Robust （DR） DR with Optimistic Shrinkage （DRos）バイアス×、網羅性○ バイアス○、網羅性× ハイブリッド赤字は特に重要な手法

49. ©2022 ARISE analytics 49 49 OPEで考慮すべきこと  Counterfactualな世界も含めて、以下を満たしたい バイアス → 小さい（偏っていない） 分散→大きい（網羅されている）  実際に観測されるログデータは、偏っている  ポリシーの観測にあたっては、Counterfactualな領域も含めて評価したいアイテム 1 2 3 4 ユーザ A 未購入未観測未観測未観測 B 未観測未観測未観測購入 C 未観測未観測未観測購入 D 未購入未観測未観測未観測

50. ©2022 ARISE analytics 50 50 OPEで考慮すべきこと  Counterfactualな世界も含めて、以下を満たしたい バイアス → 小さい（偏っていない） 分散→大きい（網羅されている）  実際に観測されるログデータは、偏っている  ポリシーの観測にあたっては、Counterfactualな領域も含めて評価したいアイテム 1 2 3 4 ユーザ A 未購入未観測未観測未観測 B 未観測未観測未観測購入 C 未観測未観測未観測購入 D 未購入未観測未観測未観測 Counterfactualな領域

51. ©2022 ARISE analytics 51 51 Direct Method（DM)  アイデア：Rewardを補う（人間の判断を模した）モデルを学習する うまくモデル化できていれば、未観測領域も観測できるアイテム（推薦結果a） 1 2 3 4 ユーザ（特徴x） A 未購入未観測未観測未観測 B 未観測未観測未観測購入 C 未観測未観測未観測購入 D 未購入未観測未観測未観測 𝑟 𝑥, 𝑎 = 𝔼 𝑟 𝑥, 𝑎 ≈ 𝑟(𝑥, 𝑎) 本来の判断結果 reward r はユーザ特徴xと推薦結果aに対する確率分布 Rewardを補うモデル

52. ©2022 ARISE analytics 52 52 Direct Method（DM)  アイデア：Rewardを補う（人間の判断を模した）モデルを学習する うまくモデル化できていれば、未観測領域も観測できるアイテム（推薦結果a） 1 2 3 4 ユーザ（特徴x） A 未購入未観測未観測未観測 B 未観測未観測未観測購入 C 未観測未観測未観測購入 D 未購入未観測未観測未観測 𝑟 𝑥, 𝑎 = 𝔼 𝑟 𝑥, 𝑎 ≈ 𝑟(𝑥, 𝑎) 本来の判断結果 reward r はユーザ特徴xと推薦結果aに対する確率分布 Rewardを補うモデル未観測 𝑥, 𝑎 = (𝐵, 3) を入力

53. ©2022 ARISE analytics 53 53 Direct Method（DM)  アイデア：Rewardを補う（人間の判断を模した）モデルを学習する うまくモデル化できていれば、未観測領域も観測できるアイテム（推薦結果a） 1 2 3 4 ユーザ（特徴x） A 未購入未観測未観測未観測 B 未観測未観測未観測購入 C 未観測未観測未観測購入 D 未購入未観測未観測未観測 𝑟 𝑥, 𝑎 = 𝔼 𝑟 𝑥, 𝑎 ≈ 𝑟(𝑥, 𝑎) 本来の判断結果 reward r はユーザ特徴xと推薦結果aに対する確率分布 Rewardを補うモデル未観測 𝑥, 𝑎 = (𝐵, 3) を入力

54. ©2022 ARISE analytics 54 54 Direct Method（DM)  アイデア：Rewardを補う（人間の判断を模した）モデルを学習する うまくモデル化できていれば、未観測領域も観測できるアイテム（推薦結果a） 1 2 3 4 ユーザ（特徴x） A 未購入未観測未観測未観測 B 未観測未観測未観測購入 C 未観測未観測未観測購入 D 未購入未観測未観測未観測 𝑟 𝑥, 𝑎 = 𝔼 𝑟 𝑥, 𝑎 ≈ 𝑟(𝑥, 𝑎) 本来の判断結果 reward r はユーザ特徴xと推薦結果aに対する確率分布 Rewardを補うモデル未観測 𝑥, 𝑎 = (𝐵, 3) を入力 𝑟(𝐵, 3) ↓ 購入 or 未購入

55. ©2022 ARISE analytics 55 55 Direct Method（DM)  アイデア：Rewardを補う（人間の判断を模した）モデルを学習する うまくモデル化できていれば、未観測領域も観測できるアイテム（推薦結果a） 1 2 3 4 ユーザ（特徴x） A 未購入未観測未観測未観測 B 未観測未観測未観測購入 C 未観測未観測未観測購入 D 未購入未観測未観測未観測 𝑟 𝑥, 𝑎 = 𝔼 𝑟 𝑥, 𝑎 ≈ 𝑟(𝑥, 𝑎) 本来の判断結果 reward r はユーザ特徴xと推薦結果aに対する確率分布 Rewardを補うモデル未観測 𝑥, 𝑎 = (𝐵, 3) を入力 𝑟(𝐵, 3) ↓ 購入 or 未購入

56. ©2022 ARISE analytics 56 56 Direct Method（DM)  アイデア：Rewardを補う（人間の判断を模した）モデルを学習する うまくモデル化できていれば、未観測領域も観測できるアイテム（推薦結果a） 1 2 3 4 ユーザ（特徴x） A 未購入未観測未購入未観測 B 未観測未観測未観測購入 C 未観測未観測未観測購入 D 未購入未観測未観測未観測 𝑟 𝑥, 𝑎 = 𝔼 𝑟 𝑥, 𝑎 ≈ 𝑟(𝑥, 𝑎) 本来の判断結果 reward r はユーザ特徴xと推薦結果aに対する確率分布 Rewardを補うモデル未観測 𝑥, 𝑎 = (𝐵, 3) を入力 𝑟(𝐵, 3) ↓ 購入 or 未購入

57. ©2022 ARISE analytics 57 57 Direct Method（DM)  アイデア：Rewardを補う（人間の判断を模した）モデルを学習する うまくモデル化できていれば、未観測領域も観測できるアイテム（推薦結果a） 1 2 3 4 ユーザ（特徴x） A 未購入購入未購入未購入 B 未購入未購入購入購入 C 未購入未購入購入購入 D 未購入未購入未購入購入 𝑟 𝑥, 𝑎 = 𝔼 𝑟 𝑥, 𝑎 ≈ 𝑟(𝑥, 𝑎) 本来の判断結果 reward r はユーザ特徴xと推薦結果aに対する確率分布 Rewardを補うモデル

58. ©2022 ARISE analytics 58 58 Direct Method（DM)  モデルの価値を評価 全ユーザ × アクションの組み合わせで報酬を求め、平均を算出アイテム（推薦結果a） 1 2 3 4 ユーザ（特徴x） A 未購入購入未購入未購入 B 未購入未購入購入購入 C 未購入未購入購入購入 D 未購入未購入未購入購入 𝑉𝐷𝑀 𝜋𝑒; 𝐷0; 𝑟 ≔ 1 𝑛 𝑖=1 𝑛 𝑎∈𝒜 𝜋𝑒 𝑎 𝑥𝑖 𝑟(𝑥𝑖, 𝑎) 𝒜: 𝑎の集合 𝜋𝑒(𝑎|𝑥𝑖):ポリシーの出力（ 𝑥𝑖 に対する 𝑎 の出力） 𝑟(𝑥𝑖, 𝑎)： 𝑥𝑖 に対する 𝑎 の報酬ユーザ𝑥𝑖 に対してポリシー 𝜋𝑒がアクション𝑎が推薦(1)を出力したときの報酬の平均値

59. ©2022 ARISE analytics 59 59 Direct Method（DM)  価値評価モデルの学習と評価 価値評価モデル 𝑟(𝑥, 𝑎) はログデータD = (𝑥, 𝑎𝑖, 𝑟𝑖) 𝑖=1 𝑛 から学習 単純な教師あり機械学習問題として設定可能 𝑟 ∈ 𝑎𝑟𝑔𝑚𝑖𝑛 1 𝑛 𝑖=1 𝑛 (𝑟𝑖 − 𝑟 𝑥𝑖, 𝑎 )2 上の式を最小化する価値評価モデル𝑟(𝑥, 𝑎) を探索 DNN、リッジ回帰、勾配ブースティング、何でもOK

61. ©2022 ARISE analytics 61 61 Model-Based OPE：Direct Method（DM)の問題  ログデータを学習に使うため、バイアスが大きい 一般的に、うまくモデル化するためには低バイアスでよく網羅されたデータが必要 観測されたログデータは、何らかのバイアスがかかっていることが多い 古いレコメンドモデルの推薦結果、など Faual World （観測された世界） Counterfactual World （観測不可能な世界） Faual Worldに最適化されたモデルを使って、Counterfactual Worldを観測しようとしている

62. ©2022 ARISE analytics 62 62 Inverse Propensity Score (IPS) Estimator  評価を計算するときに重み付けする 新しいPolicyの傾向スコアを既存Policyの傾向スコア（出現比率）で割る 既存Policyと新しいPolicyの傾向が違うものほど重みが大きくなる → バイアスが解消 𝑉𝐼𝑃𝑆 𝜋𝑒; 𝐷0 ≔ 1 𝑛 𝑖=1 𝑛 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖 𝑟𝑖 ←小さいほど𝑟𝑖 に対する重み大 ←大きいほど𝑟𝑖 に対する重み大 ※ 傾向スコアの出力は０でないことが前提 https://drive.google.com/file/d/1ZXWT8Y0ebjsTzzChzWuKVEUkUWVSkIrG/view 傾向スコアで割ることで、比率をそろえることができる

66. ©2022 ARISE analytics 66 66 IPSによる補正 Policy 𝜋0 𝑎𝑖 𝑥𝑖 の傾向スコア Policy 𝜋𝑒 𝑎𝑖 𝑥𝑖 の傾向スコア観測された reward IPSによる重み付け結果 𝑉𝐼𝑃𝑆 𝜋𝑒; 𝐷0 ≔ 1 𝑛 𝑖=1 𝑛 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖 𝑟𝑖 = 0.5 a1 a2 a3 a1 a2 a3 a1 a2 a3 a1 a2 a3 x1 0.3 0.6 0.1 x1 0.6 0.3 0.1 x1 0 x1 0 x2 0.5 0.4 0.1 x2 0.2 0.2 0.6 x2 1 x2 0.5 x3 0.1 0.1 0.8 x3 0.2 0.2 0.6 x3 1 x3 0.75 a1 a2 a3 a1 a2 a3 a1 a2 a3 a1 a2 a3 x1 0.3 0.6 0.1 x1 0.3 0.3 0.4 x1 0 x1 0 x2 0.5 0.4 0.1 x2 0.2 0.7 0.1 x2 1 x2 1.75 x3 0.1 0.1 0.8 x3 0.1 0.1 0.8 x3 1 x3 1 Policy 𝜋𝑒 𝑎𝑖 𝑥𝑖 を変えてみる 𝑉𝐼𝑃𝑆 𝜋𝑒; 𝐷0 = 0.42 𝑉𝐼𝑃𝑆 𝜋𝑒; 𝐷0 = 0.92 Rewardが得られる選択肢のスコアが高くなれば、 𝑉𝐼𝑃𝑆も高くなる ↓

67. ©2022 ARISE analytics 67 67 Clipped Inverse Propensity Score (CIPS) Estimator  IPSの重みに上限を設定 ハイパーパラメータ λ を設定する λはスカラ値 𝑉𝐶𝐼𝑃𝑆 𝜋𝑒; 𝐷0, λ ≔ 1 𝑛 𝑖=1 𝑛 𝑚𝑖𝑛 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖 , λ ∙ 𝑟𝑖 IPSの重みが大きくなりすぎたときはλを使う

68. ©2022 ARISE analytics 68 68 Clipped Inverse Propensity Score (CIPS) Estimator  IPSとCIPSを比較 a1 a2 a3 a1 a2 a3 a1 a2 a3 x1 0.5 0.6 -0.1 x1 0.3 0.3 0.4 x1 0 x2 0.5 0.01 0.49 x2 0.2 0.5 0.3 x2 5 x3 0.1 0.1 0.9 x3 0.2 0.2 0.1 x3 10 Policy 𝜋0 𝑎𝑖 𝑥𝑖 の傾向スコア Policy 𝜋𝑒 𝑎𝑖 𝑥𝑖 の傾向スコア観測された reward IPSによる重み付け結果 a1 a2 a3 x1 0.00 x2 250.00 x3 1.11 a1 a2 a3 x1 0.00 x2 5.00 x3 1.11 CIPS(λ=5）による重み付け結果値のばらつきを抑え、評価を安定化 𝑉𝐶𝐼𝑃𝑆 𝜋𝑒; 𝐷0, λ = 2.04 𝑉𝐼𝑃𝑆 𝜋𝑒; 𝐷0 = 83.7

69. ©2022 ARISE analytics 69 69 Self-Normalized Inverse Propensity Score (SNIPS) Estimator  IPSを正規化 ハイパーパラメータ λ は不要 IPSの重みの平均値で割る 𝑉𝑆𝑁𝐼𝑃𝑆 𝜋𝑒; 𝐷0 ≔ 1 𝑛 𝑖=1 𝑛 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖 ∙ 𝑟𝑖 1 𝑛 𝑖=1 𝑛 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖

70. ©2022 ARISE analytics 70 70 Self-Normalized Inverse Propensity Score (SNIPS) Estimator  IPSとSNIPSを比較 a1 a2 a3 a1 a2 a3 a1 a2 a3 x1 0.5 0.6 -0.1 x1 0.3 0.3 0.4 x1 0 x2 0.5 0.01 0.49 x2 0.2 0.5 0.3 x2 5 x3 0.1 0.1 0.9 x3 0.2 0.2 0.1 x3 10 Policy 𝜋0 𝑎𝑖 𝑥𝑖 の傾向スコア Policy 𝜋𝑒 𝑎𝑖 𝑥𝑖 の傾向スコア観測された reward IPSによる重み付け結果 a1 a2 a3 x1 0.00 x2 250.00 x3 1.11 ハイパラなしで安定化 𝑉𝑆𝑁𝐼𝑃𝑆 𝜋𝑒; 𝐷0, λ = 4.95 𝑉𝐼𝑃𝑆 𝜋𝑒; 𝐷0 = 83.7 平均重み 1 𝑛 𝑖=1 𝑛 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖 = 16.90

71. ©2022 ARISE analytics 71 71 ４手法の比較  SNIPSが安定 DMは少ないログデータでもうまく動くが、性能がスケールしない IPSは少ないログデータだと性能が低いが、ログデータの量に応じてスケールする CIPSはハイパラの調整が難しくメリット少ない SNIPSはハイパラの調整不要でうまくいきやすい https://drive.google.com/file/d/1ZXWT8Y0ebjsTzzChzWuKVEUkUWVSkIrG/view

72. ©2022 ARISE analytics 72 72 DMとIPS系の比較  Direct Method（DM）：バイアス×、網羅性○  Inverse Propensity Score (IPS)：バイアス○、網羅性× a1 a2 a3 x1 0 x2 1 x3 1 a1 a2 a3 x1 0 x2 0.5 x3 0.75 Direct Methodによる疑似観測 a1 a2 a3 x1 0 0 1 x2 0 1 1 x3 1 0 1 𝑟(𝑥, 𝑎) a1 a2 a3 x1 0 x2 1 x3 1 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖 𝑟𝑖 IPSによる逆重み付け

74. ©2022 ARISE analytics 74 74 Doubly Robust (DR) Estimator  DMとIPS系のハイブリッド手法 𝑉𝐷𝑅 𝜋𝑒; 𝐷0, 𝑟 ≔ 𝑉𝐷𝑀 𝜋𝑒; 𝐷0, 𝑟 + 1 𝑛 𝑖=1 𝑛 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖 (𝑟𝑖− 𝑟(𝑥𝑖, 𝑎𝑖)) Direct Method Rewardの真値と予測値の差分 IPSの重み 𝑉𝐷𝑀 𝜋𝑒; 𝐷0; 𝑟 ≔ 1 𝑛 𝑖=1 𝑛 𝑎∈𝒜 𝜋𝑒 𝑎 𝑥𝑖 𝑟(𝑥𝑖, 𝑎) DMの前提：バイアスがなくRewardモデル 𝑟(𝑥𝑖, 𝑎𝑖) がうまくモデル化できていること → モデル化できているときはDMだけで価値計算できるように設計（右辺が０に近似化）うまくモデル化できていないときは、Rewardの真値とモデル予測値のギャップに応じてIPSで補正する（右辺の比率が大きくなる） Rewardモデルがうまく近似化できていればゼロ 𝑟 𝑥, 𝑎 = 𝔼 𝑟 𝑥, 𝑎 ≈ 𝑟(𝑥, 𝑎)

76. ©2022 ARISE analytics 76 76 Doubly Robust with Optimistic Shrinkage (DRos) Estimator  重みの発散を抑えるハイパーパラメータλを導入 𝑉𝐷𝑅𝑜𝑠 𝜋𝑒; 𝐷0, 𝑟, λ ≔ 𝑉𝐷𝑀 𝜋𝑒; 𝐷0, 𝑟 + 1 𝑛 𝑖=1 𝑛 λ∙𝑤 𝑥𝑖,𝑎𝑖 𝑤2 𝑥𝑖,𝑎𝑖 +λ (𝑟𝑖− 𝑟(𝑥𝑖, 𝑎𝑖)) 重み 𝑤 𝑥𝑖, 𝑎𝑖 が大きくなりすぎたときに補正する効果がある 𝑉𝐷𝑅 𝜋𝑒; 𝐷0, 𝑟 ≔ 𝑉𝐷𝑀 𝜋𝑒; 𝐷0, 𝑟 + 1 𝑛 𝑖=1 𝑛 𝑤 𝑥𝑖, 𝑎𝑖 (𝑟𝑖− 𝑟(𝑥𝑖, 𝑎𝑖)) 𝑤 𝑥𝑖, 𝑎𝑖 = 𝜋𝑒 𝑎𝑖 𝑥𝑖 𝜋0 𝑎𝑖 𝑥𝑖 例：λ＝10 𝑤 𝑥𝑖, 𝑎𝑖 1 2 4 8 16 32 64 128 λ ∙ 𝑤 𝑥𝑖, 𝑎𝑖 𝑤2 𝑥𝑖, 𝑎𝑖 + λ 0.91 1.43 1.54 1 0.6 0.310.160.08

78. ©2022 ARISE analytics 78 78 OPEの代表的な手法 Direct Method （DM） Inverse Propensity Score (IPS) Clipped IPS （CIPS） Self-Normalized IPS （SNIPS） Doubly Robust （DR） DR with Optimistic Shrinkage （DRos） Model-Base バイアス×、網羅性○ Model-Free バイアス○、網羅性× Hybrid 赤字は特に重要な手法

81. ©2022 ARISE analytics 81 81 Open Bandit Dataset  ZOZOTOWNのファッション推薦データ ZOZOの推薦アルゴリズムから取得された2800万件の推薦データが格納 実世界のデータを用いたオープンデータとして価値を持つ 既存の研究は、①人工データでの評価（非現実的）、②クローズドデータでの評価（再現不可）、でありオープンかつ大規模実世界データが存在しなかった https://speakerdeck.com/usaito/off-policy-evaluationfalseji-chu-toopen-bandit-dataset-and-pipelinefalseshao- jie

83. ©2022 ARISE analytics 83 83 Open Bandit Dataset & Pipeline の期待される使い方  新しいアルゴリズムを Open Bandit Dataset & Pipeline で評価 整備されているので、業務データよりもお手軽に評価できる 有望そうなアルゴリズムだけ、業務データに適用できるようIFを修正  技術調査に活用  Open Bandit Dataset を使って評価したアルゴリズムであれば、一定の信頼性がある  Open Bandit Pipeline で実装されていれば、追試容易

89. ©2022 ARISE analytics 89 89 Counterfactual Examples  有益なCounterfactual Exampleをリストアップ https://www.microsoft.com/en-us/research/blog/open-source-library-provides- explanation-for-machine-learning-through-diverse-Counterfactuals/

90. ©2022 ARISE analytics 90 90 Counterfactual Examples  有益なCounterfactual Exampleをリストアップ https://www.microsoft.com/en-us/research/blog/open-source-library-provides- explanation-for-machine-learning-through-diverse-Counterfactuals/ 最小の変化（手間）でローンOKにしたい Counterfactual XAI ↓ 予測結果を変えるための最小摂動を説明

92. ©2022 ARISE analytics 92 92 〜Close to Predictions〜  必要な摂動（変化）はできるだけ小さく今の学歴では生涯年収が低いことが予測されたため、お金をお貸しすることはできません。でも、アメリカに移住してGoogleとAmazon とFacebookとAppleを兼務して、データサイエンティストとしてバリバリ活躍して、年収が５倍になればお貸しすることができますもっとお手軽なのない？

96. ©2022 ARISE analytics 96 96 Counterfactual Examples生成のための手法手動で設定 kNNで最も近い反例を探し、 Counterfactualになる重みを取得特徴反転（借金なくすなど）男→女など実現不可なものはやらない Counterfactual Prototypeを作成し、それをヒントにExample を作成 GANで埋め込み特徴を調整し、 Counterfactual Exampleを生成

99. ©2022 ARISE analytics 99 99 Counterfactual XAI for CV ピンクの線を追加することで、他の文字になることを説明認識結果に特に影響を与えた部位（ここではクチバシの色）に対してCounterfactual な事例を提示し、説明補強他のクラスになるためにはどの部位が必要かを説明 https://arxiv.org/pdf/1802.07623.p df https://ojs.aaai.org/index.php/AAAI/article/view/564 3 https://proceedings.mlr.press/v97/goyal19a.ht ml

101. ©2022 ARISE analytics 101 101 Counterfactual XAI for Graph グラフ認識（ここではノード認識）に大きな影響を与えたサブグラフを抽出して提示周囲のノード種別を他のものに変更（＝Counterfactual）したら結果が変わるものをサブグラフとして抽出 https://papers.nips.cc/paper/2019/file/d80b7040b773199015de6d3b4293c8ff-Paper.pdf 左：球技が好きな友人が多いので、バスケが好きと予測右：水遊びやビーチバレーが好きなので、セーリングが好きと予測

103. ©2022 ARISE analytics 103 103 参考文献 Counterfactual Machine Learningの概要 - Speaker Deck バンディットと因果推論 - Speaker Deck RecSys2021 Tutorial (google.com) 【記事更新】私のブックマーク「反実仮想機械学習」（Counterfactual Machine Learning, CFML） – 人工知能学会 (The Japanese Society for Artificial Intelligence) (ai-gakkai.or.jp) CS7792 Counterfactual Machine Learning , T. Joachims, Cornell University ICML 2017 Tutorial on Real World Interaive Learning (hunch.net) SIGIR 2016 Tutorial: Counterfactual Evaluation and Learning (cornell.edu) YouTubeの推薦アルゴリズムの変遷を追う〜深層学習から強化学習まで〜 | by Jun Ernesto Okumura | Eureka Engineering | Medium GitHub - hanjuku-kaso/awesome-offline-rl: An index of algorithms for offline reinforcement learning (offline-rl) Doubly Robust Policy Evaluation and Optimization (arxiv.org) Miro Dudík · Doubly Robust Off-Policy Evaluation with Shrinkage · SlidesLive GitHub - st-tech/zr-obp: Open Bandit Pipeline: a python library for bandit algorithms and off-policy evaluation

104. ©2022 ARISE analytics 104 104 参考文献 XAI Counterfactual Explanations (google.com) Counterfactual Visual Explanations (mlr.press) CoCoX: Generating Conceptual and Counterfactual Explanations via Fault-Lines | Proceedings of the AAAI Conference on Artificial Intelligence Generating Plausible Counterfactual Explanations for Deep Transformers in Financial Text Classification (aclanthology.org) [1802.07623] Explanations based on the Missing: Towards Contrastive Explanations with Pertinent Negatives (arxiv.org) [1911.08378] PRINCE: Provider-side Interpretability with Counterfactual Explanations in Recommender Systems (arxiv.org) GitHub - interpretml/DiCE: Generate Diverse Counterfactual Explanations for any machine learning model. GNNExplainer: Generating Explanations for Graph Neural Networks (nips.cc) DiCE: 反実仮想サンプルによる機械学習モデルの解釈/説明手法 - Qiita

Counterfaual Machine Learning（CFML）のサーベイ

Counterfaual Machine Learning（CFML）のサーベイ

Recomendados

Más contenido relacionado

Was ist angesagt?

Was ist angesagt?(20)

Similar a Counterfaual Machine Learning（CFML）のサーベイ

Similar a Counterfaual Machine Learning（CFML）のサーベイ(20)

Más de ARISE analytics

Más de ARISE analytics(16)

Counterfaual Machine Learning（CFML）のサーベイ