ブラックボックスな機械学習のモデルを解釈可能にするための手法であるSHAPについての解説です。

1. 協力ゲーム理論でXAI(説明可能なAI)を目指す
SHAP (Shapley Additive exPlanation)
貢献度に応じた最適な分配方法をXAIに利用

2. 今回紹介する内容
● 機械学習を説明するExplanation Model
● LIMEなど既存手法を一般化したAdditive Feature Attribution Methods
● 協力ゲーム理論で貢献度に応じて報酬を決めるShapley Value
● Shapley Valueを機械学習の解釈に応用したSHAP
● SHAP値計算爆発と近似
● 参考論文
○ A Unified Approach to Interpreting Model Predictions
■ 著者: Scott M. Lundberg, Su-In Lee
■ 投稿: Advances in Neural Information Processing Systems (2017), pp. 4765-4774
■ 引用: 4074件 (2021/8/30 時点)

3. Explanation Model
元のモデルを解釈しやすいモデルとして表す
複雑なモデル (e.g. アンサンブル, DNN)
予測結果
単純で解釈しやすいモデル (e.g. 線形)
予測結果
複雑で解釈できない シンプルで解釈できる
Explanation Modelで近似

4. Additive Feature Attribution Methods: 既存の手法の一般化
● LIMEなどの既存手法は、二値変数の線型結合によって元モデルの予測値との
近似している
○ LIME, DeepLIFT, Layer-Wise Relevance Propagation, Classic Shapley Value Estimation
特徴量1
特徴量2
特徴量3
特徴量4
線形結合を元にしたExplanation Model
重要度中
重要度小
重要度小
重要度大
Additive Feature Attribution Methods

5. Explanation Modelとして好ましい性質
● Local Accuracy: 局所的に元のモデルと一致する
● Missingness: 予測に関係のなかった特徴の重要度は0となる
● Consistency: あるモデルにおいて他のモデルより影響の大きい特徴量は重要
度も高くなる
Shapley Valueを用いたSHAP

6. 協力ゲーム理論
複数人でタスクをこなしたときに得られた報酬をどのように分配するか？
e.g. チームで勝ち取った賞金の分配
貢献度に応じて公正に分配する方法が「Shapley Value」
(貢献度を考慮しないのであれば等分配でもよい)
A
B
C

7. 2人で報酬を分ける場合は単純
A, Bの2人で分ける場合
● A1人で獲得できる報酬 v({A}) = 2
● B1人で獲得できる報酬 v({B}) = 3
● A, Bの2人で獲得できる報酬 v({A, B}) = 10 → この報酬をA, Bでどのように分ける？
● 複数人でタスクをこなした場合、一人ひとりの報酬を足したとき以上の報酬が手に入れられ
る v({A}) + v({B}) ≦ v({A, B})
A
B
2
3
A B 10
Aは1人で2で、Bは1人で3の
報酬を得られるのだから、
2対3、つまりAは4、Bは6
で分ければ貢献度を考慮し
た分配となる

8. Shapley Value: 3人で報酬を分ける
A, Bの2人で分ける場合
● A, B, Cそれぞれが1人で獲得できる報酬 v({A}) = 2, v({B}) = 3, v({C}) = 4
● 2人で獲得できる報酬 v({A, B}) = 12, v({B, C}) = 8, v({A, C}) = 9
● 3人で獲得できる報酬 v({A, B, C}) = 15
A
B
2
3
A B 12
C
B 8
A 9
C
A
B
C
15
4
C

9. Shapley Value: 単純な分割は平等じゃない
● Cは単体では一番よい報酬を得られる
● しかし、2人チームでだと報酬はそこまで得られない
● チームで得た報酬を個人のときのパフォーマンスだけで判断するのは不平等
A
B
2
3
A B 12
C
B 8
A 9
C
A
B
C
15
4
C

10. 貢献を数値化
Cが加わることにより得られる報酬の増加 (限界貢献度)
C A 9: A (v({A}) = 2) にCが協力することで+7
B 8: B (v({B}) = 3) にCが協力することで+5
C
A B C 15: A, B (v({A, B}) = 12)にCが協力することで+3
4: 誰もいない状態(v({}) = 0)からCが増えて+4
C

11. 限界貢献度と順序
限界貢献度は組合せではなく、順列なので順番を考慮に入れる
A
B C
C B A
C A B
C
A B
4
C
A B C 15
Cが最初に加わるパターン
Cが最後に加わるパターン
限界貢献度同じだが期待値計算には
A, Bの順番が入れ替わった場合が必要

12. 限界貢献度の期待値: Shapley Value
C B A
C A B
A
B C
C
A B
C
B A
B
A C
Cが最初に貢献するパターンのCの限界貢献度
● C → B → A: 4
● C → A → B: 4
Cが2番目に貢献するパターンのCの限界貢献度
● B → C → A: v({B, C}) - v({B}) = 8 - 3 = 5
● A → C → B: v({A, C}) - v({C}) = 9 - 2 = 7
Cが最初に貢献するパターンのCの限界貢献度
● C → B → A: v({A, B, C}) - (v{A, B}) = 15 - 12 = 3
● C → A → B: v({A, B, C}) - (v{A, B}) = 15 - 12 = 3
Cの限界貢献度の期待値 = (4 + 4 + 5 + 7 + 3 + 3)/6 = 13/3

13. SHAP (Shapley Additive exPlanation)
A
B
C
特徴量1
特徴量2
特徴量3
予測結果
貢献度に応じて公正に分配する方法Shapley Valueを
特徴量の予測への貢献に応用したものがSHAP

14. SHAPの計算量
限界貢献度を計算するためには、特徴量全ての組合せで予測を実施する必要がある
特徴量1 特徴量2 特徴量3 ・・・ 特徴量n
2^n個のモデルが必要となり計算コストが高く現実的でない
予測値の条件付き期待値で近似する

15. SHAP値の近似手法
● Model-Agnostic Approximations (モデルに依存しない)
○ Shapley sampling values method
○ Kernel SHAP (LIME + SHAP)
● Model-Specific Approximations (特定のモデルに特化)
○ Linear SHAP
○ Deep SHAP (DeepLIFT + SHAP)

16. まとめ
● 複雑なモデルでは解釈が難しいため、単純なExplanation Modelを用いて近似
し解釈可能にする
● LIMEなど既存手法は線形結合のモデルを使ったAdditive Feature Attribution
Methodsとして一般化できる
● 協力ゲーム理論で貢献度に応じて報酬を決めるShapley Valueでは、加わった
人の限界貢献度の期待値を公正な分配の１つとして利用する
● SHAPでは、特徴量に対して重要度を公正に分配する方法としてShapley
Valueを使う
● SHAPを正確に計算すると計算量が爆発するため、条件付き期待値を使って近
似値を計算する

17. チャンネル紹介
● チャンネル名: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル
● URL: https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg
● チャンネルの内容
○ 経営・データサイエンス・開発に関する情報を発信しています。
○ 例: アジャイル開発、データパイプライン構築、AIで使われるアルゴリズム4種類など
● noteでも情報発信しています → https://note.com/kenichiro

18. APPENDIX

19. 既存手法の共通点
● 解釈可能な二値変数の線型結合による元モデルの予測値との近似
○ 手法例) LIME, DeepLIFT, Layer-Wise Relevance Propagation, Classic Shapley Value Estimation
モデルgの入力z’ は元の特徴を解釈可能な表現に置き換えたもの

20. 説明モデルが満たすべき条件
局所近似したモデルの精度
元の入力が0ならそれに対応する係数も0
ある特徴量の寄与が増加または同じとなる
ようにモデルを変更(f→f’)した時、その係数
も同じく増加または同じとなる

21. Shapley Value とは？
● 協力ゲーム理論において、複数プレイヤーによって得られた報酬を
各プレイヤーに公正に分配する際に使用する値
(例) 3人のプレイヤーA, B, C が協力して
ゲームに挑戦し、表に示す報酬が
得られる場合について考える
→ 全員参加した場合、報酬をどのように
分配すべきか？
参加したプレイヤー 報酬 (万円)
A 4
B 6
C 10
A, B 16
A, C 22
B, C 30
A, B, C 60

22. Shapley Value とは？
→ “限界貢献度”を考える
→ 各プレイヤーがゲームに参加した時、追加でどのくらい報酬が増えるか
プレイヤーの参加順 各プレイヤーの限界貢献度
A B C
A → B → C 4 12 44
A → C → B 4 38 18
B → A → C 10 6 44
B → C → A 30 6 24
C → A → B 12 38 10
C → B → A 30 20 10
プレイヤーの参加前後での報酬の増加分
= 限界貢献度
A: 誰もいない → A (4 - 0 = 4)
B: Aのみ → A, B (16 - 4 = 12)
C: A, B → A, B, C (60 - 16 = 44)
限界貢献度の期待値
→ 各プレイヤーのShapley Value
→ A: 15, B: 20, C: 25

23. SHAP (Shapley Additive exPlanation)
● 予測結果に対する特徴量の寄与具合を計算
● 貢献度を計算するには、2^M 個の予測モデルが必要
計算コストが高く現実的でないため、「予測値の条件付き期待値」で近似
特徴 i に関するSHAP値 φ
: (特徴 i を加える前の順列) × (特徴 i を加えた後の順列)
: 全特徴量 M 個の順列
: (特徴 i を加えた時の予測値) - (特徴 i を加える前の予測値) = 限界貢献度

24. SHAP (Shapley Additive exPlanation)
E[f(z)]: 何も特徴をしらない時に予測される基本値
f(x): モデルの出力
, : E[f(x)] から f(x) までどのように予測が変化するかを示している
→ SHAP値は考えられる全ての順序での φ_i の期待値
→ 厳密な計算は困難であり、モデルによっていくつかの近似手法が存在

25. 既存手法との比較実験
● 2種類の決定木モデルで評価
○ A: 1つの入力に対し、10個全ての特徴を説明に使用 (dense)
○ B: 入力に含まれる100個の特徴のうち、3つのみを説明に使用 (sparse)
○ ある一つの特徴に対してモデルの評価数を増やした時の特徴重要度の推移を示す
(Kernel SHAP)
LIMEはshap値の真値と
離れている
SHAPはよく近似できている
既存のsampling methodは多くのサンプル数が必要