Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (16)
Ähnlich wie 20200605_wids_explainableAI
Ähnlich wie 20200605_wids_explainableAI (20)
20200605_wids_explainableAI
- 1. 機械学習の説明可能性 Women in Data Science TOKYO@IBM 2020/6/5 株式会社ブレインパッド 栗原 理央
- 2. 2 はじめに 資料は後日公開予定 SNSアップOK #WiDS2020 #WiDSTokyoIBM • テキストのみの投稿 • スクリーンショットを含んだ投稿 slidoで感想・質問ください （初オンライン登壇で、皆様の反応が見えないと不安です・・・） セクション 15:35-16:15 DATA SCIENCETALK
- 3. 3 Ajenda ▪ 自己紹介 ▪ イントロダクション ▪ アプローチ概要 ▪ アプローチ詳細 ▪ まとめ ▪ 質疑応答 30分 10分
- 4. 自己紹介 4
- 6. イントロダクション 6
- 8. 8 本日お話する/しない内容 • 機械学習そのものについて • 説明性を与える手法の詳細 ※参考になるリンクを本資料Appendixに記載 • 機械学習の説明性とは何か • 何故必要か、具体的にどういうケースで必要か • その手法の概要
- 9. 9 機械学習の説明性が注目されている背景 機械学習は研究から社会実装のフェーズへ入っている ⇒ ブラックボックスだと業務適用しにくい 総務省がAI利活用ガイドラインを公表（10個の原則のうち下記二つ） • 公平性の原則 • 透明性の原則 参考：https://www.soumu.go.jp/main_content/000637099.pdf
- 11. 11 公平性の原則 AI利活用ガイドラインには下記のような記載がある AIサービスプロバイダ、ビジネス利用者及びデータ提供者は、AIシステム又はAIサービスの判 断にバイアスが含まれる可能性があることに留意し、また、AIシステム又はAIサービスの判断 によって個人及び集団が不当に差別されないよう配慮する • 学習等に用いられるデータの代表性やデータに内在する社会的なバイアス • アルゴリズムによるバイアスへの留意 • AIシステムよりなされた判断に対する人間の判断の介在 参考：https://www.soumu.go.jp/main_content/000637099.pdf
- 13. 13 透明性の原則 AIサービスプロバイダ及びビジネス利用者は、AIシステム又はAIサービスの入出力の検証可能性及び 判断結果の説明可能性に留意する ▪ 生命、身体、財産に危害が及ぼし得る分野で利活用する場合におけるAIの入出力等のログの記録・ 保存 ▪ 個人の権利・利益に重大な影響を及ぼす可能性のある分野で利活用する場合におけるAIシステム又はAI サービスの判断結果の説明可能性の確保 ▪ 行政機関が利用する際の透明性の確保 （※アルゴリズム、ソースコード、学習データの開示を想定するものではない。） AI利活用ガイドラインには下記のような記載がある 例えば・・・ ▪ 医療 ▪ 自動運転 ▪ 与信審査 参考：https://www.soumu.go.jp/main_content/000637099.pdf
- 17. アプローチ概要 17
- 22. 22 様々な手法 それぞれの手法について、簡単にご紹介いたします Exampleでイメージを掴んでいただければと思います 局所的な説明 • LIME • SHAP • Anchor • TCAV 大局的な説明 • Born Again Trees • Making Tree Ensembles Interpretable • Node Harvest
- 23. アプローチ詳細 23
- 24. 24 Born Again Trees ▪ 学習で得られた（ブラックボックス）モデルを決定木で近似する手法 ▪ 追加の教師データを大量に生成し、追加データを使って決定木を学習する https://www.stat.berkeley.edu/users/breiman/BAtrees.pdf 学習済みの （ブラックボックス）モデル 入力 出力 犬 猫 ・・・ 決定木を構築 ブラックボックスモデルの 出力を目的変数として 決定木を構築
- 25. 25 LIME (Local Interpretable Model-agnostic Explanations) https://www.kdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf 特定の入力点（説明を知りたいデータ） 近似したモデルの決定境界 データ点（左図＋）の近傍でランダムサンプリングを行い、 局所的な線形分類器で近似する。 その線形モデルの係数の大小を、各特徴量の重要度とする。 ▪ 任意の分類器に対して、特定のデータサンプルを分類するときに有効な特徴量を出力する手法 ▪ 画像データを処理する機械学習モデルの解釈性に用いられることが多いようです
- 26. 26 Example 1/2：画像分類 エレキギター入力画像 アコースティックギター ラブラドール （p=0.32） （p=0.24） （p=0.21） ギターのネック ギターのボディ 顔 https://www.kdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf
- 28. 28 SHAP (SHapley Additive exPlanation) ▪ 任意のブラックボックスモデルを線形モデルで近似するという方針はLIMEと同様 ▪ Shapely値を利用して変数の寄与を説明する手法 ▪ テーブルデータを処理する機械学習モデルの解釈性に用いられることが多いようです https://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions.pdf モデルの予測値 特徴量 報酬の大きさ＝寄与の大きさ ⇒ 協力ゲームにおいて、報酬を各プレイヤーに対して公平に分配するアイデア
- 30. 30 Example 2/2：0~9の画像分類 0 1 2 3 4 5 6 7 8 9 入 力 画 像 https://github.com/slundberg/shap ←各クラス 0と予測する際は、真ん中の空白を重視している 4と予測する際は、上部の接続を重視している. 上部の接続がないため予測クラスは 9ではなく4になる
- 31. 31 Anchors ▪ 特徴量がどの範囲にあれば（分布していれば）予測に十分かを提示する手法 ▪ なくても精度が変わらない特徴量は任意の値に置き換えても構わないという考え方が根底にある “This movie is not bad.”という文章を ポジティブに分類するために必要な特徴量は ”not bad” https://homes.cs.washington.edu/~marcotcr/aaai18.pdf
- 33. 33 TCAV (Testing with Concept Activation Vectors) ▪ 予測クラスの概念（色、性別、人種など）の重要度を示す ▪ 各クラスに対する説明を生成するので、人間にわかりやすい説明性を持つ https://qiita.com/_rio_/items/2c3eca260beb1a86a711 https://arxiv.org/pdf/1711.11279.pdf
- 35. まとめ 35
- 37. 質疑応答 37
- 39. Appendix 39
- 40. 40 参考リンク集 ▪ https://www.slideshare.net/SatoshiHara3/ss-126157179 ▪ https://www.slideshare.net/SatoshiHara3/ver2-225753735 ▪ https://tjo.hatenablog.com/entry/2019/12/19/190000 ▪ https://www.ai-gakkai.or.jp/my-bookmark_vol33-no3/