人間の意思決定を機械学習でモデル化できるか
•Als PPTX, PDF herunterladen•
1 gefällt mir•766 views
2021年のサイエンスに投稿された意思決定理論に機械学習を適用した論文を紹介します。 期待効用理論やプロスペクト理論をベースとしたモデルや、既存のモデルをベースとしないモデル、既存モデルを選択できるようにしたモデルなどを解説しました。 機械学習が違う分野で素晴らしい成果を上げた例の1つです。
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Mehr von 西岡 賢一郎
Mehr von 西岡 賢一郎 (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (11)
人間の意思決定を機械学習でモデル化できるか
- 3. 文献情報 ● タイトル： Using large-scale experiments and machine learning to discover theories of human decision-making ● 著者：Peterson et al. ← プリンストン大のコンピュータサイエンス ● ジャーナル：Science ● 出版年：2021 ● サマリ： 機械学習を用いて、人間の意思決定を説明するモデルを探索しようという論文。「既存モデ ルをベースにした機械学習モデル」、「既存モデルを使わない機械学習モデル」、「既存モ デルに選択を加えた混合の機械学習モデル」の3つでよいパフォーマンスを実現できた。
- 4. どちらのくじを引きたい？ A: 確実に1600円もらえるくじ B: {60%→100円、10%→4400円、10%→4800円、20%→5000円} のくじ A: 1600円を確実に引けるくじ B: 確率によって報酬がかわるくじ
- 5. 意思決定理論 ● 意思決定理論とは、「人々はどのように意思決定（複数の選択肢からどれを 選ぶか）を行っているのか？」 という問いの探求 ● 社会科学（特に経済学）では、合理的な人間観の上に立てられたモデルが多 数。 ○ 合理的とは、一貫した物差しで選択肢を比べ、それに従ってより良い選択をするということ ● しかし実際は、人間が一貫した物差しで合理的な行動をするとは限らない！ ○ 先ほどの例だと、くじAの期待値が1600円、くじBの期待値が1980円で、期待値を最大化す るという合理的な行動を取るならくじBを引くはずだが、必ずしもそうはならない
- 6. 意思決定のモデル化の歴史 ● 期待効用理論 ○ サンクトペテルブルクのパラドックス (人間が必ずしも期待値を元に意思決定をしないことを表す) ■ 極めて小さい確率で極めて大きな報酬が発生することにより発散した期待値が、現実の感覚と相反す るという現象 ○ 必ずしも「金額 = 効用(嬉しさ)」ではない ● プロスペクト理論 ○ アレのパラドックス ■ 期待効用理論における独立性の公理に対する反例 ■ リスクがある選択では、発生確率によって一貫性のない選択を行う現象 ○ 必ずしも「実際の確率 = 人が感じる確率」ではない ● その後も、パラドックスを手がかりに理論を探索・拡張。 累積プロスペクト理論など、たくさんのモデルの乱立。
- 7. 機械学習アプローチと2つの工夫 くじを入力にして人間の意思決定を出力とする“理論”の探索は難しい ∵ 入出力ともに広大な探索空間（くじの選択肢がd個なら 。） 1. 大量のデータ a. 今までで最大の研究の30倍以上（約9000種類のくじ） 2. 解釈可能性を保つ a. 既存の理論的な枠組みを機械学習で表す
- 8. 既存の意思決定のモデルから機械学習のモデルへ ● 意思決定には様々な変数が考えられ、それを元に多くの意思決定モデルが構 築されている ● 意思決定を機械学習のモデルで表現する 期待値 効用 感覚的な確率 ・・・ 意思決定モデル (e.g. 期待効用理論, プロスペクト理論) 機械学習のモデル
- 9. 期待効用理論とプロスペクト理論をNNで探索 ● 期待効用（Expected Utility）理論の場合 ○ くじAの価値： ただし、x は金額、p は確率、u(•) が効用関数（例えば右上の図）。 ○ 機械学習(Neural Nets)は、効用関数の形の探索に限定。“Neural EU”と呼ぶ。 ● プロスペクト理論（Prospect Theory）では主観確率も考えるようにモデル を拡張 ○ くじAの価値： ただし、π(•) は主観確率関数。NNはuとπの形の探索にのみ使う。“Neural PT”と呼ぶ。
- 10. Neural EU vs Neural PT 1. Neural EUは、古典的に提案されてきたモデルを上回った。 a. ただし、モデルの評価は、cross-validationによって行う。 → 汎化性能を測っているので、複雑なモデルの過学習への罰則も考慮されている。 b. 学習された効用関数 u(•) の形は、既存理論と整合的。（逓減する・損失と利得で非対称） 2. Neural PTはNeural EUを上回った。 a. つまり、恐らく主観確率の効果は重要。 b. 主観確率関数 π(•) の形には、2~3割の確率を過大評価する傾向という新しい発見があった。
- 11. 既存意思決定モデルを使わない機械学習のモデル ● 既存のモデルを無視してデータのみから機械学習のモデルを構築 ● 機械学習のブラックボックスの話と同じように、解釈は困難になる 期待値 効用 感覚的な確率 ・・・ 意思決定モデル (e.g. 期待効用理論, プロスペクト理論) 機械学習のモデル 既存の意思決定モデルは使わない
- 12. 既存意思決定モデルを使わない機械学習のモデルの精度 事前にモデルを仮定しないモデルが、非常に良い精度に至った。 ● くじAを（くじBに対して）選ぶ確率： → ただし、滑らかな関数である以外に制約はなく、関数の解釈はムリ。 ● くじAの価値が、くじBとの比較においてのみ決まるので、 “文脈依存的（context-dependent）”なモデルだと言える。 学習データの量 汎化誤差
- 14. 複数の意思決定のモデルを混合した機械学習モデルの性能 二つのモデル（EUとPT）を使い分ける混合モデルが、少ないデータ量で汎化誤 差が小さくなり、Context-Dependentモデルと同等の精度を達成した。 ○ 既存のモデルが新しいモデルにもよい影響を与えている！ ○ EU/PTの u・π の形は、それぞれ既存理論に整合的。（下図B） ○ さらに、モデルの使い分けは、くじの確率 (probability-based) よりも結果報酬 (outcome- based) に依存していることがわかった。 学習データの量 汎化誤差
- 15. まとめ ● 大量データがあれば機械学習で意思決定モデルを探索が可能。 ● 「既存の意思決定モデルをベースにしたモデル」と「意思決定モデルを仮定しないContext- Dependentモデル」と「意思決定モデルを選択させる混合モデル」の3つを解説。 ○ 既存の意思決定モデルベースにしたモデルは、既存モデルでもよい性能を示した。 ○ Context-Dependentモデルは、解釈は困難だがデータが多量にあるときに最もよい性能を示した。 ○ 混合モデルは、Context-Dependentモデルより少ないデータで同等のパフォーマンスを示した。 ● 「少ない確率のとき過大評価する」、「戦略の選択は確率よりも報酬が影響する」という発 見もあった。 ● 1) 大量のデータを集め、 2) 既存の理論を帰納の枠組みとして生かしながら、 3) 機械学習技術をフルに使って（汎化誤差の最小化をアルゴリズミックに行い）、 4) 広大な空間から理論を探索する という方法論は強力で、意思決定理論以外（例えば、道徳的判断やリスク認知など）同様の革新的な研究をも足ら せる可能性がある
- 16. チャンネル紹介 ● チャンネル名: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル ● URL: https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg ● チャンネルの内容 ○ 経営・データサイエンス・開発に関する情報を発信しています。 ○ 例: アジャイル開発、データパイプライン構築、AIで使われるアルゴリズム4種類など ● noteでも情報発信しています → https://note.com/kenichiro
Hinweis der Redaktion
- 今回は、人間の意思決定を機械学習でモデル化できるのかというテーマでお話します。 意思決定理論と機械学習というなかなか交わることのなかった分野を、融合するとどんな結果が出るのか、そして機械学習で人間の意思決定を表現するとはどういうことかを解説します。 この動画を見ることで、機械学習の大きな可能性と既存手法の重要性について学べると思います。 ぜひ最後までご視聴ください。 このチャンネルでは、データサイエンスにからんだ研究論文の紹介や、他には開発や経営の話をしています。 興味のある方は是非チャンネル登録をよろしくお願いいたします。
- まず意思決定理論と機械学習について簡単に説明します。 意思決定理論とは、人間がどのように意思決定をするかなどを研究した分野です。 意思決定理論では、サンクコスト効果や決定回避の法則など、ビジネスや実生活でも多く使える発見がされています。 人間が必ずしも合理的に行動しないからこそ、発展してきた分野とも言えます。 一方、機械学習は、データを元に予測モデルを構築し判断をします。 ある意味、データに基づいた合理的な判断をしているとも言えます。 機械学習は近年飛躍的な進化を遂げており、人間が判断するよりも正しい判断ができる領域も数多く出てきています。 今回は、人間がしなければいけない意思決定をAIによって正しく判断するという話ではなく、たびたび不合理な行動をする人間の意思決定自体を機械学習でモデル化する研究を紹介します。 曖昧性のある人間の判断を、データに基づくAIの世界に置き換えるということです。
- 今回紹介する論文は、人間の意思決定理論に大規模データを用いた実験と機械学習を使ったというタイトルの論文を紹介します。 この論文は2021年にサイエンスで発表されたばかりの論文です。 機械学習を用いて、人間の意思決定を説明するモデルを探索しています。 論文内では、既存モデルをベースにした機械学習モデル」と「既存モデルを使わない機械学習モデル」と「既存モデルに選択を加えた混合の機械学習モデル」の3つで、既存手法よりよいパフォーマンスが実現できたことなどが論じられています。 それでは解説していきます。
- まずは人間の意思決定とはどんなものかについて説明します。 ここに2つのくじが存在していたとします。 Aは1600円が確実にもらえるくじ。 Bは確率によって報酬がかわるくじで、60%の確率で100円になるが、10%の確率で4400円、10％の確率で4800円、20%の確率で5000円が手に入ります。 つまり、40%の確率でAの2倍以上の報酬が得られるということです。 さて、この場合、みなさんならどちらのクジを選びますか？ このような選択が迫られたときに、人間がどのように意思決定をするかを考える学問が、今回の主要なトピックとなる意思決定理論です。
- 意思決定理論では、複数の選択肢があったときに、人がどのように意思決定をして選択をするかの問いを探求します。 ここで、社会科学の話を少しすると、社会学では人間が合理的な人間観のもとで行動することを前提に立てられたモデルが多いです。 合理的とは、特定の物差しに従って最適な選択肢を取るということです。 しかし、みなさん感覚で分かると思うのですが、人間が合理的な行動をするとは限らないんですね。 例えば、さきほどのクジの例だと、くじAの期待値が1600円でくじBの期待値が1980円だったので、期待値を最大化するという合理的な行動を取るのであれば、くじBを引くことが合理的となります。 しかし、実際は、確実に1600円もらえるくじAを選ぶという、期待値を最大化するという物差しでは非合理的な行動をする人もいます。 期待値を信じる人とリスクを極端に嫌う人と色々いるということですね。
- ちょっとした例でも分かるのですが、人間の意思決定は単純ではありません。 そのため、意思決定のモデルとして様々なモデルが研究されてきています。 有名なものとしては期待効用理論やプロスペクト理論などが挙げられます。 期待効用理論では、サンクペテルブルクのパラドックスという期待値が無限になる場合でも、その期待値と実際の人間の感覚が反することもとに効用関数を使ったモデルで表しています。 実際に得られる報酬と得られる嬉しさ、つまり効用が一致しないというモデルになっています。 期待効用理論では、選択肢を比べる場合に、同じ結果をもたらす部分は選択に影響を与えないという独立性を前提としています。 しかし実際は、アレのパラドックスという、リスクがある選択に対して、発生確率によって人間は一貫性のない選択をすることがあるという現象があります。 これは期待効用理論前提としている独立性に反するものです。 そこで主観的な期待値の関数をモデルに組み込んだものがプロスペクト理論です。 実際の確率と人が感じる確率は必ずしも一致しないということです。 プロスペクト理論では、人は損を避けることを優先する傾向があるなど面白い性質などが発見されています。 今回の本題とは少しずれるのですが、非常に面白いので興味のある方はぜひこれらの理論を調べてみてください。 この他にも、いろいろなパラドックスを手がかりに意思決定の理論は広がっており、多くのモデルが乱立している状態となっています。
- では、意思決定理論に機械学習を使ったアプローチをするためにはどうすればよいでしょうか。 クジの入出力から、意思決定の理論を探索するためには、広大な探索空間を探索する必要があるため、かなり難しい問題となります。 そこで、この研究では、機械学習を使うために、過去の研究の30倍のデータを用意し、さらに解釈可能性を保つため、既存の理論の枠組みをベースとして学習を行います。
- 既存の理論的な枠組みを機械学習に適用するイメージについて解説します。 (アニメーション) 意思決定理論では、期待値や効用や感覚的な確率など、意思決定に影響する様々な変数が考えられており、それを元に多くの意思決定モデルの関数が構築されています。 (アニメーション) この意思理論の様々な関数を、機械学習で探索していくことで、意思決定モデルの機械学習によるモデル化を行います。
- ここで、意思決定理論における関数とはどんなものかについて説明します。 期待効用理論の場合、くじの価値は効用関数と確率の掛け算で表すことができます。 この効用関数を機械学習のニューラルネットを用いて探索していきます。 このようにして最適化していく機械学習のモデルをNeural EUと呼びます。 EUとはExpected Utilityの略で期待効用を意味します。 同様にプロスペクト理論の場合は、効用関数に更に主観確率関数がモデルに組み込まれます。 プロスペクト理論をベースにしたモデルでは、主観確率関数と効用関数の2つをニューラルネットで探索するします。 プロスペクト理論とニューラルネットを融合したモデルをNeural PTと呼びます。 PTはProspect Theoryで、プロスペクト理論を意味します。 数式が出てきて少しわかりにくい部分もあると思うのですが、期待効用理論とプロスペクト理論のそれぞれでモデルを表す関数があり、その関数の探索をニューラルネットで行うと理解していただければ十分です。
- では、既存の意思決定モデルである期待効用理論とプロスペクト理論をベースにした機械学習のモデルのパフォーマンスがどうだったかについて説明します。 効用期待理論をベースにしたニューラルネットであるNeural EUは、機械学習を使わない既存モデルを上回ったという結果が出ています。 そして、機械学習によって学習された効用関数は、既存理論で発見された性質を持っていたということです。 次に、プロスペクト理論をベースにしたニューラルネットであるNeural PTは、Neural EUよりも高い性能を示しました。 おそらく、Neural EUに含まれる主観確率が、パフォーマンスによい影響を与えていると考えられます。 NeuralEUで作成された主観確率の関数を観察すると、意思決定時に2 ~ 3割の確率を過大評価するという新しい発見ができたということです。 機械学習によって新しい発見がされたというのは面白いですね。
- 次に、既存の意思決定モデルを使わない機械学習のモデルについて説明します。 期待値や効用、感覚的な確率などの変数を前提としないので、学習されたモデルを解釈することが難しくなります。 機械学習のブラックボックスを許容して、人間と同じような振る舞いを真似ることができるAIを作るということですね。 ちなみに、過去にブラックボックスなAIを解釈するための手法としてLIMEやSHAPなどを紹介しています。 AIと解釈可能性について興味のある方はそちらを参照してください。
- では、実験結果を紹介します。 下にあるグラフが実際の論文に載っている性能を比較したグラフです。 縦軸が汎化誤差で下に行くほど性能がよくて、横軸が学習に使うデータの量で右に行くほど多くのデータを利用していることを表します。 線が多くてわかりにくいと思うのですが、着目していただきたいのは、青い線のNeural EUと赤い線のNeuralPT、そして、紫の線の意思決定モデルを仮定しないContext-Dependentのモデルの3つです。 意思決定モデルを仮定しない機械学習のモデルは、くじの価値が比較においてのみ決まるので、Context-Dependentつまり文脈依存とよんでいます。 紫の線のContext-Dependentモデルは、データが少ない状態では汎化誤差が大きく、データが増えることで最もよい性能を示しているということが分かります。 学習には多くのデータを必要とするが、大量のデータがあれば高い性能を出すことができるということですね。 この結果から、大量のデータがあり、かつ解釈が必要ない場合で、汎化誤差をとにかく小さくしたいのであれば、意思決定モデルを仮定しないでモデルを組んだほうが良さそうに見えますね。
- 最後に、既存の意思決定モデルの混合モデルを使った機械学習モデルを紹介します。 人は、そのときどきで意思決定の戦略を大きく変えたりします。 つまり同じ人でも複数の意思決定モデルを選択しているということです。 そこで、このモデルでは、複数の意思決定モデルを選択できるように機械学習の混合モデルを構築します。
- このスライドが、混合モデルと意思決定モデルを使わないContext-Dependentを比較したものです、 混合モデルは少ないデータ量で汎化誤差が小さくなり、Context-Dependentモデルと同等の精度を達成できていることがわかります。 つまり、混合モデルで使った既存の意思決定モデルの知見が、機械学習モデルを最適化に貢献していると考えられます。 ちなみに、この混合モデルの中で使われた、効用関数や主観確率関数は既存理論に整合していることもわかっています。 そして、クジの確率よりも報酬がモデルの選択に依存しているという発見もされています。
- まとめをします。 今回は2021年にサイエンスに投稿された、「意思決定理論に機械学習のモデルを用いた論文」を紹介しました。 この論文では、従来の30倍ものデータを使って、機械学習で意思決定モデルを探索できると実験的に示されていました。 論文内で紹介されていた機械学習を用いた手法は3つで、ひとつは、既存の意思決定モデルをベースとしたモデル、２つめが意思決定モデルを仮定しないContext-Dependentモデル、そして３つめが意思決定モデルを選択させる混合モデルです。 意思決定モデルをベースにしたモデルでは、既存のモデルおりもよい性能が出ていました。 Context-Dependentモデルは、解釈が難しくなってしまうけれど、データが多量にある場合に、最も良い性能を出すことが分かりました。 そして、最後の混合モデルでは、Context-Dependentモデルと同様のパフォーマンスを少ないデータで実現できることが分かりました。 また今回の紹介した実験の中で、人間が少ない確率を過大評価することや、戦略の選択には確率よりも報酬が影響するという発見もありました。 今回の論文で論じられているように、大量のデータを集め、既存の理論の枠組みを活かしながら、機械学習の技術をフルに使って広大な空間から理論を探索するという方法は、意思決定理論以外でも革新的な研究をもたらす可能性が高いといえます。 ぜひ、色んな分野で機械学習を活用できないか検討してみてください。
- 最後にチャンネルの紹介をさせてください。 このチャンネルでは、経営やデータサイエンスや開発の話をしていきます。 聞きたい話のリクエストも募集中です。 もし、この動画が役に立ったら高評価とチャンネル登録をお願いいたします。