Weitere ähnliche Inhalte
Mehr von Deep Learning JP (20)
Kürzlich hochgeladen (11)
【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs (EMNLP 2022)
- 1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Breakpoint Transformers for Modeling and Tracking
Intermediate Beliefs” (EMNLP 2022)
Istuki Okimura, Matsuo Lab M1
- 3. 1 書誌概要
タイトル: Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs
出典: EMNLP2022
https://arxiv.org/abs/2211.07950
著者: Kyle Richardson, Ronen Tamari, Oren Sultanなど
(The Hebrew University of Jerusalem, AllenAI,…)
選んだ理由:移りゆく事象をモデルが把握する方法を学習させるという
モチベーションに興味があった
3
- 9. 4 提案手法
9
学習方法
命題推論
𝑛個のストーリーからなるデータセット𝐷に関して、
各ストーリー𝑠 𝑖 に𝑚個のブレークポイント𝐵 𝑖 が存在するとする。
それぞれのブレークポイント𝑏𝑗に対して、 𝑡個の命題𝑝𝑘が存在し、
それぞれのラベル𝑦𝑗,𝑘
𝑖
が与えられた時、
そのラベルに対する論理式は𝑌
𝑗,𝑘
(𝑖)
𝑏𝑗, 𝑝𝑘 (=True or False)で表される。
𝑌
𝑗,𝑘
(𝑖)
𝑏𝑗, 𝑝𝑘 に対応するモデルの確率として、 Pr 𝑦𝑗,𝑘
𝑖
を用いると、損失は以下の式で表される。
ℒ𝑝𝑟𝑜𝑝 =
𝑖=1
𝑛
𝑗=1
𝑚
𝑘=1
𝑡
− log Pr 𝑦𝑗,𝑘
𝑖
- 10. 5 実験設定
10
用いるデータセット1: CLUTRR [Shinha et al., 2019]
概要
人間が記述した家族関係を持つストーリー上のQA
作成方法
• クリーンサブセットに対し、各文の後に
ブレークポイントを追加する。
• その後、明示的なストーリーに由来する命題と
CLUTRRを拡張した証明タスク用に由来する命題を作
成し、基本的な命題のセットとする。
• 基本命題から否定命題や未知命題を含む追加命題を
一般的な制約を用いて追加する。
* イベント数の長さによってi.i.dとgeneralizationの
設定を作成し、実験する。
- 11. 5 実験設定
11
用いるデータセット2: bAbI QA [Weston et al., 2016]
概要
ミクロ世界のエージェントに関する
ストーリー上のQA
* CLUTRRより全体的にイベントが長い
作成方法
• 各文の後にブレークポイントを追加する。
• Dyna-bAbIタスク生成器[amari et al., 2022]を
用いて基本的な命題のセットを作成する。
• 基本命題から否定命題や未知命題を含む
追加命題を一般的な制約を用いて追加する。
* 標準的な設定(i.i.d)と難易度の高い設定(hard QA)で
実験する。
出典:https://arxiv.org/pdf/1502.05698.pdf
- 18. DEEP LEARNING JP
[DL Papers]
“Breakpoint Transformers for Modeling and Tracking
Intermediate Beliefs” (EMNLP 2022)
Istuki Okimura, Matsuo Lab M1
http://deeplearning.jp/