[DL輪読会]It's not just size that maters small language models are also few shot learners
1. Exploiting Cloze Questions for Few Shot Text Classification and
Natural Language Inference (EACL, 2021)
It’s Not Just Size That Matters: Small Language Models
Are Also Few-Shot Learners (NAACL, 2021)
1
Kazuki Fujikawa
2. サマリ
• 書誌情報
– Exploiting Cloze Questions for Few Shot Text Classification and Natural Language
Inference
• EACL 2021
– It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners
• NAACL 2021, Outstanding Long Papers
• 著者
– Timo Schick, Hinrich Schütze
• 概要
– 自然言語処理におけるFew-shotタスクに対する新たなアプローチ: PET・iPETを提案
(EACL2021)
– PET・iPETの各モジュールに対する有効性を検証し、GPT-3に対する優位性を確認
(NAACL2021)
2
13. • SuperGLUEタスク [Wang+, 2019]
実験
13
BoolQ [Clark+, 2019]
文章: p を読んで、後の問い: q に
答えるタスク
(QAタスク)
p. Question: q? Answer: _.
p. Based on the previous passage, q? _.
Based on the following passage, q? _. p
CB [De Marneffe+, 2019]
RTE [Dagan+, 2006]
p が正しい場合、必ず h が正しく
なるかどうかを推定するタスク
(含意認識タスク)
h? | _. p
“h”? | _. “p”
h? | _, p
“h”? | _, “p”
yes, true
no, false
yes
no
maybe
文章: p は、c1, c2 のどちらと
因果関係があるかを推定するタスク
(因果推論タスク)
COPA [Gordon+, 2012]
“c1” or “c1”? p, so _.
c1 or c1? p, so _.
c1 or c2
そのまま
2文 s1, s2 間で、単語 w が同じ
意味で使われているかどうかを
推定するタスク
(語義曖昧解消タスク)
WiC
[Pilehvar and Camacho-
Collados, 2019]
“s1” / “s2”. Similar sense of “w”? _.
s1 s2 Does w have the same meaning in
both sentences? _
yes
no
タスク名 概要 パターン例 回答例
14. • SuperGLUEタスク [Wang+, 2019]
実験
14
WSC [Levesque+, 2011]
文: s 中の代名詞: p が指す
名詞: n を推定するタスク
(共参照解析)
s The pronoun ‘*p*’ refers to _.
s In the previous sentence, the pronoun
‘*p*’ refers to _.
MultiRC
[Khashabi+, 2018]
文章: p を読んで、後の問い: q に
対する回答: a が正しいかどうかを
答えるタスク
(QAタスク)
p. Question: q? Is it a ? _.
p. Question: q? I the correct answer
“a”? _.
該当する名詞を
抜き出して回答
yes/true
no/false
文章: p 中の、空欄: q に当てはまる
単語を、候補: a から選ぶタスク
(穴埋め問題)
ReCoRD [Zhang+, 2018]
タスク自体が穴埋め問題であるため、
タスクの文章: p, 空欄: q を
そのまま利用
回答候補のうち
正しい単語を
回答
タスク名 概要 パターン例 回答例
26. References
• Schick, Timo, and Hinrich Schütze. "Exploiting Cloze Questions for Few Shot Text Classification and Natural
Language Inference.” In EACL 2021.
• Schick, Timo, and Hinrich Schütze. "It's Not Just Size That Matters: Small Language Models Are Also Few-
Shot Learners.” In NAACL 2021.
• Brown, Tom B., et al. "Language models are few-shot learners." In NeurIPS 2020.
• Wang, Alex, et al. "Superglue: A stickier benchmark for general-purpose language understanding
systems." In NeurIPS 2019.
26