in proceedings of EMNLP2015

1. 2015/10/24
EMNLP2015読み会@PFI
kiyukuta

2. 文の要約
文を短くする（言い換えとかも含めて）
!

3. 文の要約
文を短くする（言い換えとかも含めて）
!
Document Summarization
文書から短い文書を作る
Sentence Compression
文から単語を削除して短くする
語順の入れ替えも無し

4. headline generationやvery short summary
とか言われるタスクとほぼおなじ
NN機械翻訳で話題のAttentionモデルを移植
（ただし，各コンポーネントを簡易化している）
背景
This
（3.2節の最後）
機械翻訳からインスパイアされた手法が以前から存在
＋
最近はNeural Networkベースの機械翻訳が盛ん

5. 提案手法
まず論文の図を使ってざっくり説明
そのあと式を使って説明

6. Figure1. 提案手法の処理（終了時）の例
論文にある実例でざっくりイメージをつかむ

7. …

8. …

9. …
？

10. …
？
結論からいうと
入力単語ベクトルを荷重平均
して使うときの荷重

11. 途中状態で説明

12. システムが russia calls for joint front まで出力した状態
次の出力単語 (against)をどう決めるか
途中状態で説明

13. weighted
average
次の単語 をどう決めるか
過去の自分の予測単語c個と入力文中の単語を利用
単語ベクトルの荷重平均ベクトル

14. 荷重はそのときの文脈情報でその都度決める
attention!!
＝

15. 式使った説明

16. 原文xが与えられた時の要約文yの条件付き確率

17. 今回の出力単語 過去c個の出力入力

19. calls for
ニューラル言語モデル[Bengio2003]
文脈から次の単語を予測
softmax
大きく

20. 加重平均ベクトル を求める関数
３種類
うち一つが本命のattention

21. エンコーダー１
単なる単語ベクトルの平均
- 過去の出力情報使わない
- 全ての単語が同じ重み
使わない

22. エンコーダー２
…
…
…
…
- 畳み込み
- max-pooling (size: 2)
のセットをn回繰り返す
これも使わない
↑ は無いけどイメージとしては

23. エンコーダー3

24. エンコーダー3

25. エンコーダー3
……

26. ( )
エンコーダー3
……
i
＝

27. ( )
エンコーダー3
……
i
＝

28. ( )
エンコーダー3
……
i
＝

29. エンコーダー3
……

30. エンコーダー3
……
……

31. エンコーダー3
……
weighted
average
……

32. エンコーダー3
……
weighted
average
……

34. 負の対数尤度を最小化

35. ビームサーチ

36. 時には原文の単語をそのまま抽出した方が良いかもしれない
提案モデル
unigram素性
bigram素性
trigram素性
reordering素性
を学習することで
提案モデルのスコアが低い時はそのまま抽出

37. 細かい設定は割愛
DUC2003,2004の公式データ : 500事例
Gigaword corpusの一文目とタイトル : 400万事例
実験

38. from authors slide
http://people.seas.harvard.edu/ srush/emnlp2015_slides.pdf
抽出のやつ

39. ROUGEによる既存研究との比較

40. ROUGEは「正解との表層の被り」がスコアになるので
Extraction要素を加えたABS＋の方が良い

41. 場所や人などのキーワードは拾える
!
構文的に誤った並べ替えが発生してしまったり
事例観察

42. 誤った主語

43. 人手要約者の「短くしたいバイアス」があるのでnzみたいな省略は
頻繁に起きている（はず）なので，対応が取れている（はず）
foreign minister→fmも同様
なんかすごい言い換え
+

44. なんかすごい言い換えてるけど間違っている
more examples in the author s slide:
http://people.seas.harvard.edu/ srush/emnlp2015_slides.pdf