Enriching Word Vectors with Subword Information

1. Sansan株式会社
R&D論文読み会(2017/11/29)
Enriching Word Vectors with Subword Information
Data Strategy & Operation Center, R&D Group, 高橋寛治
※図や式は論文より引用しています。

2. Enriching Word Vectors with Subword Information
1
Piotr Bojanowski and Edouard Grave and Armand Joulin and Tomas Mikolov
, Enriching Word Vectors with Subword Information, Transactions of the
Association for Computational Linguistics, Vol.5, pp.135-146, 2017
Skip-gramモデルを改良し、形態論を考慮できるよう文字単位で学習できるようにし
た

3. はじめに
2
単語表現の学習はNLP分野での課題
→大規模コーパスから統計で学習でき始めている
既存のWord2Vecは1単語に対して1つのベクトル（状態）
→形態論は無視
文字情報も組み込むと、いい分散表現が学習できるのでは？

4. 関連研究
3
形態論を使った研究
接頭辞や品詞などをモデルに組み込む
形態素から単語の表現を学習
文字ベースの研究
形態素解析や単語分割、品詞付与など成功事例が増えてきた
機械翻訳も文字単位で処理

5. Skip-gram
4
ある単語から周辺の単語を予測するモデル
画像はこちらから

6. Skip-gramから発展
5
単語予測のモデルはwt
に対してwc
のみを推定
単語がありそう・なさそうということも考慮して推定する
Nt,c
は負例（文脈にでなさそう）

7. 文字列も考慮
6
単語を使うと、語構成など考慮しないので、別のスコア関数で文字列を考慮する
whereの例（文字3-gram）
<wh, whe, her, er, re>, <where>
スコア関数
gw
は与えられたwに対するn-gram
Zg
はn-gramに対応するベクトル

8. 実験設定
7
様々な言語で実験を行う
データはWikipediaから（アラビア語、チェコ語、ドイツ語、英語など）
ベースライン
Word2vecパッケージのskipgramとcbow

9. 人間による類似度との関係
8
スピアマンの順位相関係数で、人の判断と単語ベクトル表現の関係を評価
いろいろな言語のタスクを用いて評価

10. 9
ほとんどのタスクで提案モデルsisgが良い
sisg-とsisgの比較から、文字列情報は有効であることがわかる

11. 文字列情報が有効な例
10
ドイツ語の卓球：Tischtennis
文字列だと、’Tennis’という情報を使える
低頻度語にも有効
文字列が単語表現の学習に寄与していると考えられる

12. 単語類推タスク
11
A is to B as C is to D（AとBの関係はCとDの関係と同様である）において、Dを予
測するタスク
Semanticには寄与しないが、Syntacticには寄与

13. コーパスサイズと性能
12

14. よく似てる単語例
13

15. 未知語の写像
14
x軸が未知語で、赤がCosine類似度が高い
connecとlinkが高いのが面白い

16. まとめ
15
文字列情報も考慮したSkip-gramモデルを提案
人の類似の感じ方に近づいた
未知語に対してうまく写像できる
すごいのは、実装が公開されており爆速で学習できる

17. 16