Text processing like humans do : visually attacking and shielding nlp systems presentation in paper reading

1. Text Processing Like Humans Do:
Visually Attacking and Shielding NLP Systems
Steffen Eger, Gözde Gül Şahin, Andreas Rücklé , Ji-Ung Lee, Claudia Schulz ,
Mohsen Mesgar, Krishnkant Swarnkar , Edwin Simpson , Iryna Gurevych
Ubiquitous Knowledge Processing Lab (UKP-TUDA)
Research Training Group AIPHES
Department of Computer Science, Technische Universität Darmstadt

2. 長澤 駿太(テツ)
- 法政大学理工学部応用情報工学科 B4
知的情報処理研究室(彌冨研) 所属
- ブログ書いてます(論文読みとか）
- https://tetsu316.hatenablog.com
- kaggleとかのコンペも好きです
- 好きなだけで強くはないです
研究分野
- 文字体系を考慮した自然言語処理
2
@tetsu316naga
iron316
自己紹介

3. 文献情報
Steffen Eger, Gözde Gül Şahin, Andreas Rücklé , Ji-Ung Lee,
Claudia Schulz, Mohsen Mesgar, Krishnkant Swarnkar ,
Edwin Simpson , Iryna Gurevych
Text Processing Like Humans Do:
Visually Attacking and Shielding NLP Systems
In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational
Linguistics: Human Language Technologies
arxiv : https://arxiv.org/abs/1903.11508

4. TL;DR
視覚的摂動を利用した攻撃Visual Perturber (VIPER)を提案
- 既存のSoTA手法のスコアの低下を確認
- VIPERに対して人間とNLPシステムにgapを確認
VIPERに対する防衛手法を提案
- 以下の３つの手法の提案
- Image-base embedding
- Adversarial training (AT)
- ルールベースによる対策

5. 背景
人間の視覚的な情報は文字を認識する上で重要
文字形状の似ている文字に置換されていても読むことが可能
機械学習などのNLPシステムでは
これらに対して弱い
視覚的
摂動

6. 提案手法 (VIPER)
視覚的な摂動を取り入れた文を自動で生成するVIPERを提案
- ベルヌーイ分布pの確率で置換
- 文字の置換候補を以下の方法で取得
- ICES (image-base character embedding space)
- 文字画像をベクトルに変換 (24*24 -> 576)
- K近傍(K=20)を使用
- DCES (description-base character embedding space)
- Unicode11.0.0に付与されている説明文を使用
- ECES (easy character embedding space)
- 人手によるアノテーション
- すべての文字はa-zA-Zに属する

7. 提案手法 (VIPER)
ELMo[Peter+ 2018]を用いた単語分散表現
- SELMo (standard ELMo)
- 単語表現を文字レベルから獲得する
- 文字レベルのembeddingに対してCNNを用いる
- VELMo (visually informed variant of ELMo)
- SELMoと同じ構成
- 文字表現にICESを用いる
[Peter+ 2018] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer, “Deep
contextualized word representations”, in NAACL 2018

8. 実験 (人間)
VIPERに対して人間がどれだけ修復能力を持つか
- 英語がnear-nativeかnativeのアノテータ6人が挑戦
- 設定パラメータ
- clean: VIPER(0,_), i.e., no perturbation
- VIPER(p,ICES) for p = 0.2,0.4,0.6,0.8
- VIPER(p,DCES) for p = 0.2,0.4,0.6,0.8
- VIPER(p,ECES) for p = 0.4,0.8
- 各条件最大20文

9. 結果 (人間)
- 置換の確率上がるに連れerrorは上がっていく
- ICESが高いのは「i」「l」「I」などが混合しやすいため
- 最低でも90%は修復することができてる

10. 実験 (NLP system)
4つのタスクに対してVIPERを評価
- G2P (Grapheme-to-phoneme) -> character level
- 単語に対する音素を求めるタスク
- POS tagging -> word level
- 単語に対する品詞付与
- Chunking -> word level
- 構文解析？(名詞句や動詞句などを付与)
- TC (toxic classification) -> sentence level
- 有害コメントor無害の二値分類
- kaggleのデータセットを使用
- sentence vectorにはword vectorのaverageを使用

11. 評価と結果 (NLP system)
VIPERを適用前後の比で評価
モデルは各タスクのSOTAを使用
pが大きくなると精度が下がっていくことを確認
G2P taskではSoTAの20％のほどの精度しか出ていない

12. 提案手法と実験 (防衛編)
VIPERに対して防衛手法を３つ提案
- AT (adversarial training)
- CE (character embedding)
- G2PではICES，それ以外ではVELMoを使用
- RBR (rule-base recovery)
- ECESを用いたrule-baseによる文字修復
評価
- 学習データにVIPER(0.2, DCES)をかけたもので学習
最終評価 防衛適応前後の比 攻撃適応前後の比

13. 結果 (防衛編)
- AT
- G2P以外のタスクでスコアの向上を確認
- 類似文字に対してATでは適切な表現を得られなかった
- CE
- 単語単位のタスクではスコアの向上がなかった
- ELMoのアーキテクチャには必要ない？

14. 結果 (防衛編)
- AT + CE
- 全タスクでスコアの向上を確認
- お互いが補うような形でスコアが上がっている？
- RBR
- 全体的にスコアの向上を確認
- RBRはほか比べかなりhardな手法
- 多言語の単語を意味がないものにしてしまう？

15. 結果まとめ
- RBRを用いる場合は機械翻訳に通してからの方が良い
- AT＋CEはCEのみよりもドメインシフトを抑えている
- CEだとl, i, Iなどの違いを吸収できず，違う単語に？
- 文字単位に対するCNNの機能が弱い
- すべてのアプローチを導入してもcleanなスコアより
かなり下回っている
- VIPER攻撃はそれだけNLPシステムに対して強い攻撃
- これらは人間とNLPシステムの大きな違い

16. 議論 (エラー分析)
TCタスクには有害コメントに対して６種類のフラグを持つ
- フラグの合計をTL(toxic level)と定義
これに対しVIPER, 防衛アプローチに対してTLの変化を確認
防衛アプローチを入れることでTLの変化を減らすことが可能
特定単語に対して摂動を加えるとTLの低下が起きる
- he などの単語には入れても効果なし

17. まとめ
視覚的摂動を利用した攻撃手法VIPERを提案
- 既存のSoTA手法の精度低下を確認
- VIPERに対して人間は強く，NLPシステムは弱い
VIPERに対する3つの防衛手法の提案
- 組み合わせることでより効果が高くなった
人間とNLPシステムのgapを埋めることが今後システムの
構築の上で重要になってくる