動画 https://www.youtube.com/watch?v=PCKnqsgVu9M&list=PL6SnxjlP6lpHdWaieYa0BGVuj8fgfiIw1&index=45

1. 文献紹介
2014/12/05
長岡技術科学大学
自然言語処理研究室
岡田 正平

2. 文献情報
Duyu Tang, Furu Wei, Bing Qin, Li Dong, Ting Liu and Ming
Zhou
A Joint Segmentation and Classification Framework for
Sentiment Analysis
In Proceedings of the 2014 Conference on Empirical Methods
in Natural Language Processing, pp 477-487.
2014.
2014/12/05 文献紹介 2

3. 概要
• 典型的な sentiment classification (pipeline method)
segmentation → classification
– error propagation
• segmentation error は classification に影響
e.g.)〈bad, not bad〉, 〈a great deal of, great〉
2014/12/05 文献紹介 3

4. 概要
• 典型的な sentiment classification (pipeline method)
segmentation → classification
• 提案手法 (joint segmentation and classification, JSC)
segmentation classification
2014/12/05 文献紹介 4
sentiment-specific segmentor を学習

5. 概要
Joint segmentation and classification framework (JSC)
2014/12/05 文献紹介 5

6. 概要
• segmentation candidates をスコア付し，上位のものを
極性分類の素性として用いる
• segmentation の極性を予測，segmentator の更新に利用
• 訓練データは極性情報のみ
• SemEval 2013 の Twitter sentiment classification dataset
にて state-of-the-art な手法と同等の性能を達成
2014/12/05 文献紹介 6

7. 手法

8. 手法
3種のモデルを利用
1. candidate generation model (CG)
2. segmentation ranking model (SEG)
3. sentiment classification model (SC)
2014/12/05 文献紹介 8

9. 手法
2014/12/05 文献紹介 9
iteration※上向き矢印：update model
下向き矢印：use model

10. 手法
2014/12/05 文献紹介 10
iteration※上向き矢印：update model
下向き矢印：use model

11. Candidate generation
• phrase table による制約を用いたビーム探索を利用
• Mikolov et al., 2013
𝑓𝑓𝑓𝑓 𝑤𝑖, 𝑤𝑗 =
𝑓𝑓𝑓𝑓 𝑤𝑖, 𝑤𝑗 − 𝛿
𝑓𝑓𝑓𝑓 𝑤𝑖 × 𝑓𝑓𝑓𝑓(𝑤𝑗)
– 閾値を設け，phrase table を取得
2014/12/05 文献紹介 11

12. Candidate generation
• 分割数が少ない方から𝑁個を候補とする
2014/12/05 文献紹介 12

13. 手法
2014/12/05 文献紹介 13
iteration※上向き矢印：update model
下向き矢印：use model

14. 手法
2014/12/05 文献紹介 14
iteration※上向き矢印：update model
下向き矢印：use model

15. Segmentation ranking
segmentation candidates に実数値のスコア付け
𝜙𝑖𝑖 = exp 𝑏 + � 𝑠𝑠𝑒𝑖𝑖𝑖 ⋅ 𝑤 𝑘
𝑘
𝑠𝑖 : 𝑖番目の文
Ω𝑖𝑖 : 𝑠𝑖の𝑗番目の segmentation candidate
𝜙𝑖𝑖 : Ω𝑖𝑖のスコア
𝑠𝑠𝑒𝑖𝑖𝑖 : Ω𝑖𝑖の𝑘番目の素性
2014/12/05 文献紹介 15

16. Segmentation ranking
損失関数
𝑙𝑙𝑙𝑙 = − � log
∑ 𝜙𝑖𝑖𝑗∈𝐻 𝑖
∑ 𝜙𝑖𝑖𝑗′∈𝐴 𝑖
+ 𝜆 𝑤 2
2
𝑇
𝑖=1
𝑇 : 訓練事例
𝐴𝑖 : 𝑠𝑖に対する全 segmentation candidates
𝐻𝑖 : 𝑠𝑖の segmentation candidates 中で
予測された極性が正解と一致しているもの
2014/12/05 文献紹介 16

17. Segmentation ranking
素性 𝑠𝑠𝑒𝑖𝑖𝑖
• Segmentation-Specific Feature
• Phrase-Embedding Feature
– Skip-Gram model (Mikolov et al., 2013)
2014/12/05 文献紹介 17

18. Segmentation ranking
素性 𝑠𝑠𝑒𝑖𝑖𝑖
• Segmentation-Specific Feature
• Phrase-Embedding Feature
– Skip-Gram model (Mikolov et al., 2013)
2014/12/05 文献紹介 18

19. Segmentation ranking
2014/12/05 文献紹介 19

20. Segmentation ranking
素性 𝑠𝑠𝑒𝑖𝑖𝑖
• Segmentation-Specific Feature
• Phrase-Embedding Feature
– Skip-Gram model (Mikolov et al., 2013)
– classification model でも利用
2014/12/05 文献紹介 20

21. Segmentation ranking
畳み込み関数により導かれたベクトルの結合で表現される
𝑝𝑝 𝑠𝑠𝑠 = 𝑝𝑓𝑚𝑚𝑚 𝑠𝑠𝑠 , 𝑝𝑓 𝑚𝑚𝑚 𝑠𝑠𝑠 , 𝑝𝑓𝑎𝑎𝑎(𝑠𝑠𝑠)
𝑝𝑝 𝑠𝑠𝑠 𝑥 = 𝜃 𝑥 𝐿 𝑝𝑝 𝑠𝑠𝑠
𝜃 𝑥 : 𝑝𝑓𝑥の畳み込み関数
𝐿 𝑝𝑝 𝑠𝑠𝑠
: 結合された𝑠𝑠𝑠中の単語の列ベクトル
𝐿 𝑝𝑝 : phrase embedding の lookup tabke
2014/12/05 文献紹介 21

22. 手法
2014/12/05 文献紹介 22
iteration※上向き矢印：update model
下向き矢印：use model

23. 手法
2014/12/05 文献紹介 23
iteration※上向き矢印：update model
下向き矢印：use model

24. Classification nodel
• 訓練事例を用いて教師あり学習
2014/12/05 文献紹介 24

25. 手法
2014/12/05 文献紹介 25
iteration※上向き矢印：update model
下向き矢印：use model

26. 実験

27. 実験 1
Twitter sentiment classification dataset in SemEval 2013
• 2値分類 (positive/negative) のみ
2014/12/05 文献紹介 27

28. 実験 1
2014/12/05 文献紹介 28

29. 実験 2
JSC と pipeline method の比較
pipeline 1:
bag-of-words
pipeline2:
segmentation
candidate with
maximum phrase
2014/12/05 文献紹介 29

30. 実験 2
JSC と pipeline method の比較
PF:
phrase embedding
SF:
segmentation-specific
CF:
classification-specific
2014/12/05 文献紹介 30

31. まとめ
Joint segmentation and classification framework (JSC)
state-of-the-art な手法と同等の精度達成
2014/12/05 文献紹介 31

32. References
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and
Jeffrey Dean. 2013. Distributed representations of words
and phrases and their compositionality. Conference on
Neural Information Processing Systems.
2014/12/05 文献紹介 32