社内輪読会で紹介した「Topical Keyphrase Extraction from Twitter」の資料

1. Topical Keyphrase
Extraction from Twitter
Wayne Xin Zhao, Jing Jiangm Jing He, Yang Song,
Palakorn Achananuparp, Ee-Peng Lim, Xiaoming Li
2014/05/07 id:skozawa
論文輪読会

2. 概要
● Tweetの要約
○ キーフレーズは文書のトピックを要約に有用
● Tweetからキーフレーズを抽出する最初の研究
● トピックのキーフレーズ抽出
○ Food: chicken rice, ice cream, fried chicken
○ Sports: manchester united, tiger woods, grand slam

3. 背景
● ツイッターの2つの特徴
○ 1) 短い、有用な情報を含んでいるとは限らない
○ 2) 多様性がある
● 従来手法は各文書からトピックのキーフレーズを抽出
○ 1ツイートからのキーフレーズ抽出は意味がない
○ ツイート全体からではキーフレーズを正しく抽出できない
● トピックごとにキーフレーズを抽出

4. アプローチ
● グラフベースの教師なしキーフレーズ抽出
○ Liu et al. (2010) がベース
1) トピックの抽出
2) キーフレーズの抽出
● 提案点
○ Context-sensitive Topical PageRank
○ relevance、interestingnessを考慮したスコアリング
コンテキスト（トピック）を考慮することで
キーフレーズ抽出の性能を向上

5. Automatic Keyphrase Extraction via
Topic Decomposition, Liu et al. (2010)
1. LDAによるトピック抽出
2. Topical PageRankによるキーフレーズ抽出
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

6. Automatic Keyphrase Extraction via
Topic Decomposition, Liu et al. (2010)
1. LDAによるトピック抽出
2. Topical PageRankによるキーフレーズ抽出
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

7. トピック
rice
bread
chickenice
eat
TopicA
TopicC
game
football
match
win
arsenal
hot
rain
air
sun
morning
song
bieber
music
video
youtube
TopicB TopicD
iphone
social
twitter
google
media
TopicE
● トピック＝単語の集合

8. LDAによるトピック抽出
● LDA (Latent Dirichlet Allocation)
● 文書集合からトピックを抽出
○ トピック数Nは事前に与える
● トピックを抽出することにより、文書のトピックを推定も可能
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

9. Automatic Keyphrase Extraction via
Topic Decomposition, Liu et al. (2010)
1. LDAによるトピック抽出
2. Topical PageRankによるキーフレーズ抽出
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

10. Topical PageRankによるキーフレーズ抽出
1. 単語グラフの生成
2. Topical PageRankによるスコア計算
3. スコアを用いたキーフレーズ抽出
4. 文書のキーフレーズ取得
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

11. 単語グラフの生成
● 文書中の単語の共起性を利用して構築
○ ウィンドウ幅Wの共起数
○ 有向、無向かは性能には影響しない
We construct a word graph according to word co-occurrences within the given document.
W=5の場合
We
construct
word
graph
co-ocurrences
document
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
名詞と動詞のみで
グラフを構築した場合

12. Topical PageRankによるスコア計算
● PageRankに基づく
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

13. PageRank
● Webページの重要度を決定するアルゴリズム
○ 引用、被引用関係を利用
R(v): vのスコア
e(vj, vi): vjからviへのエッジの重み
O(vj): vjからの重みの総和
V: ノード数
λ: 制動係数 (0≦λ≦1)

14. PageRank
● Webページの重要度を決定するアルゴリズム
○ 引用、被引用関係を利用
R(v): vのスコア
e(vj, vi): vjからviへのエッジの重み
O(vj): vjからの重みの総和
V: ノード数
λ: 制動係数 (0≦λ≦1)
λ=1 ID=1 ID=4 ID=5
ランダム

15. PageRank
● Webページの重要度を決定するアルゴリズム
○ 引用、被引用関係を利用
R(v): vのスコア
e(vj, vi): vjからviへのエッジの重み
O(vj): vjからの重みの総和
V: ノード数
λ: 制動係数 (0≦λ≦1)
この計算を100回、もしくは、各ノードのスコ
アの差分が0.001未満になるまで繰り返す

16. Topical PageRankによるキーワードスコアの計算
● PageRank
● Topical PageRank
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)
トピックzを考慮（ランダムではなく、
トピックにバイアスをかける)

17. キーフレーズスコアの計算
● Topical PageRankのスコアを利用
○ キーフレーズの候補： (形容詞)* (名詞)+
○ キーフレーズpのスコアは各キーワードの総和
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

18. 文書のキーフレーズ抽出
● 文書のキーフレーズ取得
○ キーフレーズのスコアに
文書におけるトピックの割合をかける
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

19. Topical PageRankによるキーフレーズ抽出
1. 単語グラフの生成
2. Topical PageRankによるスコア計算
3. スコアを用いたキーフレーズ抽出
4. 文書のキーフレーズ取得
Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

20. Topical Keyphrase Extraction from Twitter
1. Twitter-LDA(Zhao et. al, 2011)によるトピック抽出
2. Topical PageRankによるキーフレーズ抽出
Context-sensitive
Topical PageRank
relevance and
interestingness
1ツイート=1トピック
なので不要

21. Context-sensitive Topical PageRank
● Topical PageRank
● Context-sensitive Topical PageRank
エッジのスコア計算でトピックを考慮

22. Keyphrase ranking by relevance and interstingness
● Relevance
○ 良いキーフレーズはトピックに強く関連
○ newsトピック： ○president obama, ×math class
● Interestingness
○ 良いキーフレーズはユーザの関心を惹く
○ musicトピック：justin bieber > song player
Interestingness Relevance

23. Relevance
● キーフレーズ k=(w1,w2,...,wN)
全ツイート中のwの頻度
トピックｔのツイート中のwの頻度

24. Relevance
● キーフレーズ k=(w1,w2,...,wN)
全ツイート中のwの頻度
トピックｔのツイート中のwの頻度
疑問：PageRankを利用する場
合との本質的な違いは何か

25. Interestingness
● リツイートの割合を利用
● リツイートされてないツイートも考慮(add-one smoothing)
候補キーフレーズを含む
平均ツイート数

26. キーフレーズのスコアリング
● Liu et al.
● 提案

27. 実験設定
● データ
○ 20週間のシンガポールのユーザのツイート
■ ストップワード、低頻度語、ツイート数の少ないユーザを除去
● トピック抽出
○ トピック数30でTwitter-LDA
○ 実験では、そのうち10のトピックを利用

28. 評価実験
● 評価指標
○ MAP(mean average precision)
○ ランキング上位に適切なキーフレーズがあると高い
キーワードスコアリング キーフレーズスコアリング MAP
TPR (Liu et al.) キーワードスコアの総和(Liu et al.) 0.5984
CTPR (proposed) キーワードスコアの総和(Liu et al.) 0.6608
CTPR (proposed) relevance 0.6696
CTPR (proposed) relevance + interestingness 0.6694

29. relevanceは有効?
キーワードスコアリング キーフレーズスコアリング MAP
TPR (Liu et al.) キーワードスコアの総和(Liu et al.) 0.5984
TPR (Liu et al.) キーワードスコアの積 0.6379
CTPR (proposed) キーワードスコアの総和(Liu et al.) 0.6608
CTPR (proposed) キーワードスコアの積 0.6688
CTPR (proposed) relevance 0.6696
確率の積にしたのが有効であって、
relevanceの有効性はあまりない気もする

30. キーフレーズの取得例

31. Interestingnessの効果
● 固有名詞の取得数が増加
○ 固有名詞を含んだツイートのほうがリツイートされやすい
T5 (Movie-TV) T12 (News) T20 (Music) T25 (Sports)
Relevance 8 9 16 11
Relevance +
Interestingness
10 12 17 14

32. まとめ
● Tweetの要約のため、キーフレーズを取得
● グラフベースのキーフレーズ抽出
○ Context-sentive Topical PageRank
○ relevanceとinterestingnessを用いたスコアリング
コンテキストを考慮することにより
キーワードスコアリングの性能向上
relevance, interestingnessを用いることにより
キーフレーズスコアリングの性能向上
relevanceというよりは確率の積にしたことが有効そう