Weitere ähnliche Inhalte
Ähnlich wie はてなブックマークの新機能における自然言語処理の活用 (9)
Mehr von Shunsuke Kozawa (8)
Kürzlich hochgeladen (12)
はてなブックマークの新機能における自然言語処理の活用
- 15. Significant Terms Aggregation
"aggregations": {
"sample": {
"buckets": [
{
"key": "ようじ", "doc_count": 16,
"score": 11.906, "bg_count": 114
},
{
"key": "スイスフラン", "doc_count": 3,
"score": 7.955, "bg_count": 6
},
{
"key": "origa", "doc_count": 24,
"score": 6.005, "bg_count": 508
},
…
]
} }
{
“aggs”: {
“sample”: {
“significant_terms” : {
“field”: “title”,
“size”: 10
}
}
}
}
15
Request Response
- 17. JLH
全体の出現割合と最近の出現割合を利用
JLH = 絶対割合変化 × 相対割合変化
絶対割合変化 = 最近の出現割合 - 全体の出現割合
相対割合変化 = 最近の出現割合 / 全体の出現割合
例:1年(全体)で30,000文書、直近1日(最近)で100文書の文書集合利用
「ようじ」という単語が全体で100回、最近は10回出現した場合
絶対割合変化 = 10/100 - 100/30000 = 29/300
相対割合変化 = 10/100 / 100/30000 = 30
JLH = 29/300 * 30 = 2.9
17
- 19. "aggregations": { "sample": {
"buckets": [
{
"key": "ようじ", "score": 11.906,
"sample2": {
"buckets": [
{ "key": "ようじ", "score": 245898.78 },
{ "key": "つま", "score": 74554.22 },
{ "key": "混入", "score": 74554.22 },
...
]}
}, {
"key": "スイスフラン", "score": 7.955,
"sample2": {
"buckets": [
{ "key": "スイスフラン", "score": 1905242.33 },
{ "key": "急騰", "score": 156594.34 },
{ "key": "打撃", "score": 156594.34 },
…
] }
},
…
{ “aggs”: {
“sample”: {
“significant_terms” : {
“field”: “title”,
“size”: 10
},
“aggs”: {
“sample2”: {
“significant_terms”: {
“field”: “title”,
“size”: 5,
} } }
}
} }
19
Request Response
トピック
- 26. トピックタイトルの生成
26
● スイス中銀、スイスフラン高抑制の無制限介入終了 :主要金融ニュース :マーケッ
ト :日本経済新聞
● スイスフラン、対ユーロで一時30%上昇 フラン上限廃止で | マネーニュース | 株式
市場 | Reuters
● スイスフラン突然の大暴騰!取引が成立しない状況に - Togetterまとめ
● スイスフラン騒動で大儲けした人と大損した人の阿鼻叫喚の叫びまとめ #fx -
NAVER まとめ
● スイス中銀がフラン上限撤廃・中銀預金金利一段のマイナス:識者はこうみる |
Reuters
● スイスフラン上限撤廃、通貨急騰で波紋 時計大手首脳が批判 :日本経済新聞
● スイスフランショックで大儲けした人と大損した人。ファイナンススタジアムより抜粋。
- マネー報道 MoneyReport
● スイスフラン急騰、FX業者の経営に打撃 :日本経済新聞
● 投資家に巨額の損失 スイスフラン急騰の打撃 日本のFX業者らにも (産経新
聞) - Yahoo!ニュース
● スイスフランの介入停止問題に関するまとめ - 株式、FXのまとめ解説ブログ
- 27. トピックタイトルの生成
27
● スイス中銀、スイスフラン高抑制の無制限介入終了 :主要金融ニュース :マーケッ
ト :日本経済新聞
● スイスフラン、対ユーロで一時30%上昇 フラン上限廃止で | マネーニュース | 株式
市場 | Reuters
● スイスフラン突然の大暴騰!取引が成立しない状況に - Togetterまとめ
● スイスフラン騒動で大儲けした人と大損した人の阿鼻叫喚の叫びまとめ #fx -
NAVER まとめ
● スイス中銀がフラン上限撤廃・中銀預金金利一段のマイナス:識者はこうみる |
Reuters
● スイスフラン上限撤廃、通貨急騰で波紋 時計大手首脳が批判 :日本経済新聞
● スイスフランショックで大儲けした人と大損した人。ファイナンススタジアムより抜粋。
- マネー報道 MoneyReport
● スイスフラン急騰、FX業者の経営に打撃 :日本経済新聞
● 投資家に巨額の損失 スイスフラン急騰の打撃 日本のFX業者らにも (産経新
聞) - Yahoo!ニュース
● スイスフランの介入停止問題に関するまとめ - 株式、FXのまとめ解説ブログ
- 29. トピックタイトルどうやって作る?
前提
・ トピックに含まれる記事は同じ話題
・ 各記事のタイトルはある程度しっかりしている
・ いずれかの記事を使うとうまくいく可能性が高い
29
● スイス中銀、スイスフラン高抑制の無制限介入終了 :主要金融ニュース :マーケッ
ト :日本経済新聞
● スイスフラン突然の大暴騰!取引が成立しない状況に - Togetterまとめ
● スイスフラン上限撤廃、通貨急騰で波紋 時計大手首脳が批判 :日本経済新聞
● スイス中銀がフラン上限撤廃・中銀預金金利一段のマイナス:識者はこうみる |
Reuters
● スイスフラン急騰、FX業者の経営に打撃 :日本経済新聞
● スイスフランショックで大儲けした人と大損した人。ファイナンススタジアムより抜粋。
- マネー報道 MoneyReport
- 30. トピックタイトルどうやって作る?
前提
・ トピックに含まれる記事は同じ話題
・ 各記事のタイトルはある程度しっかりしている
・ いずれかの記事を使うとうまくいく可能性が高い
30
● スイス中銀、スイスフラン高抑制の無制限介入終了 :主要金融ニュース :マーケッ
ト :日本経済新聞
● スイスフラン突然の大暴騰!取引が成立しない状況に - Togetterまとめ
● スイスフラン上限撤廃、通貨急騰で波紋 時計大手首脳が批判 :日本経済新聞
● スイス中銀がフラン上限撤廃・中銀預金金利一段のマイナス:識者はこうみる |
Reuters
● スイスフラン急騰、FX業者の経営に打撃 :日本経済新聞
● スイスフランショックで大儲けした人と大損した人。ファイナンススタジアムより抜粋。
- マネー報道 MoneyReport
重要文(タイトル)を利用
- 35. 重要語抽出
タイトル生成に必要な単語を取得
Elasticsearch Significant Terms Aggregation
トピックに属するエントリのタイトルを対象
35
● スイス中銀、スイスフラン高抑制の無制限介入終了 :主要金融ニュース :マー
ケット :日本経済新聞
● スイスフラン突然の大暴騰!取引が成立しない状況に - Togetterまとめ
● スイスフラン上限撤廃、通貨急騰で波紋 時計大手首脳が批判 :日本経済新
聞
● スイス中銀がフラン上限撤廃・中銀預金金利一段のマイナス:識者はこうみる |
Reuters
● スイスフラン急騰、FX業者の経営に打撃 :日本経済新聞
● スイスフランショックで大儲けした人と大損した人。ファイナンススタジアムより抜粋。
- マネー報道 MoneyReport
スイスフラン、急騰、上限、撤廃