A deep relevance model for zero shot document filtering
- 1. A Deep Relevance Model for
Zero-Shot Document Filtering
Chenliang Li, Wei Zhou, Feng Ji, Yu Duan, Haiqing Chen
(ACL 2018)
紹介:小町研 B4 本間 広樹
- 4. Introduction
• 無関係な情報をフィルタリングしたい
• カテゴリは無限 → 手動で例を特定するのは無理
• 最近の研究:ラベリング作業の削減で有望な結果
→ ラベル付き文書無しで,データレス分類器は各カテゴリに関連
する単語(シード語)の小さな集合を使用してテキスト分類
• しかし,既存のデータレス分類器は文書フィルタリン
グを考慮していない
• 文書コレクションがカバーする各カテゴリのシード語
を提供する必要がある → 実行不可能なときがある
• zero-shot 文書フィルタリングのタスクに興味
- 8. c : カテゴリー
① まず単語を埋め込み表現に変換
埋め込み表現は外部の大規模コーパスを用いて事前学習
② 概念的な関連性を補足するため,平均埋め込みを取る
- 13. : から の連結を指す
と
:𝑖 番目の単語に対して抽出された関連性信号に関する隠れ特徴
𝒌-max pooling を用いた畳み込み
文書 𝑑 およびカテゴリ 𝑐 におけるインタラクションベースの表現
𝑑 = (𝐞1
𝑐
, 𝐞2
𝑐
, … , 𝐞|𝑑|
𝑐
) を計算し,以下の畳み込み演算を適用
:重み行列と対応するバイアスベクトル
- 14. をフィルタ 𝑗 の 𝑘 個の最大値とすると,連結 𝐫𝑐,𝑑 を介してすべての 𝑚
個のフィルタによって抽出された全体的な関連性信号 𝐫 𝑑 を形成
𝒌-max pooling を用いた畳み込み
次いで,最もアクティブな k 個の特徴を得るために 𝑘-max pooling を適用
- 17. カテゴリ固有のゲーティング機構
ここで,𝐚 𝑐 は 𝑚 個のフィルタのオンオフスイッチとして機能
𝐚 𝑐,𝑗 → 1 :カテゴリー 𝑐 に関連性があるものを最大限補足するために 𝑗 番目のフィル
ターをオンにする必要がある
𝐚 𝑐,𝑗 → 0 :フィルターが無関係でオフになったことを示す
- 20. 敵対的学習
隠れ特徴 𝐡 𝑐,𝑑 はカテゴリに依存しないことが期待される
ただし,カテゴリ固有の情報が 𝐡 𝑐,𝑑 で抽出された関連情報と混在しないという
保証はない
ここでは,訓練中にカテゴリ固有の情報が記憶されないようにするための敵対
的な学習機構を説明
それがないと,DAZER は未知のカテゴリに対応できない(詳細は省略)
- 21. Experiment
既存手法
• BM25 Model:キーワードマッチングに基づく広く知られた検索モデル
• DSSM:多層パーセプトロンを利用して,文書とクエリの両方の隠れた表
現を抽出し,表現ベクトルに基づいてcos類似度を計算
• DRMM:文書内の各単語と各クエリ語との間の意味関連スコアのヒスト
グラム情報に基づいて関連性を計算
• K-NRM:単語レベルのハード/ソフトマッチング信号に基づく関連性ラ
ンク付けのためのカーネルベースのニューラルモデル
• DeepRank:クエリ中心の文脈に基づくニューラル関連性ランキング付け
モデル
• Seed-based Support Vector Machines (SSVM):学習文書にカテゴリを
つけることによって,シードドリブンの学習セットを構築し,文書フィル
タリングのためにsklearnによって実装された1クラスSVMを採用
- 24. Conclusion
• zero-shot 文書フィルタリングのための新しい深層関連
モデル DAZER を提案
• 概念的な関連性を補足し,未知のカテゴリーにうまく
一般化するため,ゲート付き畳み込みネットワークと
カテゴリー独立型の敵対的学習という2種類の機能の
インタラクションを考案
• 2つの異なるタスクで提案手法の優位性を検証
• 将来的には DAZER のアーキテクチャを充実させ,い
くつかのラベル付きの例を組み込むことで few-shot 文
書のフィルタリングを可能に