Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Deep Collective Classification in Heterogeneous Information Networks

118 Aufrufe

Veröffentlicht am

輪読会資料
論文URL:https://dl.acm.org/citation.cfm?id=3186106
www2018

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Deep Collective Classification in Heterogeneous Information Networks

  1. 1. Deep Collective Classification in Heterogeneous Information Networks 垣内弘太
  2. 2. 書誌情報&選定理由 • タイトル:Deep Collective Classification in Heterogeneous Information          Networks • カンファレンス:www2018 • 選定理由 – Heterogeneous Networkの扱い方への興味 • Homogeneous Networkは、他の種類の情報を捨てている • 個別に解いている問題も、背後にネットワークを仮定出来得る – Graph Convolution勉強してみたかった
  3. 3. 概要 • 目的:Heterogeneous Information Networkにおけるcollective classification – ネットワークの背後にある階層的なrelational featureをうまく捉えたい • GraphInceptionアルゴリズムを提案 – meta pathを用いたMulti-channel Networkの構築 – graph convolutionの適用 – graph inception moduleの提案
  4. 4. collective classification • 相互に繋がったインスタンスの集合(要はネットワーク)において – オブジェクトのラベルと属性の相関 – オブジェクトのラベルと隣接オブジェクトの属性(ラベル含む)の相関 – オブジェクトのラベルと隣接オブジェクトの未知ラベルの相関 の3タイプの情報を組み合わせて行う分類 • 例)Webページのトピック分類 – 従来の機械学習界隈のやり方 • Webページの情報(テキストなど)を特徴量として、各ページ独立に分類 – Webページ同士はリンクで繋がっており、それらのトピックには相関 – collective classificationは、この相関もうまく考慮することを目指す • 論文データ、email network、social networkなど多くの応用先
  5. 5. 背景 • collective classificationにおける先行研究 – 近隣ノードの集計による、特徴量の作りこみ • 一方、deep learningにより、多くの分野でend-to-endで自動的に特徴量を学習 – 画像・NLP・音声など – 近年のdeep learningは、主にcontent featureに焦点を当てている • 画像内の視覚的特徴など – collective classificationにおけるrelational featureの抽出にはまだ用いられていない • Heterogeneous Information Networks (HINs) におけるdeep learningを用いた collective classificationに焦点を当てる
  6. 6. HINsにおけるcollective classificationの難しさ 1. Deep Relational Feature – HINsは、簡単なものから複雑なものまで、階層的な異なるタイプの相関を持つ – DBLPネットワーク(書誌情報ネットワーク)を考える • リンクは、authoredBy・publishedInの関係から成る – HINsのインスタンス間の複雑で不明瞭な関係 ⇒ deep relational learning modelでインスタンス間の階層的な深い依存関係を抽出 共著関係(simple relationship) - 明示的に抽出可能 師弟関係(hidden relationship) - 共著関係から推測 同僚関係(complex relationship) - 師弟関係から推測
  7. 7. HINsにおけるcollective classificationの難しさ 2. Mixed Complexity in Relational Features – relational featureの複雑さは多様 • シンプルなモデルはシンプルな関係しかとらえられない • deepなモデルは複雑な関係はとらえられるが、シンプルな関係について過学習 – 自動で色々な複雑さ度合に対応できるモデルが理想 3. Heterogeneous Dependencies – HINsは様々な種類のノード、リンクを含む ⇒ 直接的にdeep learning modelを適用するのが難しい – ex) graph convolution network(GCN) • 各ノードが同じconvolution kernelを共有する前提なので、 HINsではうまくいかない
  8. 8. モデル概要 • graph convolutionベースのモデルを提案 – multi-channel network translation – graph convolution based relational feature learning
  9. 9. Multi-channel Network Translation • HINsには多様なノードがあり、そのまま畳み込むのは難しい ⇒ meta pathを利用して、multi-channel networkに変換する • meta path – 異なるタイプのオブジェクトを繋げてできる系列 – 各meta pathが、ノード間の独自の関係を表す • 各種類のmeta pathごとに、meta pathの始点と 終点を繋ぎhomogeneous networkを構築し、 multi-channel networkとする 共著関係 同じ会議に投稿 各channelは、meta pathの違いに より違う意味・関係性を表す
  10. 10. Graph Convolution • Graphにも、画像の様にconvolutionを適用したい – 問題点 • 注目ノードと周辺ノードの関係が、画像と違って注目ノードごとに不定形 – graph convolutionはこの問題点を解決し、graphの特徴をうまく抽出する • 主に2タイプに分類される – graph fourier変換を利用した構成 • ループや多重エッジをもたない重み付き無向グラフを対象 • 理論由来 • 今回の論文はこっち – より直接的な構成 • 有向グラフや多重エッジ、ループなどのより複雑な構造も導入できる • 理論由来でない
  11. 11. Convolution Theorem • Convolution Theorem – 畳み込み演算はフーリエ係数では要素積となる • 畳み込みの手順 – グラフ上の信号(各ノードの特徴ベクトル)に対してGraph Fourier変換 – 変換先で、フィルターと要素積 – 要素石に結果に対して逆Graph Fourier変換
  12. 12. Graph Fourier変換 • グラフ上の信号に対して定義される – Fourier変換:波形信号を周波数成分ごとに成分分解 – Graph Fourir変換:グラフ上の信号を”ゆるやかな信号”や”急峻な信号”へ成分分解 • グラフ上の信号のsmoothness – これを最小化する信号は定数信号( とする) • 帰納的に から、正規直交基底        を求める 各ノード上の信号(特徴量)が1 次元の場合
  13. 13. Graph Fourier変換 • Graph Laplacian L = 次数行列D - 隣接行列A と定義 • Graph Laplacianを用いれば、smoothnessは以下で表される – この時、        はLの固有ベクトル
  14. 14. Graph Fourier変換 • 定義 –       における係数への対応 • 行列表現に変換して、 – Graph Fourier変換 – 逆Graph Fourier変換
  15. 15. Graph Convolutionの手順 1. グラフ上の信号(特徴量)に対してGraph Fourier変換 2. 変換された信号に対して、 と要素積をとる 3. 要素積の結果に対して逆Graph Fourier変換 • すなわち、
  16. 16. Graph Convolution-based Relational Feature Learning • 本論文では、Graph Laplacian Lの代わりに遷移確率行列Pを用いる – ノード間の関係性を学習したいから • 畳み込み演算 において、 と置くことで、 たかだかK step先の ノードまで考慮
  17. 17. Graph Convolution-based Relational Feature Learning • 各channelそれぞれに適用するので、フィルターを複数枚にして • Hのi行目がノードiのrelatiional featureを表す
  18. 18. Inception module • 2014年のILSVRCの優勝モデルGoogLeNetで用いられたモジュール – サイズの異なる畳み込みを行った後、出力をつなぎ合わせる • naive versionは、本来はスパースは5×5 convolutionで表現可能(max pool除く) • 明示的に異なるscaleの特徴量を抽出させる ⇒ パラメータ削減しつつ、精度保つ
  19. 19. Graph Inception Module • 前スライドの式でも、畳み込み演算は定義できていたが、 – complex relationshipを捉える – 色々な複雑さ度合に対応 するために、Inception moduleを応用する • サイズ1, 2の2つのカーネルを各層に配置
  20. 20. GraphInception Algorithm • Multi-channel Network Construction – meta pathから複数のhomogeneous networkを構築 • 訓練時 – a • 推論時 – Iterative Inference – あるノードについて推論し、その結果を次のノードの推論に用いることを繰り返す GCNの出力 relational feature local feature
  21. 21. Experiment:データ
  22. 22. Experiment:多クラス分類結果 DBLP(書誌情報ネットワーク) SLAP(バイオインフォマティックスネットワーク) 4 inception layerがベスト 1 inception layerがベスト
  23. 23. Experiment:多クラス分類結果 ACM(書誌情報ネットワーク) IMDB(映画情報ネットワーク) 4 inception layerがベスト 1 inception layerがベスト
  24. 24. Experiment:Relational Feature Visualization • 学習したrelational featuresを t-SNEで可視化 • データはDBLPを使用 • GraphInceptionは同種のノードをう まくまとめられている
  25. 25. まとめ • Heterogeneous Information Networkからdeep relational featuresを学習する graph convolutionベースのモデルの提案 – collective classificationに焦点 • graph inception moduleを提案 – 複雑な依存関係も単純な依存関係も捉えたい • 実験により、GraphInceptionアルゴリズムの、HINsにおける deep relational featuresの学習への効果を示した
  26. 26. 参考資料 • https://www.slideshare.net/DeepLearningJP2016/graph-convolutional-network-lt • https://tech-blog.abeja.asia/entry/2017/04/27/105613 • https://arxiv.org/pdf/1211.0053.pdf

×