Suche senden
Hochladen
Deep Collective Classification in Heterogeneous Information Networks
•
0 gefällt mir
•
168 views
K
Kota Kakiuchi
Folgen
輪読会資料 論文URL:https://dl.acm.org/citation.cfm?id=3186106 www2018
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 26
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Prml5 6
Prml5 6
K5_sem
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
Len Matsuyama
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
Tomoki Hayashi
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク
Takeshi Sakaki
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
Empfohlen
Prml5 6
Prml5 6
K5_sem
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
Len Matsuyama
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
Tomoki Hayashi
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク
Takeshi Sakaki
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
点群深層学習 Meta-study
点群深層学習 Meta-study
Naoya Chiba
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
Ohsawa Goodfellow
PRML5
PRML5
Hidekazu Oiwa
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
PRML輪読#5
PRML輪読#5
matsuolab
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
Naoya Chiba
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
正志 坪坂
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Atsushi KOMIYA
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
Takuya Akiba
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Ohsawa Goodfellow
NLPforml5
NLPforml5
Hidekazu Oiwa
20140925 multilayernetworks
20140925 multilayernetworks
tm1966
Chainer, Cupy入門
Chainer, Cupy入門
Yuya Unno
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
Yuya Unno
論文紹介 Star-Transformer (NAACL 2019)
論文紹介 Star-Transformer (NAACL 2019)
広樹 本間
Web本文抽出 using crf
Web本文抽出 using crf
Shuyo Nakatani
[DL輪読会]Learning convolutional neural networks for graphs
[DL輪読会]Learning convolutional neural networks for graphs
Deep Learning JP
ICDE2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
Junya Arai
Weitere ähnliche Inhalte
Was ist angesagt?
点群深層学習 Meta-study
点群深層学習 Meta-study
Naoya Chiba
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
Ohsawa Goodfellow
PRML5
PRML5
Hidekazu Oiwa
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
PRML輪読#5
PRML輪読#5
matsuolab
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
Naoya Chiba
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
正志 坪坂
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Atsushi KOMIYA
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
Takuya Akiba
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Ohsawa Goodfellow
NLPforml5
NLPforml5
Hidekazu Oiwa
20140925 multilayernetworks
20140925 multilayernetworks
tm1966
Was ist angesagt?
(16)
点群深層学習 Meta-study
点群深層学習 Meta-study
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
PRML5
PRML5
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
PRML輪読#5
PRML輪読#5
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Newman アルゴリズムによるソーシャルグラフのクラスタリング
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Semantic segmentation
Semantic segmentation
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
大規模ネットワークの性質と先端グラフアルゴリズム
大規模ネットワークの性質と先端グラフアルゴリズム
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
NLPforml5
NLPforml5
20140925 multilayernetworks
20140925 multilayernetworks
Ähnlich wie Deep Collective Classification in Heterogeneous Information Networks
Chainer, Cupy入門
Chainer, Cupy入門
Yuya Unno
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
Yuya Unno
論文紹介 Star-Transformer (NAACL 2019)
論文紹介 Star-Transformer (NAACL 2019)
広樹 本間
Web本文抽出 using crf
Web本文抽出 using crf
Shuyo Nakatani
[DL輪読会]Learning convolutional neural networks for graphs
[DL輪読会]Learning convolutional neural networks for graphs
Deep Learning JP
ICDE2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
Junya Arai
Ähnlich wie Deep Collective Classification in Heterogeneous Information Networks
(6)
Chainer, Cupy入門
Chainer, Cupy入門
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
論文紹介 Star-Transformer (NAACL 2019)
論文紹介 Star-Transformer (NAACL 2019)
Web本文抽出 using crf
Web本文抽出 using crf
[DL輪読会]Learning convolutional neural networks for graphs
[DL輪読会]Learning convolutional neural networks for graphs
ICDE2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
Deep Collective Classification in Heterogeneous Information Networks
1.
Deep Collective Classification
in Heterogeneous Information Networks 垣内弘太
2.
書誌情報&選定理由 • タイトル:Deep Collective
Classification in Heterogeneous Information Networks • カンファレンス:www2018 • 選定理由 – Heterogeneous Networkの扱い方への興味 • Homogeneous Networkは、他の種類の情報を捨てている • 個別に解いている問題も、背後にネットワークを仮定出来得る – Graph Convolution勉強してみたかった
3.
概要 • 目的:Heterogeneous Information
Networkにおけるcollective classification – ネットワークの背後にある階層的なrelational featureをうまく捉えたい • GraphInceptionアルゴリズムを提案 – meta pathを用いたMulti-channel Networkの構築 – graph convolutionの適用 – graph inception moduleの提案
4.
collective classification • 相互に繋がったインスタンスの集合(要はネットワーク)において –
オブジェクトのラベルと属性の相関 – オブジェクトのラベルと隣接オブジェクトの属性(ラベル含む)の相関 – オブジェクトのラベルと隣接オブジェクトの未知ラベルの相関 の3タイプの情報を組み合わせて行う分類 • 例)Webページのトピック分類 – 従来の機械学習界隈のやり方 • Webページの情報(テキストなど)を特徴量として、各ページ独立に分類 – Webページ同士はリンクで繋がっており、それらのトピックには相関 – collective classificationは、この相関もうまく考慮することを目指す • 論文データ、email network、social networkなど多くの応用先
5.
背景 • collective classificationにおける先行研究 –
近隣ノードの集計による、特徴量の作りこみ • 一方、deep learningにより、多くの分野でend-to-endで自動的に特徴量を学習 – 画像・NLP・音声など – 近年のdeep learningは、主にcontent featureに焦点を当てている • 画像内の視覚的特徴など – collective classificationにおけるrelational featureの抽出にはまだ用いられていない • Heterogeneous Information Networks (HINs) におけるdeep learningを用いた collective classificationに焦点を当てる
6.
HINsにおけるcollective classificationの難しさ 1. Deep
Relational Feature – HINsは、簡単なものから複雑なものまで、階層的な異なるタイプの相関を持つ – DBLPネットワーク(書誌情報ネットワーク)を考える • リンクは、authoredBy・publishedInの関係から成る – HINsのインスタンス間の複雑で不明瞭な関係 ⇒ deep relational learning modelでインスタンス間の階層的な深い依存関係を抽出 共著関係(simple relationship) - 明示的に抽出可能 師弟関係(hidden relationship) - 共著関係から推測 同僚関係(complex relationship) - 師弟関係から推測
7.
HINsにおけるcollective classificationの難しさ 2. Mixed
Complexity in Relational Features – relational featureの複雑さは多様 • シンプルなモデルはシンプルな関係しかとらえられない • deepなモデルは複雑な関係はとらえられるが、シンプルな関係について過学習 – 自動で色々な複雑さ度合に対応できるモデルが理想 3. Heterogeneous Dependencies – HINsは様々な種類のノード、リンクを含む ⇒ 直接的にdeep learning modelを適用するのが難しい – ex) graph convolution network(GCN) • 各ノードが同じconvolution kernelを共有する前提なので、 HINsではうまくいかない
8.
モデル概要 • graph convolutionベースのモデルを提案 –
multi-channel network translation – graph convolution based relational feature learning
9.
Multi-channel Network Translation •
HINsには多様なノードがあり、そのまま畳み込むのは難しい ⇒ meta pathを利用して、multi-channel networkに変換する • meta path – 異なるタイプのオブジェクトを繋げてできる系列 – 各meta pathが、ノード間の独自の関係を表す • 各種類のmeta pathごとに、meta pathの始点と 終点を繋ぎhomogeneous networkを構築し、 multi-channel networkとする 共著関係 同じ会議に投稿 各channelは、meta pathの違いに より違う意味・関係性を表す
10.
Graph Convolution • Graphにも、画像の様にconvolutionを適用したい –
問題点 • 注目ノードと周辺ノードの関係が、画像と違って注目ノードごとに不定形 – graph convolutionはこの問題点を解決し、graphの特徴をうまく抽出する • 主に2タイプに分類される – graph fourier変換を利用した構成 • ループや多重エッジをもたない重み付き無向グラフを対象 • 理論由来 • 今回の論文はこっち – より直接的な構成 • 有向グラフや多重エッジ、ループなどのより複雑な構造も導入できる • 理論由来でない
11.
Convolution Theorem • Convolution
Theorem – 畳み込み演算はフーリエ係数では要素積となる • 畳み込みの手順 – グラフ上の信号(各ノードの特徴ベクトル)に対してGraph Fourier変換 – 変換先で、フィルターと要素積 – 要素石に結果に対して逆Graph Fourier変換
12.
Graph Fourier変換 • グラフ上の信号に対して定義される –
Fourier変換:波形信号を周波数成分ごとに成分分解 – Graph Fourir変換:グラフ上の信号を”ゆるやかな信号”や”急峻な信号”へ成分分解 • グラフ上の信号のsmoothness – これを最小化する信号は定数信号( とする) • 帰納的に から、正規直交基底 を求める 各ノード上の信号(特徴量)が1 次元の場合
13.
Graph Fourier変換 • Graph
Laplacian L = 次数行列D - 隣接行列A と定義 • Graph Laplacianを用いれば、smoothnessは以下で表される – この時、 はLの固有ベクトル
14.
Graph Fourier変換 • 定義 –
における係数への対応 • 行列表現に変換して、 – Graph Fourier変換 – 逆Graph Fourier変換
15.
Graph Convolutionの手順 1. グラフ上の信号(特徴量)に対してGraph
Fourier変換 2. 変換された信号に対して、 と要素積をとる 3. 要素積の結果に対して逆Graph Fourier変換 • すなわち、
16.
Graph Convolution-based Relational
Feature Learning • 本論文では、Graph Laplacian Lの代わりに遷移確率行列Pを用いる – ノード間の関係性を学習したいから • 畳み込み演算 において、 と置くことで、 たかだかK step先の ノードまで考慮
17.
Graph Convolution-based Relational
Feature Learning • 各channelそれぞれに適用するので、フィルターを複数枚にして • Hのi行目がノードiのrelatiional featureを表す
18.
Inception module • 2014年のILSVRCの優勝モデルGoogLeNetで用いられたモジュール –
サイズの異なる畳み込みを行った後、出力をつなぎ合わせる • naive versionは、本来はスパースは5×5 convolutionで表現可能(max pool除く) • 明示的に異なるscaleの特徴量を抽出させる ⇒ パラメータ削減しつつ、精度保つ
19.
Graph Inception Module •
前スライドの式でも、畳み込み演算は定義できていたが、 – complex relationshipを捉える – 色々な複雑さ度合に対応 するために、Inception moduleを応用する • サイズ1, 2の2つのカーネルを各層に配置
20.
GraphInception Algorithm • Multi-channel
Network Construction – meta pathから複数のhomogeneous networkを構築 • 訓練時 – a • 推論時 – Iterative Inference – あるノードについて推論し、その結果を次のノードの推論に用いることを繰り返す GCNの出力 relational feature local feature
21.
Experiment:データ
22.
Experiment:多クラス分類結果 DBLP(書誌情報ネットワーク) SLAP(バイオインフォマティックスネットワーク) 4 inception
layerがベスト 1 inception layerがベスト
23.
Experiment:多クラス分類結果 ACM(書誌情報ネットワーク) IMDB(映画情報ネットワーク) 4 inception
layerがベスト 1 inception layerがベスト
24.
Experiment:Relational Feature Visualization •
学習したrelational featuresを t-SNEで可視化 • データはDBLPを使用 • GraphInceptionは同種のノードをう まくまとめられている
25.
まとめ • Heterogeneous Information
Networkからdeep relational featuresを学習する graph convolutionベースのモデルの提案 – collective classificationに焦点 • graph inception moduleを提案 – 複雑な依存関係も単純な依存関係も捉えたい • 実験により、GraphInceptionアルゴリズムの、HINsにおける deep relational featuresの学習への効果を示した
26.
参考資料 • https://www.slideshare.net/DeepLearningJP2016/graph-convolutional-network-lt • https://tech-blog.abeja.asia/entry/2017/04/27/105613 •
https://arxiv.org/pdf/1211.0053.pdf
Jetzt herunterladen