Graph Neural Networks

グラフニューラルネットワーク
東京工業大学村田剛志
murata@c.titech.ac.jp
http://www.net.c.titech.ac.jp/index-j.html
本スライドはslideshareにて公開上記サイトにリンクあり

講演の概要
• 深層学習は、画像認識や自然言語処理などの
分野において華々しい成果を収めてきており、そ
れをグラフに対して適用するための研究が近年
非常に盛んになってきている。グラフやグラフ中
の頂点を高精度に分類することができれば、高
度な画像認識、推薦システム、交通量予測、化
合物分類などへの応用が期待できる。その一方
で、グラフを扱う上での固有の問題やチャレンジ
があることも指摘されてきている。本講演では、
グラフニューラルネットワークの基本的な知識や
主要な研究事例について紹介する。
「グラフニューラルネットワーク」 (FAN 2021
基調講演) 東京工業大学村田剛志
2021.9.21(火)

目次
1. イントロダクション
1. 畳み込みニューラルネットワーク
2. グラフの深層学習
3. グラフを対象としたタスク
2. グラフニューラルネットワークの
応用
3. グラフエンベディング
1. エンベディング
2. DeepWalk
4. Spectral Graph Convolution
1. グラフ畳み込みのアプローチ
2. グラフラプラシアン
3. グラフフーリエ変換
5. Spatial Graph Convolution
1. GraphSAGE
7. 今後の課題
1. 浅い構造
2. 動的グラフ
3. 非構造データ
4. スケーラビリティ
8. PyTorch Geometricによる実装
9. 今後の学習のための情報源
1. サーベイ論文, 書籍
2. Web上の情報源
3. チュートリアル
10. 研究紹介
2021.9.21(火)

目次
1. イントロダクション
2. グラフニューラルネットワークの応
用
1. 画像認識, 推薦システム, 交通量予
測,化合物分類
2. COVID-19とグラフニューラルネット
ワーク
3. グラフエンベディング
2. DeepWalk
3. LINE
4. Spectral Graph Convolution
4. ChebNet
5. GCN
5. Spatial Graph Convolution
1. PATCHY-SAN
2. DCNN
3. GraphSAGE
6. 関連トピック
1. Graph autoencoder
2. Attention, GAT
3. GraphRNN
4. 動的変化とGNN
5. 敵対的攻撃とGNN
6. GNNの単純化・可能性・限界
7. GNNの説明可能性
7. 今後の課題
1. 浅い構造
2. 動的グラフ
8. PyTorchによる実装
1. 深層学習ライブラリ
2. Google Colaboratory
3. PyTorch
4. PyTorch Geometric
5. Open Graph Benchmark
9. 今後の学習のための情報源
10. 研究紹介
2021.9.21(火)

1.イントロダクション
2021.9.21(火)

深層学習
画像認識音声認識自然言語処理
2021.9.21(火)

畳み込み
• 関数gを平行移動しながら関数fに重ね足し合
わせる2項演算
https://www.imagazine.co.jp/畳み込みネットワークの「基礎の基礎」を理解す/
2021.9.21(火)

畳み込みニューラルネットワーク
• (画像の場合)入力の局所的な特徴→大局的
な特徴を認識
https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53
2021.9.21(火)

グラフの深層学習
• 従来の深層学習は単純なグリッドや列を対象
– CNNは固定サイズの画素・グリッド
– RNNはテキスト・列
• しかしグラフの結合は異なっている
– 隣接頂点数が可変
– 複雑なトポロジー
– 頂点が順序づけられていない
2021.9.21(火)

• 頂点の表現を学習→分類等のタスクに利用
GNN
機械学習タスク
・ノード分類
・グラフ分類等
2021.9.21(火)

ノード分類
• 頂点の特徴(属性)を周囲から学習
GNN
分類
性別、年齢、
職業、収入…
https://edition.cnn.com/style/article/why-democrats-
are-donkeys-republicans-are-elephants-artsy/index.html
? ?
or
2021.9.21(火)

グラフ分類
• グラフ全体の特徴(属性)を学習
GNN
分類
水溶性の有無
毒性の有無など
https://www.tnojima.net/entry/2014-cert-23
2021.9.21(火)

機械学習のタスク
• 分類
– 出力:クラス
• 回帰
– 出力:数値
• クラスタリング
– 出力:クラス
• 次元縮約
– 出力:単純化した
入力データ
regression
f(x)=ax3+…
clustering
group 1
group 2
dimensionality
reduction
classification
2021.9.21(火)

グラフを対象としたタスク
• ノード分類
– 出力:ノードのラベル
• グラフ分類
– 出力:グラフのラベル
• リンク予測
– 出力:ノードのペア
• グラフ生成
– 出力:グラフグラフ生成
モデル
2021.9.21(火)

2.グラフニューラルネットワークの応用
2021.9.21(火)

グラフニューラルネットワークの応用
• Graph Neural
Networks: A Review
of Methods and
Applications
• https://arxiv.org/ab
s/1812.08434
テキスト
画像
サイエンス
ナレッジグラフ
組み合わせ最適化
グラフ生成
2021.9.21(火)

の応用
• 画像認識
– シーングラフ生成 (入力: 画像, 出力: オブジェクトと意味的関
係)
– リアルな画像生成 (入力: シーングラフ, 出力: 画像)
• 推薦システム
– リンク予測としての推薦 (入力: アイテムとユーザ, 出力: 欠損リ
ンク)
• 交通量予測
– 交通スピードの予測 (入力: 道路設置のセンサと距離, 出力: 交
通量とスピード)
• 化合物分類
– 分子グラフ(原子=ノード, 結合=辺)の分類 (入力: 分子グラフ, 出
力: 毒性, 水溶性など)
Graph Neural Networks: A Review of Methods and Applications
https://arxiv.org/abs/1812.08434
2021.9.21(火)

DeepMindの記事
• Traffic prediction with advanced Graph Neural
Networks
– https://deepmind.com/blog/article/traffic-
prediction-with-advanced-graph-neural-networks
2021.9.21(火)

GNNをどう使うか
• 道路をセグメントに分割してグラフで表現
2021.9.21(火)

Graph Representation Learning and
Beyond (GRL+)
• 機械学習に関する国際会議ICML 2020
(オンライン開催)の併設ワークショップ
• グラフの表現学習についての研究発表
– https://grlplus.github.io/covid19/
• “Graph Methods for COVID-19
Response” William L. Hamilton
(McGill University/Mila)
– https://grlplus.github.io/files/graphs-
against-covid.pdf
2021.9.21(火)

3.グラフエンベディング
2. DeepWalk
2021.9.21(火)

Word embedding
• 各単語をベクトルで表現→ベクトルの演算で
単語の意味を類推
• Word2Vec, GloVe などのアルゴリズム
Embeddings: Translating to a Lower-Dimensional Space
https://developers.google.com/machine-learning/crash-course/embeddings/translating-to-a-
lower-dimensional-space
2021.9.21(火)

グラフエンベディング(表現学習)
• グラフをベクトル表現に変換
"awesome-network-embedding", https://github.com/chihming/awesome-network-embedding
2021.9.21(火)

望ましいエンベディング
• “類似した”ノードが近くに来るようにしたい
"Representation Learning on Networks" WWW-18 Tutorial
http://snap.stanford.edu/proj/embeddings-www/
どう定義するか
2021.9.21(火)

何が問題か
• 複雑なトポロジー
– 格子状の画素とは違う
– 画像での手法が使えない
• “類似性”の定義の困難さ
– グラフ構造だけでなく、ノードに属性が付与されていること
が多い
– さまざまなグラフがある
• 符号つきネットワーク (SIDE [Kim 2018], StEM [Rahaman 2018],
SiNE [Wang 2018])
• 有向ネットワーク ([Perrault-joncas 2011], ATP [Sun 2018])
• 多層ネットワーク (MTNE [Xu 2017], MELL [Matsuno 2018])
• 動的ネットワーク ([Singer 2019])
A Comprehensive Survey on Graph Neural Networks
https://arxiv.org/abs/1901.00596
2021.9.21(火)

DeepWalk [Perozzi, KDD’14]
• 自然言語処理におけるエンベディング手法
(Skip-gram)をグラフに応用
– 自然言語：単語の列→単語のベクトル表現を学
習
– グラフ:ランダムウォーク→ノードの列→ノードのベ
クトル表現を学習
2021.9.21(火)
http://www.perozzi.net/projects/deepwalk/

DeepWalk [Perozzi, KDD’14]
• ランダムウォークを文とみなす
• アルゴリズム
– 各頂点からランダムウォーク
– 各ウォークの各頂点について、SkipGramを用いて頂点の
分散表現Φを更新
• 実験結果
– データセット：BlogCatalog、Flickr、YouTubeなど
– タスク：多ラベル分類
– ベースライン手法：Spectral Clustering、Edge Cluster、
Moduralrity等
– 結果：ベースライン手法と比べて高精度(ラベルつきの頂
点の割合が少ない場合においても)
2021.9.21(火)

4.Spectral Graph Convolution
4. ChebNet
5. GCN
2021.9.21(火)

畳み込みの二つのアプローチ
• Spectral-based
– グラフ信号処理の立場からフィルタを導入してグ
ラフ畳み込みを定義
– 長所・短所:理論的な裏付け・行列の固有値分解
が計算量大
• Spatial-based
– 近傍のノードから特徴情報を集める処理としてグ
ラフ畳み込みを定義
– 長所・短所:直感的に理解しやすい・非常に多くの
バリエーション
2021.9.21(火)

Spectral convolution
• 信号処理：
– フーリエ変換で関数を周波数表現に分解
– その上でノイズ除去などをしてから逆変換
• グラフ処理：
– graph Laplacianの固有ベクトル成分に変換
– その上でフィルタリングをしてから逆変換
• 𝑢1 ∗𝐺 𝑢2 = 𝑄((𝑄𝑇
𝑢1) ⊙ (𝑄𝑇
𝑢2))
変換内積
逆変換
頂点に対
して定義さ
れた信号
2021.9.21(火)

フーリエ変換
• 時系列データを周波数空間に変換して、ノイ
ズ除去などの処理をして逆変換
小野弓絵「いまさら聞けない信号処理」生体医工学 Vol.57,No.2-3, pp.75-80 (2019)
https://www.jstage.jst.go.jp/article/jsmbe/57/2-3/57_75/_pdf/-char/ja
2021.9.21(火)

グラフラプラシアン
• 𝐴:隣接行列
• 𝐿: グラフラプラシアン
• 𝐷:次数行列
A
D
L 








0
1
i
ij
k
L
if i = j,
if i ≠ j and there is an edge (i,j),
otherwise 























3
2
1
0
1
0
0
1
0
k
k
k
L
次数
辺
ij
i
ij
ij A
k
L 
 
グラフ
1
3 4
2
隣接行列
𝐴 =
0 1
1 0
0 0
1 1
0 1
0 1
0 1
1 0
𝐷 =
1 0
0 3
0 0
0 0
0 0
0 0
2 0
0 2
𝐿 =
1 −1
−1 3
0 0
−1 −1
0 −1
0 −1
2 −1
−1 2
次数行列グラフラプラシアン
正規化グラフラプラシアン𝐿 = 𝐼 − 𝐷−
1
2𝐴𝐷−
1
2
2021.9.21(火)

グラフラプラシアンの性質
• 𝐿 = 𝐼 − 𝐷−
1
2𝐴𝐷−
1
2は実対称半正定値行列
• 𝐿 = 𝑈Λ𝑈𝑇
と分解できる
– 𝑈 = 𝑢0, 𝑢1, … , 𝑢𝑛−1 は𝐿の固有ベクトルからなる行列
– Λは対応する固有値の対角行列(Λ𝑖𝑖 = 𝜆𝑖)
• 正規化ラプラシアン行列の固有ベクトルは直交
(𝑈𝑇
𝑈 = 𝐼)
• グラフ信号処理: 𝑥 ∈ 𝑅𝑁
はノードの特徴ベクトル
• グラフフーリエ変換:𝐹 𝑥 = 𝑈𝑇
𝑥
• 逆グラフフーリエ変換:𝐹−1
𝑥 = 𝑈𝑥
𝐿𝑢𝑖 = 𝜆𝑖𝑢𝑖
UT:転置行列
D-1/2:次数の平方根の対角行列
2021.9.21(火)

グラフフーリエ変換
• 信号処理
– 入力信号をフーリエ変換で周波数空間に変換
– 周波数空間でフィルタリング→復号でノイズ除去
• グラフフーリエ変換
– 入力グラフ信号を直交空間に射影
– 基底は正規化グラフラプラシアンの固有ベクトル
グラフ信号
𝐹 𝑥 = 𝑈𝑇𝑥
𝐹−1 𝑥 = 𝑈𝑥
グラフラプラシアンの
固有ベクトルが張る
空間
𝑥 = Σ𝑖𝑥𝑖𝑢𝑖
𝑥 𝑥
2021.9.21(火)

グラフ畳み込み
• 入力グラフ信号𝑥 ∈ 𝑅𝑁
のフィルタ𝑔𝜃 =
𝑑𝑖𝑎𝑔 𝜃 による畳み込み
𝑔𝜃 ∗ 𝑥 = 𝑈𝑔𝜃(Λ)𝑈𝑇
𝑥
– 𝑈は正規化グラフラプラシアン𝐿 = 𝐼 −
𝐷−
1
2𝐴𝐷−
1
2 = 𝑈Λ𝑈𝑇
の固有ベクトルからなる行列
– Λは固有値の対角行列
– 𝐷は次数行列
– Aはグラフの隣接行列
→フィルタ𝑔𝜃の違いによってさまざまな手法
𝐿 = 𝑈Λ𝑈𝑇のΛが
フィルタ𝑔𝜃(Λ)に
ノードに対して定義された信号
対角行列
一部を切り出す
パラメータ
θ ∈ 𝑅𝑁
2021.9.21(火)

ChebNet [Defferrard, NIPS 2016]
• フィルタ𝑔𝜃(Λ)としてk次までのチェビシェフ多項式
𝑇𝑘(𝑥)を用いる
• 𝑔𝜃 ∗ 𝑥 ≈ 𝑘=0
𝐾
𝜃𝑘𝑇𝑘 𝐿 𝑥
– 𝐿 =
2
𝜆𝑚𝑎𝑥
𝐿 − 𝐼
– 𝜆𝑚𝑎𝑥は 𝐿の最大固有値
– θ ∈ 𝑅𝐾はチェビシェフ多項式の係数のベクトル
– 𝑇𝑘 𝑥 = 2𝑥𝑇𝑘−1 𝑥 − 𝑇𝑘−2(𝑥),
– 𝑇0 𝑥 = 1, 𝑇1 𝑥 = 𝑥
• (k次の多項式なので) k-localizedな畳み込み→Lの固
有ベクトル計算が不要
2021.9.21(火)
https://papers.nips.cc/paper/6081-convolutional-neural-networks-on-graphs-with-
fast-localized-spectral-filtering.pdf

チェビシェフ多項式
• cos 𝑛𝜃はcos 𝜃の多項式で表せる。そのような
𝑛 次多項式をチェビシェフ多項式𝑇𝑛(𝑥)と呼ぶ。
• cos 2𝜃 = 2 cos2
𝜃 − 1より𝑇2 𝑥 = 2𝑥2
− 1
• cos 3𝜃 = 4 cos3
𝜃 − 3 cos 𝜃より𝑇3 𝑥 =
4𝑥3
− 3𝑥
• 𝑇𝑛+2 𝑥 = 2𝑥𝑇𝑛+1 𝑥 − 𝑇𝑛(𝑥)
2021.9.21(火)

GCN [Kipf, ICLR 2017]
• ChebNetにおいてK = 1として、次数分布が大き
いグラフでの過適合を回避
• さらに𝜆𝑚𝑎𝑥 ≈ 2として単純化
• 𝑔𝜃′ ∗ 𝑥 ≈ 𝜃0
′
𝑥 + 𝜃1
′
𝐿 − 𝐼 𝑥 = 𝜃0
′
𝑥 −
𝜃1
′
𝐷−
1
2𝐴𝐷−
1
2𝑥
– 𝐿 = 𝐼 − 𝐷−
1
2𝐴𝐷−
1
2
• 𝜃 = 𝜃0
′
= −𝜃1
′
とすると
• 𝑔𝜃′ ∗ 𝑥 ≈ 𝜃(𝐼 + 𝐷−
1
2𝐴𝐷−
1
2)𝑥
2021.9.21(火)
https://tkipf.github.io/graph-convolutional-networks/

GCN [Kipf, ICLR 2017]
• 𝑔𝜃′ ∗ 𝑥 ≈ 𝜃(𝐼 + 𝐷−
1
2𝐴𝐷−
1
2)𝑥
• この演算を繰り返すと勾配消失により不安定
→renormalization trick
• 𝐼 + 𝐷−
1
2𝐴𝐷−
1
2 → 𝐷−
1
2𝐴𝐷−
1
2
– 𝐴 = 𝐴 + 𝐼
– 𝐷𝑖𝑖 = 𝑗 𝐴𝑖𝑗
• さらに信号𝑋を𝑋 ∈ 𝑅𝑁×𝐶
に一般化
• 𝑍 = 𝐷−
1
2𝐴𝐷−
1
2𝑋Θ
– Θ ∈ 𝑅𝐶×𝐹
チャネル(属性数)
フィルタサイズ
フィルタ行列
畳み込み
信号行列
2021.9.21(火)

Semi-Supervised Classification with
Graph Convolutional Networks
• Thomas N. Kipf, Max Welling, ICLR 2017
• 半教師あり学習スケールする(辺数に比例)
• CNNをグラフに拡張
• 頂点の分類
https://tkipf.github.io/graph-convolutional-networks/
2021.9.21(火)

5.Spatial Graph Convolution
1. GraphSAGE
2021.9.21(火)

Spatial Graph Convolution
• 近接ノードへの作用として畳み込みをグラフ
上で直接定義
– グラフラプラシアンは別のグラフには利用不可
• チャレンジ
– 近接ノード数が大きく変化するグラフでの畳み込
みの定義
– 畳み込みの局所性の維持
0 1 2 3
2021.9.21(火)

GraphSAGE [Hamilton, NIPS 2017]
• 近傍のノードをサンプリングして特徴情報を
集める→ノードのラベルを予測
http://snap.stanford.edu/graphsage/
2021.9.21(火)

GraphSAGE [Hamilton, NIPS 2017]
• 各ノード𝑣の近傍𝑁(𝑣)について
• ℎ𝑁(𝑣)
𝑘
= 𝐴𝐺𝐺𝑅𝐸𝐺𝐴𝑇𝐸({ℎ𝑢
𝑘−1
, ∀𝑢 ∈ 𝑁(𝑣)})
• ℎ𝑣
𝑘
= 𝜎(𝑊𝑘
∙ [ℎ𝑣
𝑘−1
||ℎ𝑁(𝑣)
𝑘
])
• 3つのaggregator関数
– Mean aggregator
– LSTM aggregator
– Pooling aggregator
𝑣の近傍の𝑢の
表現を集める
𝑣自身の表現と
近傍の表現の結合
活性化関数重み
サンプリングでサイズ固定
2021.9.21(火)

6.関連トピック
1. Graph autoencoder
2. Attention, GAT
3. GraphRNN
4. 動的変化とGNN
1. Temporal convolutional networks
2. Spatio-temporal convolutional networks
3. Embedding of dynamic graphs
5. 敵対的攻撃とGNN
6. GNNの単純化・可能性・限界の考察
7. GNNの説明可能性
2021.9.21(火)

7.今後の課題
1. 浅い構造
2. 動的グラフ
2021.9.21(火)

問題1. 浅い構造
• 従来の(画像や自然言語を対象とした)深層学
習では性能向上のため何百層にすることも
– 深層の方がパラメータ数が多く表現力も向上
• グラフニューラルネットワークの多くは浅く、3
層以上のものはほとんどない
• グラフ畳み込みで層の数を増やすとover-
smoothingになる
– 全ての頂点の表現が同じ値に収束
2021.9.21(火)

深層GCNの学習は困難
• Laplacian smoothingを何度も適用すると、各
ノードの特徴が同じ値に収束してしまう
• Li et al. “Deeper Insights into Graph
Convolutional Networks for Semi-Supervised
Learning” (AAAI-2018)
2021.9.21(火)

問題2. 動的グラフ
• 静的グラフは比較的モデル化しやすい
• 辺や頂点が動的に変化しても、グラフニュー
ラルネットワークは対応できない
• 動的グラフの表現(エンベディング)をどうする
か
2021.9.21(火)

問題3. 非構造データ
• 元データからのグラフの生成手法が自明でな
い場合も
• 優れたグラフ生成手法によって、グラフニュー
ラルネットワークの応用が広がる可能性
2021.9.21(火)

問題4. スケーラビリティ
• ほとんどのグラフエンベディングアルゴリズム
において、大規模データの処理は困難であり、
グラフニューラルネットワークも例外ではない
• グラフニューラルネットワークの大規模化は
計算量的に困難
– 何百万もの頂点・辺がある場合、グラフラプラシ
アンを計算することは容易でない
2021.9.21(火)

8.PyTorch Geometricによる実装
2021.9.21(火)

PyTorch Geometric
• PyTorch上のグラフニューラルネットワークのライブ
ラリ (ChebNet, 1stChebNet, GraphSage, MPNNs,
GAT, SplineCNN)
• https://github.com/rusty1s/pytorch_geometric
• https://pytorch-
geometric.readthedocs.io/en/latest/
2021.9.21(火)

9.今後の学習のための情報源
2021.9.21(火)

グラフエンベディング
• A Survey on Network Embedding [Cui et al., 2017]
– https://arxiv.org/abs/1711.08752
• WWW-18 Tutorial : Representation Learning on
Networks
– http://snap.stanford.edu/proj/embeddings-www/
• Awesome network embedding (links to papers and
codes)
– https://github.com/chihming/awesome-network-
embedding
2021.9.21(火)

ネットワークの表現学習
(グラフエンベディング)
• 浅谷先生（東大) 人工知能学会私のブック
マーク
– https://www.ai-gakkai.or.jp/my-bookmark_vol31-
no4/
2021.9.21(火)

(サーベイ論文)
• “A Comprehensive Survey on Graph Neural Networks”
– Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long,
Chengqi Zhang, Philip S. Yu
• “Graph Neural Networks: A Review of Methods and
Applications”
– Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan
Liu, Lifeng Wang, Changcheng Li, Maosong Sun
• “Deep Learning on Graphs: A Survey”
– Ziwei Zhang, Peng Cui, Wenwu Zhu
2021.9.21(火)

書籍
• “Introduction to Graph Neural Networks”
• Zhiyuan Liu, Jie Zhou
• Morgan & Claypool Publishers (2020)
2021.9.21(火)

書籍
• “Graph Representation Learning”
• William L. Hamilton
• Morgan & Claypool publishers (2020)
• preprintが無料でダウンロード可
– https://www.cs.mcgill.ca/~wlh/grl_book/
2021.9.21(火)

(Webサイト)
• Must-read papers on GNN
– https://github.com/thunlp/GNNPap
ers
– 13 survey papers, 91 basic models,
18 graph types, 11 pooling methods,
21 analysis, 8 efficiency,
– Applications (Physics, Chemistry
and Biology, Knowledge Graph,
Recommender Systems, Computer
Vision, Natural Language Processing,
Generation, Combinatorial
Optimization, Adversarial Attack,
Graph Clustering, Graph
Classification, Reinforcement
Learning, Traffic Network, Few-shot
and Zero-shot Learning, Program
Representation, Social Network,
Graph Matching, Computer
Network)
2021.9.21(火)

(Webサイト)
• Awesome resources on
Graph Neural Networks
– https://github.com/nnzhan/
Awesome-Graph-Neural-
Networks
2021.9.21(火)

(Webサイト)
• Papers with codes – Graphs
– https://paperswithcode.com/area/graphs
– Representation Learning, Anomaly
Detection, Link Prediction, Graph
Embedding, Node Classification, Graph
Classification, Community Detection,
Learning-To-Rank, Graph Generation,
Graph Clustering, Graph Construction,
Graph Matching, Topological Data
Analysis, Material Classification, Graph
Similarity, Graph Regression, Graph
Partitioning, Sketch, Spectral Graph
Clustering, Vector Graphics, Collaborative
Ranking, Molecular Dynamics,
Connectivity Estimation, MD17 dataset,
Physics-Informed Machine Learning,
Hypergraph Embedding, Graph-To-Graph
Translation, Hypergraph Partitioning,
Gene Interaction Prediction, Link Sign
Prediction, Triad Prediction, Graph
Ranking, Graphon Estimation, Hypergraph
Matching
2021.9.21(火)

CS224W: Machine Learning with
Graphs (Prof. Jure Leskovec)
• YouTubeで視聴可能
– CS224W: Machine Learning with Graphs | 2021 |
Lecture 1.1 - Why Graphs
– https://www.youtube.com/watch?v=JAB_plj2rbA
• 全ての回のスライドを公開
– http://web.stanford.edu/class/cs224w/
2021.9.21(火)

国際会議チュートリアル(AAAI 2020)
• “Graph Neural Networks: Models and
Applications”, Yao Ma, Wei Jin, Jiliang Tang,
Lingfei Wu, Tengfei Ma
• https://cse.msu.edu/~mayao4/tutorials/aaai2
020/
スライド閲覧可
2021.9.21(火)

スライド
• “An Introduction to Graph Neural Networks:
basics and application”
• Katsuhiko Ishiguro (Preferred Networks)
– https://www.slideshare.net/pfi/20201023naistpfn
ishigurognnintroduction
2021.9.21(火)

Structured deep models: Deep
learning on graphs and beyond
• Kipfによる講演スライド
• http://tkipf.github.io/misc/SlidesCambridge.p
df
2021.9.21(火)

10.研究紹介
• 言語横断テキスト分類 (EMNLP 2021)
• 2部グラフGCNによる救急医療サービスの予測
(IEEE Access 2021)
• GNNによる高精度な認知機能診断 (Sensors 2020)
• 欠損値を含むグラフを扱うGNN (Future Generation
Computer Systems 2021)
• 中心性を高速に近似するGNN (ACM Trans. on
Knowledge Discovery from Data 2021, CIKM 2019)
• 変分グラフオートエンコーダによるコミュニティ検出
(ICDM 2018) 「グラフニューラルネットワーク」 (FAN 2021
2021.9.21(火)

言語横断テキスト分類(CLTC)
• 資源が豊富な言語の訓練データを使って、資源が乏しい言
語の分類問題を解くための転移学習
– 資源が豊富な言語のタスク固有の訓練データは入手困難
• 代替案として、資源が豊富な言語のタスクに依存しない単
語埋め込みと、2言語間の辞書を用いたCLTCを提案
– 2言語間の辞書から異種頂点グラフを作り、単語レベルと言語
レベルの2段階集約を行うグラフニューラルネットワークを構築
– 大規模コーパスを利用しないのに事前学習モデルよりも高性能
2021.9.21(火)
Nuttapong Chairatanakul, Noppayut Sriwatanasakdi, Nontawat Charoenphakdee, Xin Liu, Tsuyoshi Murata,
“Cross-lingual Transfer for Text Classification with Dictionary-based Heterogeneous Graph”,
Findings of EMNLP 2021 (accepted, to appear)

2部グラフGCNによる救急医療
サービスの予測
• 東京都の救急車データを病院-地域の2部グラフで
表現し、救急需要(高/低)を予測する2部グラフ畳
み込みニューラルネットワークモデルを提案
• 需要予測において77.3%～87.7%の精度を達成
– 従来の機械学習アルゴリズム、統計モデル、および最
新のグラフベースの手法を大幅に上回る
71
Ruidong Jin, Liu Xin, Tsuyoshi Murata, “Predicting Emergency Medical Service Demand With Bipartite Graph
Convolutional Networks”, IEEE Access, Vol. 9, pp.9903-9915, 2021.
https://doi.org/10.1109/ACCESS.2021.3050607

GNNによる高精度な認知機能診断
• 脳画像技術や機械学習の進歩により、脳疾患の診断に大き
な進歩
– 健常者と患者を区別する機械学習モデルの開発は非常に重要
• population graphに基づくマルチモデルアンサンブルを提案
– 画像と表現型の異なる組み合わせで(類似した患者の脳の)
population graphを構築
– 提案モデルはABIDEデータにおいて、最先端の手法よりも高性能
72
Zarina Rakhimberdina, Xin Liu, Tsuyoshi Murata, "Population Graph-Based Multi-Model Ensemble Method
for Diagnosing Autism Spectrum Disorder“, Sensors, Vol.20, No.21, 18 pages, 2020.
https://doi.org/10.3390/s20216001

欠損値を含むグラフを扱うGNN
• 欠損した特徴の入力とグラフ学習を同じニューラ
ルネットワークアーキテクチャ内に統合
– 欠損データをガウス混合モデル(GMM)で表現し、GCN
の第一隠れ層のニューロンの期待活性化を計算
• 従来の入力ベースの手法よりも高性能・頑強
73
Hibiki Taguchi, Xin Liu, Tsuyoshi Murata, "Graph Convolutional Networks for Graphs Containing Missing
Features", Future Generation Computer Systems, Vol.117, pp.155-168, Elsevier, 2021.
https://doi.org/10.1016/j.future.2020.11.016

中心性を高速に近似するGNN
• GNNによる媒介中心性の計算
• ノード特徴の制約付きメッセージパッシングを用いて、
媒介中心性を近似
• 実データを用いた大規模な実験で、既存手法よりも
高性能・高速
74
Sunil Kumar Maurya, Xin Liu, Tsuyoshi Murata, "Graph Neural Networks for Fast Node Ranking
Approximation", ACM Transactions on Knowledge Discovery from Data, Vol.15, No.5, Article No.78, 2021.
https://doi.org/10.1145/3446217
Sunil Kumar Maurya, Xin Liu, Tsuyoshi Murata, "Fast Approximations of Betweenness Centrality with Graph
Neural Networks", Proc. of the 28th ACM Int'l Conf. on Information and Knowledge Management (CIKM'19)
pp.2149–2152, 2019.
https://doi.org/10.1145/3357384.3358080

変分グラフオートエンコーダによる
コミュニティ検出
• 変分オートエンコーダ (VAE) :オートエンコーダの潜
在空間における表現を(点でなく)確率分布で表現
• 変分グラフオートエンコーダ (VGAE) : VAEのエン
コーダ部分にGCNを用いてグラフの潜在空間の表
現を学習
• 提案手法：グラフ内の各コミュニティに対応した複
数のガウス分布によってグラフ構造をエンコード
75
Jun Jin Choong, Xin Liu, Tsuyoshi Murata, "Learning Community Structure with Variational Autoencoder",
Proceedings of IEEE ICDM 2018 (IEEE International Conference on Data Mining), pp.69-78, November, 2018.
https://doi.org/10.1109/ICDM.2018.00022

Graph Neural Networks

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Graph Neural Networks

Ähnlich wie Graph Neural Networks (20)

Mehr von tm1966

Mehr von tm1966 (16)

Kürzlich hochgeladen

Kürzlich hochgeladen (7)

Graph Neural Networks