論文「Graph U-Net」を読んでみました

1. Gprah U-Net

2. • 新しいgraph上でのpooling，unpoolingを提案
• 提案されたpooling，unpoolingをU-netのようなエンコーダ・デコーダモデルに
適用
• Graph上でのpooling，unpoolingの操作不自然なものであったため，
グラフに対してU-netのようなエンコーダ・デコーダモデルが今までなかった
• ノード分類タスクに関する実験
• 今回は概要のみ
概要

3. なぜU-Netなのか
• U-netは局所的な空間情報を維持しながら高レベルの特徴を
符号化および復号化することができる
➡ピクセル単位の予測タスクで有能な性能を達成している
• ノード分類タスクは各入力ユニットの予測を行うことを目的としている
➡U-netをグラフに対して適用するのは効果があるのではないか

4. • 1-Dプーリング操作前にノードのインデックスを修正するグラフ粗化を行う
Defferrard（2016）
➡ 現在使用しているpooling操作
• 決定論的グラフクラスタリングアルゴリズムを使用して，
プーリングパターンを決定
Simonovsky＆Komodakis（2017）
• 次の層の異なるクラスタにノードを割り当てることによって，
poolingを達成するために割り当て行列を使用
Ying（2018）
Graph上での3種類のpooling

5. Gprah U-Net
CNNで行っていたk-maxプーリング（Blunsom 2014）を
グラフ用に変更した
A Convolutional Neural Network for Modelling Sentences http://www.aclweb.org/anthology/P14-1062

6. Gprah U-Net
ノードの情報の行列に対して
射影ベクトルpとの行列積（p方向に射影）をとり正規化(y)
pは学習可能

7. Gprah U-Net
yの要素yiはノードiの情報量を保持するかどうかを示している
yの上位k個を探す
よってノード情報を考慮したpoolingを行っている

8. Gprah U-Net
Yの上位k個と同じ
ノードのノード情報をとってくる

9. Gprah U-Net
yの上位k個のtanh（y）とk個のノードの情報
の要素積をとる
この結果が次のグラフのノード情報になる

10. Gprah U-Net
隣接行列について（例）
①ノード4，2，5が選ばれたとき
1 2 3
4 5
1 2 3 4 5
1 0 1 0 1 0
2 1 0 1 1 1
3 0 1 0 0 1
4 0 1 0 0 0
5 1 1 1 0 0
隣接行列
2 4 5
2 0 1 1
4 1 0 0
5 1 0 0
2
4 5

11. Gprah U-Net
隣接行列について（例）
②ノード１，5が選ばれたとき
➡ノードの接続情報消失（ノードの分離）
1 2 3
4 5
1 2 3 4 5
1 0 1 0 1 0
2 1 0 1 1 1
3 0 1 0 0 1
4 1 1 0 0 0
5 0 1 1 0 0
隣接行列
1 5
1 0 0
5 0 0
1
5

12. Gprah U-Net
ノードの分離する問題
• プールされたグラフ内のノード間の接続を増やして対処
• k番目のgraph power 𝐺 𝑘
を使用してグラフの接続性を高める
• この操作は距離がkホップのノードの間で接続を構築する
例k=2の時
（SUBSAMPLING FOR GRAPH POWER SPECTRUM ESTIMATION https://arxiv.org/pdf/1603.03697.pdf）
1 2 3
4 5
1 2 3 4 5
1 0 1 0 1 0
2 1 0 1 1 1
3 0 1 0 0 1
4 1 1 0 0 0
5 0 1 1 0 0
隣接行列
1 5
1 2 1
5 1 2
1 2 3 4 5
1 2 1 1 1 1
2 1 4 1 1 1
3 1 1 2 1 1
4 1 1 1 2 1
5 1 1 1 1 2
1
5

13. Gprah U-Net
• 𝐴2の自己ループ部分は次数になっている
• スペクトルなGCNは隣接行列をそのまま使用するので
自己ループに値が入っても大丈夫
例k=2の時
（SUBSAMPLING FOR GRAPH POWER SPECTRUM ESTIMATION https://arxiv.org/pdf/1603.03697.pdf）
1 2 3
4 5
1 2 3 4 5
1 0 1 0 1 0
2 1 0 1 1 1
3 0 1 0 0 1
4 1 1 0 0 0
5 0 1 1 0 0
隣接行列
1 5
1 2 1
5 1 2
1 2 3 4 5
1 2 1 1 1 1
2 1 4 1 1 1
3 1 1 2 1 1
4 1 1 1 2 1
5 1 1 1 1 2
1
5

14. 隣接行列について
• 隣接行列はgraph convolutionするときに𝐴 + 𝐼のように自己ループを加える
• 今回はノード自身の特徴が予測ベクトルにとって重要であるべき
➡ノード自身に高い重みを与えたい
• 𝐴 + 𝐼から𝐴 + 2𝐼に変更する
➡実験結果からもこちらのほうが良い

15. Unpoolingについて
• 対応するgraphPool層で選択されたノードの位置を記録し、
この情報を使用してノードをグラフの元の位置に戻す。
1 2 3
4 5
1 2 3 4 5
1 0 1 0 1 0
2 1 0 1 1 1
3 0 1 0 0 0
4 0 1 0 0 0
5 1 1 1 0 1
2 4 5
2 0 1 1
4 1 0 0
5 1 0 1
2
4 5
2 3 2 4
4 8 4 5
5 9 5 3
1 2 3
1 0 0 0
2 3 2 4
3 0 0 0
4 8 4 5
5 9 5 3
復元部分のノードの特徴は
すべて0にする

16. アーキテクチャ
• エンコーダ/デコーダともにGCNとg-pool(g-unpool)の層が4つで構成
• 各ブロックのノード数2000,1000,500,200
• すべての層にidentity activation functionを使用
• オーバーフィットを避けるために、λ= 0.001の重み付けでL 2正規化を適用
• ドロップアウトは、それぞれ0.8と0.08で隣接行列と特徴行列の両方に適用

17. 実験
• ノード分類の精度の比較を行う
• 比較する既存モデルはノード分類においてstate of artなモデル
実験内容
• 精度比較
• スキップしてるだけでないことを確認
• 2nd graph powerを使用してグラフ接続性向上を伴うgPoolレイヤーの有効性
• G-U-netの深さ別精度比較
• パラメータに対するgPool/gUnpool層の有無における精度の比較