Suche senden
Hochladen
Graph U-Nets
•
Als PPTX, PDF herunterladen
•
6 gefällt mir
•
2,852 views
S
Shion Honda
Folgen
ICLR/ICML2019読み会 Graph U-Nets Hongyang Gao, Shuiwang Ji ICML 2019
Weniger lesen
Mehr lesen
Wissenschaft
Melden
Teilen
Melden
Teilen
1 von 19
Jetzt herunterladen
Empfohlen
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)
yukihiro domae
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
Empfohlen
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)
yukihiro domae
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
ベイジアンディープニューラルネット
ベイジアンディープニューラルネット
Yuta Kashino
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
harmonylab
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII
Introduction to YOLO detection model
Introduction to YOLO detection model
WEBFARMER. ltd.
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
Yusuke Uchida
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
[DL輪読会]Attention is not Explanation (NAACL2019)
[DL輪読会]Attention is not Explanation (NAACL2019)
Deep Learning JP
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
Noisy Labels と戦う深層学習
Noisy Labels と戦う深層学習
Plot Hong
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
SakataMoriLab GNN勉強会第一回資料
SakataMoriLab GNN勉強会第一回資料
ttt_miura
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
Shion Honda
Weitere ähnliche Inhalte
Was ist angesagt?
ベイジアンディープニューラルネット
ベイジアンディープニューラルネット
Yuta Kashino
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
harmonylab
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII
Introduction to YOLO detection model
Introduction to YOLO detection model
WEBFARMER. ltd.
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
Yusuke Uchida
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
[DL輪読会]Attention is not Explanation (NAACL2019)
[DL輪読会]Attention is not Explanation (NAACL2019)
Deep Learning JP
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
Noisy Labels と戦う深層学習
Noisy Labels と戦う深層学習
Plot Hong
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
Was ist angesagt?
(20)
ベイジアンディープニューラルネット
ベイジアンディープニューラルネット
ドメイン適応の原理と応用
ドメイン適応の原理と応用
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
Introduction to YOLO detection model
Introduction to YOLO detection model
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
「世界モデル」と関連研究について
「世界モデル」と関連研究について
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
全力解説!Transformer
全力解説!Transformer
[DL輪読会]Attention is not Explanation (NAACL2019)
[DL輪読会]Attention is not Explanation (NAACL2019)
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Noisy Labels と戦う深層学習
Noisy Labels と戦う深層学習
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
Ähnlich wie Graph U-Nets
SakataMoriLab GNN勉強会第一回資料
SakataMoriLab GNN勉強会第一回資料
ttt_miura
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
Shion Honda
グラフデータ分析 入門編
グラフデータ分析 入門編
順也 山口
Caffeのデータレイヤで夢が広がる話
Caffeのデータレイヤで夢が広がる話
Masaki Saito
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
Deep Learning JP
Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介
Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介
Masayoshi Kondo
Ähnlich wie Graph U-Nets
(6)
SakataMoriLab GNN勉強会第一回資料
SakataMoriLab GNN勉強会第一回資料
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
グラフデータ分析 入門編
グラフデータ分析 入門編
Caffeのデータレイヤで夢が広がる話
Caffeのデータレイヤで夢が広がる話
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介
Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介
Mehr von Shion Honda
BERTをブラウザで動かしたい!―MobileBERTとTensorFlow.js―
BERTをブラウザで動かしたい!―MobileBERTとTensorFlow.js―
Shion Honda
Bridging between Vision and Language
Bridging between Vision and Language
Shion Honda
Deep Learning Chap. 12: Applications
Deep Learning Chap. 12: Applications
Shion Honda
Deep Learning Chap. 6: Deep Feedforward Networks
Deep Learning Chap. 6: Deep Feedforward Networks
Shion Honda
画像認識 第9章 さらなる話題
画像認識 第9章 さらなる話題
Shion Honda
Towards Predicting Molecular Property by Graph Neural Networks
Towards Predicting Molecular Property by Graph Neural Networks
Shion Honda
深層学習による自然言語処理 第2章 ニューラルネットの基礎
深層学習による自然言語処理 第2章 ニューラルネットの基礎
Shion Honda
BERT: Pre-training of Deep Bidirectional Transformers for Language Understand...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understand...
Shion Honda
IaGo: an Othello AI inspired by AlphaGo
IaGo: an Othello AI inspired by AlphaGo
Shion Honda
Planning chemical syntheses with deep neural networks and symbolic AI
Planning chemical syntheses with deep neural networks and symbolic AI
Shion Honda
Mehr von Shion Honda
(10)
BERTをブラウザで動かしたい!―MobileBERTとTensorFlow.js―
BERTをブラウザで動かしたい!―MobileBERTとTensorFlow.js―
Bridging between Vision and Language
Bridging between Vision and Language
Deep Learning Chap. 12: Applications
Deep Learning Chap. 12: Applications
Deep Learning Chap. 6: Deep Feedforward Networks
Deep Learning Chap. 6: Deep Feedforward Networks
画像認識 第9章 さらなる話題
画像認識 第9章 さらなる話題
Towards Predicting Molecular Property by Graph Neural Networks
Towards Predicting Molecular Property by Graph Neural Networks
深層学習による自然言語処理 第2章 ニューラルネットの基礎
深層学習による自然言語処理 第2章 ニューラルネットの基礎
BERT: Pre-training of Deep Bidirectional Transformers for Language Understand...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understand...
IaGo: an Othello AI inspired by AlphaGo
IaGo: an Othello AI inspired by AlphaGo
Planning chemical syntheses with deep neural networks and symbolic AI
Planning chemical syntheses with deep neural networks and symbolic AI
Graph U-Nets
1.
Graph U-Nets 本田 志温 ICLR/ICML2019読み会
@DeNA Hongyang Gao, Shuiwang Ji ICML 2019 @shion_honda
2.
自己紹介 2 • 東京大学大学院情報理工学系研究科 M2 •
医学系の研究室でAI創薬の研究に従事 • NLPやCVも勉強中 • 最近の関心はグラフ • 趣味: 音楽鑑賞, 料理, 旅行, サッカー, 水泳など • SFと神経科学も好き
3.
概要 • CNNのpooling/unpoolingをグラフ上で定義 • GCNと組み合わせてGraph
U-Netを提案 • ノード分類とグラフ分類の両方でSOTA 3
4.
背景 4
5.
問題設定 • CNNsはCVやNLPで活躍しているが, これらの データはグリッド状という特徴がある •
非グリッドなグラフ構造でも, 畳み込み演算を 適用できるようにしたGNNsが考案されている 5 • 画像を「ノードが格子状に並んだ グラフ」だと捉えると, ノード分類 は画像のセグメンテーションと同 一視できる • 画像のセグメンテーションで定番のU-Netをグ ラフでも適用できるようにしたい
6.
U-Netとは • U-Net: Convolutional
Networks for Biomedical Image Segmentation [2] • Ronneberger+, MICCAI, 2015 • 前半のdownsamplingと後半のupsamplingからなる U字型のネットワーク • downsamplingの途中の各階層で特徴マップを upsampling側に渡す →異なるスケールの特徴を考慮 • 細胞画像のセグメンテ ーションで実験 6
7.
グラフに関する様々なタスク 7 タスク スケール 例 ノード分類
ノード 引用関係のグラフにおける論文のカテゴリ予測 リンク予測 ノード SNSのつながり推薦 グラフ分類 グラフ タンパク質の活性予測 グラフ生成 グラフ 分子グラフの生成 *ノードレベルとグラフレベルではタスクの性質が異なる 引用関係 分子 [3]
8.
GNNsの関連研究 • 元祖GCN • 𝑋𝑙:
第𝑙層での特徴行列 • 𝐷: 次数行列 • 𝐴: 隣接行列 • 𝑊𝑙:第𝑙層での重み • 行列積の形でグラフ畳み込みが書ける 8 𝐴 = 𝐴 + 𝐼 𝐷 = 𝐷 + 𝐼 • DiffPool [4] • ノードのクラスタリングを行うGNNをプーリング 層として挿入 • グラフ分類に 有効
9.
本論 9
10.
gPool 1. 学習可能なベクトル𝑝に特徴行列𝑋を射影(𝑦) 2. 特徴行列𝑋と隣接行列𝐴について,
値の大きな𝑘個の ノードを取り出す(idは保存しておく) 3. 特徴行列𝑋に𝑦でゲートをかける * 3は𝑝を計算グラフに入れるために必要 * k-max poolingと対応 10
11.
gUnpool 11 1. 特徴行列𝑋と隣接行列𝐴について, 対応するgPoolで捨てられたノードの 対応箇所を0で埋める
12.
Graph U-Net • gPoolとgUnpoolを対称に並べてU-Netを作る •
gPoolとgUnpoolの前後にはGCNを入れる • 最後に各ノードのembeddingが得られる 12
13.
その他の工夫 • Graph Connectivity
Augmentation • gPoolの途中でグラフの連結性が失われるのを防ぎ たい • gPoolの5番目の式で, 隣接行列を2乗する 13 • Improved GCN Layer • GCNでノード自身の特徴に重みをつけるため, 隣接 行列の計算を次のように変える
14.
実験1: ノード分類 (transductive) •
ノード分類 • transductive: 訓練時に与えられなかったノードラ ベルを当てる • 論文の引用関係を表すグラフ • 条件 • 𝑘 = 2000, 1000, 500, 200として4回のgPool • Contractive pathでは和をとる • upsampling側の最後のGCNで予測 • ベースラインはDeepWalk, GCN, GATなどノー ド埋め込みを得る手法 14
15.
実験2: グラフ分類 (inductive) 15 •
グラフ分類 • inductive: 訓練時に与えられなかったグラフのラベ ルを当てる • タンパク質と共著関係を表すグラフ • 条件 • 基本的に実験1を踏襲. 同じく4回のgPool • 𝑘 の値はノード数の90%, 70%, 60%, 50%とする • ベースラインはDGCNN, DiffPoolなど
16.
結果 1. ノード分類: 3/3でSOTA 16 2.
グラフ分類: 2/3でSOTA • COLLABではDiffPool-DETがダントツ
17.
Ablation studies 17 1. GCN
+ contracting pathとの比較 2. Graph Connectivity Augmentationは効果あり 3. 最適な深さは4層 4. gPool/Unpoolでパラメータ数はほぼ増えない
18.
まとめ • まとめ • 学習可能なベクトル𝑝に特徴行列𝑋を射影し,
値の大 きいidのノードを取ることでgPoolを定義 • 捨てたノードを0で埋めてgUnpoolを定義 • これらをGCNと組み合わせてGraph U-Netを提案 • ノード分類とグラフ分類でSOTA • コメント • グラフ分類でもうまくいくのは意外 • グラフ分類のとき, 出力の次元がノード数になるは ずなので, 実装が自明でない (コード非公開) • 発展としてpix2pixのようなこともできそう 18
19.
参考文献 [1] Hongyang Gao,
Shuiwang Ji. “Graph U-Nets.” ICML. 2019. [2] Olaf Ronneberger, Philipp Fischer, Thomas Brox. “U-Net: Convolutional Networks for Biomedical Image Segmentation.” MICCAI. 2015. [3] Thomas N. Kipf, Max Welling. “Semi-Supervised Classification with Graph Convolutional Networks.” ICLR. 2017. [4] Rex Ying, Jiaxuan You, Christopher Morris, Xiang Ren, William L. Hamilton, Jure Leskovec. “Hierarchical Graph Representation Learning with Differentiable Pooling. ” NeurIPS. 2018. GNNsの導入記事を書きました. [5] GNNまとめ(1): GCNの導入 - Qiita 19
Hinweis der Redaktion
we employ a gate operation to control information flow information flowにpをいれる
there is a GCN layer before each gPool layer, thereby enabling gPool layers to capture the topological information in graphs implicitly.
inductive 非自明
Jetzt herunterladen