explanation about graph embedding and SDNE(Structural Deep Network Embedding)

1. 日本オラクル株式会社
Associate Consultant
Kohei Saito
Qiita訳文補助資料
What is Graph Embedding?
What is “SDNE”?

2. 本資料は、2020年1月20日に開催されるPGXユーザ勉強会にて、Graph Embeddingとは何かを再考し、解
説がわかりにくいSDNE(Structural Deep Network Embedding)の内部を解明することを目的に作成されたも
のです。
はじめに

3. ノードを高次元の実数ベクトルで表現する技術を指します
Embeddingにより、ノード間の距離を比較できるようになります
Graph Embeddingとは
A
E
B
C
F
D
A B C D E F
A 0 0 0 0 1 1
B 0 0 0 0 1 1
C 0 0 0 0 1 1
D 0 0 0 0 1 1
E 1 1 1 1 0 0
F 1 1 1 1 0 0
隣接行列
=

4. ランダムウォークだけでは、Graphのグローバルな構造を保存できないことが問題点として挙
げられます
DeepWalkの問題点
A
E
B
C
F
D
A B C D E F
A 0 0 0 0 1 1
B 0 0 0 0 1 1
C 0 0 0 0 1 1
D 0 0 0 0 1 1
E 1 1 1 1 0 0
F 1 1 1 1 0 0
隣接行列
= 0
（ハミング距離）
隣接ノードは同じだが、
共起しない可能性あり

5. ノードの近接性は間接的に観測される方が多いことが提唱されています
DeepWalkのように、直接的につながったノード同士に着目するだけでは、ノードの類似度を
測るのには不十分です
Graphのグローバルな構造に着目すべき理由
『Structural Deep Network Embedding』
https://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdf

6. 指定したエポッ
ク数学習する
Autoencoderは、次元圧縮のために開発されたアルゴリズムです
SDNEの紹介の前に - Autoencoderとは
x1
x2
x3
x4
x5
x6
h1
h2
h3
x6’
x5’
x3’
x4’
x2’
x1’
入力はone-
hotベクトル
出力は入力と同
じone-hotベク
トル
隠れ層（低次
元）を得たい
w w’

7. グラフのローカルな構造に加え、グローバルな構造も保存することを目的に提案されたアルゴ
リズムです
グラフ表現を学習するために、Autoencoderを使用することが特徴です
SDNE(Structural Deep Network Embedding)のご紹介
a
b
c
d
e
f
x
x
x
f
e
c
d
b
a
(0, 0, 0, 0, 1, 0)
w w’
(0, 0, 0, 0, 1, 0)
0.2 0.1 0.7
0.3 0.2 0.5
0.7 0.6 0.4
重みを更新
グラフを低次元で表現（ラプラシアン行列）

8. SDNEとDeepWalkでノードのクラスタリングをした結果です
SDNEの方が、くっきりとクラスタリングできていることがわかります
SDNEでノードのクラスタリング
https://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdf

9. • Graph Embeddingとは、Graphを高次元の実数ベクトルで表現する技術を指します
• AutoencoderによりGraphのグローバルな構造を保持するSDNEは、DeepWalkの弱点を解消するアプ
ローチをとっています
今回は、Graph Embeddingとは何かを再考し、SDNEでは何をしているのかを共有しました
まとめ