Graph Clustering on Missing Data

2015/01/29グラフクラスタリングセミナ
3.1. Generation models for clustered graphs
&
Graph Clustering With Missing Data: 
Convex Algorithms and Analysis
Ramya Korlakai Vinayak, Samet Oymak, Babak Hassibi
発表: 井上祐馬
1
Satu Elisa Schaeffer

今日のお話
• データ欠損のある隣接行列でクラスタリング
• 元のグラフに生成モデルを仮定すると、クラス
タリングの成功率を保証できる定式化を提案
• まずは生成モデルの話をします
2
サンプリング
1 2 3 4 5 6 7 8
1 0 1 ? ? 0 ? 0 1
2 1 ? 1 1 0 ? ? ?
3 ? 0 0 1 ? 0 ? ?
4 1 1 1 1 ? ? ? ?
5 0 1 ? ? ? 1 0 1
6 ? ? ? ? 1 ? 1 1
7 ? ? 0 0 ? ? 0 ?
8 ? ? 0 ? ? ? ? 1

3.1. Generation models for
clustered graphs
3

Gilbert model [Gilbert 59]
• 一様ランダムな生成
✓ nC2の各辺が独立に確率pで存在
✓ 次数はポアソン分布に従う
✓ 密なクラスタは期待できない
4
p
1-p

planted ℓ-partition model [Condon01]
• n = ℓ・k として、ℓ 個の頂点からなる k 個の
クラスタを生成
• 同じクラスタの頂点間は確率 p 、違うクラス
タの頂点間は確率 q で辺を生成 (q < p)
5
p
1-p
q

Stochastic Block model [Holland01]
• n = Σk ni として、ni 個の頂点からなる k 個のク
ラスタを生成
• 同じクラスタの頂点間は確率 pi 、違うクラス
タの頂点間は確率 q で辺を生成 (q < pi)
6
p
1-p
q

Caveman Graph [Watts99]
• Cave と呼ばれるクリーク (クラスタ) が複数ある
• Cave 内の辺 1 本を他の Cave の頂点に繋ぎかえ
7

8

9

10

Relaxed Caveman Graph [Virtanen03]
• 再帰的に定義される多階層のクラスタ
✓ クラスタ内の辺存在確率 p
✓ 一階層潜る度に係数 s で存在率が変化
✓ subcave のサイズの min と max も設定
1111

モデルの特徴
• planted partition model や relaxed caveman
model はいい感じの人工データ
✓ planted partition model は調整等が扱いや
すい
✓ relaxed caveman model は違うサイズのク
ラスタを作りやすい
12

Graph Clustering With Missing Data:
Convex Algorithms and Analysis
13

概要
• グラフ上の関係 nC2 個のデータを完全に得るのは
難しい場合がある
• 不完全な隣接行列に対するグラフクラスタリング
を考えよう！
• 隣接行列補完手法を提案
• クラスタリング成功/失敗率の見積もり付き
14

問題定義
• Input : 欠損あり隣接行列 Aobs
• Goal : 欠損がない隣接行列 A に対する 
グラフクラスタリング
15
1 2 3 4 5 6 7 8
1 0 1 ? ? 0 ? 0 1
2 1 ? 1 1 0 ? ? ?
3 ? 0 0 1 ? 0 ? ?
4 1 1 1 1 ? ? ? ?
5 0 1 ? ? ? 1 0 1
6 ? ? ? ? 1 ? 1 1
7 ? ? 0 0 ? ? 0 ?
8 ? ? 0 ? ? ? ? 1

行列補完法1: Simple Convex Program
• L : Low-Rank matrix, 復元された行列
• S : エラーを表す行列
• クラスタ = 理想的にはクリークが独立して存在
行列のランクは低い
16
min
L,S
kLk⇤ + kS||1
subject to
0  Li,j  1 for all i, j 2 {1, 2, . . . , n}
Lobs
+ Sobs
= Aobs

• : nuclear norm, 行列の特異値の総和
• : ℓ1 norm, 各エントリの絶対値の総和
• ランク最小化はNP-hardなので convex な
nuclear normを使う
17
min
L,S
kLk⇤ + kS||1
subject to
0  Li,j  1 for all i, j 2 {1, 2, . . . , n}
Lobs
+ Sobs
= Aobs
k · k⇤
k · k1

• 問題点： p<1/2 になると復元の方が大変に 
なって L = 0 になりやすい
18
min
L,S
kLk⇤ + kS||1
subject to
0  Li,j  1 for all i, j 2 {1, 2, . . . , n}
Lobs
+ Sobs
= Aobs
理想最適化

• : クラスタ内の辺の総数 (既知とする)
• S : クラスタ内の辺のみに関するエラー行列
• L のエントリの和に下限が与えられているので
0に行列にならない
19
Li,j = Si,j whenever Aobs
i,j = 0
sum(L) |R|
行列補完法2: Improved Convex Program
min
L,S
kLk⇤ + kS||1
subject to
|R|
0  Si,j  Li,j  1 for all i, j 2 {1, 2, . . . , n}

本論文の貢献
• 前述2つの最適化問題への定式化を与え、グラフがあるモデ
ルに従うという仮定の元で理論解析した
1. について、成功率/失敗率の見積もりを与えた。これに
よりどの辺りで成功/失敗が入れ替わるのかがわかりや
すくなった
2. について、成功率を与えた
• 実験で性能を確認した
✓ モデルに従ったグラフでの実験
✓ Crowdsourcing で集めた結果でのクラスタリング実験
20

仮定するモデル
• 生成モデル : Stochastic Block Model
• ni 個の頂点からなる k 個のクラスタを生成
• 同じクラスタの頂点間は確率 pi 、違うクラ
スタの頂点間は確率 q で辺を生成 (q < pi)
• 欠損モデル : Partial Observation Model
• ある辺が観測されるかどうかは独立に確率 r
21

仮定するモデル
• まとめると……
✓ l と m が同じクラスタ i に含まれるなら
✓ そうでないなら
22
Aobs
l,m =
8
><
>:
1, w.p. rpi
0, w.p. r(1 pi)
⇤, w.p. 1 r
Aobs
l,m =
8
><
>:
1, w.p. rq
0, w.p. r(1 q)
⇤, w.p. 1 r

定理 - Simple Convex Program -
✓ : 異なるクラスタ間の辺の総数
✓
✓ 証明略
23
(1 + ✏)⇤fail
1 c1 exp( c2|Rc
|)
|Rc
|
⇤ 1
fail =
v
u
u
trq n
KX
i=1
n2
i
n
!
失敗率について、を満たすなら 
確率で失敗する

✓
✓
24
成功率について、を満たすとき
• なら、 
確率で成功する
• なら、 
確率で失敗する
0 <  (1 ✏)⇤succ
min
1iK
{nir(2pi 1)} (1 + ✏)
1
min
1iK
{nir(2pi 1)}  (1 ✏)
1
1 c1n2
exp( c2 min
1iK
ni)
1 c1 exp( c2 min
1iK
ni)
succ = max
1iK
2r
p
ni
p
2(1/r 1) + 4(q(1 q) + pi(1 pi))
⇤ 1
succ = 2r
p
n
p
1/r 1 + 4q(1 q) + succ

• 要約すると……
• なら、クラスタ外の辺が少ない
ほど高確率で失敗
• なら、の
ときクラスタが大きいほど高確率で成功
• のときはよくわからない
25
> ⇤fail
< ⇤succ min
1iK
{nir(2pi 1)} > 1/
⇤fail < < ⇤succ
0 1min
1iK
{nir(2pi 1)} ⇤succ ⇤fail
fail failsucc ???

• を仮定すると、式変形より 
高い成功率のためのクラスタサイズの下限
がわかる
26
max
1iK
ni = o(n)
min
1iK
ni >
2
p
n
2p 1
r
1
r
1 + 4q(1 q)

27
定理 - Improved Convex Program -
成功率について、を満たすとき
• なら、 
確率で成功する1 c1n2
exp( c2 min
1iK
ni)
0 <  (1 ✏)⇤succ
⇤ 1
succ = 2r
p
n
p
(1/r 1 + q)(1 q) + succ
succ = 2 max
1iK
r
p
ni
p
(1 pi)(1/r 1 + pi) + (1 q)(1/r 1 + q)
min
1iK
{nir(pi q)} (1 + ✏)
1
✓
✓
✓ 同じく証明略

• 要約すると……
• ならクラスタが大き
いほど高確率で成功
• を仮定すると、式変形より 
高い成功率のためのクラスタサイズの下限がわかる
• 式変形より、欠損箇所をそのままにするより、0 で
埋めた方が精度がよくなることがわかる
28
定理 - Improved Convex Program -
min
1iK
{nir(pi 1)} 1
< < ⇤succ
max
1iK
ni = o(n)
min
1iK
ni >
2
p
n
p q
v
u
u
t 1
r
1 + q
!
(1 q)

実験1: 人工データ + Simple CP
• 600頂点3クラスタのグラフを SBM + POM に従って生成
1. n1 = n2 = n3 = 200 に固定し、p と r を変化させる
2. p1 = p2 = p3 = 0.85 に固定し、nmin と r を変化させる
• として、成功と失敗の境
界を観察
29
= 1.01 min
1iK
{nir(2pi 1)} 1
白：成功, 黒：失敗
赤：理論成功閾値
緑：理論失敗閾値
だいたい理論通り

実験2: 人工データ + Improved CP
• 600頂点3クラスタのグラフを SBM + POM に従っ
て生成
✓ n1 = n2 = n3 = 200 に固定し、p と r を変化させる
• として、成功の境界を観察
30
白：成功, 黒：失敗
赤：理論成功閾値
= 0.49⇤succ
だいたい理論通り

実験3: 人工データで比較
• 600頂点3クラスタのグラフを SBM + POM に従って
生成
✓ n1 = n2 = n3 = 200, r = 1 に固定し、p を変化させる
• として、成功の境界を観察
31
= 0.49⇤succ
Simple は1/2以下ではダメ
Improved は 0.35 までOK

実験4: クラウドソーシング
• 犬の画像による犬種の分類
✓ Stanford Dogs Dataset より
✓ 3犬種: Norfolk Terrier (172枚) 
Toy Poodle (151枚) 
Bourvier des Flandres (150枚)
32

• 実験設定
✓ 一人のワーカーにランダムに 30 組の写真を見せる
✓ 隣接行列の 111,628 エントリのうち 16,750 が埋
まり、間違いは23.53%含まれていた
✓ 何もしない・simple CP・improved CPの 
それぞれで k-means した結果を 
比較 (λ = 1/√n, |R| = 0.125nC2)
33

• 実験結果：精度向上 
クラスタ数推定のための固有値も綺麗に出る
34

• 実験結果：精度向上 
クラスタ数推定のための固有値も綺麗に出る
35

まとめ
• モデルに基づくクラスタが存在するグラフの隣
接行列に対し、効果的な行列補完を定式化した
• (式は実験では拡張ラグランジュ法で解いた)
• 理論的な成功 / 失敗率を見積もり、実験でその
正当性を確認した
• 現実のクラスタリングに使用したところ、精度
が向上した
36

Graph Clustering on Missing Data

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (17)

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie Graph Clustering on Missing Data

Ähnlich wie Graph Clustering on Missing Data (20)

Graph Clustering on Missing Data