2. "Optimal Transport", "Sinkhorn" or "Wasserstein" をタイトルに含む論⽂が計16本!
1. On Unbalanced Optimal Transport: An Analysis of Sinkhorn Algorithm
2. Debiased Sinkhorn barycenters
3. Sparse Sinkhorn Attention
4. Representation Learning via Adversarially-Contrastive Optimal Transport
5. TrajectoryNet: A Dynamic Optimal Transport Network for Modeling Cellular
Dynamics
6. Optimal transport mapping via input convex neural networks
7. Adversarial Risk via Optimal Transport and Optimal Couplings
2
3. 8. Scalable Nearest Neighbor Search for Optimal Transport
9. Margin-aware Adversarial Domain Adaptation with Optimal Transport
10. A Swiss Army Knife for Minimax Optimal Transport
11. Regularized Optimal Transport is Ground Cost Adversarial
12. Missing Data Imputation using Optimal Transport
13. Graph Optimal Transport for Cross-Domain Alignment
14. Bridging the Gap Between f-GANs and Wasserstein GANs
15. Stronger and Faster Wasserstein Adversarial Attacks
16. Principled learning method for Wasserstein distributionally robust optimization
with local perturbations
3
6. 最適輸送問題の始まり
モンジュの問題(離散版)
:有限集合。
ある製品が⼯場 で 個⽣産され、 で 個消費する。 から に運ぶ
のに⼀つ当たり のコストがかかる。
の時、各輸送 に対する総コスト
c(T) = a c(x, T(x))
x∈X
∑ x
が最⼩になるような輸送(最適輸送,Optimal Transport)を⾒つけよ。
で、コスト がよくあるケース
X, Y
x ∈ X ax y ∈ Y by x y
c(x, y) ≥ 0
a =∑x x b∑y y T : X → Y
X, Y ⊂ Rd
c(x, y) = ∣∣x − y∣∣2
6
8. Wasserstein 距離
以下
最⼩値 を、 と のコスト関数 (通常
ユークリッド距離)についての Wasserstein 距離という。
応⽤
データ分布とモデル分布の⽐較
Principal Differences Analysis [NIPS'15], Model Criticism [NIPS'15,'16]
Wasserstein GAN (連続版の最適輸送)
敵対攻撃・ロバスト性向上
X = {x , x , ..., x }, Y =1 2 m {y , y , ..., y },1 2 n
a =∑i i b =∑j j 1, (⇒ P =∑i,j i,j 1)
W(a, b) := min c(P)T a = (a )i i b = (b )j j C
8
10. 理論の事前準備 : エントロピー正則化[Cuturi '13]
以下更に簡単のため .
minimize⟨C, P⟩ sub. to P1 =n a, P 1 =T
n b, P ≥i,j 0
この線形計画問題を解くには、 の計算量
⾼速に近似解を求めたい
そこでエントロピー
0 < H(P) := − P log P ≤
i,j
∑ i,j i,j H(ab )T
を少し引いて以下の最適化問題を考える
minimize⟨C, P⟩ − ηH(P) sub. to P1 =n a, P 1 =T
n b, P ≥i,j 0
m = n
O(n )3
10
11. 正則化つき最適輸送の解
定理[Cuturi'13]
は強凸。最適解は を⽤いて
P = diag(u)e diag(v)−C/η
と書ける。(このような は唯⼀)
はSinkhornの固定点アルゴリズムで計算できる(Matrix Balancingとも呼ばれる)
計算量 per iteration
⟨C, P⟩ − ηH(P) u ∈ R , v ∈n
Rn
u, v
u, v
O(n )2
11
19. Missing Data Imputation using Optimal Transport
データ補間
⽋損値を持つ 個の 次元データ点,
に対して"良い"補間
を求めたい
⽋損値を持つデータを削除するのは⾼次元データでは致命的
貢献
⼤域的なデータ分布を考慮したnon-parametricなデータ補間
parametricにも応⽤、NNとかが使える柔軟なフレームワークを提案
n d Ω ∈ {0, 1}n×d
19
23. 実験
Baseline
i. 平均
ii. ice (imputation by chained equations) : cyclical linear
iii. softimpute : iterative soft-thresholded SVD
Deep-based
iv. MIWAE : importance weighted AEを援⽤
v. GAIN : GAN を援⽤
vi. VAEAC : VAE を援⽤
提案⼿法として、non-parametric, Linear/MLP imputer
Linearモデルはiceの⽬的関数だけを変えたものになる
30%のデータ⽋損を補間(toy exampleでは20%)
23
30. Adversarial Risk via Optimal Transport and Optimal Couplings
Stronger and Faster Wasserstein Adversarial Attacks
↑⼆つは敵対例への応⽤
metric⾃体が最適化問題なのでminimax (敵対的な)問題としての定式化と相性
がよい
Graph Optimal Transport for Cross-Domain Alignment
特徴量のアラインメント(Cross-Domain Alignment, CDA)
⾃然⾔語の情報と画像の情報を対応させる
30
31. Representation Learning via Adversarially-Contrastive Optimal
Transport
表現学習
Margin-aware Adversarial Domain Adaptation with Optimal
Transport
ドメイン適応
Principled learning method for Wasserstein distributionally
robust optimization with local perturbations
識別器のロバスト性向上
31
38. Wasserstein Barycenter :
: weight s.t.
: 確率分布
α :W = w W(α , α)
α∈P(R )d
arg min
k
∑ k k
ここでは の台が与えられている場合を考える
Sinkhornで⾼速に近似を求める[Cuturi'14]
(w )k k w =∑k k 1
(α ∈k P(R ))d
k
αW
38
47. A Swiss Army Knife for Minimax Optimal Transport
Regularized Optimal Transport is Ground Cost Adversarial
どちらも全く同じ問題を扱う。前者が実験的・後者が理論
ロバストな最適輸送を得るために、さらにコスト関数の集合上で最適化
47
48. Stochastic Optimization for Regularized Wasserstein Estimators
Wasserstein-"最尤推定"の近似を軽い計算で⾏う話
応⽤としてbarycenterの計算をあげているがbiasはより強まってしまいそう…?
Optimal transport mapping via input convex neural networks
ユークリッド空間内の最適輸送写像をNNで実現する
凸関数でのminimax問題に帰着
凸関数を表現するICNN (Input Convex Neural Networks)で解く
48
