1. Model
Transport:
Towards
Scalable
Transfer
Learning
on
Manifolds
論文紹介
2014/8/2
@_kohta

2. Outline
• 問題設定
• Transfer
Learning
• 多様体、接空間、Parallel
Transport
• TransporDng
Methods
• Results
• 所感

3. 問題設定
• 問題
– あるドメイン1では沢山データがあるが、そこから移動した
ドメイン2ではデータが少ない
– 何とかドメイン2のよいモデルを作れないか？
• 条件
– ドメイン間の移動の仕方は分かっている
– データそのものを移動するのはexpensive
port: Towards Scalable Transfer Learning on Manifolds
ifeld
MA, USA
l.mit.edu
Søren Hauberg
DTU Compute
Lyngby, Denmark
sohau@dtu.dk
Michael J. Black
MPI for Intelligent Systems
T¨ubingen, Germany
black@tue.mpg.de
tract
tion of two research fields:
cs on manifolds. In particu-
d-valued data, transfer learn-
such as Gaussians distribu-
assifiers. Though one would
Rn
-transfer learning ideas, the
. We overcome this by basing
-preserving parallel transport,
d in other problems of statis-
r vision. At first, this straight-
(a) Data on a manifold (b) Data models

4. Transfer
Learning
• あるドメインで学習したモデルを別のドメインでも使
いたい
– その為の「修正」を改めて学習する
– 色々な問題設定、手法が存在する…

5. 多様体、接空間、Parallel
Transport
• 多様体
– 多様体は「曲面」を一般化したようなもの

6. 多様体、接空間、Parallel
Transport
• 多様体
– 多様体は「曲面」を一般化したようなもの
– ユークリッド空間に埋め込まれた多様体（球面とか）上の
点はベクトルで表せるが、足したり引いたりすることはで
きない
多様体上の点ではない！
ベクトルの比較も
簡単にはできない！

7. 多様体、接空間、Parallel
Transport
• 意味のあるデータは多様体上にある
M.
Alex
O.
Vasilescu,
h1p://alumni.media.mit.edu/~maov/research_index.html

8. 多様体、接空間、Parallel
Transport
• 意味のあるデータは多様体上にある
Parallel Transport
on the Manifold
Parallel Transport
on the Euclidean
Space
Original Sequence
Fig. 7. Comparison between the results of parallel transport on the manifold versus that of Euclidean space. The first sequence (its tangent vector from
the leftmost to the rightmost shape) is parallel transported to the face on the second and third row, and the new sequence is synthesized on the manifold
(second row) and Euclidean space (third row).
corresponding to each AU [29]. Especially for the CK
database, since each AU is represented using a sequence of
sufficient landmarks on the faces limits our recognition
capabilities. For example we cannot recognize the AU-43
S.
Taheri,
et
al.:
Towards
View-­‐Invariant
Expression
Analysis
Using
AnalyGc
Shape
Manifolds

9. 多様体、接空間、Parallel
Transport
• 多様体
– より正確には、各点で局所座標系（ユークリッド空間への
同相写像）が定義できるような位相空間のこと
– 「近傍」があるような集合と思えば（ビジョン等への応用上
は）たぶんよい

10. 多様体、接空間、Parallel
Transport
• 接空間
– ある1点で多様体に「接する」平坦な空間（超平面）を考え
る事ができる。これを接空間と呼ぶ
– 接空間はベクトル空間なので我々がよく知っている様々
な操作を行うことができる
– 実用上は接空間上でのアルゴリズムを考えるのが普通
Exponential Map
Given a Lie group G, with its related Lie Algebra g = TG(I), there always ex
smooth map from Lie Algebra g to the Lie group G called exponential ma
SO(n)
so(n)
I
A
is the point in t
reached by travelin
geodesic passing th
identity in direc
for a unit of time
(Note: A defines alshIp://www.inf.ethz.ch/personal/lballan/teaching.html
接空間TIM
多様体M
：（単位元Iの周りの）接空間上の点を
多様体にマッピング
（接空間上の直線が多様体上の測地線
になるようなマッピング）
log(a)
a
：多様体上の点を（単位元Iの周りの）
接空間にマッピング
（exponenDal
mapの逆写像）

11. 多様体、接空間、Parallel
Transport
• 接空間
– 多様体と接空間の間を行き来する写像を定義できること
がある
– ExponenDal
map:
接空間
-­‐>
多様体
– Logarithm
map:
多様体
-­‐>
接空間
Exponential Map
Given a Lie group G, with its related Lie Algebra g = TG(I), there always ex
smooth map from Lie Algebra g to the Lie group G called exponential ma
SO(n)
so(n)
I
A
is the point in t
reached by travelin
geodesic passing th
identity in direc
for a unit of time
(Note: A defines alshIp://www.inf.ethz.ch/personal/lballan/teaching.html
接空間TIM
：（単位元Iの周りの）接空間上の点を
多様体にマッピング
（接空間上の直線が多様体上の測地線
になるようなマッピング）
log(a)
a
：多様体上の点を（単位元Iの周りの）
接空間にマッピング
（exponenDal
mapの逆写像）
多様体M

12. 多様体、接空間、Parallel
Transport
• 接空間
– expmap等は、測地線との関係で定義される
– 接空間上の直線が多様体上の測地線にマッピングされる
ようなものとして定義
– 多様体の距離構造（計量）に依存して決まる
Exponential Map
Given a Lie group G, with its related Lie Algebra g = TG(I), there always ex
smooth map from Lie Algebra g to the Lie group G called exponential ma
SO(n)
so(n)
I
A
is the point in t
reached by travelin
geodesic passing th
identity in direc
for a unit of time
(Note: A defines alshIp://www.inf.ethz.ch/personal/lballan/teaching.html
接空間TIM
：（単位元Iの周りの）接空間上の点を
多様体にマッピング
（接空間上の直線が多様体上の測地線
になるようなマッピング）
log(a)
a
：多様体上の点を（単位元Iの周りの）
接空間にマッピング
（exponenDal
mapの逆写像）
多様体M

13. 多様体、接空間、Parallel
Transport
• Lie群
– Lie群は、「群でありかつ多様体である」ような集合
– 群演算が多様体上の写像になっていて、接空間（Lie代
数）やexpmap等が明示的に構成できることが多いので実
際上便利
– ビジョンの応用で現れる多様体は（サーフェスを除いて）
Lie群であることが多い
: G ⇥ G ! GG
群の定義
集合 とその上の演算 について
g, h, k 2 G
g (h k) = (g h) k
e 2 G, g e = e g = g
（結合率）
（単位元の存在）
（逆元の存在）
g 1
2 G, g g 1
= g 1
g = e

14. 多様体、接空間、Parallel
Transport
• 行列とLie群
– 実用上現れる多くのLie群は行列型で、行列積について群
になっている（一般線形群の部分群）
– このような群に対しては行列の指数関数が自然な
exponenDal
mapになっている
exp(X) =
1X
n=0
1
n!
Xn

15. 多様体、接空間、Parallel
Transport
• Lie群
– Lie群の例:
SO(3)
(3次元回転群)
– so(3):
SO(3)のLie代数（単位元Iの周りでの接空間）
SO(3) = {R | R 2 R3⇥3
, RRT
= I, |R| = 1}
⌦ =
0
@
0 !1 !2
!1 0 !3
!2 !3 0
1
A , !1, !2, !3 2 R
exp(⌦) = I +
sin |⌦|
|⌦|
⌦ +
1 cos |⌦|
|⌦|2
⌦2
log R =
1
2 sin ✓
(R RT
), ✓ = cos 1
✓
Tr(R) 1
2
◆

16. 多様体、接空間、Parallel
Transport
• Parallel
Transport
– 接ベクトル（接空間の元）を
多様体に沿って移動させる
– 接続(connecDon)と呼ばれ
る量によって定義される
• 色々な接続を考えることがで
きる。通常は接空間のベクト
ルの内積を保存する接続
（Levi-­‐Civita接続）を用いる
– 接ベクトルの移動
＝ 接空間モデルの移動
−1
−0.5
0
0.5
1
−1
−0.5
0
0.5
1
−1
−0.5
0
0.5
1
x1 2 TqMq
p
x0 2 TpM
Figure 5.3: Parallel transport of x0 along the geodesic between p
1. c(0)!c(0)(x0) = x0.
2. Let u, s and t be in [0, 1]. If c(u)!c(t) and c(s)!c(u) are defined in
c
st : Tc(s)M ! Tc(t)M
曲線c
曲線c上の点c(s)でのベクトルから
点c(t)のベクトルへの写像

17. Model
Transport
• Karcher
mean
(Frechet
mean)
SO(3): Tangent Spaces
SO(3)
1-manifold
3-manifold
gent spaces of these two manifolds?
多様体
Xf ⌘ argmin
X
X
i
d(X, Xi)
効率的な計算法:
X.
Pennec,
ProbabiliDes
and
staDsDcs
on
Riemannian
manifolds:
Basic
tools
for
geometric
measurementss

18. Model
Transport
• Parallel
Transportの数値計算
– Schild’s
Ladder
174
Figure 5.6: An illustration of Schild’s Ladder for approximating the parallel transport (for
K = 3). See text for details.
5.4.4.2 Schild’s ladder
When there is no closed-form solution, we use Schild’s ladder [106], a strikingly simple
M.
Lorenzi,
et
al.:
Schild’s
ladder
for
the
parallel
transport
of
deformaDons
in
Dme
series
of
images
IPMI
2011

19. TransporDng
Methods
• Task1
– ドメインLのデータ が十分にあり、転移先のドメイ
ンSのデータ が少数しかない（平均は計算可能）
– に対応する分散共分散行列を求めたい
• Task2
– ラベル（離散または連続）データ
,
とラベルなしデータ がある
–
のラベルを求めたい（識別、回帰）
{xL
i }NL
i=1
{xS
i }NS
i=1
{xA
i }NA
i=1
{xB
i }NB
i=1
{xS
i }
yA
i = label(xA
i )
{xB
i }
Cov({pi}N
i=1) =
1
N 1
X
i
logµ(pi) logµ(pi)T
P.
T.
Fletcher,
et
al.:
Principal
Geodesic
Analysis
for
the
Study
of
Nonlinear
StaDsDcs
of
Shape
Trans.
Med.
Imag.
(2004)
分散共分散行列

20. TransporDng
Methods
• Data
Transport
– ドメインAのデータをドメインBのまわりにtransportする
• データ数が多いとexpensive
• Basis
Transport
– モデルを構成する（接空間の）基底ベクトルをドメインBの
まわりにtransportする
• モデルの次元数が多いとexpensive

21. TransporDng
Methods
• Model
Transport(proposed)
– モデルに関わる少数のベクトルだけtransportすることが
できる
• （実際は少数にならない場合も多い気がするけど…）
– 基本的な発想は、モデルを構成する（接）ベクトルだけを
transportする
port: Towards Scalable Transfer Learning on Manifolds
eifeld
T
MA, USA
il.mit.edu
Søren Hauberg
DTU Compute
Lyngby, Denmark
sohau@dtu.dk
Michael J. Black
MPI for Intelligent Systems
T¨ubingen, Germany
black@tue.mpg.de
stract
ction of two research fields:
ics on manifolds. In particu-
ld-valued data, transfer learn-
s such as Gaussians distribu-
classifiers. Though one would
Rn
-transfer learning ideas, the
it. We overcome this by basing
t-preserving parallel transport,
ed in other problems of statis-
er vision. At first, this straight-
er from an obvious shortcom-
asets is prohibitively expensive,
(a) Data on a manifold (b) Data models

22. TransporDng
Methods
• PCA
Transport
– transport前後の点
– 点pの周りの接空間のデータ
– 点qの周りの接空間のデータ
–
でのPCA,
SVDモデル
p, q 2 M
{xi}N
i=1 ⇢ TpM
XXT
= V S2
V T
X = V SUT
V = [v1, . . . , vn]
X = [x1, . . . , xn]
{˜xi}N
i=1 ⇢ TqM
TpM

23. TransporDng
Methods
• PCA
Transport
–
でのPCA,
SVDモデル
– このとき、 でのPCA,
SVDモデルは以下で与えられる
XXT
= V S2
V T
X = V SUT
V = [v1, . . . , vn]
˜V = [˜v1, . . . , ˜vn]
˜X = [˜x1, . . . , ˜xn]
˜X = ˜V SUT
X = [x1, . . . , xn]
TpM
TqM
˜X ˜XT
= ˜V S2 ˜V T

24. TransporDng
Methods
• Linear
Regression
Transport
– 接空間上の回帰モデル
–
でのモデルは以下で与えられる
( , 0) = argmin
↵2TpM,↵02R
NX
i=1
li(xT
i ↵ + ↵0)
loss
funcDon
= AqLA 1
p 0 = 0
Ap, Aq :
点p,qでの計量テンソル
L :
pからqへのparallel
transport
(線形変換)
TqM

25. TransporDng
Methods
• 実際の適用
⌃L, VL
⌃ , V
⌃S, VS
VF
orthogonalize([V , VS])
⌃ , V
⌃ = ⌃ + (1 )⌃S
:
元のドメインでのモデル
:
転移先のデータのみを使ったモデル
:
LでのモデルをTransportしたモデル
:
VΓとVSを両方用いて上位k次元（他のモデルと同じ次元）だけ
とったモデル
:
縮小推定によってΓとSのモデルを合成したモデル

26. Results
• 人体モデル（メッシュ）1
– n
=
129300次元のLie群
– 性別の異なる2つのドメイン（女性から男性にtransfer）
• 女性1000サンプル、男性50サンプル
– PCAモデル
• 女性モデル:
200次元、 男性モデル:
50次元
• 1000テストサンプル でモデルによるメッシングと真値との誤
差を評価（測地線距離で誤差定義）
• モデルによるreconstrucDonは
O.
Freifeld
and
M.
J.
Black:
Lie
Bodies:
A
Manifold
RepresentaDon
of
3D
Human
Shape
expµ(V V T
logµ(zi)) 2 M
{zi}

27. Results
• 人体モデル（メッシュ）
– n
=
129300次元のLie群
– 性別の異なる2つのドメイン（女性から男性にtransfer）
O.
Freifeld
and
M.
J.
Black:
Lie
Bodies:
A
Manifold
RepresentaDon
of
3D
Human
Shape
Figure 3: Summary for shape experiments. Left: Gender.
Right: BMI. The bars represent the overall reconstruction
error for VL, VS, V , and VF. For a given model, the height
of the bar represents the reconstruction error measured in
terms of SGE averaged over the entire test dataset as well
as all of the mesh triangles.
(a) VL (b) VS (c) V (d) VF (e) V
Figure 4: Model mean error: Genders. Blue and red in-
dicate small and large errors respectively. The heat maps
are overlaid over the points of tangency associated with the
models: p for (a), and q for (b-e). See text for details.
VL
(Wom
VS
(Men
V
(PT
女性モデルを
そのまま利用
男性サンプル
からモデル構成
女性モデルを
Transport
Fusionモデル
分散共分散行列を
縮小推定

28. Results
• 人体モデル（メッシュ）2
– n
=
129300次元のLie群
– BMIの異なる2つのドメイン（BMI<=30からBMI>30にtransfer）
BMI<=30モデル
をそのまま利用
BMI>30サンプル
からモデル構成
BMI<=30モデル
をTransport
Fusionモデル
分散共分散行列を
縮小推定
); thus,
ticular
this M
k. The
1]. On
SO(3)
ble [9],
7,24]).
urpris-
= 1000
D man-
of men
on M.
riation
del the
en. We
en de-
ompute
= 200
imated
(Fuse)
Figure 5: Selected results: Gender. Each column represents
a different test body. The heat maps are overlaid on the
reconstructions using different models.
(a) VL (b) VS (c) V (d) VF (e) V
Figure 6: Model mean error: BMI. Analogous to Fig. 4.
1000 test male shapes, whose deformations serve as ground-

29. Results
• 人体モデル（メッシュ）
– 各ケースの誤差値
Figure 3: Summary for shape experiments. Left: Gender.
Right: BMI. The bars represent the overall reconstruction
error for VL, VS, V , and VF. For a given model, the height
of the bar represents the reconstruction error measured in
terms of SGE averaged over the entire test dataset as well
Groun
Truth
VL
(Wome

30. Results
• Classifier
Transport
– 斜めのアングルで学習した表情識別（2クラス）を正面アン
グルにTransfer
• 画像の1/4分割ごとに5次元特徴量の分散共分散行列(Symmetric
PosiDve
Definite
(SPD)
Matrix)を計算し特徴量とする
– SPD
Matrixxの集合は多様体になる（Lie群ではない）
– 両ドメイン共に168サンプル
ror (SGE)
tion. Fix-
elding the
formance
examples.
visualize,
examples,
sh associ-
Figure 7: Classifier-transport example. Select images. Top:
First data set. Bottom: Second data set. In each row, exam-
O.
Tuzel,
et
al.:
Region
Covariance:
A
Fast
Descriptor
for
DetecDon
and
ClassificaDon

31. Results
• Classifier
Transport
– 斜めのアングルで学習した表情識別（2クラス）を正面アン
グルにTransfer
• 斜めアングルの識別器をそのまま利用したケースでは59%の精
度だったものが、Transferありでは67%に改善した
ror (SGE)
tion. Fix-
elding the
formance
examples.
visualize,
examples,
sh associ-
Figure 7: Classifier-transport example. Select images. Top:
First data set. Bottom: Second data set. In each row, exam-

32. まとめ
• 同一の多様体に乗っている2つの異なるドメイン間
で、接空間上のモデルのTransportを行う手法が得
られた
• 人体メッシュモデル、Classifierの場合で、元のドメイ
ンの情報を利用してTransport先のドメインでのモデ
ル精度の向上が得られた

33. 所感
• 「接空間モデル」は現実的でない？
– 例えば線形SVMとかでは、大きな特徴ベクトルをそのまま
学習する場合が（実用上）多い
• 多様体が埋め込まれた大きな線形空間に属するベクトルがモデ
ルとなる
→ 接空間の直交補空間をそのままtransportしてよいかどうか？
– 正例と負例が属する多様体が大きく異なるような場合は
どうなる？
• 全体を合わせるとユークリッド空間全体になってしまうかも
– データの多様体が分かっている前提
• 意味のある多様体がわかっているケースはそんなにあるのかど
うか…

34. 所感
– どちらかというと、特徴量設計の時点で多様体を定めてし
まうようなケースが想定
• 球面上、SPD、Lie群…
• 効果と応用
– 効果は言うほど大きくないような…
– 学習時はオフラインなんだからデータをtransportすれば
いいじゃん、という気もする
– 上手くハマるような使い方がある？
• オンライン学習
• トラッキング
– subspace
trackingとか（Grassmann多様体）