2014年1月23日：NIPS2013読み会での大野担当分発表資料 Inverse Density as an Inverse Problem: The Fredholm Equation Approach

1. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
.
Inverse Density as an Inverse Problem: The
Fredholm Equation Approach
Qichao Que, Mikhail Belkin
発表者：大野健太 (oono@preferred.jp)
株式会社 Preferred Infrastructure
NIPS2013 読み会, 2014/01/23, @東京大学
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

2. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
資料置き場
今日のスライドは SlideShare に置いてあります。
• http://www.slideshare.net/KentaOono/
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

3. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
大野健太 (@delta2323 )
• Twitter：@delta2323
• サイト：https://sites.google.com/site/kentaoono0/
• 出身：数学科（数理科学研究科）
• 現職：PFI 所属、バイオプロジェクトリーダー
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

4. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
論文概要 [8]
• 密度比推定問題を第 1 種 Freedholm 方程式に変形
• これを Inverse Problem として解く推定方法、FIRE を提案
• FIRE = Fredholm Inverse Regularized Estimator
• 密度比推定問題：分布 p, q からサンプリングされたデータ点
達から、その商 p/q を推定する問題。
• （もちろん）理論保証あり
• 推定で利用するカーネルが”local”ならば、分母 q の制限を弱
められ、しかも理論的な近似の精度は良くなる。
• カーネルが”local”： kt(x, y)f (y)dy = f (x) + O(t)
• 今回はこちらは詳しくは触れません。
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

5. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
応用 1：Importance Sampling(参考：PRML, 11.1.4 章) I
確率が低い点で大きな値を取る関数の期待値をナイーブなサンプ
リングで推定すると、分散が大きくなる。
→ 期待値を取る確率を都合の良いものに取り替えて分散を抑
える。
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

6. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
応用 1：Importance Sampling(参考：PRML, 11.1.4 章) II
適当な関数 f : Rd → R に対し、次の計算を考える
EX∼p[f (X)] :=
Ω
f (x)p(x)dx (1)
f (x) とピークの位置が近い別の分布 q を用意し、次のように変形
Ep[f (X)] =
Ω
f (x)p(x)dx =
Ω
f (x)
p(x)
q(x)
q(x)dx = Eq f (x)
p(x)
q(x)
(2)
p の代わりに、q から点をサンプリングする。
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

7. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
応用 2：共変量シフト・バイアスサンプリング [2], [4] I
訓練データとテストデータを生成する分布が異なる状況で機械学
習を行う手法。
応用：転移学習（Transfer Learning）など
[10] より引用
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

8. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
応用 2：共変量シフト・バイアスサンプリング [2], [4] II
設定
• 訓練データ：{xi , yi }
i.i.d.
∼ p (i ∈ [N])
• テストデータは分布 q から得られる
• 分布 p とは異なるかもしれない
• ℓ : R × R → R : 損失関数（例：ℓ(y, y′) = (y − y′)2）
• f : Ω → R:予測関数（例：f (x) = wtx）
目標
テストデータでの損失の期待値の最小化
argminf E(x,y)∼q(ℓ(f (x), y)) = E(x,y)∼p ℓ(f (x), y)
q(x, y)
p(x, y)
(3)
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

9. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
関連研究
密度比推定手法はこれまで様々な手法が提案されている。詳しく
は東工大杉山先生の MLSS2012 の講演資料 [10] 参照
• Kernel Density Estimation
• Parzen―Rosenblatt window method [7]
• Inverse Problem [3]
• Probabilistic Classification
• Moment Matching
• Kernel Mean Matching(KMM) [4]
• Density Fitting
• Kullback-Leibler Importance Estimation
Procedure(KLIEP) [11]
• Density Ratio Fitting
• Least-Squares Importance Fitting(LSIF) [5],
Constrained/Unconstrained LSIF
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

10. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
関数解析関係
詳細は関数解析などの教科書を参照
• ヒルベルト空間と内積・ノルム
• 正定値カーネルと再生核ヒルベルト空間の関係
• Representer 定理
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

11. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
第 1 種 Fredholm 方程式と Tikhonov-Phillips 正則化 I
Q. H1, H2:ヒルベルト空間, K : H1 → H2:線形作用素（コンパクト
作用素を要請する事も）、g ∈ H2 に対して方程式
Kf = g (4)
を満たす f を求めたい。
特にカーネル関数 k : Rd × Rd → R に対して
(Kf )(x) =
b
a
k(x, y)f (y)dy (5)
となっているものを（第 1 種）Fredholm 方程式という。
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

12. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
第 1 種 Fredholm 方程式と Tikhonov-Phillips 正則化 II
一般的には、この方程式の解は存在するとは限らないので、それ
に”近い”解を次のように決める。
λ > 0 に対して、
argminf ∥Kf − g∥2
H2
+ λ∥f ∥2
H1
(6)
これを Tikhonov-Phillips 正則化という。
適当な条件で、これが元の方程式の解に収束する事に関して
は [1], [6] などを参照。
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

13. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
問題設定
Notation
• Ω ⊂ Rd
• p, q : Ω → R : 分布
• Xp = {xp
1 , . . . , xp
N} : p から iid でサンプリング
• Xq = {xq
1 , . . . , xq
M} : q から iid でサンプリング
• サンプリングを利用するのは以下の 2 つの場面
• 関数 f : Ω → R に対して、 Ω
f (x)p(x)dx, Ω
f (x)q(x)dx が求
める or 推定する。
• Representer 定理の利用
目標
• x ∈ Ω に対して、p(x)/q(x) を推定したい。
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

14. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
ナイーブな方法
p(x), q(x) を直接推定してそれの商を取る。
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

15. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
ポイント
適当なカーネル関数 k : Ω × Ω → R に対して以下の等式は自明。
Ω
k(x, y)
q(y)
p(y)
p(y)dy =
Ω
k(x, y)q(y)dy (7)
(Kpf ) (·) := Ω k(·, y)f (y)p(y)dy (resp. Kq) とすると、この式は
Kp
q
p
= Kq1Ω (8)
となる（ここで、1Ω は定数関数 1）
• Kq は計算可能 → この方程式は第 1 種 Fredholm 方程式
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

16. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
q/p の推定
今作った Fredholm 方程式を Tikhonov-Phillips 正則化を用いて
approximate に解くと、λ > 0 ごとに、
q
p
∼ argminf ∈H∥Kpf − Kq1Ω∥2
+ λ∥f ∥2
H (9)
という近似が得られる（ただし、H はカーネル k の再生核ヒルベ
ルト空間）。
これをさらに近似して、計算できるようにする。
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

17. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
T-P 正則化解の近似
まず、p, q それぞれから iid にサンプリングしたデータ点 Xp, Xq
を用いて、
Kpf ∼
1
N
N
i=1
k(·, xp
i )f (xp
i ) (10)
Kq1Ω ∼
1
M
M
j=1
k(·, xq
j )1Ω(xq
j ) (11)
と近似する
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

18. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
Representer 定理を用いた明示的な解の構成
Representer 定理より、argminH の解 q/p は
q
p
∼
N
i=1
k(·, xp
i )vi (v = (v1, . . . , vN)T
∈ Rd
) (12)
という形をしてなければならない。
(Kpp)ij = 1
N k(xp
i , xp
j ) (i, j ∈ [N]) (13)
(Kpq)ij = 1
M k(xp
i , xq
j ) (i ∈ [N], j ∈ [M]) (14)
(KH)ij = kH(xp
i , xp
j ) (i, j ∈ [N]) (15)
とおくと、この v は以下のように具体的に計算できる。
v = (K2
ppKH + nλI)−1
Kpq1q (16)
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

19. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
ガウスカーネル使用時の誤差評価 [9]
評価すべき誤差：近似による誤差 + サンプリングによる誤差
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

20. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
実験評価方法
• 教師なし学習（モデル選択の精度を図る指標を定義しその大
小で評価）
• 予測関数：Linear, Half-space, Kernel, K-indicator, Coord
• 教師あり学習（回帰・分類）
• データセット：Bank8FM, CPUsmall and Kin8nm（回帰）、
USPS and 20 news groups（分類）
• サンプリング：分布 p に対してはデータをそのまま使い、分
布 q に対してはそこからリサンプリング（2 通り）したデー
タを使用
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

21. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
実験（モデル選択） [9]
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

22. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
実験（モデル選択） [9]
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

23. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
実験（回帰） [9]
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

24. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
実験（分類） [9]
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

25. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
感想
• 密度比推定で問題になるのは高次元で動かなくなる事。この
アルゴリズムではどのくらいの高次元まで耐えられる？
• 誤差評価はガウスカーネルの時しかなかった。一般のカーネ
ルでの誤差評価はどうなる？
• 密度比推定の方法は既に数多く提案されている。この論文の
貢献部分は Stability がある Inverse Problem の手法を開発し
た事か？
• 密度比推定の手法の多くは最適化問題に帰着させ、iteration
で精度を上げる一方で、この手法は推定値を explicit に計算
できている
• 最適化問題に帰着した場合に比べて計算速度はどのくらい
速い？
• サンプリング数が精度にダイレクトに影響しそう
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

26. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
参考文献 I
Stephan W Anzengruber and Ronny Ramlau.
Morozov’s discrepancy principle for tikhonov-type functionals
with nonlinear operators.
Inverse Problems, 26(2):025001, 2010.
Corinna Cortes, Mehryar Mohri, Michael Riley, and Afshin
Rostamizadeh.
Sample selection bias correction theory.
In Proceedings of the 19th International Conference on
Algorithmic Learning Theory, ALT ’08, pages 38–53, Berlin,
Heidelberg, 2008. Springer-Verlag.
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

27. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
参考文献 II
P. Eggermont and V. LaRicca.
Maximum smoothed likelihood density estimation for inverse
problems.
Annals of Statistics, 23:199–220, 1995.
Jiayuan Huang, Alexander J. Smola, Arthur Gretton,
Karsten M. Borgwardt, and Bernhard Sch¨olkopf.
Correcting sample selection bias by unlabeled data.
In NIPS, pages 601–608, 2006.
Takafumi Kanamori, Shohei Hido, and Masashi Sugiyama.
A least-squares approach to direct importance estimation.
Journal of Machine Learning Research, 10:1391–1445, 2009.
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

28. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
参考文献 III
Encyclopedia of Mathematics.
Tikhonov-Phillips regularization.
Emanuel Parzen.
On estimation of a probability density function and mode.
The Annals of Mathematical Statistics, 33(3):pp. 1065–1076,
1962.
Qichao Que and Mikhail Belkin.
Inverse density as an inverse problem: the fredholm equation
approach.
In NIPS, pages 1484–1492, 2013.
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach

29. Introduction 応用 予備知識 問題設定 アルゴリズム導出 実験 考察 参考文献
参考文献 IV
Qichao Que and Mikhail Belkin.
Inverse density as an inverse problem: The fredholm equation
approach.
CoRR, abs/1304.5575, 2013.
Masashi Sugiyama.
Density Ratio Estimation in Machine Learning.
Masashi Sugiyama, Shinichi Nakajima, Hisashi Kashima, Paul
von B¨unau, and Motoaki Kawanabe.
Direct importance estimation with model selection and its
application to covariate shift adaptation.
In John C. Platt, Daphne Koller, Yoram Singer, and Sam T.
Roweis, editors, NIPS. Curran Associates, Inc., 2007.
発表者：大野健太 (oono@preferred.jp) 株式会社 Preferred Infrastructure
Inverse Density as an Inverse Problem: The Fredholm Equation Approach