1. Theory of Information Integration in Statistical Learning ( 統計的学習における情報統合の理論 ) 情報理工学系研究科 数理情報学専攻 数理第五研究室 助教 鈴木 大慈 2011 年 4 月 25 日

4. ベイズ予測分布 - 事前分布の選択と α ダイバージェンス -

5. ベイズ予測分布 分布を事後分布で積分 真の分布 を推定したい． ベイズ予測分布 モデル ： 事前分布 ： 事後分布

6. ベイズ予測分布 ベイズ予測分布はモデルをはみ出る（ Komaki, ’96 ）． モデル 真 最尤推定量 事前分布による変動 ベイズ予測分布 真の分布がモデルに含まれている場合

7. 事前分布の選択 KL- リスク をなるべく小さくしたい -> 事前分布の選択 Jeffreys 事前分布のリスク 事前分布 π のリスク (Komaki, 2006) : Jeffreys 事前分布 : Fisher 計量 : KL- ダイバージェンス ラプラシアン：これが負であれば良い ラプラシアン 我々の結果： これを拡張 定理

9. リスク β- 予測分布 の真の分布からの α- ダイバージェンス β- 予測分布： α- ダイバージェンス： を小さくする事前分布を選ぶ． できる限り一般化

11. 大域幾何学との関係 定理 (Aomoto, 1966) 断面局率が至る所 負 なら非負優調和関数が存在 (d≧2) 断面曲率 正 負 ブラウン運動が非再帰的 ⇔ 正値優調和関数が存在 ブラウン運動との関係

13. 真がモデルからはずれている場合 モデル ベイズ予測分布 最尤推定量 モデルのどちら側に真があるかで推定の良し悪しが変わる

15. 結果 最尤推定 ベイズ予測分布 β- ベイズ予測分布 真の分布から推定した分布への KL- ダイバージェンス -> β の値（分布の統合の仕方）によって モデルのどちら側に飛び出るかが変わる． 真 ( 最近点 )

18. 相互情報量に関する研究 - 二乗損失型相互情報量 -

19. Mutual Information Common strategy : Find W which makes as independent as possible. Mutual Information is a good independence measure. are mutually independent. ⇔ : joint distribution of : marginal distribution of

21. Estimation Method Estimate the density ratio : (Legendre-Fenchel convex duality [Nguyen et al. 08] ) Define , then we can write where sup is taken over all measurable functions . the optimal function is the density ratio

23. Linear model for g Linear model is basis function, e.g., Gaussian kernel penalty term

24. Estimator of SMI

25. Gaussian Kernel We use a Gaussian kernel for basis functions: where are center points randomly chosen from sample points: . Linear combinations of Gaussian kernels span a broad function class. Distribution Free

27. Asymptotic Analysis Regularization parameter : Theorem : Complexity of the model ( large:complex, small:simple ) Theorem Nonarametric Parametric : matrices like Fisher Information matrix (bracketing entropy condition)

30. Supervised Dimension Reduction Input Output :“ good ” low dimensional representation -> Sufficient Dimension Reduction (SDR) A natural choice of W :

32. Data Sets d=1 d=1 d=1 d=1 d=1 d=2

33. Result one-sided t-test with sig. level 1 %. Mean and standard deviation over 50 times trials Our method nicely performs.

34. UCI Data Set one-sided t-test with sig. level 1 %. Choose 200 samples and train SVM on the low dimensional representation. Classification error over 20 trials.

36. Multiple Kernel Learning

38. Sparse Learning ： n samples ： Convex loss （ hinge, square, logistic ） L 1 -regularization-> sparse Lasso Group Lasso I : subset of indices [Yuan&Lin:JRSS2006] [Tibshirani :JRSS1996]

39. 教師有りカーネル法 回帰 , 判別 : SVM, SVR, …. カーネル関数 （ ：再生核ヒルベルト空間）

40. Reproducing Kernel Hilbert Space (RKHS) ： Hilbert space of real valued functions ： map to the Hilbert space such that Reproducing kernel Representer theorem

41. Moore-Aronszajn Theorem : positive (semi-)definite, symmetric : RKHS with reproducing kernel k one to one

44. カーネル重みとの関係 [Micchelli & Pontil: JMLR2005] 目的関数をカーネル関数の凸結合の中で最小化 ： given k は k m らの凸結合 Young の不等式

45. カーネル重み : L 2 Ｌ １ (MKL) Ｌ 2 (Uniform) ：単なる一様重みでの重ね合わせ スパース デンス 結構良い性能

46. L 1 L 2 スパース デンス

47. L 1 と L 2 の橋渡し Elasticnet MKL Lp-norm MKL (1≦p≦2) [Marius et al.: NIPS2009] [Shawe-Taylor: NIPS workshop 2008, Tomioka & Suzuki: NIPS workshop 2009] cf. elastic-net: [Zou & Hastie: JRSS, 2005]

48. Best Medium density dense [Tomioka & Suzuki: NIPS 2009 Workshop ] Elasticnet MKL: caltech 101 dataset L1 L2 中間的なスパースさが良い

49. [Cortes, Mohri, and Rostamizadeh: UAI 2009] MKL (sparse) 一様重み (dense) 中間 (p=4/3) Lp-norm MKL # of features

53. 効率的計算法

54. 双対問題 表現定理： なめらか！ 降下法（ Newton 法など）が使える Fenchel 双対

55. 数値実験 UCI:Ringnorm UCI:Splice SimpleMKL(L1) SpicyMKL(L1) Elasticnet MKL

57. 漸近的汎化誤差の解析 これからは 二乗ロス（回帰） を想定：