PRML読書会

1. PRML7.2 関連ベクトルマシン
PRML7.2.1 回帰問題に対するRVM
２０１３／6／23
@K5_sem
PRML読書会

2. 関連ベクトルマシンとは？
● 回帰および分類問題を解くために提案された疎
なカーネルベースのベイズ流学習手法
●
訓練データ点１つ１つに対してモデルの複雑さを決
めるパラメータを割り当てるベイズモデル
● ＳＶＭの特性(疎なカーネルに基づいた手法で
ある＆ベイズ理論に基づいて事後確率を推定)
の多くを引き継ぎながら数々の問題点を克服
● ＳＶＭよりもさらに疎なモデルが得られる手法
● ＳＶＭと同等の汎化能力を持ちながら、より高
速な予測が可能

3. SVMとRVMの違い[1/2]
＜ＳＶＭ＞
●
サポートベクトル＝
マージン境界上
● ＃KKT条件の3つ目
(7.16)式のan≠0とな
るデータ点
● 疎である
● 出力は２値
●
ＳＶＭはもともと２
クラス分類のための
もの(7.1.3)なので、
多クラス問題への拡
張は問題多い
＜ＲＶＭ＞
●
関連ベクトル＝境界
から離れた位置にも
ある
●
SVMより疎である
● 出力は確率

4. SVMとRVMの違い[2/2]
＜ＳＶＭ＞
●
計算量
● O(N^2)
● 解の疎性
● ε許容誤差関数の最
小化→各パラメータ
の決定は交差検定な
ど(7.1.4)
＜ＲＶＭ＞
●
計算量
● O(N^3)
学習時間がSVMより長
くかかる事後分布の
共分散Σを求めるの
に O(M^3) の計算量
が必要(M=基底関数の
個数)
● 解の疎性
●
ARDを利用して疎な解
を得る(7.2.2)

5. 補足：ＲＶＭの計算量
● ＲＶＭの計算量はO(N^3)
●
学習時間がSVMより長くかかる
● 事後分布の共分散Σを求めるのに O(M^3) の計算量
が必要(M=基底関数の個数)
● カーネル＋入力点から基底関数を構成するなら
O(N^3) に(N=入力点の個数)
● ⇒ 解の疎性を利用して RVM の計算量を減らす
(7.2.2)

6. ＲＶＭで回帰問題を解く(方針)
● 回帰問題におけるRVM＝ベイズの枠組みでの線
形回帰
●
計算的にはベイズ統計そのまま(SVM無関係？)
● 解析の流れ
●
モデル化(条件付き確率)
– p(t|x,w,β) = N(t|y(x), β^-1) ※(7.76)式
●
(7.76)式の平均値を線形モデル化→(7.77)式
● カーネル関数を用いてRVMのモデル(7.77)式をSVMに
似た形に制限→(7.78)式
– (7.78)式でのx_nが関連ベクトルとなる
●
基底関数は「カーネル関数＋入力」で与えるのが前提
● 以降の解析は"任意の基底関数"で成立するため、
(7.77)式で議論する

7. ＲＶＭで回帰問題を解く(計算)[1/2]
● (7.77)式を解く
●
尤度関数の設定
– p(t|X,w,β) = Πp(t_n|x_n,w,β) ※(7.79)式
● 平均0のガウス事前分布をパラメータベクトルwの事
前確率分布とする
– p(w|α) = N(w_i|0, (α_i)^-1) ※(7.80)式
●
個々の重みパラメータ w_i ごとに異なる超パラメータα_iを用
いる→ARD 事前分布?
●
超パラメータα_iは対応する重みパラメータw_iの精度
●
エビデンスを最大化すると、大部分の α_i→∞、w_i→0 とな
り、対応する基底関数を取り除くことができる
● 超パラメータ(αとβ)をエビデンス近似(第二種の
最尤推定)で求める
●

8. ＲＶＭで回帰問題を解く(計算)[2/2]
● 超パラメータ(αとβ)をエビデンス近似(第二
種の最尤推定)で求める
● 1.パラメータについて積分(周辺尤度関数を得る)
● 2.↑で得た周辺尤度関数を最大化する超パラメータ
の値を決める
●
＜2.1＞
– 得られた対数尤度の微分を0とおく((7.85)式を最大化)こ
とで超パラメータ(αとβ)の更新式((7.87)式および
(7.88)式)を得る
●
＜2.2＞ ※実際の計算では2.1の方針で最適化するほうがやや高速
– EMアルゴリズムを用いる(9.3.4節)
● 上記の後に「超パラメータの学習」としてαとβの
初期値から平均および共分散を計算→2.1の更新式

9. 参考資料
● Shuyoさんのブログ(ＰＲＭＬ７章)
●
http://d.hatena.ne.jp/n_shuyo/20091125/rvm
● ＲＶＭはＳＶＭよりも"疎なモデル"が得られる
● http://d.hatena.ne.jp/rindai87/20080918/122172
0951