Suche senden
Hochladen
PRML復々習レーン#9 6.3-6.3.1
•
3 gefällt mir
•
2,326 views
S
sleepy_yoshi
Folgen
PRML復々習レーン#9 6.3-6.3.1 はっぴょう
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 17
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク
Takeshi Sakaki
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
Tomoki Hayashi
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML輪読#5
PRML輪読#5
matsuolab
PRML輪読#6
PRML輪読#6
matsuolab
Empfohlen
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
2014.02.20_5章ニューラルネットワーク
2014.02.20_5章ニューラルネットワーク
Takeshi Sakaki
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
Tomoki Hayashi
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
PRML輪読#5
PRML輪読#5
matsuolab
PRML輪読#6
PRML輪読#6
matsuolab
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
Hiroyuki Kato
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML chapter7
PRML chapter7
Takahiro (Poly) Horikawa
PRML 4.4-4.5.2 ラプラス近似
PRML 4.4-4.5.2 ラプラス近似
KokiTakamiya
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
PRML輪読#4
PRML輪読#4
matsuolab
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
PRML輪読#8
PRML輪読#8
matsuolab
PRML輪読#7
PRML輪読#7
matsuolab
PRML 8.2 条件付き独立性
PRML 8.2 条件付き独立性
sleepy_yoshi
PRML 第4章
PRML 第4章
Akira Miyazawa
PRML 6.4-6.5
PRML 6.4-6.5
正志 坪坂
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
Kota Mori
PRML5
PRML5
Hidekazu Oiwa
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
Stanでガウス過程
Stanでガウス過程
Hiroshi Shimizu
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Yuki Matsubara
Quantum Support Vector Machine
Quantum Support Vector Machine
Yuma Nakamura
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
Weitere ähnliche Inhalte
Was ist angesagt?
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
Hiroyuki Kato
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML chapter7
PRML chapter7
Takahiro (Poly) Horikawa
PRML 4.4-4.5.2 ラプラス近似
PRML 4.4-4.5.2 ラプラス近似
KokiTakamiya
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
PRML輪読#4
PRML輪読#4
matsuolab
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
PRML輪読#8
PRML輪読#8
matsuolab
PRML輪読#7
PRML輪読#7
matsuolab
PRML 8.2 条件付き独立性
PRML 8.2 条件付き独立性
sleepy_yoshi
PRML 第4章
PRML 第4章
Akira Miyazawa
PRML 6.4-6.5
PRML 6.4-6.5
正志 坪坂
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
Takeshi Sakaki
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
Kota Mori
PRML5
PRML5
Hidekazu Oiwa
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
Taku Yoshioka
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
Stanでガウス過程
Stanでガウス過程
Hiroshi Shimizu
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Yuki Matsubara
Was ist angesagt?
(20)
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML上巻勉強会 at 東京大学 資料 第4章4.3.1 〜 4.5.2
PRML Chapter 5
PRML Chapter 5
PRML chapter7
PRML chapter7
PRML 4.4-4.5.2 ラプラス近似
PRML 4.4-4.5.2 ラプラス近似
W8PRML5.1-5.3
W8PRML5.1-5.3
PRML輪読#4
PRML輪読#4
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
PRML輪読#8
PRML輪読#8
PRML輪読#7
PRML輪読#7
PRML 8.2 条件付き独立性
PRML 8.2 条件付き独立性
PRML 第4章
PRML 第4章
PRML 6.4-6.5
PRML 6.4-6.5
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
PRML5
PRML5
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Stanでガウス過程
Stanでガウス過程
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Prml4.4 ラプラス近似~ベイズロジスティック回帰
Ähnlich wie PRML復々習レーン#9 6.3-6.3.1
Quantum Support Vector Machine
Quantum Support Vector Machine
Yuma Nakamura
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
Fourier analysis on symmetric group
Fourier analysis on symmetric group
HanpenRobot
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
Variational autoencoder
Variational autoencoder
Mikio Shiga
PRML chap.10 latter half
PRML chap.10 latter half
Narihira Takuya
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
hakusai
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
オンライン学習 : Online learning
オンライン学習 : Online learning
Daiki Tanaka
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Shogo Muramatsu
PRML4.3
PRML4.3
hiroki yamaoka
Computing for Isogeny Kernel Problem by Groebner Basis
Computing for Isogeny Kernel Problem by Groebner Basis
Yasu Math
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
パターン認識と機械学習 13章 系列データ
パターン認識と機械学習 13章 系列データ
emonosuke
Or学会用20160915.ver2
Or学会用20160915.ver2
Ryoma Nakagawa
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
yukihiro domae
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
Morpho, Inc.
暗号技術の実装と数学
暗号技術の実装と数学
MITSUNARI Shigeo
Jokyonokai130531
Jokyonokai130531
nwpmq516
Ähnlich wie PRML復々習レーン#9 6.3-6.3.1
(20)
Quantum Support Vector Machine
Quantum Support Vector Machine
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
Fourier analysis on symmetric group
Fourier analysis on symmetric group
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
Variational autoencoder
Variational autoencoder
PRML chap.10 latter half
PRML chap.10 latter half
続・わかりやすいパターン認識 9章
続・わかりやすいパターン認識 9章
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
オンライン学習 : Online learning
オンライン学習 : Online learning
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
PRML4.3
PRML4.3
Computing for Isogeny Kernel Problem by Groebner Basis
Computing for Isogeny Kernel Problem by Groebner Basis
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
パターン認識と機械学習 13章 系列データ
パターン認識と機械学習 13章 系列データ
Or学会用20160915.ver2
Or学会用20160915.ver2
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
【解説】 一般逆行列
【解説】 一般逆行列
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
暗号技術の実装と数学
暗号技術の実装と数学
Jokyonokai130531
Jokyonokai130531
Mehr von sleepy_yoshi
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
sleepy_yoshi
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
sleepy_yoshi
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
sleepy_yoshi
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
sleepy_yoshi
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
sleepy_yoshi
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
sleepy_yoshi
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
sleepy_yoshi
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
sleepy_yoshi
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
sleepy_yoshi
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
sleepy_yoshi
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
Mehr von sleepy_yoshi
(20)
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
Kürzlich hochgeladen
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Kürzlich hochgeladen
(11)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
PRML復々習レーン#9 6.3-6.3.1
1.
PRML復々習レーン#9
6.3 RBFネットワーク 6.3.1 Nadaraya-Watson モデル 2013-03-10 Yoshihiko Suhara @sleepy_yoshi 1
2.
もくじ • 6.3 RBFネットワーク
– 6.3.1 Nadaraya-Watson モデル 2
3.
復習の復習 3.6 固定された基底関数の限界
ポイントだよ 基底関数をたくさん用意すれば線形モデルでいいじゃん ⇒ NO!ソンナコトハナイ! • 訓練データを観測する前に基底関数𝜙 ⋅ を決定する必要 がある • 入力空間の次元数に対して指数的に基底関数を増やして いく必要性 • ただし – データベクトルは本質的な次元数が入力次元数よりも小さい非線形 多様体に大体分布しているという性質がある – うまいこと基底関数を選べればよい (NN@5章) or 基底関数を明示的 に選ばない方法を用いられればよいのでは? (カーネル法@6章, 7章) 3
4.
6.3 RBFネットワーク
4
5.
Radial Basis Funciton
(RBF) • 動径 (放射) 基底関数 • 中心𝝁からの距離のみに依存する基底関数 𝜙 𝒙 =ℎ 𝒙− 𝝁 – RBFの例 • ガウス基底関数: exp −𝛾 𝒙 − 𝝁 2 • Thin plate spline: 𝒙 − 𝝁 2 log 𝒙 − 𝝁 ガウス基底関数のイメージ Thin plate splineのイメージ 45 40 35 30 25 20 15 10 5 0 -5 -5 -4 -3 -2 -1 0 1 2 3 4 5 5 𝝁 𝝁
6.
RBFはなんでもよい? • [Chen+ 91]
から抜粋 6
7.
RBFによる関数補間 • RBFが初めて使われたのは関数補間
– 関数補間:目的変数の値を正確に再現する関数を 求める問題 – 各データ点を中心においたRBFの線形結合で実現 𝑁 𝑓 𝑥 = 𝑤𝑛 ℎ 𝒙− 𝒙𝑛 𝑛=1 • 重みは最小二乗法によって求める – 参考: (3.15)式 𝒘 𝑀𝐿 = 𝚽 𝑇 𝚽 −1 𝚽 𝑇 𝒕 7
8.
RBFネットワークのイメージ • RBFの線形結合の直感的イメージ
𝑁 𝑓 𝑥 = 𝑤ℎ ℎ 𝒙− 𝒙𝑛 𝑛=1 各RBFの線形和を出力 入力𝒙 𝜙1 𝜙2 𝜙3 𝒙1 𝑤1 𝒙2 𝑤2 𝑓(𝒙) … … 𝑤𝑛 𝒙𝑛 𝒙 8
9.
入力変数にノイズがある場合 • 入力変数xに含まれるノイズを,確率分布𝜈(𝜉)
に従う𝜉によって表した際の二乗誤差関数 𝑁 1 2 𝐸= 𝑦 𝒙𝑛+ 𝝃 − 𝑡𝑛 𝜈 𝝃 𝑑𝝃 (6.39) 2 𝑛=1 • 変分法を用いて最適化 𝑁 𝑦 𝑥 = 𝑡 𝑛ℎ 𝒙 − 𝒙 𝑛 (6.40) 𝑛=1 9
10.
基底関数の正規化 • (6.41)により,任意のxに対して
𝑛 ℎ(𝒙 − 𝒙 𝑛) = 1に正規化されている – 正規化後は右図のようになっている 10
11.
計算コストの削減 • 各データ点に基底関数が用意されているた
め,入力データに対して特徴次元数×基底 関数の数だけ計算コストがかかる • 計算コストの削減するために基底関数を絞 り込むことを考える – データ点の部分集合をランダムに選択 – 直交最小二乗法 [Chen+ 91] – k-Means? 11
12.
6.3.1 Nadaraya-Watsonモデル
別名: カーネル回帰モデル 12
13.
Nadaraya-Watsonモデル (1/3) • カーネル回帰モデル(3.61)をカーネル密度推定の観
点から導く 𝑁 𝑦 𝒙, 𝒎 𝑁 = 𝑘 𝒙, 𝒙 𝑛 𝑡 𝑛 (3.61) 𝑛=1 • 訓練集合を{𝑥 𝑛 , 𝑡 𝑛 } として,同時分布p(x,t)を推定する ためにParzen推定法を用いる – 例えばf(x,t)はガウス分布の確率密度関数 𝑁 1 𝑝 𝑥, 𝑡 = 𝑓 𝒙 − 𝒙 𝑛, 𝑡 − 𝑡 𝑛 (6.42) 𝑁 𝑛=1 13
14.
Nadaraya-Watsonモデル (2/3) • 𝑓(𝒙)を求めるため,入力変数で条件付けられ
た目標変数の条件付き期待値を考える ∞ 𝑦 𝒙 = 𝔼 𝑡 𝒙 = 𝑡 𝑝 𝑡 𝒙 𝑑𝑡 −∞ ∫ 𝑡 𝑝 𝒙, 𝑡 𝑑𝑡 𝑛∫ 𝑡 𝑓 𝒙 − 𝒙 𝑛 , 𝑡 − 𝑡 𝑛 𝑑𝑡 = = ∫ 𝑝 𝒙, 𝑡 𝑑𝑡 𝑚∫ 𝑓 𝒙 − 𝒙 𝑚, 𝑡 − 𝑡 𝑚 𝑑𝑡 ↑の補足 ∫ 𝑡 𝑝 𝑡 𝒙 𝑝 𝒙 𝑑𝑡 ∫ 𝑡 𝑝 𝑡, 𝒙 𝑑𝑡 ∫ 𝑡 𝑝 𝑡|𝒙 𝑑𝑡 = = 𝑝 𝒙 ∫ 𝑝 𝑡, 𝒙 𝑑𝑡 14
15.
Nadaraya-Watsonモデル (3/3) • 変数を置き換えてNadaraya-Watsonモデルを
得る 𝑛 𝑔 𝒙− 𝒙𝑛 𝑡𝑛 𝑦 𝑥 = = 𝑘 𝒙, 𝒙 𝑛 𝑡 𝑛 𝑚 𝑔 𝒙− 𝒙 𝑚 𝑛 • ただし, 𝑔 𝒙− 𝒙𝑛 𝑘 𝑥, 𝑥 𝑛 = 𝑚 𝑔 𝒙− 𝒙 𝑚 ∞ 𝑔 𝑥 = 𝑓 𝒙, 𝑡 𝑑𝑡 −∞ 1 1 2 たとえば,𝑓 𝑥 = 2 exp − 2𝜎2 𝑥 − 𝜇 15 2𝜋𝜎
16.
Nadaraya-Watsonモデルの例 • 三角関数データに対してガウスカーネルを用いた際
のNadaraya-Watsonカーネル回帰モデル 16 x, yのスケールが違うため目玉のようになっているが,等方的なガウスカーネル
17.
おわり
17
Jetzt herunterladen