Submit Search
Upload
スパース性に基づく機械学習 2章 データからの学習
•
Download as PPTX, PDF
•
31 likes
•
16,611 views
hagino 3000
Follow
機械学習プロフェッショナルシリーズ輪読会資料
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 37
Download now
Recommended
強化学習における好奇心
強化学習における好奇心
Shota Imai
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Preferred Networks
最適輸送入門
最適輸送入門
joisino
深層学習の数理
深層学習の数理
Taiji Suzuki
報酬設計と逆強化学習
報酬設計と逆強化学習
Yusuke Nakata
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
Ryosuke Tachibana
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Masatoshi Yoshida
強化学習その2
強化学習その2
nishio
Recommended
強化学習における好奇心
強化学習における好奇心
Shota Imai
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Preferred Networks
最適輸送入門
最適輸送入門
joisino
深層学習の数理
深層学習の数理
Taiji Suzuki
報酬設計と逆強化学習
報酬設計と逆強化学習
Yusuke Nakata
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
Ryosuke Tachibana
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Masatoshi Yoshida
強化学習その2
強化学習その2
nishio
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
Preferred Networks
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
Shota Imai
最適輸送の解き方
最適輸送の解き方
joisino
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
Deep Learning JP
論文紹介-Multi-Objective Deep Reinforcement Learning
論文紹介-Multi-Objective Deep Reinforcement Learning
Shunta Nomura
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
harmonylab
最適化超入門
最適化超入門
Takami Sato
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
wada, kazumi
異常音検知に対する深層学習適用事例
異常音検知に対する深層学習適用事例
NU_I_TODALAB
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
takaya imai
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
負の二項分布について
負の二項分布について
Hiroshi Shimizu
DNNの曖昧性に関する研究動向
DNNの曖昧性に関する研究動向
Naoki Matsunaga
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
深層強化学習と実装例
深層強化学習と実装例
Deep Learning Lab(ディープラーニング・ラボ)
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
Hakky St
More Related Content
What's hot
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
Preferred Networks
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
Shota Imai
最適輸送の解き方
最適輸送の解き方
joisino
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
Deep Learning JP
論文紹介-Multi-Objective Deep Reinforcement Learning
論文紹介-Multi-Objective Deep Reinforcement Learning
Shunta Nomura
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
harmonylab
最適化超入門
最適化超入門
Takami Sato
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
wada, kazumi
異常音検知に対する深層学習適用事例
異常音検知に対する深層学習適用事例
NU_I_TODALAB
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
takaya imai
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
負の二項分布について
負の二項分布について
Hiroshi Shimizu
DNNの曖昧性に関する研究動向
DNNの曖昧性に関する研究動向
Naoki Matsunaga
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
深層強化学習と実装例
深層強化学習と実装例
Deep Learning Lab(ディープラーニング・ラボ)
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
What's hot
(20)
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最適輸送の解き方
最適輸送の解き方
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
論文紹介-Multi-Objective Deep Reinforcement Learning
論文紹介-Multi-Objective Deep Reinforcement Learning
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
最適化超入門
最適化超入門
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
異常音検知に対する深層学習適用事例
異常音検知に対する深層学習適用事例
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
負の二項分布について
負の二項分布について
DNNの曖昧性に関する研究動向
DNNの曖昧性に関する研究動向
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
深層強化学習と実装例
深層強化学習と実装例
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Viewers also liked
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
Hakky St
LDAを用いた教師なし単語分類
LDAを用いた教師なし単語分類
Kouhei Nakaji
A simple neural network mnodule for relation reasoning
A simple neural network mnodule for relation reasoning
harmonylab
Viewers also liked
(6)
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
LDAを用いた教師なし単語分類
LDAを用いた教師なし単語分類
A simple neural network mnodule for relation reasoning
A simple neural network mnodule for relation reasoning
More from hagino 3000
Cloud DatalabとBigQueryを使ったアドホックデータ解析
Cloud DatalabとBigQueryを使ったアドホックデータ解析
hagino 3000
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
hagino 3000
Secure Code for Interactive Programming
Secure Code for Interactive Programming
hagino 3000
ハイパフォーマンスブラウザネットワーキング 12章「HTTP 2.0」と現在の仕様
ハイパフォーマンスブラウザネットワーキング 12章「HTTP 2.0」と現在の仕様
hagino 3000
iOS WebView App
iOS WebView App
hagino 3000
Introduction of Leap Motion
Introduction of Leap Motion
hagino 3000
Where does my money go チーム発表
Where does my money go チーム発表
hagino 3000
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
PRML ベイズロジスティック回帰
PRML ベイズロジスティック回帰
hagino 3000
ノンタッチUI時代とフロントエンドエンジニア (Using emotiv)
ノンタッチUI時代とフロントエンドエンジニア (Using emotiv)
hagino 3000
NUIとKinect
NUIとKinect
hagino 3000
今日からはじめるKinect Hack
今日からはじめるKinect Hack
hagino 3000
Introduction of Kinect Hacks
Introduction of Kinect Hacks
hagino 3000
JavaScriptとSalesforceとTwitterマーケティングな話をした時の資料
JavaScriptとSalesforceとTwitterマーケティングな話をした時の資料
hagino 3000
はじめてのChaos Proxy Viewer
はじめてのChaos Proxy Viewer
hagino 3000
HTML5を使ったウェブアプリケーションの高速化
HTML5を使ったウェブアプリケーションの高速化
hagino 3000
逃亡の勧め
逃亡の勧め
hagino 3000
Google App Engine で初めるServerSide JavaScript
Google App Engine で初めるServerSide JavaScript
hagino 3000
Extjs + Gears
Extjs + Gears
hagino 3000
More from hagino 3000
(20)
Cloud DatalabとBigQueryを使ったアドホックデータ解析
Cloud DatalabとBigQueryを使ったアドホックデータ解析
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
Secure Code for Interactive Programming
Secure Code for Interactive Programming
ハイパフォーマンスブラウザネットワーキング 12章「HTTP 2.0」と現在の仕様
ハイパフォーマンスブラウザネットワーキング 12章「HTTP 2.0」と現在の仕様
iOS WebView App
iOS WebView App
Introduction of Leap Motion
Introduction of Leap Motion
Where does my money go チーム発表
Where does my money go チーム発表
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
PRML ベイズロジスティック回帰
PRML ベイズロジスティック回帰
ノンタッチUI時代とフロントエンドエンジニア (Using emotiv)
ノンタッチUI時代とフロントエンドエンジニア (Using emotiv)
NUIとKinect
NUIとKinect
今日からはじめるKinect Hack
今日からはじめるKinect Hack
Introduction of Kinect Hacks
Introduction of Kinect Hacks
JavaScriptとSalesforceとTwitterマーケティングな話をした時の資料
JavaScriptとSalesforceとTwitterマーケティングな話をした時の資料
はじめてのChaos Proxy Viewer
はじめてのChaos Proxy Viewer
HTML5を使ったウェブアプリケーションの高速化
HTML5を使ったウェブアプリケーションの高速化
逃亡の勧め
逃亡の勧め
Google App Engine で初めるServerSide JavaScript
Google App Engine で初めるServerSide JavaScript
Extjs + Gears
Extjs + Gears
スパース性に基づく機械学習 2章 データからの学習
1.
1章 & 2章 はじめに
& データからの学習 機械学習プロフェッショナルシリーズ輪読会 ~スパース性に基づく機械学習*1~ 2016-2-10 @hagino3000 (Takashi Nishibayashi)
2.
*1 機械学習プロフェッショナルシリーズ スパース性に基づく機械学習 著:冨岡亮太 http://bookclub.kodansha.co.jp/product?isbn=9784061529106
3.
1章 はじめに • スパース性とは •
まばらである事 • 多くの変数のうち殆どがゼロでごく一部だけが非ゼロ • ゲノムの個人差からの予測ケース • featureが膨大 • 現実的な仮定を置いて、少ないサンプルで推定したい • 組み合わせ爆発を防いで現実的な計算量で推定したい
4.
要素単位のスパース性 多くの要素が非ゼロで、構造が無い
5.
グループ単位のスパース性 ゼロ/非ゼロのパターンが存在する ex. 活性経路 (1列目が非ゼロの行は2列目以降も非ゼロ)
6.
行列の低ランク性 ランクの説明は9ページ この図だと線形独立な列の数=2なのでランク落ちしている
7.
2章の流れ • データから学習する、とは • 汎化 •
経験誤差の最小化と過学習 • 正則化
8.
2.1訓練データと汎化
9.
データから学習するとは • 訓練データ (xi,
yi)i が何らかの規則に従って生成さ れている時に、データを生成する規則をなるべくよ く模倣し、再現する事 • (xi, yi) が同時確率P(x,y)から独立同一に生成されて いるという状況を考えるのが統計的機械学習 • 訓練データには無い、新しく書かれた数字を識別で きるようになることを汎化すると言う Section 2.1
10.
学習の評価 • データを生成する規則をどの程度よく模倣している か • 入力ベクトルxからラベルyをどの程度予測できるか →
判別的なモデル • 手書き文字認識では、新しく書かれた数字を平均的 にどれだけ識別できるかを評価基準とする Section 2.1
11.
期待二乗誤差 Section 2.1 データxからラベルyを出力す る関数fについての損失(Loss) 新たな入力ベクトルxと ラベルy (≠訓練データ) 正解値と予測値の 誤差の二乗 予測値が数値
12.
期待誤分類率 Section 2.1 予測値がラベル (手書き文字認識) f(x)の出力は予測ラベルのみ1、 それ以外は-1が立つベクトル? yは正解ラベルのみ1、 それ以外はゼロが立つベクトル?
13.
相対エントロピー Section 2.1 真の分布pと、予測分布qの KL-divergence 定数項を除いた物を対数損失と呼ぶ
14.
ロジスティック損失の導出 Section 2.1 2クラス分類 y
∈ {-1, +1} の場合 クラス事後確率の比の対数をfとすると
15.
Section 2.1
16.
ロジスティック損失の導出 Section 2.1 二値なので q(y
= +1|x) + q(y = -1|x) = 1 q(y = -1|x) = 1 - q(y = +1|x) を使って 式2.4をq(y = +1|x)について整理すると y=+1, y=-1 のケースを一つの式で表現すると
17.
ロジスティック損失の導出 Section 2.1 対数損失(2.3)の式にq(x|y)を代入すると ロジスティック損失
18.
期待誤差 • 未知の確率分布 P(x,
y) に関する期待値なので、直 接評価できない • 期待誤差と呼び、訓練データで計算できる経験誤差 とは区別 • 直接計算できない → 訓練データで近似する Section 9.1
19.
経験誤差最小化 Section 2.1 訓練データを使って経験誤差を最小化するには 期待誤差の推定値 訓練データ xi,
yi まとめると
20.
経験誤差最小化 Section 2.1 線形モデル f(x)
= xTw + b を仮定すると L(f)を最小化するw, b 推定量 を求めるのが経験誤差最小化 誤差を正規分布とした時の最尤推定と同じ
21.
確率分布と損失関数 Section 2.1 • 二乗誤差、対数損失、ロジスティック損失に対する経験誤 差はいずれもそれに対応する確率モデルが存在する •
確率モデル基づかない損失関数 • 0 - 1損失 • ヒンジ損失 ヒンジ損失とロジスティッ ク損失はどちらも凸関数
22.
確率分布と損失関数 Section 2.1 • ヒンジ損失とロジスティック損失は定性的に似た振舞をす る
→ ??
23.
2.2 分散とバイアス
24.
過剰適合 Section 2.2 • 訓練データに対する当てはまりがよかったとしても期待誤 差がよいとは限らない (未知のデータに対する当てはまり)
25.
Section 2.2 真のモデル y =
100(xi - 0.2)(xi - 0.5)(xi - 0.8) + εi への当てはめ
26.
Section 2.2
27.
過剰適合を防ぐ Section 2.2 • 10次の多項式で当てはめると誤差ゼロ •
真の関数だけでなく、ノイズにも適合してしまった • モデルを制約するには • 多項式などの独立な基底関数の和として関数fを表現し、 その基底関数の数を小さくおさえる • 関数fの何らかのノルムを抑える • モデルを小さくしすぎると、モデル化したい関数も表現で きなくなる → 過少適合 • モデルの小ささに由来する誤差 → バイアス or 近似誤差
28.
バイアス - バリアンス分解 Section
2.2 期待二乗誤差の訓練データに関する期待値を定義 この時、平均期待二乗誤差は次の3項に分解できる wの推定量と wの平均の差 → 分散 wの平均と誤差を最小化する wの差 → バイアス 選択した基底での最小の誤差
29.
2.3 正則化
30.
パラメータベクトルのノルム制約 Section 2.3 • 仮説集合の大きさを制御する方法 •
特徴量を増やしたり減らしたりするだけではない • 同じ特徴空間であってもパラメータベクトルwをより小 さい集合から選ぶ事で分散を減らせる • ノルム
31.
Section 2.3
32.
罰則項付き推定量 Section 2.3 誤差 +
パラメータベクトルのノルム(罰則項)を最小化 正則化パラメータ この推定量は次の制約付き最小化問題と等価
33.
2.4 交差確認
34.
モデル選択 Section 2.4 • モデルの持つパラメータを決定したい •
訓練データに対してはCを大きくすれば当てはまりは良く なってしまう → 訓練データは使えない • 検証(validation)データを使う • データを訓練用と検証用に分ける • 検証データに対する誤差を最小化する • 交差確認(cross validation) • 訓練データをK個に分割し、K-1個で学習し、残りで誤差を 評価する Kをデータと同じまで増やすとLeave-one-out
35.
2.5 制約付き最小化問題と罰 則項付き最小化問題の等価性
36.
Section 2.5 罰則項付き最小化問題 と次の制約付き最小化問題が等価である事の説明 ラグランジュ緩和っぽいが 本文中では別の説明がなされている
37.
Question?
Download now