Submit Search
Upload
劣微分
•
Download as PPTX, PDF
•
0 likes
•
654 views
S
ShintaUrakami
Follow
Lassoなどで使う劣微分を簡単な形で説明しています.
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 42
Download now
Recommended
強化学習その3
強化学習その3
nishio
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話
Classi.corp
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
学位論文の書き方メモ (Tips for writing thesis)
学位論文の書き方メモ (Tips for writing thesis)
Nobuyuki Umetani
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
Recommended
強化学習その3
強化学習その3
nishio
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話
Classi.corp
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
学位論文の書き方メモ (Tips for writing thesis)
学位論文の書き方メモ (Tips for writing thesis)
Nobuyuki Umetani
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
最適化計算の概要まとめ
最適化計算の概要まとめ
Yuichiro MInato
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
cvpaper. challenge
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
Shiga University, RIKEN
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
構造方程式モデルによる因果探索と非ガウス性
構造方程式モデルによる因果探索と非ガウス性
Shiga University, RIKEN
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Ken'ichi Matsui
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
Deep Learning JP
因果推論の奥へ: "What works" meets "why it works"
因果推論の奥へ: "What works" meets "why it works"
takehikoihayashi
強化学習その2
強化学習その2
nishio
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
More Related Content
What's hot
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
最適化計算の概要まとめ
最適化計算の概要まとめ
Yuichiro MInato
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
cvpaper. challenge
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
Shiga University, RIKEN
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
構造方程式モデルによる因果探索と非ガウス性
構造方程式モデルによる因果探索と非ガウス性
Shiga University, RIKEN
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Ken'ichi Matsui
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
Deep Learning JP
因果推論の奥へ: "What works" meets "why it works"
因果推論の奥へ: "What works" meets "why it works"
takehikoihayashi
強化学習その2
強化学習その2
nishio
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
What's hot
(20)
coordinate descent 法について
coordinate descent 法について
最適化計算の概要まとめ
最適化計算の概要まとめ
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
【解説】 一般逆行列
【解説】 一般逆行列
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
研究効率化Tips Ver.2
研究効率化Tips Ver.2
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
構造方程式モデルによる因果探索と非ガウス性
構造方程式モデルによる因果探索と非ガウス性
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
因果推論の奥へ: "What works" meets "why it works"
因果推論の奥へ: "What works" meets "why it works"
強化学習その2
強化学習その2
深層生成モデルと世界モデル
深層生成モデルと世界モデル
劣微分
1.
劣微分 Shinta Urakami
2.
今回の目標 •劣微分というものについて,最低限のイ メージとそのメリット(使用場所:Lasso) について発表する. • 数理的な最適化の話(共役関数とか)は今後勉強しながら やっていく.
3.
• まず,劣微分とは,,, 劣微分とは(ざっくりversion)
4.
• まず,劣微分とは,,, 劣微分とは(ざっくりversion) 集合である
5.
• まず,劣微分とは,,, 劣微分とは(ざっくりversion) 集合である この確認はすごく大事である
6.
なぜ,この確認が必要なのか(ざっくり) • 微分と劣微分の関係性を見ていこう
7.
なぜ,この確認が必要なのか(ざっくり) • 微分と劣微分の関係性を見ていこう 劣微分は,微分の一般化
8.
微分とは(一変数のとき) ある関数 に対して, 導関数 この導関数を求めることを 「微分する」という.
9.
微分とは(一変数のとき) ある関数 に対して, 導関数 劣微分いつ使うの?
10.
微分とは(一変数のとき) ある関数 に対して, 導関数 微分と連続性の関係性 より必要になる.
11.
微分と連続性の関係 • この世の関数なんでもかんでも,微分できるわけじゃない. <微分可能性の定義> 微分可能性→関数のグラフがなめらか 数式でいうと,, が, で微分可能のとき が存在する 微分可能
連続 連続 微分可能 → →
12.
微分可能じゃない関数 連続であるが,微分可能 ではない(ノットなめらか) 例) のとき, 右極限のときは1 左極限のときは-1 極限が一致せず, 微分不可能となる.
13.
でも微分したい,,,, 基本的に絶対値は微分不可能 L1ノルム???絶対値 Lassoやん <Lassoの目的関数>
14.
でも微分したい,,,, 基本的に絶対値は微分不可能 L1ノルム???絶対値 Lassoやん <Lassoの目的関数> L1ノルム(微分不可能)を 含む関数を微分したい...
15.
でも微分したい,,,, 基本的に絶対値は微分不可能 L1ノルム???絶対値 Lassoやん <Lassoの目的関数>劣微分
16.
劣微分とは(定義ベースで) と凸関数 に関して,条件 を満たす, を点
における の劣勾配という. 劣勾配全体の集合を劣微分 と呼ぶ.
17.
劣微分とは(定義ベースで) と凸関数 に関して,条件 ?
18.
劣微分とは(定義ベースで) と凸関数 に関して,条件 ? 一変数における図的理解を行う
19.
一変数関数における劣微分 • 一変数における凸関数 の
のときの劣微分 傾き 関数 が. を通る傾き の直線より上側にあるような を 劣勾配という. この列勾配の集合を劣微分という なぜならこの条件を満たすものは複数あるから
20.
要は,多変量に拡張しただけ 一変数 多変量
21.
要は,多変量に拡張しただけ 一変数 多変量 n次元からスカラーに写像している
22.
要は,多変量に拡張しただけ 一変数 多変量 計算結果はスカラーになる
23.
劣微分とは 条件 要素 イメージ的にも,定義的にも劣微分が集合であることがわかる.
24.
で考えてみよう 傾き 条件を満たす は,複数ある. Ex.). =
-0.2 も, = 0.7も劣勾配
25.
で考えてみよう 傾き 条件を満たす は,複数ある. Ex.). =
-0.2 も, = 0.7も劣勾配 劣微分については イメージできた.
26.
で考えてみよう 傾き 条件を満たす は,複数ある. Ex.). =
-0.2 も, = 0.7も劣勾配 Lassoと劣微分の関係を 知りたい
27.
Lasso データ行列: L1ノルム: L2ノルム: 正則化パラメータ: 回帰係数: 目的変数: 目的関数
28.
Lasso データ行列: L1ノルム: L2ノルム: 正則化パラメータ: 回帰係数: 目的変数: 目的関数 どうやって求めるのか.
29.
結論 で求める 軟閾値作要素
30.
結論 で求める 軟閾値作要素 ??????
31.
結論 で求める 軟閾値作要素 なぜこの形になるか, 劣微分を使って説明
32.
Lasso L1ノルム=絶対値の和 微分不可能 劣微分使用 各列が直交で,長さが全て を仮定.
33.
微分していくぅ!(cv.金子) で微分 に関しての微分 と同じ考え方 = 0のとき,微分不可能
34.
もう一度再確認 のとき 劣微分
35.
同様に 劣微分
36.
まとめよう 劣微分の要素を とする. について解く
37.
まとめよう の条件に当てはめると
38.
正則化項の強さの話 ハイパーパラメータ ここを強くすると,スパース 度合いも大きくなる さきほどの式から明らか!
39.
正則化項の強さの話 固定されてない値は であり,この 値が大きくなると,範囲も大きくなる
40.
軟閾値作要素 さっきの条件分岐を関数にしただけ
41.
軟閾値作用素 関数に置き換えているだけ
42.
終わりに • 劣微分,軟閾値作要素のイメージはつかめた. • 今後はlasso含めての最適化を勉強していく.
Download now