Suche senden
Hochladen
深層学習と活性化関数
•
6 gefällt mir
•
10,476 views
S
spade630
Folgen
JOI夏季セミナー2015発表スライド
Weniger lesen
Mehr lesen
Technologie
Diashow-Anzeige
Melden
Teilen
Diashow-Anzeige
Melden
Teilen
1 von 16
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)
t dev
PRML5
PRML5
Hidekazu Oiwa
Back propagation
Back propagation
T2C_
NLPforml5
NLPforml5
Hidekazu Oiwa
PRML Chapter 14
PRML Chapter 14
Masahito Ohue
はじぱた7章F5up
はじぱた7章F5up
Tyee Z
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
Empfohlen
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
誤差逆伝播法の計算(ディープラーニング)
誤差逆伝播法の計算(ディープラーニング)
t dev
PRML5
PRML5
Hidekazu Oiwa
Back propagation
Back propagation
T2C_
NLPforml5
NLPforml5
Hidekazu Oiwa
PRML Chapter 14
PRML Chapter 14
Masahito Ohue
はじぱた7章F5up
はじぱた7章F5up
Tyee Z
PRML Chapter 5
PRML Chapter 5
Masahito Ohue
PRML chapter5
PRML chapter5
Takahiro (Poly) Horikawa
PRML Chapter5.2
PRML Chapter5.2
Takuya Minagawa
Prml5 6
Prml5 6
K5_sem
レポート1
レポート1
YoshikazuHayashi3
FOBOS
FOBOS
Hidekazu Oiwa
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
Tomoki Hayashi
第14章集団学習
第14章集団学習
Kei Furihata
深層学習(講談社)のまとめ 第4章
深層学習(講談社)のまとめ 第4章
okku apot
Prml 4
Prml 4
Satoshi Kawamoto
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Chika Inoshita
2値分類・多クラス分類
2値分類・多クラス分類
t dev
単純パーセプトロン
単純パーセプトロン
T2C_
03_深層学習
03_深層学習
CHIHIROGO
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Yukiyoshi Sasao
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
Takuma Yoshimura
正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)
Eric Sartre
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Shohei Okada
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
Weitere ähnliche Inhalte
Was ist angesagt?
PRML chapter5
PRML chapter5
Takahiro (Poly) Horikawa
PRML Chapter5.2
PRML Chapter5.2
Takuya Minagawa
Prml5 6
Prml5 6
K5_sem
レポート1
レポート1
YoshikazuHayashi3
FOBOS
FOBOS
Hidekazu Oiwa
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
Tomoki Hayashi
第14章集団学習
第14章集団学習
Kei Furihata
深層学習(講談社)のまとめ 第4章
深層学習(講談社)のまとめ 第4章
okku apot
Prml 4
Prml 4
Satoshi Kawamoto
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Chika Inoshita
2値分類・多クラス分類
2値分類・多クラス分類
t dev
単純パーセプトロン
単純パーセプトロン
T2C_
03_深層学習
03_深層学習
CHIHIROGO
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Yukiyoshi Sasao
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
Takuma Yoshimura
正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)
Eric Sartre
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Shohei Okada
Was ist angesagt?
(20)
PRML chapter5
PRML chapter5
PRML Chapter5.2
PRML Chapter5.2
Prml5 6
Prml5 6
レポート1
レポート1
FOBOS
FOBOS
PRML 5.3-5.4
PRML 5.3-5.4
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
PRML 5章 PP.227-PP.247
PRML 5章 PP.227-PP.247
第14章集団学習
第14章集団学習
深層学習(講談社)のまとめ 第4章
深層学習(講談社)のまとめ 第4章
Prml 4
Prml 4
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
2値分類・多クラス分類
2値分類・多クラス分類
単純パーセプトロン
単純パーセプトロン
03_深層学習
03_深層学習
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
JSAI 2021 4G2-GS-2k-05 斉次応答性活性化関数 Yamatani Activation と 単一画像超解像への応用
正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Kürzlich hochgeladen
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
Kürzlich hochgeladen
(8)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
深層学習と活性化関数
1.
深層学習と活性化関数 @spade630
2.
アジェンダ • ニューラルネットワーク • 活性化関数 •
Chainerで DeepLearning実装
3.
多層ニューラルネットワーク 入 力 層 中 間 層 中 間 層 出 力 層 ・・・ 0層 1層 (n
- 1)層 n層
4.
学習に必要なパラメータ・関数 • 重み・バイアス • 活性化関数 •
誤差関数(損失)
5.
学習に必要なパラメータ・関数 • 重み・バイアス • 活性化関数 •
誤差関数(損失)
6.
活性化関数 • ニューラルネットワークでは入力が重みとバイ アスによって出力を決定するが、この時の出力 は活性化関数によって正規化することが望まし い。
7.
活性化関数 • ロジスティック関数 • 双曲線正接関数 f(u)
= 1 1 + e u f(u) = tanh(u) = eu e u eu + e u
8.
活性化関数 • 正規化線形関数(ReLU) • 他にも線形写像・マックスアウト・ソフトマッ クス関数などがある。 f(u)
= max(0, u)
9.
10.
DeepLearning実装 • Chainerを使うと簡単にニューラルネットワー クが構築できる。 • 一から実装すると微分(偏微分)や行列が多く登 場するが、Chainerを使うとこれらを気にする ことがほぼない。
11.
Chainerで学習してみた • 金貨の真贋を見分けよう (CodeIQより) http://next.rikunabi.com/tech/docs/ct_s03600.jsp? p=002315 •
問題概要 体積と重さと本物か偽物かという訓練データ(100件)が与 えられて、その後、体積と重さだけのテストデータから本 物か偽物かを判定する。
12.
設定したパラメータとか • ニューラルネットワーク3層 • 入力層
2層(体積、重さ) • 中間層 100層→100層 • 出力層 2層(本物or偽物)
13.
設定したパラメータとか • 学習回数は200回 • 学習するだけは面白くないので活性化関数によっ てどのように精度が変わるか比較(10回平均) •
活性化関数は3パターン(Logistic, tanh, ReLU)
14.
結果 学習回数 Logistic tanh
ReLU 50 73.0% 95.5% 60.4% 100 79.8% 97.7% 75.2% 150 85.1% 97.4% 90.9% 200 88.4% 96.9% 97.5%
15.
結果・考察 • tanhは早めに学習をほぼ終えていることが予想さ れる。 • ReLuは学習回数に比例して精度が上がっている。 •
Logisticも学習回数に比例して精度が上がってい るが、200回では9割を超えなかった。
16.
まとめ • 活性化関数は学習に与える影響が大きいので、 慎重に選ぶ必要がある。
Jetzt herunterladen