Suche senden
Hochladen
シリーズML-07 ニューラルネットワークによる非線形回帰
•
0 gefällt mir
•
2,721 views
Katsuhiro Morishita
Folgen
機械学習シリーズスライドです。このスライドでは、ニューラルネットワークによる非線形回帰について説明しました。
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 28
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
機械学習を用いた予測モデル構築・評価
機械学習を用いた予測モデル構築・評価
Shintaro Fukushima
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
Deep Learning JP
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
【DL輪読会】Novel View Synthesis with Diffusion Models
【DL輪読会】Novel View Synthesis with Diffusion Models
Deep Learning JP
continual learning survey
continual learning survey
ぱんいち すみもと
異常検知と変化検知で復習するPRML
異常検知と変化検知で復習するPRML
Katsuya Ito
Empfohlen
機械学習を用いた予測モデル構築・評価
機械学習を用いた予測モデル構築・評価
Shintaro Fukushima
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
【DL輪読会】WIRE: Wavelet Implicit Neural Representations
Deep Learning JP
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
【DL輪読会】Novel View Synthesis with Diffusion Models
【DL輪読会】Novel View Synthesis with Diffusion Models
Deep Learning JP
continual learning survey
continual learning survey
ぱんいち すみもと
異常検知と変化検知で復習するPRML
異常検知と変化検知で復習するPRML
Katsuya Ito
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
Yosuke Shinya
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Masanao Ochi
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
yukihiro domae
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
nlab_utokyo
NumPy闇入門
NumPy闇入門
Ryosuke Okuta
【DL輪読会】Language Conditioned Imitation Learning over Unstructured Data
【DL輪読会】Language Conditioned Imitation Learning over Unstructured Data
Deep Learning JP
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Takahiro Kubo
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Tomoki Hayashi
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
数ページの卒業論文作成のためのwordの使い方
数ページの卒業論文作成のためのwordの使い方
Katsuhiro Morishita
Pythonのパッケージ管理ツールの話@2020
Pythonのパッケージ管理ツールの話@2020
Katsuhiro Morishita
Weitere ähnliche Inhalte
Was ist angesagt?
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
Yosuke Shinya
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Masanao Ochi
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
yukihiro domae
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
nlab_utokyo
NumPy闇入門
NumPy闇入門
Ryosuke Okuta
【DL輪読会】Language Conditioned Imitation Learning over Unstructured Data
【DL輪読会】Language Conditioned Imitation Learning over Unstructured Data
Deep Learning JP
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Takahiro Kubo
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Tomoki Hayashi
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
Was ist angesagt?
(20)
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
関数データ解析の概要とその方法
関数データ解析の概要とその方法
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
NumPy闇入門
NumPy闇入門
【DL輪読会】Language Conditioned Imitation Learning over Unstructured Data
【DL輪読会】Language Conditioned Imitation Learning over Unstructured Data
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
全力解説!Transformer
全力解説!Transformer
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
Mehr von Katsuhiro Morishita
数ページの卒業論文作成のためのwordの使い方
数ページの卒業論文作成のためのwordの使い方
Katsuhiro Morishita
Pythonのパッケージ管理ツールの話@2020
Pythonのパッケージ管理ツールの話@2020
Katsuhiro Morishita
オトナのpandas勉強会(資料)
オトナのpandas勉強会(資料)
Katsuhiro Morishita
SIgfox触ってみた in IoTLT in 熊本市 vol.3
SIgfox触ってみた in IoTLT in 熊本市 vol.3
Katsuhiro Morishita
Google Colaboratoryの使い方
Google Colaboratoryの使い方
Katsuhiro Morishita
Excelでのグラフの作成方法re
Excelでのグラフの作成方法re
Katsuhiro Morishita
Pythonのmain関数
Pythonのmain関数
Katsuhiro Morishita
Pythonスクリプトの実行方法@2018
Pythonスクリプトの実行方法@2018
Katsuhiro Morishita
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
Pythonで始めた数値計算の授業@わんくま勉強会2018-04
Pythonで始めた数値計算の授業@わんくま勉強会2018-04
Katsuhiro Morishita
マークシート読み込みプログラムを作ってみた@2018-04-04
マークシート読み込みプログラムを作ってみた@2018-04-04
Katsuhiro Morishita
オトナの画像認識 2018年3月21日実施
オトナの画像認識 2018年3月21日実施
Katsuhiro Morishita
LoRa-WANで河川水位を計測してみた@IoTLT@熊本市 vol.001
LoRa-WANで河川水位を計測してみた@IoTLT@熊本市 vol.001
Katsuhiro Morishita
シリーズML-08 ニューラルネットワークを用いた識別・分類ーシングルラベルー
シリーズML-08 ニューラルネットワークを用いた識別・分類ーシングルラベルー
Katsuhiro Morishita
シリーズML-06 ニューラルネットワークによる線形回帰
シリーズML-06 ニューラルネットワークによる線形回帰
Katsuhiro Morishita
シリーズML-05 ニューラルネットワーク
シリーズML-05 ニューラルネットワーク
Katsuhiro Morishita
シリーズML-03 ランダムフォレストによる自動識別
シリーズML-03 ランダムフォレストによる自動識別
Katsuhiro Morishita
シリーズML-01 機械学習の概要
シリーズML-01 機械学習の概要
Katsuhiro Morishita
Pandas利用上のエラーとその対策
Pandas利用上のエラーとその対策
Katsuhiro Morishita
Pythonによる、デジタル通信のための ビタビ符号化・復号ライブラリの作成
Pythonによる、デジタル通信のための ビタビ符号化・復号ライブラリの作成
Katsuhiro Morishita
Mehr von Katsuhiro Morishita
(20)
数ページの卒業論文作成のためのwordの使い方
数ページの卒業論文作成のためのwordの使い方
Pythonのパッケージ管理ツールの話@2020
Pythonのパッケージ管理ツールの話@2020
オトナのpandas勉強会(資料)
オトナのpandas勉強会(資料)
SIgfox触ってみた in IoTLT in 熊本市 vol.3
SIgfox触ってみた in IoTLT in 熊本市 vol.3
Google Colaboratoryの使い方
Google Colaboratoryの使い方
Excelでのグラフの作成方法re
Excelでのグラフの作成方法re
Pythonのmain関数
Pythonのmain関数
Pythonスクリプトの実行方法@2018
Pythonスクリプトの実行方法@2018
機械学習と主成分分析
機械学習と主成分分析
Pythonで始めた数値計算の授業@わんくま勉強会2018-04
Pythonで始めた数値計算の授業@わんくま勉強会2018-04
マークシート読み込みプログラムを作ってみた@2018-04-04
マークシート読み込みプログラムを作ってみた@2018-04-04
オトナの画像認識 2018年3月21日実施
オトナの画像認識 2018年3月21日実施
LoRa-WANで河川水位を計測してみた@IoTLT@熊本市 vol.001
LoRa-WANで河川水位を計測してみた@IoTLT@熊本市 vol.001
シリーズML-08 ニューラルネットワークを用いた識別・分類ーシングルラベルー
シリーズML-08 ニューラルネットワークを用いた識別・分類ーシングルラベルー
シリーズML-06 ニューラルネットワークによる線形回帰
シリーズML-06 ニューラルネットワークによる線形回帰
シリーズML-05 ニューラルネットワーク
シリーズML-05 ニューラルネットワーク
シリーズML-03 ランダムフォレストによる自動識別
シリーズML-03 ランダムフォレストによる自動識別
シリーズML-01 機械学習の概要
シリーズML-01 機械学習の概要
Pandas利用上のエラーとその対策
Pandas利用上のエラーとその対策
Pythonによる、デジタル通信のための ビタビ符号化・復号ライブラリの作成
Pythonによる、デジタル通信のための ビタビ符号化・復号ライブラリの作成
シリーズML-07 ニューラルネットワークによる非線形回帰
1.
Ver. 1.0, 2017-08-11 森下功啓 1
2.
2 線形回帰では、式(1)を用いて変数を予測する。 𝑦 = 𝛽0
+ 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ + 𝛽 𝑛 𝑥 𝑛 (1) しかしながら、1次式だけで予測できるものは少ない。 sin関数すら予測できない。 そこで、ニューラルネットワークを用いて非線形な回帰問題に 対応する方法をこのスライドでは解説しよう。
3.
対応ポイント • 非線形活性化関数を用いることが肝 • 一次関数はいくら足しても一次関数 •
故に、活性化関数は非線形である必要がある • ∴非線形活性化関数を持つ中間層が必要 • 中間層のユニット数と中間層数は、結果を見ながら調整 • 少ないと近似精度が悪い • 多すぎると過学習を起こしやすい 3
4.
サンプルプログラムのダウンロード 4 1 2 Download: https://github.com/KatsuhiroMorishita/machine_leaning_samples
5.
sin関数の近似 5
6.
6 • 以降のスライドでは、下記のプログラムを使った解説を行います • sin関数を学習するサンプルです
7.
keras_sin.py • sin関数を学習するプログラム 7
8.
8 モデルの作成 教師データ作成 学習 結合係数の保存など グラフの表示
9.
9 入力層の次の層(中間層) の活性化関数はsigmoid この層(入力層)のユニット数は1個 学習係数は0.05 1つの教師データ当たりの 学習回数は2000 10個の教師データを使って 結合係数を更新する 次の層(中間層)の ユニット数は15個 バイアス用のユニットは 有効(標準で有効) 誤差関数は二乗平均誤差 学習中に状況を表示するなら1 結合係数の更新回数 = epochs
/ batch_size
10.
モデルを図にするとこんな感じ 10 中間層 (隠れ層) 出力層入力層 𝑥 𝑦 1 1 Unit 0 Unit
15 𝑤0,1 0 𝑤0,2 0 𝑤0,1 1 𝑤1,1 1 𝑤2,1 1 𝑤1,15 0 𝑤1,1 0 結合係数 Layer 0 Layer 1 Layer 2 出力層のユニットの活 性化関数は指定され ていないので、linear ∴ ℎ 𝑧 = 𝑧 𝑦𝑗 1 = sigmoid 𝑧𝑗 1 , 𝑗 ≥1 中間層のユニット𝑗の出力 𝑦 = 𝑦1 2 = 𝑧1 2
11.
学習回数と誤差 11 Ephch 120 Ephch
240 Ephch 360 Ephch 480 Ephch 600 Ephch 720 Ephch 840 Ephch 960 Ephch 1080 ←学習が進むにつ れ、誤差が小さくな る様子が分かる 学習量が増えると 成績が上がるのは 人間と同じだ。
12.
より一般的な 非線形回帰モデル 12
13.
一般的な非線形回帰への対応 • 活性化関数にsigmoidを利用している場合、入力値xが |x|>6であれば、その点での傾きがほぼ0 • 微分しても傾きが0であれば学習できない •
従って、より広い範囲で使える活性化関数が必要である • → LeakyReLUを使う • 又は、入力するデータを次元ごとにN(0, 1)に変換する必要 がある( 概ね、|x|<6となる) 13 http://www.procrasist.com/entry/2017/01/12/200000 LeakyReLU
14.
14 • 以降のスライドでは、下記のプログラムを使った解説を行います • 一般的に拡張した非線形回帰用のサンプルです
15.
regression_learning.csv • 教師データ 15 特徴ベクトル (説明変数) 正解 (目的変数)
16.
16 regression_learning.csvで作成した散布図行列 重回帰分析では問題になるほどの多重共線性がみられる。
17.
prediction_data.csv • 未知データ • 正解が不明なデータです 17 特徴ベクトル (説明変数)
18.
non_linear_regression.py • 学習を実行するプログラム • 読み込んだ教師データを自動的に学習データと検証デー タに分けて、過学習の判定と未知データに対する予測精度 の評価ができる 18
19.
19 教師データを読み込む関数 モデルの作成 学習データと検証データに分割 学習データと検証データと特徴ベクトルの次 元数(説明変数の数)を変数に格納 p. 1
20.
20 学習 結合係数の保存など 学習データと検証データのlossの変化をグラフとして表示 検証データの正解と予測値と で散布図を作成して表示 p. 2
21.
21 入力層の次の層(中間層)の 活性化関数はLeakyReLU この層(入力層)のユニット数はs-1個 (sはデータに合わせて自動で調整される) 学習係数は0.005 次の層(中間層)の ユニット数は15個 バイアス用のユニットは 有効(標準で有効) 誤差関数は二乗平均誤差 モデルの構造 結合係数の更新回数 = epochs
/ batch_size
22.
活性化関数は linear, h(z)=z 活性化関数は LeakyReLU 活性化関数は LeakyReLU 22 •
丸をたくさん描くのは大変なので、層を箱で表す モデルの構造 ユニット数s-1 ユニット数15 ユニット数10 ユニット数1 中間層 (隠れ層) 出力層 入力層 Layer 0 Layer 1 Layer 3 中間層 (隠れ層) Layer 2
23.
non_linear_regression.pyの実行で得られるグラフ 23 epochに対する学習データと検証 データのlossの変化 この例では、lossの乖離が見られず、 過学習は起こしていないことが分かる。 学習後に表示された、検証データ の正解値と予測値の散布図 傾き1.0で直線に分布しているほど予 測精度が高いことを示す。 loss(学習データに対するloss)と val_loss(検証データに対するloss) が乖離していたら過学習 フラットになっているので、 学習は十分に収束している
24.
prediction.py • 正解の不明な未知データを予測する 24
25.
25 2次元配列文字列に変換する関数 モデルと結合係数のロード 予測用のデータを読み込む 予測値を求め、保存 全データが特徴ベクトル(説明変 数)なので、スライス範囲は全範囲
26.
prediction.pyを実行することで prediction_result.csvを得る 26 prediction_result.csv prediction_data.csv 未知データ 正解の予測値
27.
27
28.
28 非線形近似をニューラルネットワーク(NN)で実現するには 非線形な活性化関数を持つ中間層を追加するだけという、 なんとも単純なお話でした。 さて、これでNNを使った線形回帰の基本は終了です 次はNNを使って識別問題にトライしてみましょう
Jetzt herunterladen