SlideShare ist ein Scribd-Unternehmen logo

RUTILEA社内勉強会第1回 「転移学習」

•
•
T
TRUE_RUTILEA

RUTILEA社内で定期的に行っている勉強会の第1回です． 第1回のテーマは”転移学習”です.

Ingenieurwesen
1 von 32
Downloaden Sie, um offline zu lesen
転移学習 2019/12/06
転移学習(Transfer Learning)とは • ある領域で学んだモデルを他の領域に適⽤する技術
転移学習とは • Pan and Yang(2010) 適⽤もととなる領域と学習タスクをそれぞれ𝐷"と𝑇"、適⽤対象 である領域とタスクをそれぞれ𝐷$と𝑇$とする。転移学習は 𝐷" ≠ 𝐷$と𝑇" ≠ 𝑇$の時、𝐷"と𝑇"を⽤いて、𝐷$の予測を⾏う機能 の学習の性能を向上させることを⽬的とするもの
転移学習の⼿法 • 𝐷"のモデルを𝐷$に適⽤する時の問題点をいかに解決できるか
転移学習の⼿法 • 学習済みモデルの適⽤ • 領域に固有でない特徴の適⽤
学習済みモデルの適⽤ • 例：CNN(Convolutional Neural Network)を使った画像認識
領域に固有でない特徴の適⽤ • 例：Auto Encoderの特徴量
VGG16
VGG16とは • オックスフォードのVisual Geometry Groupが作った畳み込み層 と全結合層のレイヤーの合計数が16個のCNN • VGGnetモデルの⼀つ
CNNと画像認識 • 2012年以前は画像認識においてSIFT+Fisher Vector+SVMが主流で、 ⼈が画像から特徴量を設計し抽出していた • 2012年のILSVRCにおいてCNNを使った画像認識モデルである AlexNetが登場し機械が⾃動で特徴量を抽出するのが主流に
CNNと画像認識 • 2014年のILSVRC にVGGnetやGoogLeNet登場し、⾼い成果をだし た • 2015年のResNetは層をさらに深くし精度をあげることを達成
先⾏モデルと⽐較したVGGnetの特徴 • 3×3畳み込みフィルタを備えたモデルを使⽤ • 16〜19層と深くすることによって⾼い精度が得られた
VGGnetモデルの基本構造 • 3×3畳み込みフィルタ • 重み減衰によって正則化 • 画像サイズはランダムな位置で（224×224）にトリミング • 活性化関数としてソフトマックスとReLuを使⽤
VGG16の実装
転移学習とファインチューニング • 転移学習：学習済みの重みをそのまま使⽤すること • ファインチューニング：学習済みの重みの⼀部を再学習させ使 ⽤すること
ファインチューニングさせるデータセッ ト1回⽬ • 機械部品10種類 • 学習枚数599枚 • 評価枚数856枚
ファインチューニングさせるデータセッ ト1回⽬
ファインチューニングさせるデータセッ ト2回⽬ • 機械部品13種類 • 学習枚数777枚 • 評価枚数1003枚
ファインチューニングさせるデータセッ ト2回⽬
VGG16を⽤いてすること • ファインチューニングしてSVMにかけると結果がどのように変 わるか測定
機械部品10種類を⽤いたVGG16の学習⽅ 法 • 検証の結果15層から重みを更新するファインチューニングを実 ⾏ • 検証の結果エポック数は150にする • 得られた特徴量を付け加えて、再度学習させる
機械部品10種類を⽤いたVGG16の学習⽅ 法
機械部品10種類を⽤いたVGG16の学習⽅ 法 • 15層より下げると過学習気味になり、上げると精度が落ちる
機械部品10種類を⽤いたVGG16の学習⽅ 法
機械部品13種類を⽤いたVGG16の学習⽅ 法 • 検証の結果15層から重みを更新するファインチューニングを実 ⾏ • 検証の結果エポック数は175にする • 得られた特徴量を付け加えて、再度学習させる
機械部品13種類を⽤いたVGG16の学習⽅ 法
機械部品13種類を⽤いたVGG16の学習⽅ 法 • 14，15層より下げると過学習気味になり、上げると精度が落ち る
機械部品13種類を⽤いたVGG16の学習⽅ 法
2回⽬の学習(機械部品10種類) • 1回⽬と⽐べて精度が多少上がっている
2回⽬の学習(機械部品13種類) • 1回⽬と⽐べて精度があがっている様⼦は⾒いだせず
2クラスSVMによる転移学習の検証結果 • Linear SVCを使⽤ • ネジは学習と評価いずれにおいても正答率100％ • ダイカストのデータセットは1番以外いずれも正答率100％ なぜか1番だけ新たな特徴量を付け加えると学習の正答率100％ 評価の正答率が0.9714285714285714になる
考察 • 汎⽤性が下がったので97％にさがったのではないか • モデルことに変える必要があるのではないか

Empfohlen

【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Deep Learning JP
 
Unpaired image to-image translation using cycle-consistent adversarial networks
Unpaired image to-image translation using cycle-consistent adversarial networks Unpaired image to-image translation using cycle-consistent adversarial networks
Unpaired image to-image translation using cycle-consistent adversarial networks
Kazuki Yamaura
 
論文紹介：Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介：Facial Action Unit Detection using Active Learning and an Efficient Non-...論文紹介：Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介：Facial Action Unit Detection using Active Learning and an Efficient Non-...
Kazuki Adachi
 
[DL輪読会]Learning Task Informed Abstractions
[DL輪読会]Learning Task Informed Abstractions [DL輪読会]Learning Task Informed Abstractions
[DL輪読会]Learning Task Informed Abstractions
Deep Learning JP
 
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
 
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
Deep Learning JP
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
 
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
Ohsawa Goodfellow
 

Empfohlen

【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Deep Learning JP
 
Unpaired image to-image translation using cycle-consistent adversarial networks
Unpaired image to-image translation using cycle-consistent adversarial networks Unpaired image to-image translation using cycle-consistent adversarial networks
Unpaired image to-image translation using cycle-consistent adversarial networks
Kazuki Yamaura
 
論文紹介：Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介：Facial Action Unit Detection using Active Learning and an Efficient Non-...論文紹介：Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介：Facial Action Unit Detection using Active Learning and an Efficient Non-...
Kazuki Adachi
 
[DL輪読会]Learning Task Informed Abstractions
[DL輪読会]Learning Task Informed Abstractions [DL輪読会]Learning Task Informed Abstractions
[DL輪読会]Learning Task Informed Abstractions
Deep Learning JP
 
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
 
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
Deep Learning JP
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
 
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
Ohsawa Goodfellow
 
[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...
[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...
[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...
Deep Learning JP
 
Image net classification　with Deep Convolutional Neural Networks
Image net classification　with Deep Convolutional Neural NetworksImage net classification　with Deep Convolutional Neural Networks
Image net classification　with Deep Convolutional Neural Networks
Shingo Horiuchi
 
大規模日本語ブログコーパスにおける言語モデルの構築と評価
大規模日本語ブログコーパスにおける言語モデルの構築と評価大規模日本語ブログコーパスにおける言語モデルの構築と評価
大規模日本語ブログコーパスにおける言語モデルの構築と評価
Yahoo!デベロッパーネットワーク
 
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
Rei Takami
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
 
組合せ最適化入門：線形計画から整数計画まで
組合せ最適化入門：線形計画から整数計画まで組合せ最適化入門：線形計画から整数計画まで
組合せ最適化入門：線形計画から整数計画まで
Shunji Umetani
 
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Preferred Networks
 
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?
cvpaper. challenge
 
CVPRプレゼン動画100本サーベイ
CVPRプレゼン動画100本サーベイCVPRプレゼン動画100本サーベイ
CVPRプレゼン動画100本サーベイ
Yuki Yamashita
 
博士論文本審査スライド
博士論文本審査スライド博士論文本審査スライド
博士論文本審査スライド
Ryuichi Ueda
 
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Yoshitaka Ushiku
 
RUTILEA社内勉強会第8回 「シリアル通信」
RUTILEA社内勉強会第8回 「シリアル通信」RUTILEA社内勉強会第8回 「シリアル通信」
RUTILEA社内勉強会第8回 「シリアル通信」
TRUE_RUTILEA
 
RUTILEA社内勉強会第7回 「LSTMを用いた異常検知」
RUTILEA社内勉強会第7回 「LSTMを用いた異常検知」RUTILEA社内勉強会第7回 「LSTMを用いた異常検知」
RUTILEA社内勉強会第7回 「LSTMを用いた異常検知」
TRUE_RUTILEA
 
RUTILEA社内勉強会第6回 「超解像」
RUTILEA社内勉強会第6回 「超解像」RUTILEA社内勉強会第6回 「超解像」
RUTILEA社内勉強会第6回 「超解像」
TRUE_RUTILEA
 
RUTILEA社内勉強会第5回 「強化学習」
RUTILEA社内勉強会第5回 「強化学習」RUTILEA社内勉強会第5回 「強化学習」
RUTILEA社内勉強会第5回 「強化学習」
TRUE_RUTILEA
 
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
TRUE_RUTILEA
 
RUTILEA社内勉強会第2回 「多重検定」
RUTILEA社内勉強会第2回 「多重検定」RUTILEA社内勉強会第2回 「多重検定」
RUTILEA社内勉強会第2回 「多重検定」
TRUE_RUTILEA
 
RUTILEA社内勉強会第3回 「意外な統計」
RUTILEA社内勉強会第3回 「意外な統計」RUTILEA社内勉強会第3回 「意外な統計」
RUTILEA社内勉強会第3回 「意外な統計」
TRUE_RUTILEA
 

Weitere ähnliche Inhalte

Ähnlich wie RUTILEA社内勉強会第1回 「転移学習」

大規模日本語ブログコーパスにおける言語モデルの構築と評価
大規模日本語ブログコーパスにおける言語モデルの構築と評価大規模日本語ブログコーパスにおける言語モデルの構築と評価
大規模日本語ブログコーパスにおける言語モデルの構築と評価
Yahoo!デベロッパーネットワーク
 
組合せ最適化入門：線形計画から整数計画まで
組合せ最適化入門：線形計画から整数計画まで組合せ最適化入門：線形計画から整数計画まで
組合せ最適化入門：線形計画から整数計画まで
Shunji Umetani
 
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Yoshitaka Ushiku
 

Ähnlich wie RUTILEA社内勉強会第1回 「転移学習」 (11)

[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...
[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...
[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...
 
Image net classification　with Deep Convolutional Neural Networks
Image net classification　with Deep Convolutional Neural NetworksImage net classification　with Deep Convolutional Neural Networks
Image net classification　with Deep Convolutional Neural Networks
 
大規模日本語ブログコーパスにおける言語モデルの構築と評価
大規模日本語ブログコーパスにおける言語モデルの構築と評価大規模日本語ブログコーパスにおける言語モデルの構築と評価
大規模日本語ブログコーパスにおける言語モデルの構築と評価
 
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
 
組合せ最適化入門：線形計画から整数計画まで
組合せ最適化入門：線形計画から整数計画まで組合せ最適化入門：線形計画から整数計画まで
組合せ最適化入門：線形計画から整数計画まで
 
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
 
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?
 
CVPRプレゼン動画100本サーベイ
CVPRプレゼン動画100本サーベイCVPRプレゼン動画100本サーベイ
CVPRプレゼン動画100本サーベイ
 
博士論文本審査スライド
博士論文本審査スライド博士論文本審査スライド
博士論文本審査スライド
 
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vi...
 

Mehr von TRUE_RUTILEA

Mehr von TRUE_RUTILEA (7)

RUTILEA社内勉強会第8回 「シリアル通信」
RUTILEA社内勉強会第8回 「シリアル通信」RUTILEA社内勉強会第8回 「シリアル通信」
RUTILEA社内勉強会第8回 「シリアル通信」
 
RUTILEA社内勉強会第7回 「LSTMを用いた異常検知」
RUTILEA社内勉強会第7回 「LSTMを用いた異常検知」RUTILEA社内勉強会第7回 「LSTMを用いた異常検知」
RUTILEA社内勉強会第7回 「LSTMを用いた異常検知」
 
RUTILEA社内勉強会第6回 「超解像」
RUTILEA社内勉強会第6回 「超解像」RUTILEA社内勉強会第6回 「超解像」
RUTILEA社内勉強会第6回 「超解像」
 
RUTILEA社内勉強会第5回 「強化学習」
RUTILEA社内勉強会第5回 「強化学習」RUTILEA社内勉強会第5回 「強化学習」
RUTILEA社内勉強会第5回 「強化学習」
 
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
RUTILEA社内勉強会第4回 「敵対的生成ネットワーク(GAN)」
 
RUTILEA社内勉強会第2回 「多重検定」
RUTILEA社内勉強会第2回 「多重検定」RUTILEA社内勉強会第2回 「多重検定」
RUTILEA社内勉強会第2回 「多重検定」
 
RUTILEA社内勉強会第3回 「意外な統計」
RUTILEA社内勉強会第3回 「意外な統計」RUTILEA社内勉強会第3回 「意外な統計」
RUTILEA社内勉強会第3回 「意外な統計」
 

RUTILEA社内勉強会第1回 「転移学習」