SlideShare ist ein Scribd-Unternehmen logo

Skip Connection まとめ（Neural Network）

•
•
Yamato OKAMOTO
Yamato OKAMOTO

ResNetに代表されるSkip Connectionについて理論と有効性をまとめました。

Technologie
1 von 6
Downloaden Sie, um offline zu lesen
Deep Learning における Skip Connection の研 究まとめ   背景と課題 〜Deepすぎると学習が進まない〜 CNNでは層を深くすることが重要 層を重ねることで⾼度で複雑な特徴を抽出できる 2012年に画像認識の⾸位となったAlexNetは14層 2014年に画像認識の⾸位となったVGGNetは19層 同じく2014年に⾸位となったGoogleNetは22層 2015年に画像認識の⾸位となったResNetは152層 このとき、層を深くすると思い通りに学習が進まない課題があった 勾配消失 勾配発散 引⽤：Deep Residual Learning MSRA @ ILSVRC & COCO 2015 competitions        
ResNetのアイデア 元論⽂： [1512.03385] Deep Residual Learning for Image Recognition ⼊⼒値と出⼒値の差分(残差)を学習する Deepになると⼊⼒xと出⼒x*Wは極めて近い値 ならばxをそのまま残して差分を計算した⽅が効率的 残差ブロックの提案 畳み込み層＋Skip Connection(恒等写像)を組み合わせた Skip Connectionによって誤差逆伝搬をしやすい 変換不要ならば畳み込み層のWeightを０にすればよい 既にいい感じになっているｘに余計なことをしなくてすむ Skip Connectionが無い場合、⾮線形写像なのでｘが理想値から遠ざかることがある 残差ブロックのアーキテクチャ Plainアーキテクチャ 3x3のconv層が2つ Bottleneckアーキテクチャ 1x1のconv層でdimを⼩さくして、、、 3x3のconv層にかけて、、、 1x1のconv層で元々のdimに戻す  
  『DenseNet』CVPR2017 BEST PAPER 元論⽂： [1608.06993] Densely Connected Convolutional Networks   アイデア：層の間で情報伝達を最⼤化する   上の図は１つのDenseBlockを表す ℓ番⽬の層への⼊⼒は、0〜ℓ-1番⽬の層の全出⼒となる        
  このようなDenseBlockを4つ含むネットワーク構造を提案 ダウンサンプリングなどのためにDenseBlock間にPooling層も挿⼊   ちょっと、やりすぎだろ・・・・                                
Skip Connectionとよく似たContracting Path構造（U-Net） [q505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation   Image-ClassificationではなくImage-Segmentationのタスクで⽣まれた⼿法 Semantic Segmentationにおいて位置は保存したい重要情報 CNNではPoolingや畳み込みをするほど位置情報が曖昧になることが課題 局所的特徴と全体的位置情報の両⽅を把握したい 形がU字なのでU-Net 左側がEncoder 右側がDecoder Up-Sampling後にEncoder部の同次元数の特徴を連結する あまり畳み込みされていないEncoder部では位置情報が保たれているという仮定 concatenation with the correspondingly cropped feature map 従来どおり特徴を抽出しつつ、位置情報を保存する        
  Skip Connectionの有効性を解明 [1712.09913] Visualizing the Loss Landscape of Neural Nets   LOSS関数を可視化することで近年のNeural Networkのアーキテクチャの有効性を検証した論⽂ Skip Connectionを利⽤した場合（右図）は、non-convexからconvexに近づいているように⾒える       Skip Connectionを含む新しいネットワーク構造 〜Deep Layer Aggregation (CVPR2018)〜   [1707.06484] Deep Layer Aggregation   疲れたのでまた今度・・・     資料作成：ロードローラー ブログ: r2d.info、 Twitter: RoadRoller_DESU  

Empfohlen

ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用Yoshitaka Ushiku
 
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイcvpaper. challenge
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer 【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformercvpaper. challenge
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics
 

Empfohlen

ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用Yoshitaka Ushiku
 
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習SSII
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイcvpaper. challenge
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer 【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformercvpaper. challenge
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報Deep Learning JP
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Keigo Nishida
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
GAN（と強化学習との関係）
GAN（と強化学習との関係）GAN（と強化学習との関係）
GAN（と強化学習との関係）Masahiro Suzuki
 
Optimizer入門＆最新動向
Optimizer入門＆最新動向Optimizer入門＆最新動向
Optimizer入門＆最新動向Motokawa Tetsuya
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe
 
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...Deep Learning JP
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話Yusuke Uchida
 
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAEぱんいち すみもと
 
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門グラフニューラルネットワーク入門
グラフニューラルネットワーク入門ryosuke-kojima
 
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksDeep Learning JP
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化Yusuke Uchida
 
ResNetを倒したい
ResNetを倒したいResNetを倒したい
ResNetを倒したいimenurok
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Daiki Shimada
 

Weitere ähnliche Inhalte

Was ist angesagt?

[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報Deep Learning JP
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Keigo Nishida
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイcvpaper. challenge
 
GAN（と強化学習との関係）
GAN（と強化学習との関係）GAN（と強化学習との関係）
GAN（と強化学習との関係）Masahiro Suzuki
 
Optimizer入門＆最新動向
Optimizer入門＆最新動向Optimizer入門＆最新動向
Optimizer入門＆最新動向Motokawa Tetsuya
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe
 
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...Deep Learning JP
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話Yusuke Uchida
 
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門グラフニューラルネットワーク入門
グラフニューラルネットワーク入門ryosuke-kojima
 
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksDeep Learning JP
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化Yusuke Uchida
 

Was ist angesagt? (20)

[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門
 
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）
 
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
 
Transformer メタサーベイ
Transformer メタサーベイTransformer メタサーベイ
Transformer メタサーベイ
 
GAN（と強化学習との関係）
GAN（と強化学習との関係）GAN（と強化学習との関係）
GAN（と強化学習との関係）
 
Optimizer入門＆最新動向
Optimizer入門＆最新動向Optimizer入門＆最新動向
Optimizer入門＆最新動向
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
 
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
 
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
 
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
 
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
 
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
 

Ähnlich wie Skip Connection まとめ（Neural Network）

ResNetを倒したい
ResNetを倒したいResNetを倒したい
ResNetを倒したいimenurok
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Daiki Shimada
 
（2021年8月版）深層学習によるImage Classificaitonの発展
（2021年8月版）深層学習によるImage Classificaitonの発展（2021年8月版）深層学習によるImage Classificaitonの発展
（2021年8月版）深層学習によるImage Classificaitonの発展Takumi Ohkuma
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsTakuya Akiba
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsTakuya Akiba
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用Kazuki Fujikawa
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜Jun Okumura
 
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会S_aiueo32
 
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?cvpaper. challenge
 

Ähnlich wie Skip Connection まとめ（Neural Network） (9)

ResNetを倒したい
ResNetを倒したいResNetを倒したい
ResNetを倒したい
 
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
 
（2021年8月版）深層学習によるImage Classificaitonの発展
（2021年8月版）深層学習によるImage Classificaitonの発展（2021年8月版）深層学習によるImage Classificaitonの発展
（2021年8月版）深層学習によるImage Classificaitonの発展
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
 
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
 
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
[cvpaper.challenge] 超解像メタサーベイ #meta-study-group勉強会
 
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?
 

Mehr von Yamato OKAMOTO

第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCRYamato OKAMOTO
 
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べYamato OKAMOTO
 
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly DetectionICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly DetectionYamato OKAMOTO
 
ICLR'2020 参加速報
ICLR'2020 参加速報ICLR'2020 参加速報
ICLR'2020 参加速報Yamato OKAMOTO
 
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic FeaturesDomain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic FeaturesYamato OKAMOTO
 
(SURVEY) Active Learning
(SURVEY) Active Learning(SURVEY) Active Learning
(SURVEY) Active LearningYamato OKAMOTO
 
(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised LearningYamato OKAMOTO
 
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...Yamato OKAMOTO
 
[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated Learning[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated LearningYamato OKAMOTO
 
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）Yamato OKAMOTO
 
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（5~6日目 Workshop）
ICML2019@Long Beach 参加速報（5~6日目 Workshop）ICML2019@Long Beach 参加速報（5~6日目 Workshop）
ICML2019@Long Beach 参加速報（5~6日目 Workshop）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（最終日 Workshop）
ICML2019@Long Beach 参加速報（最終日 Workshop）ICML2019@Long Beach 参加速報（最終日 Workshop）
ICML2019@Long Beach 参加速報（最終日 Workshop）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（４日目）
ICML2019@Long Beach 参加速報（４日目）ICML2019@Long Beach 参加速報（４日目）
ICML2019@Long Beach 参加速報（４日目）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（３日目）
ICML2019@Long Beach 参加速報（３日目）ICML2019@Long Beach 参加速報（３日目）
ICML2019@Long Beach 参加速報（３日目）Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（２日目）
ICML2019@Long Beach 参加速報（２日目） ICML2019@Long Beach 参加速報（２日目）
ICML2019@Long Beach 参加速報（２日目） Yamato OKAMOTO
 
ICML2019@Long Beach 参加速報（１日目）
ICML2019@Long Beach 参加速報（１日目）ICML2019@Long Beach 参加速報（１日目）
ICML2019@Long Beach 参加速報（１日目）Yamato OKAMOTO
 
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向Yamato OKAMOTO
 
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向Yamato OKAMOTO
 
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationCVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationYamato OKAMOTO
 

Mehr von Yamato OKAMOTO (20)

第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
 
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ
 
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly DetectionICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
 
ICLR'2020 参加速報
ICLR'2020 参加速報ICLR'2020 参加速報
ICLR'2020 参加速報
 
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic FeaturesDomain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
 
(SURVEY) Active Learning
(SURVEY) Active Learning(SURVEY) Active Learning
(SURVEY) Active Learning
 
(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning
 
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
 
[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated Learning[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated Learning
 
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
CVPR2019@ロングビーチ参加速報（後編 ～本会議～）
 
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
 
ICML2019@Long Beach 参加速報（5~6日目 Workshop）
ICML2019@Long Beach 参加速報（5~6日目 Workshop）ICML2019@Long Beach 参加速報（5~6日目 Workshop）
ICML2019@Long Beach 参加速報（5~6日目 Workshop）
 
ICML2019@Long Beach 参加速報（最終日 Workshop）
ICML2019@Long Beach 参加速報（最終日 Workshop）ICML2019@Long Beach 参加速報（最終日 Workshop）
ICML2019@Long Beach 参加速報（最終日 Workshop）
 
ICML2019@Long Beach 参加速報（４日目）
ICML2019@Long Beach 参加速報（４日目）ICML2019@Long Beach 参加速報（４日目）
ICML2019@Long Beach 参加速報（４日目）
 
ICML2019@Long Beach 参加速報（３日目）
ICML2019@Long Beach 参加速報（３日目）ICML2019@Long Beach 参加速報（３日目）
ICML2019@Long Beach 参加速報（３日目）
 
ICML2019@Long Beach 参加速報（２日目）
ICML2019@Long Beach 参加速報（２日目） ICML2019@Long Beach 参加速報（２日目）
ICML2019@Long Beach 参加速報（２日目）
 
ICML2019@Long Beach 参加速報（１日目）
ICML2019@Long Beach 参加速報（１日目）ICML2019@Long Beach 参加速報（１日目）
ICML2019@Long Beach 参加速報（１日目）
 
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
 
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
 
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic SegmentationCVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic Segmentation
 

Kürzlich hochgeladen

論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介：Selective Structured State-Spaces for Long-Form Video UnderstandingToru Tamaki
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイスLoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイスCRI Japan, Inc.
 
Amazon SES を勉強してみる その２2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その２2024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その２2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その２2024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NTT DATA Technology & Innovation
 
Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）
Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）
Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）Hiroshi Tomioka
 
論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...Toru Tamaki
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルCRI Japan, Inc.
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Gamesatsushi061452
 
新人研修　後半 2024/04/26の勉強会で発表されたものです。
新人研修　後半 2024/04/26の勉強会で発表されたものです。新人研修　後半 2024/04/26の勉強会で発表されたものです。
新人研修　後半 2024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）Hiroshi Tomioka
 
Amazon SES を勉強してみる その３2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その３2024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その３2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その３2024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 

Kürzlich hochgeladen (11)

論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイスLoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
Amazon SES を勉強してみる その２2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その２2024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その２2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その２2024/04/26の勉強会で発表されたものです。
 
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
 
Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）
Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）
Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）
 
論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
新人研修　後半 2024/04/26の勉強会で発表されたものです。
新人研修　後半 2024/04/26の勉強会で発表されたものです。新人研修　後半 2024/04/26の勉強会で発表されたものです。
新人研修　後半 2024/04/26の勉強会で発表されたものです。
 
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
 
Amazon SES を勉強してみる その３2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その３2024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その３2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その３2024/04/26の勉強会で発表されたものです。
 

Skip Connection まとめ（Neural Network）

  • 1. Deep Learning における Skip Connection の研 究まとめ   背景と課題 〜Deepすぎると学習が進まない〜 CNNでは層を深くすることが重要 層を重ねることで⾼度で複雑な特徴を抽出できる 2012年に画像認識の⾸位となったAlexNetは14層 2014年に画像認識の⾸位となったVGGNetは19層 同じく2014年に⾸位となったGoogleNetは22層 2015年に画像認識の⾸位となったResNetは152層 このとき、層を深くすると思い通りに学習が進まない課題があった 勾配消失 勾配発散 引⽤：Deep Residual Learning MSRA @ ILSVRC & COCO 2015 competitions        
  • 2. ResNetのアイデア 元論⽂： [1512.03385] Deep Residual Learning for Image Recognition ⼊⼒値と出⼒値の差分(残差)を学習する Deepになると⼊⼒xと出⼒x*Wは極めて近い値 ならばxをそのまま残して差分を計算した⽅が効率的 残差ブロックの提案 畳み込み層＋Skip Connection(恒等写像)を組み合わせた Skip Connectionによって誤差逆伝搬をしやすい 変換不要ならば畳み込み層のWeightを０にすればよい 既にいい感じになっているｘに余計なことをしなくてすむ Skip Connectionが無い場合、⾮線形写像なのでｘが理想値から遠ざかることがある 残差ブロックのアーキテクチャ Plainアーキテクチャ 3x3のconv層が2つ Bottleneckアーキテクチャ 1x1のconv層でdimを⼩さくして、、、 3x3のconv層にかけて、、、 1x1のconv層で元々のdimに戻す  
  • 3.   『DenseNet』CVPR2017 BEST PAPER 元論⽂： [1608.06993] Densely Connected Convolutional Networks   アイデア：層の間で情報伝達を最⼤化する   上の図は１つのDenseBlockを表す ℓ番⽬の層への⼊⼒は、0〜ℓ-1番⽬の層の全出⼒となる        
  • 5. Skip Connectionとよく似たContracting Path構造（U-Net） [q505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation   Image-ClassificationではなくImage-Segmentationのタスクで⽣まれた⼿法 Semantic Segmentationにおいて位置は保存したい重要情報 CNNではPoolingや畳み込みをするほど位置情報が曖昧になることが課題 局所的特徴と全体的位置情報の両⽅を把握したい 形がU字なのでU-Net 左側がEncoder 右側がDecoder Up-Sampling後にEncoder部の同次元数の特徴を連結する あまり畳み込みされていないEncoder部では位置情報が保たれているという仮定 concatenation with the correspondingly cropped feature map 従来どおり特徴を抽出しつつ、位置情報を保存する        
  • 6.   Skip Connectionの有効性を解明 [1712.09913] Visualizing the Loss Landscape of Neural Nets   LOSS関数を可視化することで近年のNeural Networkのアーキテクチャの有効性を検証した論⽂ Skip Connectionを利⽤した場合（右図）は、non-convexからconvexに近づいているように⾒える       Skip Connectionを含む新しいネットワーク構造 〜Deep Layer Aggregation (CVPR2018)〜   [1707.06484] Deep Layer Aggregation   疲れたのでまた今度・・・     資料作成：ロードローラー ブログ: r2d.info、 Twitter: RoadRoller_DESU