dive_into_code

1. どんなもの？ 先行研究と比べて何がすごい？
技術の手法や肝は？
議論
・非常に層が深く精度が高いモデルが構築される一方、層が深いゆえ「学習時間が極端
に長い」
論文では８枚のGPUを稼働させ学習に数週間要した
※このことを踏まえて、豊富な時間と整った環境がResNetを用いるためには必要不可欠
152層という非常に深い層を形成し、表現力を上げた
層を増やすことで生じてします勾配消失をshortcut connectionによって防いだ
・従来のモデル（前年度のImageNet優勝アルゴリズムが22層で形成）に対し、ResNet
では152層と層が非常に深い
層が深いモデルであるほど表現力が高くなるが層を深くしすぎると勾配消失を起こし（活
性化関数の微分値がそれだけ掛け合わされることにより）、勾配が非常に小さな値に収
束されてします。
・上記の層を深さを活かす方法として用いられたのが、shortvut connection
図に示すように従来のルートとショートカットするルートを同時に行いそれらを加算す
ることで勾配消失を防いでいる
画像認識制度を競うImageNet2015の優勝アルゴリズム
ILSVRC 2015において、Kaiming Heらが提案した152層のNNをトレーニングするアーキ
テクチャで、「スキップコネクション」を導入し、大量のバッチノーマライゼーション
を特徴とする。
Deep Residual Learning for Image Recognition
https://github.com/keras-team/keras-applications/blob/master/keras_applications/
resnet50.py
Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun Microsoft Research
10 Dec 2015 https://arxiv.org/pdf/1512.03385.pdf