Weitere ähnliche Inhalte
Mehr von Ryutaro Yamauchi (6)
Group normalization
- 2. 書誌情報
• Yuxin Wu, Kaiming He
• Facebook AI Research(FAIR)の人々
• Kaiming氏はいつもシンプルで力強いアイディアを出してきて凄い
• ResNetとかMask R-CNNとか
• https://arxiv.org/abs/1803.08494
- 3. Batch Normalizationの問題点
• Batch Normalization(BN)はバッチサイズが小さい場合に著し
く精度が下がる
• バッチの統計量を正しく推定できなくなるため
• 高精細な画像を用いたDetectionやSegmentationの学習では、メモリ
の制約からバッチサイズを確保できないことが多い
• 2とか4とか
• 評価時には事前に計算された統計量を用いるが、データの分布
が変わると意味をなさない
• 転移学習する場合に困る
- 4. BNの問題点への対処
• 凄い計算機を使う
• 本質的ではない
• Batch Renormalization
• バッチではなく学習セット全体の統計量を推定する
• Weight Normalization
• filter weightの方を正規化
• Batch次元と独立なNormalization
• Layer Normalization
• Instance Normalization
• ↑この2つはRNN/LSTMやGANでは効果的だが、画像認識では微妙
• Group Normalization
• 今回提案するのはこれ
- 12. 実験1 Image Classification in ImageNet
• ResNet-50でImageNetを学習
• 8 GPUsで計算
• バッチ統計量はGPUごとに算出
• 基本的にG=32
• 実験
1. バッチサイズ32でBN, GN, LN, INの精度を比較
2. バッチサイズを変えながらBNとGNの精度を比較
3. Batch Renormalizationとの比較
4. Gを変える
5. ResNet-101の場合
6. VGG16における結果と分析
- 15. 実験1-3, 4
• 1-3. Batch Renormとの比較(バッチサイズ:4)
• GN(24.2%)>BR(26.3%)>GN(27.3%)
• 1-4. Gを変える
• G=32が最もよい
• 1Groupごとのチャネル数を固定した
場合、16チャネルが最も良い