2018/04/21 CpawLTでJSAI Cup 2018人工知能学会データ解析コンペティションに参加したときの話です。

1. JSAI Cup 2018
人工知能学会データ解析
コンペティションに参戦
CpawLT
2018/04/21

2. 自己紹介
✘ 北田俊輔 (a.k.a @shunk031 / ぴんく)
✘ 法政大学大学院理工学研究科M1 彌冨研
✘ 深層学習を中心とした自然言語処理・画
像認識が ありえんだいすき
✘ Cpaw AI Competition (CpawAIC) 運営
✘ GunosyとかNVIDIAでバイトをしてる
2

3. Cookpadの料理分類コンペに参加した
✘ 人工知能学会データ解析コンペティション
✗ クックパッドの画像データから、55種類の材料のカテ
ゴリを予測する画像認識アルゴリズムの作成
✗ 1カテゴリ約290枚x55カテゴリの計15,932枚
✗ 11,995枚を学習用、3,937枚を評価
3

4. 今回のコンペのルール(闇)
✘ API (Google Cloud Vision API etc.) の利用は禁止
✘ ImageNetなどによる学習済みモデルの利用は禁止
✘ 2つ以上のモデルを用いたアンサンブル学習禁止
✗ Random forest等のように1つのモデル中にアンサン
ブル学習を含むような手法に関しては利用可
4
追加ルール
✘ k-foldによるk個の同一モデルのアンサンブルは禁止
✘ TTA (test time augmentation) の使用は可
✘ Psuedo labelingの使用は可

5. 今回使用したモデルについて (概要)
✘ ResNet152 with Stochastic Depth [1, 2]
✗ Random Erasing Data Augmentation [3]
✗ Between Class Learning [4]
✗ Test Time Augmentation
5
[1] He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on
computer vision and pattern recognition. 2016.
[2] Huang, Gao, et al. "Deep networks with stochastic depth." European Conference on Computer Vision. Springer
International Publishing, 2016.
[3] Zhong, Zhun, et al. "Random Erasing Data Augmentation." arXiv preprint arXiv:1708.04896 (2017).
[4] Tokozume, Yuji, Yoshitaka Ushiku, and Tatsuya Harada. "Between-class Learning for Image Classification."
arXiv preprint arXiv:1711.10284 (2017).

6. 今回使用したモデルについて (詳細)
✘ ResNet152 with Stochastic Depth
✗ スクラッチから300 epochほど学習させた
✗ MomemtumSGDで150, 225, 300epoch毎にlr decay
✗ 層を確率的にDropして汎化性能向上・計算量減少
✘ Random Erasing Data Augmentation
✗ 画像に対してランダムに矩形領域をマスク
✘ Between Class Learning
✗ 違う画像をｍixupしてデータを増やす
6

7. 今回使用したモデルについて (詳細)
✘ Random Erasing Data Augmentation
✗ 画像に対してランダムに矩形領域をマスク
7

8. 今回使用したモデルについて (詳細)
✘ Between Class Learning
✗ 違う画像をｍixupしてデータを増やす
8

9. 9
Confusion Matrix

10. 結果発表
うぇーーーい
10

11. ちなみに、去年の結果
11

12. 結果発表
うぇーーーい x2
12

13. 最終結果
13
✗ Public LB score, Private LB score
去年30位 → 今年15位✨✨
Public LBのスコアとPrivate LBのスコアで差があった…
1位は 0.98326 だったみたいです。すごい

14. 参加者の手法 (Twitterから一部引用)
✘ InceptionResNetv2
✗ 600 epoch, CVで15個モデルを作成, TTAを256回実行
✗ Data augmentatioにrandom erasingとmixup
✘ DenseNet
✗ Data augmentationにcutoutとmixup
✗ 最初は弱めに、学習が進んだらキツめ
✗ Cutoutして切り抜いたところに別画像を貼る
✘ PyramidNet
✗ 1800 epochでRandom erasingとShakeDrop
14

15. 所感
✘ ルールが闇だった
✗ 学習済みモデルが使えないのはなぜ
✗ アンサンブル最初はダメだったけど良くなったなぜ
✘ ResNetの気持ちがわからなかった
✗ キツめのdata augmentationをしても精度上がるから、
ResNetはドＭなのでは
✘ 人工知能、運では
✗ 上位は1枚単位で正解不正解争ってた
✗ Deep learningは運
15