Deep Learning Lab #04 PFN session material

1. ディープラーニング
よもやま話
10/24, 2017
Preferred Networks, 丸山 宏
Deep Learning Lab

2. 2
AlphaGo Zero：事前知識無しでの学習
3時間後 – 人間の初心者と同様、多くの石を取ることに執着
https://deepmind.com/blog/alphago-zero-learning-scratch/

3. 3
19時間後 – 石の死活、厚み、地などの概念を習得
https://deepmind.com/blog/alphago-zero-learning-scratch/

4. 4
70時間後 – 人間を凌駕
https://deepmind.com/blog/alphago-zero-learning-scratch/

5. 5
AlphaGo Zero：40日の学習
https://deepmind.com/blog/alphago-zero-learning-scratch/

6. 音声によるロボットのコントロール
6
https://www.youtube.com/watch?v=_Uyv1XIUqhk&feature=youtu.be&a=

7. 7
https://www.youtube.com/watch?v=QwInbilXNOE

8. 8
1,024基のP100を搭載したスーパー・コンピュータを稼働
https://www.preferred-networks.jp/ja/news/pr20170920

9. 9
Chainer V3 / Cupy V2をリリース
 （ほとんどのユーザーにとって）後方互換！
 高階微分が可能に
— Wasserstein距離を使ったWGAN-GPなどの実装
 処理の高速化
— スパース行列のサポート
— GPUメモリ管理の効率化
 “seq2seq”サンプル： 12GB  3GB

10. Assessment PoC Pilot Deployment Maintenance
• お客様の理解
度
• ビジネス目標
• 機械学習への
適合度
• データの入手
可能性
：
• データの量・
品質は足りて
いるか
• 期待する精度
が達成できそ
うか
：
• ビジネスプロ
セスへの組み
込みはうまく
いったか
• ビジネス目標
は達成できた
か
：
CP1 CP2 CP3 CP4
• 性能の監視
• データ・ドリフト
の監視
：
機械学習工学： 典型的なシステム構築サイクル
より探索的

11. 11
機械学習工学の課題
1. 再利用
2. 品質の担保
3. 要求の厳密化

12. 12
Neural Network Exchange Format
訓練
https://www.khronos.org/nnef

13. ONNX
message ModelProto {
optional int64 ir_version = 1;
:
optional GraphProto graph = 7;
};
message GraphProto {
repeated NodeProto node = 1;
optional string name = 2;
repeated TensorProto initializer = 5;
optional string doc_string = 10;
repeated ValueInfoProto input = 11;
repeated ValueInfoProto output = 12;
repeated ValueInfoProto value_info = 13;
}
message TensorProto {
repeated int64 dims = 1;
optional DataType data_type = 2;
optional Segment segment = 3;
repeated float float_data = 4 [packed = true];
:
optional string name = 8;
}
message NodeProto {
repeated string input = 1;
repeated string output = 2;
optional string name = 3;
optional string op_type = 4;
repeated AttributeProto attribute = 5;
optional string doc_string = 6;
}
Node
Tensor
Tensor
https://github.com/onnx/onnx

14. 14
機械学習工学の課題
1. 再利用
2. 品質の担保
3. 要求の厳密化

15. 機械学習システムは、高金利クレジット！
• CACE (Changing Anything Changes
Everything) 原理 – すべてが絡み合っ
ている
• グルーコード、試験的なコード片な
ど、すべてが将来のメインテナスの
悪夢につながる
• …
https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43146.pdf

16. 新しいタイプの脆弱性
16
https://arxiv.org/pdf/1707.08945.pdf

17. 品質指標 – 多くの場合プロセス品質指標
http://www.ipa.go.jp/files/000028859.pdf
How “safe” is this car?
… is translated into process metrics
例： どのくらいレビュー
に時間を割いたか？

18. 第3者による客観的な品質指標の可能性
How “safe” is this car?
非公開の評価用データ
自動化された、第3者による評価
評価
評価結果のみ
を返す

19. 19
機械学習工学の課題
1. 再利用
2. 品質の担保
3. 要求の厳密化

20. 20
強化学習において、衝突のペナルティを無限大にすると？
動かないクルマ
効用と安全性のバランスを定量的に要件として書き出す必要！

21. 21
IJCAIにおける自律性に関する議論
 Keynote by Stuart Russell, “Provably Beneficial AI”
— 人：「コーヒーをとってきて」
— ロボット： スタバへ行き、列に並んでいる他の客を殺してコーヒーを
とってくる
— 人の指示は常に不完全
どちらも、最適化問題における「正しい仕様のあり方」の問題を提起

22. 22
11/8 機械学習Xソフトウェア工学
Meetup
1/18-19 情報処理学会
ソフトウェア工学研究
会ウィンターワーク
ショップ

23. 23
Thank You