2018年2月16日(金)に開催された雑誌インターフェース2018年2月号オフ会にてお話した内容です。 「ディープラーニングでは、エコシステムが大切よ！」 雑誌インターフェース2018年2月号オフ会 http://www.kumikomi.net/interface/contents/201802_off.php

1. ディープラーニング
では、
エコシステムが大切よ！
インターフェース2018年2月号オフ会
2018/2/16
@Vengineer

2. ブログ (2007年～) : Vengineerの戯言
http://blogs.yahoo.co.jp/verification_engineer
SlideShare :
https://www.slideshare.net/ssuser479fa3
Twitter (2009年～) :
＠Vengineer

3. 本日の内容
・はじめに
・TensorFlow XLA
・TensorFlow Lite (r1.5)
& Android 8.1 (Neural Networks API)

4. 2017.12.01のブログ
何故？日本で
ディープラーニング用ハードウェアを開発
しないのか？
https://blogs.yahoo.co.jp/verification_engineer/71379565.html

5. ハードウェアを作っても、
その上のソフトウェアである
・コンパイラ
・ライブラリ
・ランタイム
・デバイスドライバ
が無いと現実的には使えない
各種モデル
実行オブジェクト
コンパイラ
ランタイム
デバイスドライバ
ハードウェア
ライブラリ

6. TensorFlow XLA
https://www.tensorflow.org/performance/xla/
JIT コンパイラ
AOT コンパイラ

7. CPU
(Xeon)
GPU
(CUDA)
BackEnd BackEndBackEnd
TensorFlow XLA
HLO
Google TPU CPU
(LLVM)
GPU
(CUDA)
BackEnd BackEndBackEnd
Google TPU
Intel NNP
Graphcore
AlphaICs
TensorFlow
SYCL
(OpenCL)
BackEnd
Keras
LLO LLO LLO
TensorFlow
cuDNNMKL-DNN
TensorFlow Lite
NN API
Android
CoreML
iOS

8. TensroFlow XLA : JIT編 (r1.3版)
https://www.slideshare.net/ssuser479fa3/tensroflow-xla-jit
TensorFlow XLAは、
中で何をやっているのか？
TensorFlow User Group ハード部 #2 2017/4/21
https://www.slideshare.net/ssuser479fa3/tensorflow-xla-75055947

10. 各種モデル
TensorFlow
最適化
コード生成
TensorFlow XLA
AOTコンパイラ
TensorFlow XLA (AOT)
Host(PC)上で実行
Object (Library)
Target上で実行
実行オブジェクト
現在は、LLVM (CPU)
r1.5でPowerPC無くなりました
freeze_graph
GraphDef
Variables
↓
Const

11. TensorFlow XLA とハードウェア
Chainer MeetUp #6 2017/9/30
https://www.slideshare.net/ssuser479fa3/tensorflow-xla-79825262
TensorFlow XLA の可能性
Deep Learning Acceleration 勉強会 2017/09/03
https://www.slideshare.net/ssuser479fa3/tensorflow-xla-78874656

13. XLAグラフに変換
最適化、その1
ターゲットハードウェアの
実行オブジェクト
ターゲットハードウェアに
依存しない最適化
HLO (High Level Optimizer)
XLAグラフ
最適化、その2
コード生成
ターゲットハードウェアに
依存する最適化
LLO (Low Level Optimizer)
TensorFow Graph
実行オブジェクト
XLAグラフ
TensorFlow XLA JIT (～r1.4)
LLVM Compiler::compile

14. XLAグラフに変換
最適化、その1
ターゲットハードウェアの
実行オブジェクト
ターゲットハードウェアに
依存しない最適化
HLO (High Level Optimizer)
XLAグラフ
最適化、その2
コード生成
ターゲットハードウェアに
依存する最適化
LLO (Low Level Optimizer)
TensorFow Graph
実行オブジェクト
XLAグラフ
TensorFlow XLA JIT (r1.5～)
LLVM Compiler::compile
RunHloPass
RunBackend

15. LLVMCompiler::compileメソッド (r1.5～)
std::vector<std::unique_ptr<Executable>> result;
for (size_t i = 0; i < modules.size(); i++) {
modules[i] = RunHloPasses( std::move(modules[i]),
stream_execs[i][0]);
std::unique_ptr<Executable> executable =
RunBackend(std::move(modules[i]),
stream_execs[i][0]);
result.push_back(std::move(executable));
}
return {std::move(result)};

16. Compilerクラス (r1.5～)
virtual StatusOr<std::unique_ptr<HloModule>> RunHloPasses(
std::unique_ptr<HloModule> module,
perftools::gputools::StreamExecutor* executor) = 0;
virtual StatusOr<std::unique_ptr<Executable>> RunBackend(
std::unique_ptr<HloModule> module,
perftools::gputools::StreamExecutor* executor) = 0;

17. HLOのPassの数 (AddPassの数：RunHloPass関数内部 )
CPU GPU
r1.0 16 11
r1.1 16 12
r1.2 17 12
r1.3 20 14
r1.4 22 16
r1.5 28 18
r1.6 30 22
master 30 24 (2018/2/10現在)
tensorflow/compiler/xla/service/gpu/gpu_compiler.cc
tensorflow/compiler/xla/service/gpu/gpu_compiler.cc

18. Google TensorFlow XLAチームにも！

19. TensorFlow Lite (r1.5)
&
Android 8.1 (Neural Networks API)

20. CPU
(Xeon)
GPU
(CUDA)
BackEnd BackEndBackEnd
TensorFlow XLA
HLO
Google TPU CPU
(LLVM)
GPU
(CUDA)
BackEnd BackEndBackEnd
Google TPU
Intel NNP
Graphcore
AlphaICs
TensorFlow
SYCL
(OpenCL)
BackEnd
Keras
LLO LLO LLO
TensorFlow
cuDNNMKL-DNN
TensorFlow Lite
NN API
Android
CoreML
iOS

29. 2018.02.07のブログ
ARM GPU MaliでAndroid Neural
Networks APIサポート
https://blogs.yahoo.co.jp/verification_engineer/71457473.html

30. 引用：https://community.arm.com/android-community/b/android/posts/arm-support-for-android-nnapi-gives-up-to-4x-performance-boost
Compute Libraryは、
オープンソース
OpenCLデバイスドライバ
ここは、どうなる？
こちら側は、
Android 8.1の
ソースコード

31. 2018.02.14のブログ
Kirin 970のAI
https://blogs.yahoo.co.jp/verification_engineer/71467363.html

32. 引用：https://www.anandtech.com/show/12195/hisilicon-kirin-970-power-performance-overview/5

33. Mobile Machine Learning Hardware at ARM:
A Systems-on-Chip (SoC) Perspective
CNN Accelarator と
CPU Cluster (L3) は、
ACP にて接続されている
https://arxiv.org/abs/1801.06274

34. ソフトウェア・スタックのポイント
The key of such a programming interface is a clear abstraction
that allows applications to execute DNN jobs efficiently on (one of
many) hardware accelerators, or fall back to execution on a CPU
or GPU.
The AndroidNN API provides an example of this principle, by
abstracting common DNN kernels such as convolution, and
scheduling execution through a hardware abstraction layer (HAL).

35. Arm NN SDK & Arm ML Processor
Downloads,
resources,
and documentation
Available March 2018.
引用：https://developer.arm.com/products/processors/machine-learning/arm-nn

36. ありがとうございました
ブログ (2007年～) : Vengineerの戯言
http://blogs.yahoo.co.jp/verification_engineer
SlideShare :
https://www.slideshare.net/ssuser479fa3
Twitter (2009年～) :
＠Vengineer