More Related Content
Similar to Jetson Xavier NX クラウドネイティブをエッジに (20)
More from NVIDIA Japan (20)
Jetson Xavier NX クラウドネイティブをエッジに
- 2. 2
Jetson Xavier NX 開発キットのご紹介
クラウドネイティブとは
Jetsonでのクラウドネイティブ対応
Jetsonのクラウドネイティブ デモ
Jetsonでコンテナーを作ろう
アジェンダ
- 3. 3
‣ 最大 21 DL TOPS AI 性能
‣ 10W | 15W
‣ 384 CUDA コア | 48 Tensor コア | 2 DLA エンジン
‣ マイクロ SD カードでのストレージ
(カードは別売りです)
‣ 冷却ファンつき
JETSON XAVIER NX 開発者キット
- 4. 4
JETSON ファミリー
エッジでの AI から自律動作システムまで
詳細の製品仕様はホームページにて https://developer.nvidia.com/embedded-computing * TX2i: 10-20W
7.5 – 15W*
50mm x 87mm
JETSON TX2 series
1.3 TFLOPS (FP16)
5 - 10W
45mm x 70mm
JETSON NANO
0.5 TFLOPS (FP16)
10 – 30W
100mm x 87mm
JETSON AGX XAVIER Series
11 TFLOPS (FP16)
32 TOPS (INT8)
10 - 15W
45mm x 70mm
JETSON Xavier NX
6 TFLOPS (FP16)
21 TOPS (INT8)
メインストリーム 自律動作システムエントリー
同じソフトウェア
- 10. 10
Worker Machine Worker Machine Worker Machine
• コンテナーのプロビジョニングと展開
• 冗長性と可用性の管理
• コンテナーのスケールアップやスケールダウンを管理
• コンテナ間でのリソースの割り当て
• コンテナとホストの健全性の監視
• ホスト間のコンテナの移動を管理
クラウドネイティブ変換
オーケストレーション
- 14. 14
さらに広がる JETSON コンテナー
L4T ベースイメージ
L4T-Base Image
nvcr.io/nvidia/l4t-base
• Jetson上のコンテナーのベースレイヤー
• ライブラリとデバイスノードは、ホストからマウントされます。
• Dockerfileはオープンソースで、ベースイメージのカスタマイズが可能です。
• 以下の機能を対応:
• CUDA and TensorRT
• Deep Learning Accelerator (DLA)
• Video Decode (NVDEV)
• Video Encode (NVENC)
• Video Image Compositor (VIC)
• Frame buffer
• Display (eglsink, 3dsink, overlaysink)
https://github.com/NVIDIA/nvidia-docker/wiki/NVIDIA-Container-Runtime-on-Jetson
L4T_Base
CUDA (マウント済み)
TensorRT (マウント済み)
- 15. 15
TensorFlow
Container
PyTorch Container
Machine Learning
Container
Python 3.6 環境で TensorFlow が
インストール済のコンテナー。
Pytorch 3.6 環境で PyTorch と torchvision が
インストール済。
異なる PyTorch バージョンをサポート。
TensorFlow, PyTorch, JupyterLab などのよく使われる
機械学習や、scikit-learn, scipy, Panda などの
データ サイエンス フレームワークを Python 3.6 環境で
インストール済のコンテナー。
L4T_Base
CUDA (マウント済)
TensorRT (マウント済)
フレームワーク
アプリケーション
https://ngc.nvidia.com/catalog/all?orderBy=modifiedDESC&pageNumber=0&query=l4t&quickFilter=&filters=
さらに広がる JETSON コンテナー
フレームワーク コンテナー
- 16. 16
さらに広がる JETSON コンテナー
DeepStream コンテナー
NGC上のDeepStream コンテナー:
Base Container: 独自のDeepStreamアプリケーション用の
dockerイメージを作成するためのベースイメージ
Samples Container: ベースイメージの拡張、サンプルアプリ
ケーションの追加。設定ファイル、モデル、サンプル映像ストリー
ムが含まれます。
IoT Container: 複数ストリームのDeepStreamアプリケーショ
ンを容易に実現できるイメージ。Kafka、Azure IoT、MQTTな
どの様々なメッセージングバックエンドとの統合。
https://ngc.nvidia.com/catalog/containers/nvidia:deepstream-l4t
- 17. 17
専用の学習済みネットワーク
クラス数 : 3
データセット : 75万 画像
精度 : 84%
クラス数 : 4
データセット : 15万 画像
精度 : 84%
クラス数 : 12
データセット : 5.6万 画像
精度 : 88%
クラス数 : 20
データセット : 6万 画像
精度 : 92%
クラス数 : 4
データセット : 16万 画像
精度: 84%
クラス数 : 1
データセット : 60万 画像
精度: 95%
PeopleNet
TrafficCamNet
VehicleTypeNet
DashCamNet FaceDetect-IR
VehicleMakeNet
高精度 | 再トレーニング可能 | すぐに展開可能
https://ngc.nvidia.com/catalog/models?orderBy=modifiedDESC&query=iva%20iot%20edge&quickFilter=models&filters=
- 20. 20
JETSONのクラウドネイティブ デモ
人物検知 自然言語処理
姿勢推定 視線検知
マルチ モーダル AI | マルチ フレームワーク | マルチ コンテナー
自然言語処理での言語モデルむけ BERT モデル
音声認識のための Quartznet モデル
Resnet-18 モデル
Resnet-18 モデル
NVIDIA 顔ランドマークモデル
NVIDIA 視線推定モデル
顔認識のための MTCNN モデル