GPUの演算能力を汎用的に活用する「GPUコンピューティング」が誕生してはや10年。多くのスーパーコンピューターに採用されるなど科学技術計算の領域で実績を積み重ねたこの技術は、近年のAIムーブメントを支える重要な存在になっています。高度な画像認識、自然言語処理、そして自動運転などますます複雑になる問題のために登場した Volta 世代の新型GPUをはじめ、GPUコンピューティングの最新情報をお伝えします。
6. 6
エンタープライズのための
SAP AI
SAP から提供される最初の商業的 AI
オファリング
Brand Impact、Service Ticketing、
Invoice-to-Record アプリケーション
DGX-1 と AWS で NVIDIA GPU を利用
VIDEO: SAP Brand Impact
8. 8
マルチ GPU を活用
Gradient ascent with small mini-batches cannot be meaningfully
parallelized across multiple servers. Instead, we utilize multiple
NVidia Tesla GPGPU devices connected to a single host.
小さなミニバッチでの勾配上昇法は複数サーバーへの並列化ができないため
我々は複数の NVIDIA Tesla GPU を 1 台のホストに搭載した
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/CD-DNN-HMM-SWB-Interspeech2011-Pub.pdf
9. 9
GPU の効果は絶大
The speed-up from using GPGPUs is so large
GPU による高速化は非常に大きなものである
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/CD-DNN-HMM-SWB-Interspeech2011-Pub.pdf
10. 10
2012 年 DNN で音声認識
Geoffrey Hinton
Li Deng
Dong Yu
George Dahl
Abdel-rahman Mohamed
Navdeep Jaitly
Andrew Senior
Vincent Vanhoucke
Patrick Nguyen
Brian Kingsbury
Tara Sainath
豪華な著者達
https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/38131.pdf
11. 11
この研究でも GPU を活用
At present, the most effective parallelization method
is to parallelize the matrix operations using a GPU.
現時点でもっとも効果的な並列化手法は
GPU で行列演算を行うことだ
https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/38131.pdf
19. 19
畳み込みニューラルネットワークと GPU
Luckily, current GPUs, paired with a highly-optimized implementation of 2D convolution, are
powerful enough to facilitate the training of interestingly-large CNNs,
幸運なことに、最新の GPU と高度に最適化された 2D 畳み込み
処理の組み合わせは、大きな畳み込みニューラルネットワークを
トレーニングするのに十分な能力がある
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
20. 20
畳み込みニューラルネットワークと GPU
All of our experiments suggest that our results can be improved simply by waiting for
faster GPUs and bigger datasets to become available.
単純にもっと速い GPU と今より大きなデータセットさえあれば、
さらに良い結果が得られるであろう
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
34. 34
GPU 対応の AMI 各種
GPU ドライバや各種フレームワーク・アプリケーション導入済み
AWS 提供
NVIDIA 提供
Deep Learning AMI Amazon Linux Version
64-bit, Amazon Linux 2016.09
NVIDIA GPU ドライバ
MXNet, Caffe, Caffe2, TensorFlow, Theano, CNTK,
Torch, Keras
NVIDIA DIGITS 4 AMI
NVIDIA DIGITS 4 on Ubuntu 14.04 (64-bit)
NVIDIA CUDA Toolkit 7.5 AMI
CUDA Toolkit 7.5 on Amazon Linux 2016.03 (64-bit)
Windows AMI (NVIDIA GPU ドライバ付)
Windows Server 2012 R2
35. 35
AWS パブリックデータセット
無料でアクセス可能な大規模データ
データセット名 内容
ランドサット ランドサット 8 号衛星により作成中の地球全土の衛星画像コレクション
SpaceNet コンピュータビジョンアルゴリズムの開発における革新を促進するために衛星画像
とラベリングされたトレーニングデータを集めたデータベース
地勢タイル 世界各地の地表の標高などの地勢を示すデータセット
NASA NEX
NASA が保守管理する地球の科学的データセットのコレクション。気候変化
予測や地表の衛星画像などが含まれる
TCGA
がんゲノムアトラス (TCGA) からの未処理および処理済みのゲノム、トランスクリ
プトミクス、およびエピゲノミクスのデータで、がんゲノムクラウドを介して認定された
研究者のみが利用可能
マルチメディアコモンズ オーディオビジュアル機能と注釈を備えた 1 億近い画像と動画のコレクション
Japan Census Data 日本の国勢調査、事業所・企業統計調査、経済センサス
※ 上記は一部の例。詳しくは: https://aws.amazon.com/jp/public-datasets