Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

AI & Deep Learning on AWS at CTO Night&Day 2016 Winter

674 Aufrufe

Veröffentlicht am

CTO Night&Day 2016 Winter モーニングセッションでの発表資料です

Veröffentlicht in: Internet
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

AI & Deep Learning on AWS at CTO Night&Day 2016 Winter

  1. 1. 1 AWSとAI & Machine Learning 2016年12月6日 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 松尾康博
  2. 2. 2 Who am I ? • 名前 – 松尾康博 • 所属 – アマゾンウェブサービスジャパン株式会社 – ソリューションアーキテクト – 製造業のHPC、CAE、ビッグデータ解析等を主に担当 • 経歴 – 九州大学でスパコンの効率化研究 – SIerで 分散キューの開発・導入、分散処理研究 – Web系スタートアップCTO – SIerで仮想化基盤の研究・導入・運用 – 現職
  3. 3. 3 Amazonと機械学習
  4. 4. 4 Amazonでの取組み Amazon robotics
  5. 5. 5 Amazon 画像検索 & 音声検索 http://www.gizmodo.jp/2015/07/_amazon_1.html
  6. 6. 6 クラウド上で音声認識能力を継続的に改善し、インター フェースとして活用 Alexa, play Bruno Mars from Prime Music (ブルーノ・マーズの曲をかけてく ださい) Alexa, turn on the lights (ライトをつけてください)
  7. 7. 7 Amazon Go https://www.amazon.com/go
  8. 8. 8 Amazon Rekognitionを発表 • 深層学習の技術を利用した画像認識のマ ネージドサービス • 学習済みモデルを利用して、画像の「状 況」「人物の顔」「物体」を検出 • S3に格納した画像に対して解析を行うこと で、マッチする状況や物体名を受け取れる • バージニア、オレゴン、アイルランドの リージョンで利用可能。月5,000回の認識 と年間1,000個の顔ベクトル情報まで無料 利用枠の対象となり、以後従量課金制 ※動作イメージ Apple!! https://aws.amazon.com/rekognition/ https://aws.amazon.com/jp/blogs/news/amazon-rekognition-image-detection-and-recognition-powered-by-deep-learning/
  9. 9. 9 Amazon Rekognitionを発表
  10. 10. 10 Amazon Lexを発表 • 音声またはテキストメッセージに応答するチャッ トボット開発を容易にするサービス。Amazon Alexaと同等の自然言語エージェントを開発可能に • 自然言語の入力を解析しその意味合いに応じたア プリケーションコードを実行することにより、 ユーザとのインタラクションを実現 • バージニアリージョンでプレビュー中。10,000テ キストと5,000音声の入力まで利用開始から1年間 は無料。以後1,000テキストあたり$0.75、1,000 音声あたり$4.00となる • https://aws.amazon.com/lex/ https://aws.amazon.com/jp/blogs/news/amazon-lex-build-conversational-voice-text-interfaces/
  11. 11. 11 Amazon Lexを発表
  12. 12. 12 Amazon Pollyを発表 • フルマネージド型の”Text-to-speech”機能を提供 する新サービス。APIを利用して文章をPollyに渡す と音声ストリームまたはファイルの形式で音声化 • 24の言語、47種類のボイス(男性、女性)に対応。 日本語もサポートしている • プロ声優による音声。Pollyで出力された音声デー タは自由に利用できる • バージニアとオレゴン、アイルランド、オハイオ のリージョンでプレビュー提供を開始 Open the pod bay door please, HAL. Open the pod bay door please, HAL. https://aws.amazon.com/polly/ https://aws.amazon.com/jp/blogs/news/polly-text-to-speech-in-47-voices-and-24-languages/
  13. 13. 13 Amazon Pollyを発表 • 料金体系は従量課金 – 5,000,000文字までは無料 – 以後、1文字あたり$0.000004 • 英語の場合、一般的に1分の音声出力で概ね $0.004くらいの課金になる
  14. 14. 14 AWSと機械学習
  15. 15. 15 • NVIDIA K80を最大16GPU搭載 • 計192GBのGPUメモリと 約40,000 CUDAコアを搭載 • 1台で70TFlops(単精度浮動小数点演算)を実現 • 1台で23TFlops(倍精度浮動小数点演算)を実現 • GPUDirect™によるpeer-to-peer 接続をサポート Instance Name GPU Count vCPU Count Memory Parallel Processing Cores GPU Memory Network Performance P2.xlarge 1 4 61GiB 2,496 12 GiB High P2.8xlarge 8 32 488GiB 19,968 96 GiB 10 Gigabit P2.16xlarge 16 64 732GiB 39,936 192 GiB 20 Gigabit <インスタンスサイズ> GPU搭載:P2インスタンス https://aws.amazon.com/jp/blogs/news/new-p2-instance-type-for-amazon-ec2-up-to-16-gpus/ バージニア・オレゴン・アイルランド の3リージョンで提供中
  16. 16. 16 Topology: p2.8xlarge
  17. 17. 17 Topology: p2.16xlarge
  18. 18. 18 容易にGPUインスタンスを利用するには
  19. 19. 19 GPUインスタンスでGPUを使うには 通常のAMIに、NVIDIA DriverやCUDAをインストールすればOK AMI NVIDIA Driver NVIDIA CUDA GPUフレームワーク GPUアプリケーション
  20. 20. 20 普通のLinux AMIでも、GPUを利用可能(ですが・・)
  21. 21. 21 https://developer.nvidia.com/gpu-cloud-images
  22. 22. 22 NVIDIA製AMI https://aws.amazon.com/marketplace/seller-profile?id=c568fe05-e33b-411c-b0ab-047218431da9 • Windows Server + Driver • CUDA7.5 + Amazon Linux • DIGITS4 + Ubuntu 14.04 • etc.
  23. 23. 23 AWS製AMIも https://aws.amazon.com/marketplace/pp/B01M0AXXQB?qid=1475211685369&sr=0-1&ref_=srh_res_product_title プリインストール済み • MXNet • Caffe • Tensorflow • Theano • Torch ※要CUDAインストールCUDA込みAMI出ました
  24. 24. 24 Deep Learning AMIは随時更新中 ※Oregon Region ※2016/12/6時点
  25. 25. 25 http://www.nvidia.co.jp/object/docker-container-jp.html Dockerも利用可能 • GPUアプリケーションを仮想化 • オンプレ、クラウドを問わず同 一イメージが動作可能 • AWSでも動作 • Docker Hubにも https://hub.docker.com/u/nvidia/
  26. 26. 26 MXNet at AWS
  27. 27. 27 AWSはMXNetを深層学習フレームワークとして選択 http://aws.typepad.com/sajp/2016/11/mxnet-default-framework-deep-learning-aws.html http://www.allthingsdistributed.com/2016/11/mxnet-default-framework-deep-learning-aws.html
  28. 28. 28 MXNetとは • オープンソース – Apache-2 ライセンス • 発祥 – ワシントン大学、カーネギーメロン大学 • サポートモデル – Convolutional Neural Networks (CNN) – Long Short-Term Memory (LSTM) • スケーラブル – 線形にスケールし、学習モデルを高速に作成 • 多くの言語に対応 – Scala, Python, R等。 Sparkとの連携も容易 • エコシステム – 産学に多くのコミュニテイ http://mxnet.io/ https://github.com/dmlc/mxnet
  29. 29. 29 MXNet への AWSの投資 • 開発ツール – AMIやCloudFormationテンプレートにより、モデル学習の開発・可視化を早く • ドキュメント – 多くのユースケース、ハウツー等に対応するドキュメント • 移行ツール – Caffeやその他フレームワークからの移行ツール、Kerasとの連携ツール • エコシステム – ワークショップ、パートナー、ブログ、AWSサービスと連携したアーキテク チャの公開
  30. 30. 30 複数GPUでのスケーラビリティ 有名な画像分析アルゴリズムInception v3 を、MXNetで実装しP2インスタンスで実行 スケーリング効率85%
  31. 31. 31 AWS社員もコミッターとして貢献中
  32. 32. 32 MXNET用クラスタをサクッと構築する機能も https://aws.amazon.com/blogs/compute/distributed-deep-learning-made-easy/ https://github.com/dmlc/mxnet/tree/master/tools/cfn
  33. 33. 33 Deep Learning on AWSのパターンと事例
  34. 34. 34 • 大規模データの収集・分析基盤としては以下の 4つの要素が必要と考えられます データ分析・学習に必要な基盤 収集 保存 分析・学習 可視化推論 収集したデー タをリアルタイ ムに基盤に転 送 データを長期 的に保存、検 索 大規模データ を高速に分析 (解析)、学習 モデル作成 分析結果の 考察(BI)や学 習モデルによ る推論
  35. 35. 35 Amazon.com での事例 • リコメンデーションモデルの生成に AWS上でDeep Learningを実行 • 前処理(データ生成)はSparkで実行 • 学習タスクと推論タスクはGPUインス タンス上のDockerで実行
  36. 36. 36 Amazon.com での事例 • 学習タスク: モデル並列処理 – N個のGPUで並列処理 – パラメータサーバで重みを共有 • 推論タスク: データ並列処理 – お客様毎のレコメンデーションを生成 – 大規模並列のGrid処理 学習タスク 推論タスク
  37. 37. 37 最後に イベント予告
  38. 38. 38
  39. 39. 39 Machine Learning Session at re:Invent 2016 https://www.portal.reinvent.awsevents.com/connect/search.ww#loadSearch- searchPhrase=MAC3+MAC2+MAC4&searchType=session&tc=0&sortBy=abbreviationSort&p=
  40. 40. 40 re:Invent報告会をJAWS-UG AI支部として 12/9目黒で開催します https://jawsug-ai.connpass.com/event/43542/
  41. 41. 41

×