Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
研究用途でのAWS利用事例と
AI/Deep Learning
2017.09.05
アマゾンウェブサービスジャパン株式会社
ソリューションアーキテクト 松尾康博
1
Who am I ?
• 名前
– 松尾康博
• 所属
– アマゾンウェブサービスジャパン株式会社
– ソリューションアーキテクト
– HPC、CAE、ビッグデータ、DL等を主に担当
• 経歴
– 九州大学でスパコンの効率化研究
– SIerで...
– 自分の計算に最適な環境(CPU/OS/ソフトウェア/フレームワーク)
– 制限されないコア数・ノード数
– 計算待ち時間の短縮
– 計算機の運用を楽にしたい
– 外部との共同研究を円滑に行いたい
– 膨大な研究用データを安全確実に保存・共有...
研究者がAWSを使う理由
Time to Science
必要な規模・種類の計算リ
ソースを数分で利用可能
Low Cost
使っただけの費用
Elastic
簡単にリソースを増減可能
Globally Accessible
世界中の研究者と同...
研究機関や企業間で,データや研究環境を共有したい
• 16のリージョン間を結ぶ,高速なネットワーク
• さまざまな組織の研究者がセキュアにアクセス可能
5
参考:SINETクラウド接続サービスによる専用線接続
お客様
AWS Cloud
EC2, S3などの
Public サービス
Amazon VPC
相互接続ポイント
専用線
Zone A
Private ASを使ったBGP接続
国立情報学研究...
さまざまな研究分野における AWS の活用
7
東京大学空間情報科学研究センター様
「人の流れプロジェクト」
• 数十万人規模の動線データに関するデータセットを作成
• データ処理の発生に応じて,分散処理用にEC2を作成
• 処理前後の大容量データはS3を経由して受け渡す
京都大学 宇宙総合学研究ユニット様
• 人工衛星から得られる太陽観測画像をも
とに太陽フレアの発生を予測する「宇宙
天気予報」の画像解析処理
• 物理サーバ11台を用いて Hadoop 環境
を構築し画像解析を行おうとしたが,完
了するのに2週...
Curiosity: マーズ・エクスプロレーション・ローバー
• 映像処理システム構成
– ギガピクセルの画像ファイルを、衛星経由でAmazon S3に格納
– 画像処理はAmazon EC2をオンデマンドで起動し実施
– 全体的な処理ワークフ...
Fermilab
• CERNのLHCで生成されたデータの解析にAWSを利用
• 2.9Mジョブを最大58,000コアを使って10日間で完了
11 https://aws.amazon.com/jp/blogs/aws/experiment-t...
ロボット聴覚ソフトウェア HARK on AWS
• マイクロホンアレイ処理技術
に基づく, 音源定位・音源分
離を行うソフトウェア
• AWS 上にSaaSとして公開
本田技研工業様のシミュレーション事例
http://www.slideshare.net/AmazonWebServices/bdt201/
https://www.youtube.com/watch?v=G4SAgcacea4
中央大学様 at AWS Summit Tokyo 2016
計算機水槽による津波シミュレーション
The Birds in the Cloud「雲の中の鳥」
NEXRADを利用したオクラホマ大学による鳥の研究
• Next Generation Weather Radar
Network (NEXRAD) は、最新の気
象レーダーでテレビの...
AWSパブリックデータセット
• 公共性の高いデータセットをまとめて保管し、無償で公開
– http://aws.amazon.com/datasets
• AWSベースのアプリケーションから、シームレスにご利用可能
• 現在ご利用可能なデータ...
Amazon Robotics Challenge
17
• ロボットアームを自動制御して
ピッキング精度を競う
• 物体判別や物体の状態認識、モー
ションプランニング、物体把持プ
ランニングが要求される
• ディープラーニングは物体判定、
姿...
AWS のAI/Deep Learning関連サービス
18
19
4 レイヤーから構成される AWS の AI サービス
20
Services Amazon
Rekognition
Amazon
Polly
Amazon
Lex
Platform
Amazon
Machine
Learning
Engine...
4 レイヤーから構成される AWS の AI サービス
21
Services Amazon
Rekognition
Amazon
Polly
Amazon
Lex
Platform
Amazon
Machine
Learning
Engine...
AI Services
22
文章をリアルな音声
に変換するサービス
Polly Lex
声やテキストを使用した会話
型インターフェイスを様々な
アプリケーションに構築する
ためのサービス
Rekognition
画像分析機能をアプリケーション...
4 レイヤーから構成される AWS の AI サービス
23
Services Amazon
Rekognition
Amazon
Polly
Amazon
Lex
Platform
Amazon
Machine
Learning
Engine...
データ処理やWebサービス基盤向けサービス
24
処理を
依頼
Job
実行
Amazon
ECR
Elastic Load
Balancing
S3とEMR
大量データをS3に保存
Hadoop/Sparkで並列処理
AWS Batch
大量...
4 レイヤーから構成される AWS の AI サービス
25
Services Amazon
Rekognition
Amazon
Polly
Amazon
Lex
Platform
Amazon
Machine
Learning
Engine...
主要な Deep Learning フレームワークをサポート
26
AWS Deep Learning AMI
MXNet TensorFlow Caffe & Caffe2
Theano Cognitive Toolkit Torch
Ker...
4 レイヤーから構成される AWS の AI サービス
27
Services Amazon
Rekognition
Amazon
Polly
Amazon
Lex
Platform
Amazon
Machine
Learning
Engine...
高性能インスタンスの変遷
CC1 CC2 C3 C4 C5
vCPU 16 32 32 36 72
RAM
(GiB)
23 60.5 60 60 144
CPU Xeon
X5570
(Nehalem)
Xeon
E5-2670
(Sandy...
アクセラレータ搭載インスタンス
NVIDIA Tesla
GPU Card
GPU-accelerated computing
 各GPUの数千CUDAコアによる高並列計算
 豊富なAPI群 (CUDA, OpenACC, OpenCL)
...
サーバーレスな推論環境
2.モバイルアプリが新しい画像を
S3 にアップロードする
3. Lambda 関数がトリガされ、
推論処理を実行
4. 推論処理 は S3 から画像を取り出し、
識別された資産や設備に対して
ラベルを返却する
5.La...
デバイス側も使ったEnd to Endの構成
31
クラウドで学習 クラウドで推論 デバイスで推論
まとめ
32
まとめ
• Amazon では機械学習技術を活用した取り組みを実施
• 4つの形で機械学習技術を提供
– サービス
– プラットフォーム
– エンジン
– 実行環境
• 他サービスと組み合わせて活用
33
34
FREE
AWS Educateは、
クラウドのトレーニングと
リソースを提供します
専門家、
プロフェッショナル、
AWSが提供する
オープンソースの
講座コンテンツ
クラウド
コンピューティングと
AWSに関する
ラボ、チュートリアル...
AWS Cloud Credits for Research
35
FREE
AWS Cloud Credit for
Researchは、研究に必要
なリソースを提供します
お申し込み先 : https://aws.amazon.com/jp...
36
Nächste SlideShare
Wird geladen in …5
×

研究用途でのAWSの利用事例と機械学習について

900 Aufrufe

Veröffentlicht am

CloudWeek2017での発表資料です。

Veröffentlicht in: Ingenieurwesen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

研究用途でのAWSの利用事例と機械学習について

  1. 1. 研究用途でのAWS利用事例と AI/Deep Learning 2017.09.05 アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクト 松尾康博 1
  2. 2. Who am I ? • 名前 – 松尾康博 • 所属 – アマゾンウェブサービスジャパン株式会社 – ソリューションアーキテクト – HPC、CAE、ビッグデータ、DL等を主に担当 • 経歴 – 九州大学でスパコンの効率化研究 – SIerで 分散キューの開発・導入、分散処理研究 – Web系スタートアップCTO – SIerで仮想化基盤の研究・導入・運用 – 現職
  3. 3. – 自分の計算に最適な環境(CPU/OS/ソフトウェア/フレームワーク) – 制限されないコア数・ノード数 – 計算待ち時間の短縮 – 計算機の運用を楽にしたい – 外部との共同研究を円滑に行いたい – 膨大な研究用データを安全確実に保存・共有できるストレージ 研究者が計算環境に求めること
  4. 4. 研究者がAWSを使う理由 Time to Science 必要な規模・種類の計算リ ソースを数分で利用可能 Low Cost 使っただけの費用 Elastic 簡単にリソースを増減可能 Globally Accessible 世界中の研究者と同じ環境でコ ラボレーション可能 Secure データ暗号化などセキュリティ 対策の機能とコンプライアンス Scalable 大規模なリソースを利用可能
  5. 5. 研究機関や企業間で,データや研究環境を共有したい • 16のリージョン間を結ぶ,高速なネットワーク • さまざまな組織の研究者がセキュアにアクセス可能 5
  6. 6. 参考:SINETクラウド接続サービスによる専用線接続 お客様 AWS Cloud EC2, S3などの Public サービス Amazon VPC 相互接続ポイント 専用線 Zone A Private ASを使ったBGP接続 国立情報学研究所 大学様
  7. 7. さまざまな研究分野における AWS の活用 7
  8. 8. 東京大学空間情報科学研究センター様 「人の流れプロジェクト」 • 数十万人規模の動線データに関するデータセットを作成 • データ処理の発生に応じて,分散処理用にEC2を作成 • 処理前後の大容量データはS3を経由して受け渡す
  9. 9. 京都大学 宇宙総合学研究ユニット様 • 人工衛星から得られる太陽観測画像をも とに太陽フレアの発生を予測する「宇宙 天気予報」の画像解析処理 • 物理サーバ11台を用いて Hadoop 環境 を構築し画像解析を行おうとしたが,完 了するのに2週間もかかった • AWS では必要なときに必要なリソース を確保してジョブを実行することで,処 理時間を短縮
  10. 10. Curiosity: マーズ・エクスプロレーション・ローバー • 映像処理システム構成 – ギガピクセルの画像ファイルを、衛星経由でAmazon S3に格納 – 画像処理はAmazon EC2をオンデマンドで起動し実施 – 全体的な処理ワークフローはAmazon SWFで構成し数分で完了 https://aws.amazon.com/jp/swf/testimonials/swfnasa/
  11. 11. Fermilab • CERNのLHCで生成されたデータの解析にAWSを利用 • 2.9Mジョブを最大58,000コアを使って10日間で完了 11 https://aws.amazon.com/jp/blogs/aws/experiment-that-discovered-the-higgs-boson-uses-aws-to-probe-nature/
  12. 12. ロボット聴覚ソフトウェア HARK on AWS • マイクロホンアレイ処理技術 に基づく, 音源定位・音源分 離を行うソフトウェア • AWS 上にSaaSとして公開
  13. 13. 本田技研工業様のシミュレーション事例 http://www.slideshare.net/AmazonWebServices/bdt201/ https://www.youtube.com/watch?v=G4SAgcacea4
  14. 14. 中央大学様 at AWS Summit Tokyo 2016 計算機水槽による津波シミュレーション
  15. 15. The Birds in the Cloud「雲の中の鳥」 NEXRADを利用したオクラホマ大学による鳥の研究 • Next Generation Weather Radar Network (NEXRAD) は、最新の気 象レーダーでテレビの天気予報など でも広く使われている • 春と秋、NEXRADには渡り鳥の大き な「雲」が観測されるため,鳥類学 者はこれを利用して研究を実施 • オクラホマ大学では、AWSパブリッ クデータセットで公開されている NEXRADの映像を、渡り鳥の数や渡 りの研究に使用して成果を上げてい る
  16. 16. AWSパブリックデータセット • 公共性の高いデータセットをまとめて保管し、無償で公開 – http://aws.amazon.com/datasets • AWSベースのアプリケーションから、シームレスにご利用可能 • 現在ご利用可能なデータセットの例: – 1000 Genomes Project 約200TB、1700人分超のゲノム EC2、EMRでご利用可能 – Ensembl 人と約50種の生物のゲノムをご利用可能 – GenBank NIHのゲノムデータバンク – UniGene NCBI提供の遺伝子情報 – Influenza Virus NCBI提供のインフルエンザウィルス情報 – PubChem NIHによる化学物質と生体の情報 – Japan Census – Daily Global Weather Measurements, 1929-2009 (NCDC, GSOD) – Sloan Digital Sky Survey DR6 Subset – University of Florida Sparse Matrix Collection – Freebase Data Dump
  17. 17. Amazon Robotics Challenge 17 • ロボットアームを自動制御して ピッキング精度を競う • 物体判別や物体の状態認識、モー ションプランニング、物体把持プ ランニングが要求される • ディープラーニングは物体判定、 姿勢制御に積極的に活用されてい る • 日本のスタートアップも参加(ト ヨタ等と資本提携) • 2017は7月に名古屋で開催 • (RoboCup 2017併催) https://www.amazonrobotics.com/#/roboticschallenge
  18. 18. AWS のAI/Deep Learning関連サービス 18
  19. 19. 19
  20. 20. 4 レイヤーから構成される AWS の AI サービス 20 Services Amazon Rekognition Amazon Polly Amazon Lex Platform Amazon Machine Learning Engines TensorFlow Caffe Torch Theano CNTK Keras CPU IoT MobileInfrastructure GPU Apache Spark & Amazon EMR Amazon Kinesis AWS Batch Amazon ECS MXNet AWS Deep Learning AMI
  21. 21. 4 レイヤーから構成される AWS の AI サービス 21 Services Amazon Rekognition Amazon Polly Amazon Lex Platform Amazon Machine Learning Engines TensorFlow Caffe Torch Theano CNTK Keras CPU IoT MobileInfrastructure GPU Apache Spark & Amazon EMR Amazon Kinesis AWS Batch Amazon ECS MXNet AWS Deep Learning AMI
  22. 22. AI Services 22 文章をリアルな音声 に変換するサービス Polly Lex 声やテキストを使用した会話 型インターフェイスを様々な アプリケーションに構築する ためのサービス Rekognition 画像分析機能をアプリケーション に簡単に追加できるようにする サービス ※これらは,fine-tuning された AWS が提供する深層学習モデルを API で簡単に利用できるマネージドサービスとなります
  23. 23. 4 レイヤーから構成される AWS の AI サービス 23 Services Amazon Rekognition Amazon Polly Amazon Lex Platform Amazon Machine Learning Engines TensorFlow Caffe Torch Theano CNTK Keras CPU IoT MobileInfrastructure GPU Apache Spark & Amazon EMR Amazon Kinesis AWS Batch Amazon ECS MXNet AWS Deep Learning AMI
  24. 24. データ処理やWebサービス基盤向けサービス 24 処理を 依頼 Job 実行 Amazon ECR Elastic Load Balancing S3とEMR 大量データをS3に保存 Hadoop/Sparkで並列処理 AWS Batch 大量のジョブと計算環境を管理する ジョブ管理サービス ECS (EC2 Container Service) コンテナスケジューリングを行う 学習処理や推論処理の基盤として
  25. 25. 4 レイヤーから構成される AWS の AI サービス 25 Services Amazon Rekognition Amazon Polly Amazon Lex Platform Amazon Machine Learning Engines TensorFlow Caffe Torch Theano CNTK Keras CPU IoT MobileInfrastructure GPU Apache Spark & Amazon EMR Amazon Kinesis AWS Batch Amazon ECS MXNet AWS Deep Learning AMI
  26. 26. 主要な Deep Learning フレームワークをサポート 26 AWS Deep Learning AMI MXNet TensorFlow Caffe & Caffe2 Theano Cognitive Toolkit Torch Keras Nvidia CUDA & cuDNN Python 2 & Python 3 Intel MKL Anaconda Amazon EC2 (Amazon Linux / Ubuntu)
  27. 27. 4 レイヤーから構成される AWS の AI サービス 27 Services Amazon Rekognition Amazon Polly Amazon Lex Platform Amazon Machine Learning Engines TensorFlow Caffe Torch Theano CNTK Keras CPU IoT MobileInfrastructure GPU Apache Spark & Amazon EMR Amazon Kinesis AWS Batch Amazon ECS MXNet AWS Deep Learning AMI
  28. 28. 高性能インスタンスの変遷 CC1 CC2 C3 C4 C5 vCPU 16 32 32 36 72 RAM (GiB) 23 60.5 60 60 144 CPU Xeon X5570 (Nehalem) Xeon E5-2670 (Sandy Bridge) Xeon E5- 2680v2 (Ivy Bridge) Xeon E5- 2666v3 (Haswell) Xeon (Skylake) 周波数 2.9GHz 2.6GHz 2.8GHz 2.9GHz 3.0GHz NIC 10Gbps 10Gbps 10Gbps 10Gbps 20Gbps Launch Date Jul, 2010 Nov, 2011 Nov, 2013 Jan, 2015 2017(Soon)
  29. 29. アクセラレータ搭載インスタンス NVIDIA Tesla GPU Card GPU-accelerated computing  各GPUの数千CUDAコアによる高並列計算  豊富なAPI群 (CUDA, OpenACC, OpenCL)  多くのISV製品やOSSが対応  K80に加え、Volta V100搭載予定 Xilinx UltraScale+ FPGA FPGA-accelerated computing  各FPGAには数百万のロジックセルを搭載  規定の命令セットがなく自由に実装可能  クラウドベースのFPGA開発ツールを用意
  30. 30. サーバーレスな推論環境 2.モバイルアプリが新しい画像を S3 にアップロードする 3. Lambda 関数がトリガされ、 推論処理を実行 4. 推論処理 は S3 から画像を取り出し、 識別された資産や設備に対して ラベルを返却する 5.Lambda 関数はラベルとコンフィデンス値を Elasticsearch にも投入します 6. ユーザが資産を検索したり 観たりすることができる 1. 業者が不動産物件の 画像を撮る サーバーレスサービスAWS Lambdaを使った画像検索システムの例 15
  31. 31. デバイス側も使ったEnd to Endの構成 31 クラウドで学習 クラウドで推論 デバイスで推論
  32. 32. まとめ 32
  33. 33. まとめ • Amazon では機械学習技術を活用した取り組みを実施 • 4つの形で機械学習技術を提供 – サービス – プラットフォーム – エンジン – 実行環境 • 他サービスと組み合わせて活用 33
  34. 34. 34 FREE AWS Educateは、 クラウドのトレーニングと リソースを提供します 専門家、 プロフェッショナル、 AWSが提供する オープンソースの 講座コンテンツ クラウド コンピューティングと AWSに関する ラボ、チュートリアル、 トレーニング AWSの テクノロジーと サービスの 無料利用枠 ベストプラクティスを 共有する ヴァーチャル・ 対面両方の コミュニティ 認定による特典は www.awseducate.com までお申込みください
  35. 35. AWS Cloud Credits for Research 35 FREE AWS Cloud Credit for Researchは、研究に必要 なリソースを提供します お申し込み先 : https://aws.amazon.com/jp/research-credits/ FAQ : https://aws.amazon.com/research-credits/faq/ FREE AWS Cloud Credits for Research Programは以下のようなご要望 をお持ちの研究者の皆様を支援させていただきます。 • 必要なアプリケーションやソフトウェア、ツールなどをクラウ ド上でお使いいただきたい研究者の方 • 研究におけるワークロードやオープンデータを効率的にクラウ ド上で実現するためのPoCやベンチマークに • ワークショップやチュートリアルにかかるクラウド利用をご検 討中の研究者の皆さまに
  36. 36. 36

×