Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
•Als PPTX, PDF herunterladen•
4 gefällt mir•2,337 views
Microsoft の機械学習/Deep Learning の推論 (Prediction) で役に立つサービス/ツールの概要説明です。
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Ähnlich wie Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編 (20)
Mehr von Daiyu Hatakeyama
Mehr von Daiyu Hatakeyama (20)
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
- 2. 以外
- 3. <Python> Modelの保存 出力された Model <C#>Model の読み込み <C#>Model の利用 (実行)
- 4. ONNX enables models to be trained in one framework and transferred to another for inference. CPUGPU ML HW DSPFPGA High level API & Framework Frontends Hardware Vendor Libraries & Devices Any tools exporting ONNX models can benefit ONNX-compatible runtimes and libraries designed to maximize performance on some of the best hardware in the industry. ONNX.ai github.com/onnx
- 6. 2016年 国内システム運用管理市場 ユーザー実態調査 / http://www.idcjapan.co.jp/Report/Software/jpj40607116.html
- 9. ? ? ? ? ?
- 11. Services Schema モデ ル スキーマ ファ イル (Option) 推論実行 コード Machine Learning モデルを Web サービスとしてデプロイする Azure Kubernetes Services Azure Machine Learning Services
- 13. Containers + Serverless Internet of Things Data Artificial Intelligence
- 15. • NET, PHP, Python, Node, Java, Framework インスト ラー • リモートデバッグ • DevOps • ステージングデプロイのた めのサイトスロット • サイトエクステンション ギャラリー • ブラウザーベースのエディ タ • Kudu • など Web Apps Mobile Apps API Apps Functions • スケールアップ、スケール アウト • オートスケール • WW のデーターセンター • OS と Framework • ロードバランサー • モニタリング＆アラート • Web ジョブ(WebJobs) • など • Enterprise グレードの SLA • セキュリティとコンプライ アンス • ロールベースアクセスコン トロール • バックアップスケジュール • カスタムドメイン、SSL証明 書 • Azure Active Directory 統合 • オンプレミス統合 VNET統 合/ハイブリッド接続 • App Service Environment • など Logic Apps
- 16. • NET, PHP, Python, Node, Java, Framework インスト ラー • リモートデバッグ • DevOps • ステージングデプロイのた めのサイトスロット • サイトエクステンション ギャラリー • ブラウザーベースのエディ タ • Kudu • など Web Apps Mobile Apps API Apps Functions • スケールアップ、スケール アウト • オートスケール • WW のデーターセンター • OS と Framework • ロードバランサー • モニタリング＆アラート • Web ジョブ(WebJobs) • など • Enterprise グレードの SLA • セキュリティとコンプライ アンス • ロールベースアクセスコン トロール • バックアップスケジュール • カスタムドメイン、SSL証明 書 • Azure Active Directory 統合 • オンプレミス統合 VNET統 合/ハイブリッド接続 • App Service Environment • など Logic Apps
- 21. 仮想マシン Container / Service Fabric • 各 VM に 1 つのサービス インスタ ンス • 均一でないワークロード • コンピューティングの密度が低い • デプロイ/更新が遅い • スケーリング/DR (災害復旧) が遅 い • 各 VM に多数のマイクロサー ビス • コンピューティングの密度が 高い • デプロイ/更新が速い • スケーリング/復旧が速い
- 22. Azure Kubernetes Service (AKS) 完全に管理されたオープンソース Kubernetes サービス 自動パッチ、自動スケール、自動更新 全ての Kubernetes エコシステムを利用 区別された開発環境
- 24. Containers + Serverless Internet of Things Data Artificial Intelligence
- 26. R & Python ベースの AI の ストアドプロシージャ MicrosoftML Library の組み込み Graph モデルのサポートによる より複雑な関係を分析 クエリ 処理の最適化による 比類なき パフォーマンス AI を組み込んだ最初の商用データベース SQL Server 2017
- 27. Featurization, Normalization, encoding classifier model での スコアリング Web App Diagnosis: 35% certainty Python / R で実装した ストアドプロシージャ ストアド プロシージャ で、患者IDだ け指定 Model table, Features table, New Images table SQL Server 画像を 送らなくてよ い
- 28. データ移動の排除 運用しやすい ML のスクリプトとモデ ル エンタープライズグレードのパフォー マンスと スケール 直接対話する データを データの管理と 分析をまとめる SQL 変換 リレーショナル データ 分析ライブラリ R 統合 Python 統合
- 29. In-memory OLTPColumn Store 大量データの 書き込み処理 PowerBI Dashboardスケールする Database 内の分析 R 業務ユーザー 分析の用意 Stored Predictions Visualize SQL-R を使って、秒間100万件の機械学習の処理も
- 31. Containers + Serverless Internet of Things Data Artificial Intelligence
- 32. Azure Machine Learning Experimentation Service Azure Machine Learning Model Management Service 推論 デプロイメントデータの準備 モデル構築・学習
- 33. Docker Containers Azure Kubernetes Service (AKS) Azure Batch Azure IoT EdgeAzure Machine Learning 自分で作る AI モデル Step 3: Deploy あらゆる コンテナ ホスト
- 34. HTTP サービスとしてモデルをデプロイおよび管理 リアルタイムおよびバッチ処理をコンテナーベースでホスト Azure による管理と監視 (例: AppInsights) SparkML、Python、CNTK、TF、TLC、R の最高クラスのサポート、その他 (Caffe、 MXnet) をサポートするよう拡張可能 Python および .NET Core でのサービス作成
- 35. Kubernetes Cluster Manager Model Instances Model Instances
- 36. and Project Brainwave Azure Machine Learning 用 Python パッケージ: FPGA アクセラレーション: https://docs.microsoft.com/ja-jp/azure/machine-learning/service/reference-python- package-overview#amlrealtimeai
- 37. DNN Processing Units 効率性柔軟性 Soft DPU (FPGA) Contro l Unit (CU) Registers Arithmeti c Logic Unit (ALU) CPUs GPUs ASICsHard DPU Cerebras Google TPU Graphcore Groq Intel Nervana Movidius Wave Computing Etc. BrainWave Baidu SDA Deephi Tech ESE Teradeep Etc.
- 39. F F F L0 L1 F F F L0 Pretrained DNN Model in CNTK, etc. Scalable DNN Hardware Microservice BrainWave Soft DPU Instr Decoder & Control Neural FU Network switches FPGAs
- 41. Azure ML integration End-to-end deployment and model lifecycle support Hardware Accelerated Model Gallery Brainwave Compiler & Runtime “Brainslice” Soft Neural Processing Unit
- 42. Model Management Service Azure ML orchestratorPython and TensorFlow Featurize images and train classifier Classifier (TF/LGBM) Preprocessing (TensorFlow, C++ API) Control Plane Service Brain Wave Runtime FPGA CPU
- 43. http://aka.ms/aml-real-time-ai Models are easy to create and deploy into Azure cloud Write once, deploy anywhere – to intelligent cloud or edge Manage and update your models using Azure IoT Edge
- 45. Containers + Serverless Internet of Things Data Artificial Intelligence
- 49. Azure IoT Hub 数十億の IoT デバイスのセキュアな管理 あらゆる IoT デバイスとの連携 テレメトリデータの収集および管理と制御
- 50. Azure IoT Edge Windows / Linux デバイスのサポート コンテナを利用した信頼性の高いアプリ展開 Azure ML, Functions, Streaming Analytics のサポート デバイスからクラウドまでエンドツーエンドのセキュリ ティ
- 53. Cloud: Azure 高機能 Edge 軽量 Edge 概要 An Azure host that spans from CPU to GPU and FPGA VMs A server with slots to insert CPUs, GPUs, and FPGAs or a x64 or ARM system that needs to be plugged in to work A Sensor with a SoC (ARM CPU, DSPs) and memory that can operate on batteries CPU CPU,GPU or Arria 10 FPGA Arria 10 FPGA NVIDIA GPU x64 CPU ARM CPU HW accelerated DSP,CPU,GPU モデルパッケー ジ Native to Windows and container elsewhere Windows Native - Linux container - Windows ML - Linux container - Windows ML - Linux container - (Ideally) container - Android Native - iOS Native - RT OS
- 54. IoT Hub Elasticsearch OperatorKibana Functions IoT Edge / Edge Agent Plat’Home OpenBlocks IoT VX2 Parse Module (C# Custom Module) Filter Module (ASA Module) Stream Analytics (Edge) PD Handler (parse process) PD Repeater (transfer process) Container Registry deploy via IoT Hub BLE json (containing base64) json (containing base64) 富士通コンポーネント社 加速度センサー オムロン社 環境センサー IoTセンサー・デバイス Action パトライト社 ネットワーク監視表示灯 Azure IoT EdgeとOpenBlocks IoT VX2を使った エッジコンピューティングIoTシステム構成例
- 55. PoE 接続 最大 30W 給電 CLOUDIAN AI Box Outdoor Model NVIDIA Jetson TX2 搭載 堅牢, 防塵・防水, 落雷対策 センサーデータストリームにも対応可 • Edge側でのリアルタイム画像 識別 • 識別結果をクラウドへ送信 • リモートからのAIロジック配 置・更新 NVIDIA JetPack Microsoft Azure
- 57. Video Camera Camera AI Display Azure IoT Edge device I/O HTTP IoT Hub Azure IoT Edge Runtime messages
- 59. Windows Edge
- 61. Application #1 Application #2 WinML RT API WinML Win32 API WinML Runtime Model Inference Engine DirectML API CPUDirect3D GPU Input Surface Output Surface
- 76. Services Schema モデ ル スキーマ ファ イル (Option) 推論実行 コード Machine Learning モデルを Web サービスとしてデプロイする Azure Kubernetes Services Azure Machine Learning Services
- 77. #azurejp
- 78. © 2018 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
Hinweis der Redaktion
- 32