11. Feature RemoteFX vGPU Direct device assignment
Device GPU Assignment Para-virtualized (many VMs to one or more GPUs) 1 or more GPUs to 1 VM
Scale Best scale / 1 GPU to many VMs Low scale / 1 or more GPUs to 1 VM
App compatibility DX 11.1, OpenGL 4.4, OpenCL 1.1 All GPU capabilities provided by vendor (DX 12, OpenGL, CUDA,
etc)
AVC444 Enabled By default (Win10/Srv2016) Available through Group Policy (Win10/Srv2016)
GPU VRAM Up to 1 GB dedicated VRAM Up to VRAM supported by the GPU
Frame Rate Up to 30fps Up to 60fps
GPU driver in guest RemoteFX 3D adapter display driver (Microsoft) GPU vendor driver (NVIDIA, AMD, Intel)
Guest OS support Windows Server 2012r2, WS 2016, Windows 7 SP1, Windows 8.1,
Windows10
Windows Server 2012r2*, WS 2016, Windows 10*, Linux
Hypervisor Microsoft Hyper-V
Host OS availability Windows Server 2012r2, WS 2016, Windows 10 Windows Server 2016
GPU hardware “Enterprise” GPUs (such as Nvidia Quadro/GRID or AMD FirePro)
Server hardware No special requirements Modern server, exposes IOMMU to OS
(usually SR-IOV compliant hardware)
12. トレーニング 類推する
Data / Users
Scalable
Performance
Throughput
+ Efficiency
1度のトレーニングで、数十億
TFLOPS
Xeon CPU だと、1年がかり
GPU だと1日
処理事に数十億 FLOPS
Xeon CPU だと数秒
GPU だと即座
55. 取り込み
Modern Data Lifecycle
処理 保存 利用
Event Hubs
IoT Hubs
Service Bus
Kafka
HDInsight
Data Lake Analytics
Storm
Spark
Stream Analytics
Data Lake Storage
Azure Storage
Azure SQL DB
Azure SQL DW
Data Lake Storage
Azure DW
Azure SQL DB
Hbase
Cassandra
Azure Storage
Power BI
キュレーション
Azure Data Factory Azure ML
58. 取り込み
Modern Data Lifecycle
処理 保存 利用
Event Hubs
IoT Hubs
Service Bus
Kafka
HDInsight
Data Lake Analytics
Storm
Spark
Stream Analytics
Data Lake Storage
Azure Storage
Azure SQL DB
Azure SQL DW
Data Lake Storage
Azure DW
Azure SQL DB
Hbase
Cassandra
Azure Storage
Power BI
キュレーション
Azure Data Factory Azure ML
63. SELECT system.timestamp AS OutTime ,deviceId AS deviceId
,AVG (windSpeed) AS Avg_windSpeed ,COUNT (*) AS Cnt_Event
INTO [powerbi-output] FROM [iothub-input]
GROUP BY deviceId,SlidingWindow(Duration(minute,3))
HAVING Count(*) > 3
SELECT system.timestamp AS OutTime ,deviceId AS deviceId
,AVG (windSpeed) AS Avg_windSpeed ,COUNT (*) AS Cnt_Event
INTO [powerbi-output] FROM [iothub-input]
GROUP BY deviceId,HoppingWindow(Duration(minute,5),Hop (minute, 5))
SELECT system.timestamp AS OutTime ,deviceId AS deviceId
,AVG (windSpeed) AS Avg_windSpeed ,COUNT (*) AS Cnt_Event
INTO [powerbi-output] FROM [iothub-input]
GROUP BY deviceId,TumblingWindow(Duration(minute,5))
64. 取り込み
Modern Data Lifecycle
処理 保存 利用
Event Hubs
IoT Hubs
Service Bus
Kafka
HDInsight
Data Lake Analytics
Storm
Spark
Stream Analytics
Data Lake Storage
Azure Storage
Azure SQL DB
Azure SQL DW
Data Lake Storage
Azure DW
Azure SQL DB
Hbase
Cassandra
Azure Storage
Power BI
キュレーション
Azure Data Factory Azure ML
73. スケールに制限なし
U-SQL, SQLのメリットにC#のパワーを加えた新
しい言語
Data Lake Store に最適化
Azure データサービスへの FEDERATED QUERY
企業利用のためのセキュリティ、
アクセス制御、暗号化など
ジョブ単位での課金とスケール設定
Azure Data Lake
Analytics
全てのどんなサイズのデータ
でも処理できる
Apache YARNベースの
分析サービス
74. REFERENCE ASSEMBLY WebLogExtASM;
@rs =
EXTRACT
UserID string,
Start DateTime,
End DateTime,
Region string,
SitesVisited string,
PagesVisited string
FROM "swebhdfs://Logs/WebLogRecords.csv"
USING WebLogExtractor ();
@result = SELECT UserID,
(End.Subtract(Start)).TotalSeconds AS Duration
FROM @rs ORDER BY Duration DESC FETCH 10;
OUTPUT @result TO "swebhdfs://Logs/Results/top10.txt"
USING Outputter.Tsv();
• 型定義は C# の型定義と同じ
• データをファイルから抽出・読
み込み
するときに、スキーマが必要
Data Lake Store のファイ
ル独自形式を解析するカスタム
関数
C# の関数
行セット:
(中間テーブ
ルの概念に近
い)
TSV形式で読み取る関数
76. HDInsight
Java, Eclipse, Hive, etc.
フルマネージド の
Hadoop クラスタ
Data Lake Analytics
C#, SQL & PowerShell
フルマネージド の
分散管理処理クラスタ
DryAd ベース
77.
78. 取り込み
Modern Data Lifecycle
処理 保存 利用
Event Hubs
IoT Hubs
Service Bus
Kafka
HDInsight
Data Lake Analytics
Storm
Spark
Stream Analytics
Data Lake Storage
Azure Storage
Azure SQL DB
Azure SQL DW
Data Lake Storage
Azure DW
Azure SQL DB
Hbase
Cassandra
Azure Storage
Power BI
キュレーション
Azure Data Factory Azure ML
81. Azure Machine Learning は、未来を予測し「自立的」に判断するアプリケーションをコードを書かずに
素早く開発でき、それを稼働させるスケーラブルなプラットフォームである
ブラウザだけで開始できる
Azure サブスクリプションにログイン
すれば、ブラウザだけで開発が可能。
誰とでも、どこからでも、簡単に共有
が可能
オープンで優れた統合環境
“R” や “Python” で利用される数百もの
アルゴリズムやパッケージを利用可
能。
Xbox や Bing で養われた優れたアルゴ
リズムを利用可能。
ソリューションを数分で展開できる
1クリックで学習が完了したモデルを
Web サービスとして即時ディプロイ。
あらゆる場所からスケーラブルに利用
可能。
世界への展開
グローバルな Azure Machine Learning
Marketplace を介して、ソリューショ
ンを販売可能
GA 済み (2015年 2月から)
Microsoft Azure
Machine Learning Studio
Modeling environment (shown)
Microsoft Azure
Machine Learning API service
Model in production as a web service
Microsoft Azure
Machine Learning Marketplace
APIs and solutions for broad use
83. Class Outlook Temp. Windy
Play Sunny Low Yes
No Play Sunny High Yes
No Play Sunny High No
Play Overcast Low Yes
Play Overcast High No
Play Overcast Low No
No Play Rainy Low Yes
Play Rainy Low No
? Sunny Low No
label (y)
play / no play
features
outlook, temp,
windy
values (x)
[Sunny, Low, Yes]
Labeled dataset is a collection of (X, Y) pairs.
Given a new x, how do we predict y?
84. Class Outlook Temp. Windy
Play Sunny Low Yes
No Play Sunny High Yes
No Play Sunny High No
Play Overcast Low Yes
Play Overcast High No
Play Overcast Low No
No Play Rainy Low Yes
Play Rainy Low No
? Sunny Low No
89. 取り込み
Modern Data Lifecycle
処理 保存 利用
Event Hubs
IoT Hubs
Service Bus
Kafka
HDInsight
Data Lake Analytics
Storm
Spark
Stream Analytics
Data Lake Storage
Azure Storage
Azure SQL DB
Azure SQL DW
Data Lake Storage
Azure DW
Azure SQL DB
Hbase
Cassandra
Azure Storage
Power BI
キュレーション
Azure Data Factory Azure ML
98. 転置インデックス : トークンからドキュメントを引き当
てるデータ構造
テキスト解
析
インデクシ
ング
Doc# ドキュメント内容
1 Microsoft is introducing SQL
Server
2 Windows Server on Azure
3 Microsoft is introducing
Azure
4 Application programming on
Microsoft Azure
単語(トーク
ン)
含まれるドキュメ
ント
microsoft 1, 3, 4
introducing 1, 3
sql 1
server 1, 2
Windows 2
azure 2, 3, 4
application 4