Weitere ähnliche Inhalte Ähnlich wie GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう (20) GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう10. こ の 講 演 の き っ か け は . . .
13. C o n t e n t s
IoTとは?トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5
14. I o T と は ? ト レ ン ド の 紹 介
20. 26,000,000,000
objects linked together in the IoT by 2020.
http://www.siemens.com/innovation/en/home/pictures-of-the-future/digitalization-and-software/internet-of-things-facts-and-forecasts.html
26. B a t c h
23%
24%
28%
24%
バッチ処理は膨大なデータを並列的に処理することで統計処理などデータ処理を行うことがメイン。
29. I n t e r a c t i v e / M P P
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。
25%
25% 25%
25%
30. I n t e r a c t i v e / M P P
22%
22%
33%
22%
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。
31. I n t e r a c t i v e / M P P
25%
25% 25%
25%
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。
32. I n t e r a c t i v e / M P P
21%
29% 29%
21%
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。
35. これはイベントドリブンのようにイベント毎に処理を行うことを目的としています。
R e a l t i m e
100%
14%
29%
29%
29%
20%
30% 30%
20%21%
29% 29%
21%19%
24%
33%
24%25%
21% 32%
21%
27%
20% 30%
23%28%
21% 26%
26%
30%
20% 24%
26%28%
21% 26%
25%26%
20%
28%
26%25%
22%
28%
25%25%
24% 28%
24%23%
25% 29%
23%
36. 用途 例
Batch 膨大なデータ処理を行うアプリケーション ETL, リコメンデーション
Interactive
低レイテンシーが必要なアプリケーション
繰り返しの計算が必要なアプリケーション
機械学習
Realtime
膨大な入力に対して今のデータが重要なアプリケーション
Batch処理の入力データ整形
異常検知
イベント処理
トレンド検知
膨大な入力
45. Product Protocol API / SDK
Apache Kafka 独自Protocol Producer API
Amazon Kinesis HTTPS AWS SDK
Azure Event Hubs
HTTPS
AMQPS
REST API
Azure SDK
プ ロ ト コ ル
58. 独 自 コ ー ド SQL Like Query
59. 独 自 コ ー ド SQL Like Query
処理の柔軟性
60. 独 自 コ ー ド SQL Like Query
開発の容易性
61. 独 自 コ ー ド SQL Like Query
CloudServiceSelf-Managed
63. C o n t e n t s
IoTとは?トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5
64. A z u r e S t r e a m A n a l y t i c s の 紹 介
80. C o n t e n t s
IoTとは?トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5
81. A z u r e S t r e a m A n a l y t i c s を 使 っ た 事 例 紹 介
91. C o n t e n t s
IoTとは?トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5
92. C a p y が ど の よ う に 使 って い る か の 実 例 紹 介
94. SELECT remote_ip, COUNT(*)
FROM access_log
WHERE uri = ‘<URI>’
GROUP BY remote_ip,
SLIDING_WINDOW(minute, 10)
HAVING COUNT(*) > 10;
Subscribe
EventProcessorHost
SETEX
Expire: PenaltyTime
95. C o n t e n t s
IoTとは?トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5