Weitere ähnliche Inhalte
Ähnlich wie [C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama (20)
Mehr von Insight Technology, Inc. (20)
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
- 1. db tech showcase 2013 Tokyo
2013.11.14
「今」を分析する
ストリームデータ処理技術と
その可能性
株
株式会社 日立製作所
製作
情報・通信システム社
ITプラットフォーム事業本部
横山 高広
© Hitachi, Ltd. 2013. All rights reserved.
- 2. 0-1
セッションの要約
ストリームデータ処理って何なの?
データベースと何が違うの?
デ タベ スと何が違うの?
どうやって使うの?
どんなところで使われてるの?
で、実際どうなの?
といった疑問を解決します。
そして今日から、
データ処理方式の選択肢のひとつに
「ストリ ムデ タ処理」
「ストリームデータ処理」 を加えてもらいたい
© © Hitachi, Ltd. 2013. All rights reserved.
Hitachi, Ltd. 2013. All rights reserved.
2
- 5. 1-1
ビッグデータ時代がやってきた!
モノ の発信
電力メーター
Big Data
運行情報
環境 気象デ タ
環境・気象データ
設備監視
通話ログ
SNS
カーナビ
人 の発信
つぶやき
GPS
監視映像
物流トレース
物流トレ ス
動画・画像・音声
コンテンツダウンロード
コンテンツダウンロ ド
スマートフォン
ICカード利用
人の移動
ネット購入
データベース
診断画像・
診断画像
電子カルテ
© © Hitachi, Ltd. 2013. All rights reserved.
Hitachi, Ltd. 2013. All rights reserved.
5
- 7. 1-3
ビッグデータ時代におけるデータの活用方法
1点の値ではなく、時系列な値の変化に意味がある
時々刻々と絶え間なく、データが発生し続ける
■ 時々刻々と絶え間なく デ タが発生し続ける
■ 「今」を高速かつ高度に分析(傾向/相関/軌跡分析など)して、
現場 即座 アク
現場に即座にアクションすることが重要
する
要
項目
センサーデータ
空間データ
データ種別 温度、湿度、振動、圧力・・・ GPS RFID 電子乗車券
デ タ種別 温度 湿度 振動 圧力
GPS、RFID、電子乗車券…
データ型
活用例
150
【
波形
位置情報、軌跡
機器診断
人流分析、物流分析
人流分析 物流分析
波形
軌跡
◎発生
数
】
メ ッ セ ー ジ
100
◎予兆
50
◎復旧
【時間軸】
0
11:59
12:00
12:01
12:02
12:03
12:04
© Hitachi, Ltd. 2013. All rights reserved.
7
- 13. 2-2
ストリームデータ処理の位置付け
適用アプリ: 銀行トランザクション,
チケット予約,通話課金,…
メ
モリリ
適用アプリ: アルゴリズムトレーディング,
コンプライアンスチェック,不正監視・検知,…
ストリームデータ処理,複雑イベント処理
ストリ ムデ タ処理 複雑イ
ト処理
インメモリベースのストック型データ処理技術
イ
リ
ス スト ク型デ タ処理技術
インメモリデータベース
サーバ
分散オブジェクトキャッシュ
データ格
格納位置
1980年代~: 研究開始
DB
サーバ
IMDB1
ト
レ
ー
ジ
ストリームデータベース
1990年代~: 商用化
CEP
・超高速イベント処理を実現
・クエリインタフェース提供
により開発工数削減
差分データ処理技術
サーバ
ストレージベースのストック型データ処理技術
構造型データベース
DB
ス
2000年~:
研究開始
サーバ
オブジェクト
キャッシュ
サーバ
ファイル
サーバ
DB
ファイル
フ イル
MV3
1990年代~:
MV差分更新
データ処理での時間の取り扱い技術
関係データベース
1960年代~: 構造型DB
1970年代~: RDB2
ストック型
・データを事前に準備
・デ タを事前に準備
・データサイズ有限
DB
サーバ
サ バ
デ タ種別,処理モデル
データ種別 処理モデル
DB
1980年代~: Temporal DB
1990年代~: 時系列DB
フロー型
・データ到着時に処理
・デ タ到着時に処理
・データサイズ無限
凡例: 1 In-Memory DB, 2 Relational DB, 3 Materialized View (実体化ビュー)
© Hitachi, Ltd. 2013. All rights reserved.
13
- 15. 2-4
ストリームデータ処理の要素技術と特長
「今」 を高速かつ高度に分析するための技術
ウィンドウ演算により、時系列データの分析を簡単に実現
■ ウィンドウ演算により 時系列デ タの分析を簡単に実現
■ インメモリ差分計算により、超高速処理を実現
■ 分析シナリオは、SQLを拡張したCQLで記述
分析 ナリオ 、
を拡張し
記述
CQLによるシナリオ記述
系
分析
時系列データ分析
分析結果
分析シナリオ
事前登録
ネ ト
ク
ネットワーク
稼動情報
ICカード
稼動監視 通信データ
スライディング・ウインドウ
入力
情報
株a,1
株b,2
株a,4
株b,6
株a,6
株a,5
株a,15 株a,9
b,4
株b 4
株a,3
株b,2
株a,1 株a 計15
株b 計6
ストリ ムデ タ処理基盤
ストリームデータ処理基盤
uCosminexus Stream Data Platform
結果ファイル
集計・
分析結果
ダッシュボード
(見える化)
インメモリ差分計算
© Hitachi, Ltd. 2013. All rights reserved.
15
- 16. 2-5
ウィンドウ演算
無限に続く時系列データを効率よく処理
スライディング・ウィンドウにより、時系列データの分析範囲を定義
■ スライディング ウィンドウにより 時系列デ タの分析範囲を定義
■ 分析に必要なデータだけを抽出することで、データ処理を効率化
■ 分析シナリオに複数種のスライディングウィンドウを提供
分析 ナリオ 複数種
ラ ディ グウィ
ウを提供
時系列
データ
デ タ
102
101
100
99
2
1
0
スライディング・ウィンドウで切り取られた処理対象の時系列デー
タ
■ スライディング・ウィンドウの種類
・データの数(ROWS)
例: 直近の100取引分を対象にする
・時間(RANGE)
例: 直近3分間分を対象にする
・グループ分け(PARTITION)) 例: 各銘柄の最新5取引分を対象にする
分 (
)) 例 各銘柄 最新
分を 象 す
© Hitachi, Ltd. 2013. All rights reserved.
16
- 17. 2-6
インメモリ差分計算
圧倒的な超高速処理を実現
インメモリデータ処理により、ディスクI/Oを排除
■ インメモリデ タ処理により ディスクI/Oを排除
■ 中間結果を利用した差分計算により、大量データ処理時の負荷を軽
減
■ 分析対象のデータ数に依存しない、一意の計算量で処理を実現
株価指数の計算処理の例
スライディング・ウインドウ
株価,株式数 A社,xxx円,xxx株
B社,xxx円,xxx株
C社,xxx円,xxx株
:
時価総額
xxxxx
スライディング・ウインドウ
分析対象データ、中間計算結果
はメモリ中に保持
A社,yyy円,yyy株
B社,xxx円,xxx株
C社,xxx円,xxx株
:
yyyyy
変化のあった株価のみを演算
xxxxx
- A社,xxx円,xxx株 + A社,yyy円,yyy株
© Hitachi, Ltd. 2013. All rights reserved.
17
- 24. 3-3
株価指数算出配信
■ 株価が変動する度に株価指数を算出、ミリ秒レベルでユーザ配信
■ 株価指数計算の高速化により、配信サービスのサービスレベルを大幅に向上
■ 株価指数計算の柔軟性確保により、システム運用コストも低減
指数高速配信システム
入力AP
売買
システム
集計・分析
シナリオ
出力AP
ストリームデータ処理基盤
ストリ ムデ タ処理基盤
株価
uCosminexus Stream Data Platform
電文組立/
配信処理
電文受信/
フィルタ処理
相場
株価指数 ユーザ
システム
指数計算処理
従来サービス
1秒毎
指数構成銘柄の
値段の変化毎
処理性能
指数高速配信
スループット
8,000件/秒以上
レイテンシ
配信間隔
10ミリ秒以下
(1~10ミリ秒)
参考:2011年2月22日付弊社ニュースリリース「東京証券取引所の指数高速配信サービスが開始 ~ 世界最高水準、TOPIXをミリ秒レベルで配信 ~」
http://www.hitachi.co.jp/New/cnews/month/2011/02/0222.html
© Hitachi, Ltd. 2013. All rights reserved.
24
- 29. 3-8
日立・横浜事業所 「快適ecoプロジェクト」
■ 快適とeco、人と設備をビッグデータ処理技術が融合
■ ヒトとモノの情報をリアルタイムに収集・分析し、現場に即座にフィードバック
■ スケジューラや在席管理システムとの連携も計画中
快適ecoモニター
快適ecoモニター
社員の声
アンケート、在席情報…
設備情報
室温、湿度、騒音、電力量…
外部情報
気象情報、災害情報…
快適と
快適とecoの実現
実現
設備制御の最適化
社員のecoマインド醸成
© Hitachi, Ltd. 2013. All rights reserved.
29
- 31. 4-1
まとめ
■ ビッグデータから「今」を分析するストリームデータ処理技術をご紹介
■ この新しいデータ処理技術が切り拓いていく新しい価値は無限大
■ これから、データ処理方式の選択肢のひとつに加えてもらいたい
リアルタイム監視によるリスクマネジメント
リアルタイム監視によるリスク ネジメント
新たな付加価値による新ビジネスの創造
自動運転・予防保全によるビジネス機会拡大
携帯電話
サービス
金融・証券
自動取引 取引監視
システム
稼動監視
予兆検知 相関分析
交通サービス
気象、環境、
気象 環境
エネルギー
位置情報サービス
運行監視 渋滞予測
気象解析 使用量監視
製造・生産
ライン
品質予測
製造監視
コンプライ
アンスチェック
内部統制
不正検出
物理×IT
セキュリティ
画像監視 人流分析
© Hitachi, Ltd. 2013. All rights reserved.
31