Original document provided by Rafi Glickman (SQream) Japanese version is provided by Atsushi Mizuno (API consultants)

1. 1
GPU DATA WAREHOUSE
DATA ANALYTICS
FOR MASSIVE
Rafi Glickman,APAC Sales Director

2. 2
HQ in 7 WTC New York | R&D in Tel Aviv
CORPORATE PROFILE
FOUNDED IN 2010
with Alibaba Cloud
Strategic Partnership
Patents
10
Employees
60+

3. 3
Agenda
指数関数的に増加するデータと、追随できないデータベース
なぜビッグデータ分析なのか
ビッグデータからの価値を引き出す際の課題
既存のソリューションに足りないもの
SQreamの価値提案
ケーススタディ

4. 4
2008
<1-4TB
2010
<10TB
2016
TB-PB
指数関数的に増加するデータストア
Technology
CPU
Technology
GPU

5. 5
これまでのデータベースはこのレベルの
データを扱うように作られてこなかった
NoSQL & Hadoop GPU Database Relational DB
1970s-1990s 1990-2010
MPP zone
2005-2010
In-Memory zone
2010…
Massive Data zone
HiveKineticaAerospikeMongo DB
SQREAM DBMapD
MemSQL
VoltDBDB2 BLU
IBM
Netezza
IBM
Oracle DB2 EDW
Teradata
Vertica
Redshift
Exadata
Oracle
Server
SQL
Classic Relational zone

6. 6
なぜビッグデータ分析なのか?
 データは現代の石油
 持っていられたら良い、ではなく、 持っていなければならない
 データは、多ければ多いほど、多くの洞察、多くの価値が得られる

7. 7
顧客の声
 データ駆動型組織になりたい
 たくさんのデータがあっても、断片的にしか分析していない
 当社のシステムは大量のデータを処理するようには設計されていない
 データの準備とモデリングの時間は絶えず増えている
 既存のデータウェアハウスの維持とアップグレードはますます高価である

8. 8
処理プロセスには⾧時間が必要
3-5 hours30 minutes
Data lake Legacy MPP DB
1000 of CPUs
1-2 hours
BI customersData sources
ETL + Cubes +
aggregation + index

9. 9
ビッグデータから価値を抽出するのは
それほど簡単ではない
 ほとんどのデータベースは現在のデータ量に追いつくことができない
 コスト
 価値実現までの時間
 知見
 技術リソース
 技術的な障壁

10. 10
貴重な洞察が
発見されない
BI Lost
Data Analyzed
<10%

11. 11
~90% BI
is Lost
Data Analyzed
~10%
貴重な洞察が発見されない

12. 12
急速に増大するデータの包括的な分析
性能、規模、効率
氷山の一角以上のものを分析する
Data Lake Analytic Data % of Data
100 TB 10 TB 10 %
500 TB 20 TB 4 %
1 PB 30 TB 3 %
10 PB 50 TB 0.5 %

13. 13
データが多いほど少なくなる分析可能な割合
Data Lake Analytic Data % of Data
100 TB 10 TB 10 %
500 TB 20 TB 4 %
1 PB 30 TB 3 %
10 PB 50 TB 0.5 %
Data Lake
Size
100 TB
500 TB
1 PB
10 PB
% of Data
analyzed
10% 4% 3% .5%
 履歴を追わないと見えないものがある
 一つのサイクルに7年かかる場合には、
実際の分析には14年間のデータが必要
 何気ない見落としが、間違った方向へ
の入り口

14. 14
「世界でこれまでに作成されたデ
ジタルデータの90パーセントは、
過去2年間で生成されたもので
す。そのデータの1パーセントだけ
が分析されました。」
Mckinsey:2016年10月ビッグデータについてのストレートトーク
https://www.mckinsey.com/business-
functions/digital-mckinsey/our-insights/straight-
talk-about-big-data

15. 15
ビッグデータの価値
リテールバンキング業界における1,100億ドルの
潜在的な経済的影響
より良いクロスセルを可能にする
パーソナライズした商品
状況に応じた動的な値付け
より良いリスク評価
より効果的なマーケティング

16. 16
既存のソリューションに足りないもの
Hadoop環境
アプライアンス環境

17. 17
Hadoop環境内の課題
 優れたファイルシステムではあるが、分析プラットフォームではない。
 ビッグデータ分析を解決するようには設計されていない。
 複雑な環境
 さまざまな技術
 幅広いスキルを持つプログラマーの軍団
 大量のコードの保守
 多くのノードは維持管理が困難
 結果として、それはビッグデータ分析の課題を役立たない

18. 18
一般的なアプライアンス（Exadata、
Teradataなど）での課題
 導入費用が高価である
 規模拡大にとても費用がかかる
 計算処理とストレージがリンクされている
 柔軟性がない

19. 19
SQreamの価値提案
 より多くのデータ分析による、より多くのビジネス洞察の取得
 インフラではなくビジネスの洞察に焦点
 高い費用対効果
 はるかに高速
 最小限の設置面積と管理

20. 20
INTRODUCING SQREAM DB
GPU-ACCELERATED DATA WAREHOUSE
100xfaster
Queries
10%of resources
Cost
20xmore data
With more dimensions
Analyze

21. 21
MPPシステムを補完するSQream
 大規模なデータ分析機能を従来のMPPエコシステムにもたらすことで、
ギャップを埋める
 大規模分析用に設計
 CPUによる拡張の費用対効果が低い場合はGPUテクノロジに基づく
 高速で費用対効果の高い、エネルギー効率の高い環境を提供
 MPP（超並列コンピューティング）による分析パフォーマンスの向上

22. 22
SQream main advantages
3

23. 23
高速なデータ入出力
 ロードにGPUを使用
 各GPUに5,000個以上のGPUコンピュートコア
 900 GB /秒のメモリ帯域幅
 すべてのデータを1:5で圧縮
 メタデータを収集

24. 24
典型的なDBMSロード
Data




Data




Data




Data




Data




Data




Data




Data




Data




Source Data
100TB raw
Write to disk
~80TB
Indexing
~105 TB
Data




Data




Data




Data




Data




Data




Data




Data




Data




Indexes




• データは、照会される準備ができておらず、 未だ予測・確定Viewや、インデックスなどを作成する必要があ
る状態でロードされる

25. 25
SQream DBの読み込み
Data




Data




Data




Data




Data




Data




Data




Data




Data




Source Data
100TB raw
Write to disk
~20TB
Data ready
~20.1 TB with metadata
Data




Data




Data




Data



¥¥
Data




Data




Data




Data




Data




Metadata

• SQream DBは、自動でGPU圧縮
• 少ないデータの読み取り=少ないI / O =速いクエリ
• キューブ、インデックスなしで生データに直接アクセス
プライバシー保護のため、この画像の自動ダウンロードをブロックしました。
プライバシー保護のため、この画像の自動ダウンロードをブロックしました。
1:5の圧縮により、SQream DBはディスクから読み取るデータが少なくなる。

26. 26
費用対効果
 GPUの使用により、ストレージと計算処理を分離
 拡張は必要に応じて計算能力（GPU）やストレージを追加するだけ
 1Uサーバーは20,000コアを持つことが可能!
共有ディスクを使ったストレージ

27. 27
コンパクトサイズ - 巨大な力!
 使いやすいSQLでアクセス
 SQream DBはMPP、しかし小型パッケージ
 分離された計算処理とストレージ
 小さな設置面積
 NVIDIA GPUを搭載した1Uサーバーは、最大100TBの42Uレガシーデータ
ウェアハウスラックと入れ替え可能

28. 28
最小限のスケーリング影響
 コスト
 パフォーマンス上
 ハードウェアコスト
 複雑性 Seconds
12
11.5
11
10.5
10
Billion Rows 50 100 150 200 250 300
Query Performance

29. 29
SQreamはHadoop環境を補完
 HDFSからSQreamにデータを取り込んで利益を得る
 比類のない摂取時間 - 2-3 TB ¥ H
 GPUスピーディーでパワフルな圧縮（～1:5）
 複雑さを軽減
 事前モデリングは不要
 完全SQL
 得るべきGPU技術
 速度
 より多くのビジネス価値

30. 30
FINANCE
詐欺分析
リスク克服
カスタマイズサービス
RETAIL
競合他社を監視する
カスタマーエクスペリエンス
運用上の決定
TELECOM
得意先360
競合分析
ネットワーク最適化
HEALTHCARE
ケアマネジメント
IOTデバイス
ゲノム研究

31. 31
売上増加
AD-TECH
AVRO PARSER
Tesla GPUs
Acquisition
Sources
85 TB/day in ad impressions for constructing bidding histograms
Data
2x NVIDIA
Queries take
5 hours
Extract
Extract Load Queries take
5 minutes

32. 32
AVRO PARSER
Tesla GPUs
Acquisition
Sources
Data
8x NVIDIA
Extract
Extract Load
Not feasible
X
Queries take
5 minutes
売上増加
AD-TECH
360 TB/day ingested to enhance bid histogram accuracy

33. 33
4億人の顧客の理解
TELECOM
HP DL380g9
with NVIDIA Tesla GPU
96 GB RAM + 6 TB storage
$200K
40 NODES
5 full racks
7600 CPU cores
$10,000,000
18M
10M
360M
120M
Ingest time
Reporting time
Ownership Cost

34. 34
性能を確保しながらコストカット
RETAIL
Dell C4130 with
4x NVIDIA Tesla GPUs
512 GB RAM + iSCSI JBOD (20TB)
8 full 42U racks,
56 S-Blades 7 TB RAM
Compression ratio
Netezza
Ownership Cost
33.70 Average query time
(seconds)
Processing Units
(S-Blade / GPUs)
4.0
56
$12,000,000
31.70
4.7
4
$500,000
ACV calculation on 24 TB of data, 300B rows, 8 tables with complex, nested joins

35. 35
サイバーセキュリティ分析の改善
TELECOM
 HP ArcSight（SIEM）のスピードアップ
 より多くのデータを分析して、セキュリティーに関する洞察を深めます。
 高価なハードウェアに対して数千万円もの節約

36. 36
SQreamとOrangeは100倍のコストパフォーマンスを示
し、データベースの限界を取り除きました
“
Pascal Déchamboux | Director of Software
SQreamは、実際の顧客の利益のために、急増する
データと歩調を合わせるのに役立ちます。
“
Suppachai Panichayunon, Head Solution Architect
お客様の声
SQreamは、大規模なゲノムデータセットに関す
る癌研究の研究年月を削減の助けになっています。
“
Prof. Gideon Rechavi, Head of Cancer Research
私たちは、これまではなかった分析能力を得るための費
用対効果の高い機会に出会いました。
“
RF Group Leader

37. 37
Sqreamを利用すべきなのは、
 BIアナリスト
 大量のデータを分析する必要がある
 レポート、ダッシュボードへの迅速な対応が必要
 データ科学者
 Python / Jupyterを含むさまざまなツールと簡単に接続
 生データの事前索引付けを必要としない、非常に単純なデータ探索
 あらゆる会社
 多くのデータと現在のソリューションの難しいスケーラビリティ
 数億円を費やすことなく高性能データパイプラインを構築する必要がある

38. 38
Cost Performance !
Excellent performance,
inflexible scaling
Standard performance,
inflexible scaling
Excellent performance,
excellent scaling
Standard performance,
excellent scaling
$++ $--
Scaling - Ability to scale over 10TB
Performance SQream
DB
IBM
Netezza
SQL Server
MongoDB
Oracle
Exadata
Impala