GPUを活用したカラムナーデータべースであるMapDを使ってみました。従来よりもコンパクトに、省電力で、そして安価なサーバーを構築できます。

1. GPUを利用するMapD を使って
ビッグデータを表示してみました…
株式会社 インサイトテクノロジー 井内一史

2. OGC

3. GPUを利用したビッグデータ
可視化製品 MapD のご紹介
株式会社 インサイトテクノロジー

4. GPUを利用したビッグデータ可視化製品であるMapDを開発
2013年 ボストンで設立
Todd Mostak、Tom Graham 氏による
HQ サンフランシスコ
2017年5月 オープンソース化 Apache 2.0 Licence
Community版の利用が可能に。

5. ● 大量データセットの分析・可視化
→ 数十億行も可能。
● 安く、そして速く
→ GPUを活用しています（集計、描画）。
● 地図データ連携による可視化（ただのDBではありません）
→ 大量データの傾向を把握できます。
→ GISデータ（kml、geojson、shp）インポートが可能です。
MapDの特⾧

6. カラムナーデータベースの特性を活用し、
必要なデータだけをロードします。
ID NAME Value Date
1 AAA 1002 8/11...
２ BBB 33756 8/12...
... ... ... ...
ID NAME Value Date
1 03fac254 c90876ac 8/11...
２ 03ff87b1 2ab096c9 8/12...
... ... ... ...
一般的な行指向データベース
・すべての列を読み込んでメモリ展開。
MapDのカラムナーデータベース
・必要な列だけ読み込んでメモリ展開。
・できるだけGPUメモリに保持。
・4,8,16バイトの固定長レコード(ポイン
タアクセス可能）
6

7. 統計計算は、多くのGPUコアを使った並列処理です。
コア
集計
集計
集計
集計
● 固定長レコードをコアが並列
集計。
● SQL文はJITコンパイルされ、
実行される。
（環境依存しない中間コードを生成）

8. これまでのDB
検索結果は、
データ量が少ない画像の形式で返されます。
アプリケーションサーバー
（またはクライアント）
MapD
多い
OpenGL
少ない
Hot Record
行データ
行データ
アプリケーションサーバー
（またはクライアント）
データ
コア
8

9. Supermicro SYS-1027GR-TF+
NVIDIA Tesla P40 × 1
｜ コア数 3,840
│ メモリ 24G
│ 単精度演算 12TFLOPS
│ 消費電力 250W
Xeon E5-2620 (6core) ×2
DDR3-1333 384G

10. 性能比較 その１
平均値の算出
select avg(arrdelay) from flights where origin_point @ ST_MakeEnvelope(20, -160, 50, -80, 4326);
select avg(arrdelay) from flights where origin_lon between -160 and -80 and origin_lat between 20 and 50;
空間インデクスが
ない場合は32秒
空間インデクス
なし

11. 性能比較 その２
GROUP BY
select uniquecarrier, count(*), avg(arrdelay) from flights where origin_point @ ST_MakeEnvelope(20, -160, 50, -80,
4326) group by uniquecarrier;
select uniquecarrier, count(*), avg(arrdelay) from flights where origin_lon between -160 and -80 and origin_lat
between 20 and 50 group by uniquecarrier;
空間インデクスが
ない場合は61秒
空間インデクス
なし