MariaDB Columnstore 使いこなそう

MariaDB ColumnStore
を使いこなそう
JPMUG 代表カワノ

全米フライトデータ可視化アプリで違いを体感しよう
https://youtu.be/iWvIwYTdxVs

mariadb-columnstore-samples
Flight data summary
TableName Rows InnoDB ColumnStore
Flight 約2,300万 2.46GB 1.24GB
airports 342 0.06MB 9.55MB
airlines 17 0.02MB 2.25MB

Flight data source
• mariadb-corporation/mariadb-columnstore-
samples
• https://github.com/mariadb-corporation/mariadb-
columnstore-samples/tree/master/flights
# このサンプルでは2016年のデータのみ
• 2013~2017 flight data
• https://downloads.mariadb.com/ColumnStore/sampledata
/flights/

Flight data source
• JPMUG-KK/MariaDB_Columnstore_flight_data
• https://github.com/JPMUG-
KK/MariaDB_Columnstore_flight_data
簡単にColumnstore&InnoDBにデータをインポート

Taxi Data Source
• NYC Taxi & Limousine Commission (TLC)
• http://www.nyc.gov/html/tlc/html/about/trip_rec
ord_data.shtml

Taxi Data Summary
TableName Rows InnoDB ColumnStore
route 約2.2億 21.10GB 7.92GB

ColumnStoreの歴史
https://github.com/mariadb-corporation/mariadb-columnstore-server/releases

ColumnStoreとは？
チューニングレスで高い検索パフォーマ
ンスを実現するDWH特化型データベース

ColumnStoreとは？
• 分析/集計処理に最適なカラムストアエンジン
• MariaDB Serverとの互換性
• 専用ハードウェア不要
• リニアにスケールアウト

アーキテクチャ
大規模並列処理
Clients
User
Module
Performance
Module
ColumnStore Distributed
Data Storage
User sessions
MariaDB
SQL Front End
Query Engine
Local Storage, SAN
EBS,HDFS…

対称型マルチプロセッシング(SMP)
Clients
User
Module
Performance
Module
ColumnStore Distributed
Data Storage
User sessions
MariaDB
SQL Front End
Query Engine
Local Storage, SAN
EBS,HDFS…
CPU

Extent Map
• 物理的なセグメントファイル内
に存在する論理ブロック
• エクステント及び対応するブ
ロックを管理
• データの抽出と配置は、エクス
テントマップにより高速で処理
される
• リアルタイム解凍と圧縮
• バージョンバッファーファイル
（UNDO)

Extent Map
SELECT
COL – D
FROM
TABLE
WHERE
COL - D BETWEEN 110 AND 180
;

リニアにスケールアウト
19

おまけ
Transaction
Engine Transactions XA
Columnstore YES NO
MyISAM NO NO
InnoDB YES YES

Transaction
ColumnStore vs InnoDB
sysbench
# sysbench --test=oltp --db-driver=mysql --mysql-socket=/usr/local/mariadb/columnstore/mysql/lib/mysql/mysql.sock
--num-threads=1 --max-requests=500 --max-time=0 --oltp-test-mode=complex --mysql-user=sbtest
--mysql-password=sbtest --oltp-test-mode=nontrx --oltp-nontrx-mode=insert run
※ columnstoreは並列度が1じゃないとlockエラーするのでnum-threads=1で比較

Install
Preparing for ColumnStore Installation - 1.1.X
https://mariadb.com/kb/en/library/preparing-for-columnstore-installation-11x/
• 上記サイトを参考にCentOS 7.2 にSingle Server構成でインストール
Item Description
Physical Server 8 core Intel / AMD, 32GB Memory
Storage
Local disk with appropriate RAID redundancy or
network attached storage
Minimum Hardware Specification

Install
ColumnStore関連パッケージインストール
# yum -y install boost expect perl perl-DBI openssl zlib file sudo libaio rsync snappy
net-tools perl-DBD-MySQL
RPMパッケージ取得 & 解凍 v1.1.6
# wget
https://downloads.mariadb.com/ColumnStore/1.1.6/centos/x86_64/7/mariadb-
columnstore-1.1.6-1-centos7.x86_64.rpm.tar.gz
# tar zxvf mariadb-columnstore-1.1.6-1-centos7.x86_64.rpm.tar.gz
# rpm -ivh *.rpm

Install
RPMパッケージインストール
# rpm -ivh *.rpm
RPMパッケージ確認
# rpm -qa | grep mariadb
mariadb-columnstore-libs-1.1.6-1.x86_64
mariadb-columnstore-platform-1.1.6-1.x86_64
mariadb-columnstore-common-1.1.6-1.el7.centos.x86_64
mariadb-columnstore-client-1.1.6-1.el7.centos.x86_64
…

Install
ColumnStore初期設定
# /usr/local/mariadb/columnstore/bin/postConfigure
Select the type of System Server install [1=single, 2=multi] (2) > 1
Enter System Name (columnstore-1) > columnstore-1
Select the type of Data Storage [1=internal, 2=external] (1) > 1
Enter the list (Nx,Ny,Nz) or range (Nx-Nz) of DBRoot IDs assigned to module 'pm1' (1) > 1
===== Performing Configuration Setup and MariaDB ColumnStore Startup =====
...
Enter 'mcsmysql' to access the MariaDB ColumnStore SQL console
Enter 'mcsadmin' to access the MariaDB ColumnStore Admin console

文字コードをUTF-8に設定
my.cnf 編集
# vi /usr/local/mariadb/columnstore/mysql/my.cnf
...
[mysqld]
...
character-set-server=utf8
collation-server=utf8_general_ci
init-connect='SET NAMES utf8'
...
[client]
default-character-set=utf8

ColumnStore初期設定
# cd /usr/local/mariadb/columnstore/bin/
# ./configxml.sh setconfig SystemConfig SystemLang en_US.utf8
設定反映のために再起動
# mcsadmin restartSystem y

Docker
MariaDB ColumnStore Docker, Vagrant, and Windows 10 Linux Setup -
(allows for evaluation on a PC or Mac)
https://mariadb.com/kb/en/library/columnstore-getting-started-mariadb-columnstore-
docker-vagrant-and-windows-/
• Mac & Windows でも動作検証可能
• 最小システム構成要件を満たしていなくても動作確認可能
• ただし…当然パフォーマンスは出ない

コンテナー取得
# docker run -d --name mcs1.1 -p 3307:3306 mariadb/columnstore:1.1
• dockerホストから接続できるように
3307から3306にポートフォワード指定
• 2018-09-16 時点でインストールされるのは v 1.1.6
docker for mac
MariaDB Columnstore 1.1 install

docker for mac
dockerコンテナコンソール起動
# docker exec -it mcs1.1 bash
dockerホストから接続するユーザー作成
# mcsmysql –u root
MariaDB [(none)]> CREATE USER 'root'@'gateway' IDENTIFIED BY 'パスワード';
MariaDB [(none)]> GRANT ALL PRIVILEGES ON *.* TO 'root'@'gateway';

docker for mac
dockerホストからColumnstoreに接続
# mysql -u root -p -P 3307 -h 127.0.0.1
• -h localhost だとホストの mysql に接続しにいくので注意
• rpmパッケージインストール時同様、UTF-8設定を実施
• 最小システム構成要件を満たさない環境ではパフォーマンスに期待しない

SQLコンソール mcsmysql
• MariaDB CoumnStore 用コンソール
• mysql コンソールと使用方法は同一

管理コンソール mcsadmin
• ColumnStore Administrative Console
• 起動/停止
• UM/PM構成管理
• 統計情報取得

管理
mcsadmin Command
[myuser@srv1~]# mcsadmin
MariaDB Columnstore Admin Console enter 'help' for list of
commands enter 'exit' to exit the MariaDB Columnstore Command
Console use up/down arrows to recall commandsActive Alarm Counts:
Critical = 0, Major = 0, Minor = 0, Warning = 0, Info = 0Critical Active
Alarms:
mcsadmin> quit

管理
System operation
停止
[myuser@srv1~]# mcsadmin stopSystem [y]
起動
[myuser@srv1~]# mcsadmin startSystem
再起動
[myuser@srv1~]# mcsadmin restartSystem [y]

管理
Viewing system status
[myuser@srv1~]# mcsadmin getSystemStatus
getsystemstatus Wed Aug 30 14:27:23 2017
System columnstore-1
System and Module statuses
Component Status Last Status Change
------------------ ------------------------- --------------------------------------
System ACTIVE Fri Jun 10 01:50:46 2016
Module pm1 ACTIVE Fri Jun 10 01:50:43 2016

管理
Viewing process status
[myuser@srv1~]# mcsadmin getProcessStatus
getprocessstatus Wed Aug 30 14:27:23 2017
MariaDB Columnstore Process statuses
Process Module Status Last Status Change ProcessID
--------------------- ----------- ----------- ---------------------------------- -------------
ProcessMonitor pm1 ACTIVE Fri Jun 10 01:50:04 2016 2487
ProcessManager pm1 ACTIVE Fri Jun 10 01:50:10 2016 2673
…

管理
Viewing network configuration
[myuser@srv1~]# mcsadmin getSystemNetworkConfig
getsystemstatus Wed Aug 30 14:27:23 2017
System and Module statuses
Component Status Last Status Change
------------------ ------------------------- --------------------------------------
System ACTIVE Fri Jun 10 01:50:46 2016
Module pm1 ACTIVE Fri Jun 10 01:50:43 2016

管理
Viewing module configuration
[myuser@srv1~]# mcsadmin getModuleConfig
getmoduleconfig Wed Aug 30 14:27:23 2017
Module Name Configuration
Module 'um1' Configuration information
ModuleType = um
ModuleDesc = User Module #1
ModuleIPAdd NIC ID 1 = 10.100.7.80
ModuleHostName NIC ID 1 = srvhst2
…

管理
Command repeat option
[myuser@srv1~]# mcsadmin getProcessStatus -r2
repeating the command 'getProcessStatus' every 2 seconds, enter
CTRL-D to stop
…

インポート
• cpimport インポート専用コマンド
• 高速にデータロード可能
• LOAD DATA INFILE , INSERT INTO SELECT FROM
もサポート
• 内部的にはcpimportコマンドで実行

インポート
cpimport 読み込み対象ファイル
• 区切り文字は ” | ” がデフォルト
• -s オプションで区切り文字指定
• テーブルカラムとデータの並び順を一致させる
• 一致しない場合は別途 job file を作成する必要がある
• 日付フォーマットは” yyyy-mm-dd “にしておく
• フォーマット違いは全て 0000-00-00 00:00:00 になる
• UTF-8のデータファイルをインポートする場合、Columnstoreの文字
コードをUTF-8に設定しておかないとロードに失敗するので注意

インポート
cpimport
• データロード中でもテーブル参照可能
• ロード完了後に追加分の参照ができるようになる
• トランザクションログへの出力はされない

インポート
cpimport 実行例
[myuser@srv1~]# cpimport sample table1 /tmp/table1.csv –s ',' –E '”'
Locale is : C
Column delimiter : ,
Enclosed by Character : ”
Using table OID 3278 as the default JOB ID
Input file(s) will be read from : /root/tmp
…
2017-08-31 16:16:37 (18403) INFO : For table sample.table1: 10000 rows
processed and 10000 rows inserted.
…
2017-08-31 16:16:37 (18403) INFO : Bulk load completed, total run time :
1.22974 seconds
DB TABLE File path option

INSERT SELECT
LOAD DATA INFILE

インポート
INSERT SELECT使用時の注意点
• デフォルトの区切り文字が ' 7 '
• データに 7 が含まれる場合
infinidb_import_for_batchinsert_delimiter変数の値を
任意のascii_valueに変更する必要がある

インポート
INSERT SELECT, LOAD DATA INFILE
共通の注意点
• ロードするデータファイルサイズが大きい場合
バッファサイズ不足でロードに失敗する
• ERROR 1815 (HY000) at line 1 in file: 'table1.sql': Internal error: CAL0006: IDB-
2008: The version buffer overflowed. Increase VersionBufferFileSize or limit
the rows to be processed.

インポート
INSERT SELECT, LOAD DATA INFILE
共通の注意点
• VersionBufferFileSizeの変更手順は2つ
• Columnstore.xml を編集
• configxml.sh スクリプトでColumnstore.xmlを編集
• Columnstore.xml とは？
• ColumnStore 専用の設定ファイルを記述したXMLファイル

インポート
VersionBufferFileSize確認/変更
[myuser@srv1~]# cd /usr/local/mariadb/columnstore/etc/
[myuser@srv1~]# vi Columnstore.xml
…
<VersionBuffer>

<VersionBufferFileSize>1GB</VersionBufferFileSize>
</VersionBuffer>
…

インポート
VersionBufferFileSize確認/変更
[myuser@srv1~]# cd /usr/local/mariadb/columnstore/bin/
[myuser@srv1~]# configxml.sh getconfig VersionBuffer VersionBufferFileSize
Current value of VersionBuffer / VersionBufferFileSize is 1GB
[myuser@srv1~]# configxml.sh setconfig VersionBuffer VersionBufferFileSize 10GB
Old value of VersionBuffer / VersionBufferFileSize is 1GB
VersionBuffer / VersionBufferFileSize now set to 10GB
section variablecommand

インポート
cpimport vs LOAD DATA INFILE
CSV 10,000,000件約1GB

データサイズの確認
• columnstore_info Stored Procedure
• total_usage()
• table_usage()
ColumnStore Information Schema Tables
https://mariadb.com/kb/en/the-mariadb-library/columnstore-information-
schema-tables/#columnstore_extents

全体の使用サイズ
MariaDB [(none)]> call columnstore_info.total_usage();
+-------------------------+----------------------------+
| TOTAL_DATA_SIZE | TOTAL_DISK_USAGE |
+-------------------------+----------------------------+
| 1.49 GB | 1.58 GB |
+-------------------------+----------------------------+

Table毎の使用サイズ
MariaDB [(none)]> call columnstore_info.table_usage(NULL,NULL);
+-----------------------+---------------------+---------------------------+-------------------------+---------------------+
| TABLE_SCHEMA | TABLE_NAME | DATA_DISK_USAGE | DICT_DISK_USAGE | TOTAL_USAGE |
+-----------------------+---------------------+---------------------------+-------------------------+---------------------+
| loadtest | load_cpimport | 638.90 MB | 140.08 MB | 778.98 MB |
| loadtest | load_infile | 638.89 MB | 140.08 MB | 778.97 MB |
+-----------------------+---------------------+---------------------------+-------------------------+---------------------+

クロス・エンジン結合設定
• ColumnStoreテーブルと非ColumnStoreテーブルを結合する場合
別途設定が必要
• Columnstore.xml 定義変更
• ColumnStore 再起動
ColumnStoreクロス・エンジン結合の構成
https://mariadb.com/kb/ja/configuring-columnstore-cross-engine-joins/

クロス・エンジン結合設定
CrossEngineSupport変更
[myuser@srv1~]# cd /usr/local/mariadb/columnstore/etc/
[myuser@srv1~]# vi Columnstore.xml
…
<CrossEngineSupport>
<Host>127.0.0.1</Host>
<Port>3306</Port>
<User>mydbuser</User>
<Password>pwd</Password>
</CrossEngineSupport>
…

実行計画及び統計情報の取得
• EXPLAINでは有益な情報を得られない
• 専用関数 calSetTrace(), calGetTrace() を使用する

calSetTrace(), calGetTrace()
MariaDB [test]> select calSetTrace(1);
MariaDB [test]> select item,name from snmp.raw_201607 limit 1000;
MariaDB [test]> select calGetTrace();
Desc Mode Table TableOID ReferencedColumns PIO LIO PBE Elapsed Rows
BPS PM raw_201607 3000 (item,time) 0 2287 34078 0.014 1915
TNS UM - - - - - - 0.006 1000

実行計画の見方
TNS UM 0.005 1000

TNS UM 0.005 1000
BPS Batch Primitive Step 列ブロック走査及びデータ取得
CES Cross Engine Step クロスエンジンJoinの実行
DSS Dictionary Structure Step 特定の可変長文字列値に対するディクショナリスキャン
HJS Hash Join Step Hash join の実行
HVS Having Step 実行結果に対するHavingの実行
SQS Sub Query Step サブクエリ実行
TAS Tuple Aggregation step PMノードからUMで中間集約結果受信
TNS Tuple Annexation Step 結果作成（filter, order by, limit…）
TUS Tuple Union step サブクエリ結果結合
TCS Tuple Constant Step 定数処理
WFS Window Function Step Window function実行

TNS UM 0.005 1000
Partition Blocks Eliminated
• エクステントマップにより読み飛ばしたブロックサイズ
• この値が0の場合、エクステントマップの恩恵を得られていない

キャッシュクリア
MariaDB [test]> select calFlushCache();
MariaDB [test]> select item,name from snmp.raw_201607 limit 1000;
MariaDB [test]> select calGetTrace();
TNS UM - - - - - - 0.006 1000

select calGetStats();
MariaDB [test]> select count(*) from wide2;
…
1 row in set (0.22 sec)
MariaDB [test]> select calGetStats();
Query Stats: MaxMemPct-0;NumTempFiles-0;TempFileSpace-0B;ApproxPhyI/O-1931;
CacheI/O-2446;BlocksTouched-2443; PartitionBlocksEliminated-0;MsgBytesIn-73KB;
MsgBytesOut-1KB;Mode-Distributed

エクステントマップ確認
• 調査対象のカラムOID取得
• editemプロセスからエクステントマップ情報を取得
• 引数にカラムID必須

カラムOID取得
Select
`schema`,
`tablename`,
`columnname`,
`objectid`
From
calpontsys.syscolumn
Where
`schema` = '対象スキーマ名'
and `tablename` = '対象テーブル名'
and `tablename` = '対象カラム名'
;

editemプロセスから情報取得
[myuser@srv1~]# /usr/local/mariadb/columnstore/bin/editem -o 3019
Col OID = 3019, NumExtents = 1, width = 4
234496 - 238591 (4096) min: 0, max: 3, seqNum: 10, state: valid, fbo: 0,
DBRoot: 1, part#: 0, seg#: 0, HWM: 0; status: avail
…

1311744 - 1319935 (8192) min: notset, max: notset, seqNum: 0, state:
valid, fbo: 0, DBRoot: 1, part#: 0, seg#: 0, HWM: 8191; status: avail
1418240 - 1426431 (8192) min: notset, max: notset, seqNum: 0, state:
invalid, fbo: 0, DBRoot: 1, part#: 0, seg#: 1, HWM: 1575; status: avail

エクステントマップが
機能しない（使えない）パターン
Datatypes Colmun Size Enable
TINYINT － ●
SMALLINT － ●
INTEGER / INT － ●
BIGINT － ●
DECIMAL /
NUMERIC
－ ●
DOUBLE / REAL － ×
FLOAT － ×
DATE － ●
DATETIME － ●
CHAR 8バイト以下 ●
9バイト以上 ×
VARCHAR 7バイト以下 ●
8バイト以上 ×
• その他
• 日本語（UTF-8）の場合
１文字あたり3バイトなので注意
• Min/Max値に差が無い場合

制限
• primary keyの指定ができない
• Indexの作成ができない
• レプリケーション非対応
• 対応カラム型

使用可能なカラム型
Datatypes Column Size
BIGINT 8-bytes
CHAR 1, 2, 4, or 8 bytes
DATE 4-bytes
DATETIME 8-bytes
DECIMAL/NUMERIC 2, 4, or 8 bytes
DOUBLE/REAL 8 bytes
FLOAT 4 bytes
INTEGER/INT 4-bytes
SMALLINT 2-bytes
TINYINT 1-byte
VARCHAR 1, 2, 4, or 8 bytes or 8-byte token
Datatypes Column Size
TINYTEXT 255 bytes
TINYBLOB 255 bytes
TEXT 64 KB
BLOB 64 KB
MEDIUMTEXT 16 MB
MEDIUMBLOB 16 MB
LONGTEXT 1.96 GB
LONGBLOB 1.96 GB
v 1.1 から追加v 1.0
https://mariadb.com/kb/en/library/columnstore-data-types/
ColumnStore Data Types

エクステントマップによる絞り込みが
期待できるカラム型
•DATE, DATETIME
• ただし適切にソートされている場合
•数値型
• 百分率等の上限/下限値が決まったものは除く

テーブル複製
• INSERT SELECT？
• https://mariadb.com/kb/en/library/columnstore-insert/
• cpimportで別テーブルにインポート？

テーブル複製
mysql> insert into flights2.flights select * from flights.flights;
Query OK, 24076047 rows affected (2 min 24.37 sec)
Records: 24076047 Duplicates: 0 Warnings: 0

テーブル複製
• cpimport でインポートした方が 2倍高速
84 sec
37 sec
※対象レコード数約2.400万

行削除
mysql> delete from flights2.flights where fl_date between '2014-01-01'
and '2014-12-31';
Query OK, 5819811 rows affected (20 min 28.96 sec)

行削除
• cpimport でインポートした方が 38倍高速
• ただし対象行が少なければdeleteでも高速
※対象レコード数
delete -> 約 580万
cpimport -> 約1,800万
1,228 sec
32 sec

カラム追加
mysql> alter table flights2.flights add column priority integer;
Query OK, 0 rows affected (2.97 sec)
オンライン
mysql> select calonlinealter('alter table flights2.flights add column priority integer');
1 row in set (2.50 sec)
mysql> alter table flights2.flights add column priority integer 'schema sync only';
※複数カラム追加構文は非サポート

カラム変更/削除
mysql> alter table flights2.flights change column priority2 priority3
integer;
mysql> alter table flights2.flights drop column priority3;

ディスクベースの結合

• 実メモリサイズを超えるJOINを実行した場合、
IDB-2001 が発生しクエリ実行が中断される
• 一時領域としてディスクを使用することで回避可能
• https://mariadb.com/kb/en/library/columnstore-disk-based-joins/
• ただし、集約関数及びDML結合を含むクエリはディスクで実行できな
いので注意
• https://mariadb.com/kb/en/library/aggregate-functions/
事前に適切なメモリサイズを見積もることが必要

AllowDiskBasedJoin確認/変更
[myuser@srv1~]# ./configxml.sh getconfig HashJoin AllowDiskBasedJoin
Current value of HashJoin / AllowDiskBasedJoin is N
[myuser@srv1~]# ./configxml.sh setconfig HashJoin AllowDiskBasedJoin Y
Old value of HashJoin / AllowDiskBasedJoin is N
HashJoin / AllowDiskBasedJoin now set to Y

TempFileCompression確認/変更
[myuser@srv1~]# ./configxml.sh getconfig HashJoin TempFileCompression
Current value of HashJoin / TempFileCompression is Y
[myuser@srv1~]# ./configxml.sh setconfig HashJoin TempFileCompression N
Old value of HashJoin / TempFileCompression is Y
HashJoin / TempFileCompression now set to N

TempFilePath確認/変更
[myuser@srv1~]# ./configxml.sh getconfig HashJoin TempFilePath
Current value of HashJoin / TempFilePath is /usr/local/mariadb/columnstore/tmp
[myuser@srv1~]# ./configxml.sh setconfig HashJoin TempFilePath {path}
Old value of HashJoin / TempFilePath is /user/local/…/tmp
HashJoin / TempFilePath now set to {path}

ログファイルの場所
• /var/log/mariadb/columnstore
• crit.log
• err.log
• warning.log
• info.log
• debug.log <- 全てのログを見るならここ
https://mariadb.com/kb/en/library/system-troubleshooting-mariadb-columnstore/#mariadb-
columnstore-logging

debug.log
…
Sep 17 02:25:15 83665347d964 PrimProc[18651]: 15.019437 |0|0|0| C 28 CAL0053: PrimProc could not open file for OID 3200;
/usr/local/mariadb/columnstore/data1/000.dir/000.dir/012.dir/128.dir/000.dir/FILE001.cdf:No such file or directory
Sep 17 02:25:15 83665347d964 PrimProc[18651]: 15.019940 |0|0|0| W 28 CAL0000: IDB-2039: Data file does not exist, please
contact your system administrator for more information.
Sep 17 02:38:43 83665347d964 ddlpackageproc[18851]: 43.789061 |12|58|0| D 23 CAL0041: Start SQL statement: alter table
flights2.flights drop column priority;|flights2|
Sep 17 02:38:44 83665347d964 ddlpackageproc[18851]: 44.354258 |12|58|0| D 23 CAL0042: End SQL statement
flights2.flights add column priority integer;|flights2|
Sep 17 02:38:55 83665347d964 ExeMgr[18718]: 55.607541 |2147483660|59|0| D 16 CAL0041: Start SQL statement: select
objectid,columnlength,datatype,dictobjectid,listobjectid,treeobjectid,columnposition,scale,prec,defaultvalue from syscolumn where
schema='flights2' and tablename='flights' and columnname='priority' --lookupOID/FE; ||
Sep 17 02:38:55 83665347d964 ExeMgr[18718]: 55.690064 |2147483660|59|0| D 16 CAL0042: End SQL statement
flights2.flights drop column priority;|flights2|

TPC-H Benchmark
InnoDB vs ColumnStore

TPC-H Benchmark
DWH 用ベンチマーク
http://www.tpc.org/tpch/

TPC-H Benchmark
HammerDB
HammerDB 2.23 を使用
http://www.hammerdb.com/

TPC-H Benchmark
検証環境
最小構成検証環境
CPU 8 core Intel / AMD 8 core Intel (Core i7-4790K)
Memory 32GB 32GB
Storage 適切なRAID冗長構成を組んだローカル
ディスク、もしくはネットワーク接続スト
レージ。
240GB(RAID0)
対応OS RHEL/CentOS v6, v7
Ubuntu 16.04 LTS
Debian v8
SUSE 12
CentOS Linux
release 7.3.1611(Core)

TPC-H Benchmark
HammerDB Install
• Release 2.23 for Linux 64-bit をダウンロード
• 実行権限を付与した上でインストーラを実行

TPC-H Benchmark
HammerDB Install
実行権限付与
# chmod a+x HammerDB-2.23-Linux-x86-64-Install
#./HammerDB-2.23-Linux-x86-64-Install
…インストールウィザードで導入

TPC-H Benchmark
HammerDB 起動確認
起動
# cd /usr/local/HammerDB-2.23
# ./hammerora.tcl
起動時に下記エラーが出る場合
wish8.5: error while loading shared libraries: libXss.so.1: cannot open shared object
file: No such file or directory
# yum install libXScrnSaver

TPC-H Benchmark
HammerDB 初期値設定
config.xml編集
# vi config.xml

TPC-H Benchmark
HammerDB 初期値設定
<?xml version="1.0" encoding="utf-8">
<hammerdb>
...
<benchmark>
<rdbms>MySQL</rdbms>
<bm>TPC-H</bm>
</benchmark>
...
</hammerdb>
...
<mysql>
...
<tpch>
<schema>
<mysql_scale_fact>1</mysql_scale_fact>
<mysql_tpch_user>root</mysql_tpch_user>
<mysql_tpch_pass>root_password</mysql_tpch_pass>
<mysql_tpch_dbase>tpch</mysql_tpch_dbase>
<mysql_num_tpch_threads>1</mysql_num_tpch_threads>
<mysql_tpch_storage_engine>innodb</mysql_tpch_storage_engine>
</schema>
...
</tpch>

TPC-H Benchmark
InnoDBデータベース作成
MySQL Host 127.0.0.1
MySQL Port 3306
MySQL User root
MySQL User password rootのパスワード
MySQL Database tpch
Data Warehouse Storage engine innodb
Scale Factor 10
Virtual Users Build Schema 1

TPC-H Benchmark
InnoDBデータベース作成

TPC-H Benchmark
全てのテーブルをCSV出力
MariaDB [tpch]> SELECT * FROM customer INTO
OUTFILE '/usr/local/mariadb/columnstore/mysql/tpch/customer.csv'
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"';
…

TPC-H Benchmark
データベース作成
MariaDB [tpch]> CREATE DATABASE tpch_mcs CHARACTER SET utf8;
Query OK, 1 row affected (0.00 sec)
MariaDB [tpch]> use tpch_mcs;
Database changed
…

TPC-H Benchmark
テーブル作成
MariaDB [tpch_mcs]> CREATE TABLE nation (
N_NATIONKEY INTEGER NOT NULL,
N_NAME CHAR(25) NOT NULL,
N_REGIONKEY INTEGER NOT NULL,
N_COMMENT VARCHAR(152))
ENGINE=columnstore DEFAULT CHARSET=utf8;
…
※index等 columnstoreでエラーになる構文を削除

TPC-H Benchmark
ColumnStore CSVインポート
全のCSVファイルをインポート
# cpimport tpch_mcs customer '/usr/…/tpch/customer.csv' -s ',' -E '"'
…
DB TABLE File path option

TPC-H Benchmark
Table行数
Table_schema Table_name Rows
tpch lineitem 58,025,902
tpch orders 14,807,501
tpch partsupp 9,691,914
tpch part 1,980,115
tpch customer 1,485,848
tpch supplier 99,036
tpch nation 25
tpch region 5
Scale Factor = 10
Virtual Users Build Schema = 1
Scale Factor=1 で作成した場合lineitemの行数が
600万行程度
エクステントマップが効かないので 10 で作成
※
※

TPC-H Benchmark
データサイズ確認
InnoDB
MariaDB [tpch_mcs]> use tpch;
...
MariaDB [tpch]> SELECT
table_schema ,
table_name ,
engine ,
table_rows AS tbl_rows ,
avg_row_length AS rlen ,
FORMAT( (data_length + index_length) / (1024*1024*1024), 2) AS All_GB ,
FORMAT( (data_length) / (1024*1024*1024), 2) AS Data_GB ,
FORMAT( (index_length) / (1024*1024*1024), 2) AS Index_GB
FROM information_schema.tables
WHERE TABLE_SCHEMA='tpch'
ORDER BY (data_length + index_length) DESC;

TPC-H Benchmark
データサイズ確認
ColumnStore
MariaDB [tpch]> call columnstore_info.table_usage( NULL, NULL);

TPC-H Benchmark
データサイズ比較 (GB)
InnoDB ColumnStore
Table_schema Table_name Data Index Total Data Dict Total
tpch lineitem 7.83 7.55 15.38 3.03 1.94 4.97
tpch orders 1.84 0.59 2.42 0.61 1.38 1.99
tpch partsupp 1.93 0.19 2.11 0.22 1.00 1.22
tpch part 0.30 0.00 0.30 0.52 0.44 0.96
tpch customer 0.27 0.02 0.29 0.45 0.38 0.83
tpch supplier 0.02 0.00 0.02 0.01 0.13 0.14
tpch nation 0.01 0.00 0.01 0.01 0.01 0.01
tpch region 0.01 0.00 0.01 0.01 0.01 0.01
Total 20.54 10.13

TPC-H Benchmark
データサイズ比較 (GB)
InnoDBと比較してデータサイズが51%減少
大幅なDisk I/O削減が期待できる

TPC-H Benchmark
クエリ書き換え
Query # Error
Query 2 ERROR 1815 (HY000): Internal error: IDB-3012: Scalar filter and semi join are not from the same
pair of tables.
Query 5 ERROR 1815 (HY000): Internal error: IDB-1003: Circular joins are not supported.
Query 17 ERROR 1815 (HY000): Internal error: IDB-3012: Scalar filter and semi join are not from the same
pair of tables.
Query 19 ERROR 1815 (HY000): Internal error: IDB-1000: 'lineitem' and 'part' are not joined.
ColumnStoreで実行する場合クエリを書き換える必要がある

TPC-H Benchmark
hdb_tpch.tcl書き換え
hdb_tpch.tcl のクエリを書き換える
# vi hdb_tpch.tcl

TPC-H Benchmark
hdb_tpch.tcl書き換え
#TPCH QUERY GENERATION
proc set_query { myposition } {
global sql
set sql(1) "select l_returnflag, l_linestatus, sum(l_quantity)…
set sql(2) "select s_acctbal, s_name, n_name, p_partkey, p_mfgr…
…
set sql(5) "select n_name, sum(l_extendedprice * (1 - l_discount)) …
…
set sql(17) "select sum(l_extendedprice) / 7.0 as avg_yearly from …
…
set sql(19) "select sum(l_extendedprice * (1 - l_discount)) as revenue …
…
set sql(22) "select cntrycode, count(*) as numcust, sum(c_acctbal) as
}
6,081 ~ 6,106 行目

TPC-H Benchmark
hdb_tpch.tcl download
JPMUG-KK/MariaDB
https://github.com/JPMUG-KK/MariaDB

TPC-H Benchmark
my.cnf 編集
# cd /usr/local/mariadb/columnstore/mysql
# vi my.conf
…
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
innodb_buffer_pool_size = 20GB
#innodb_additional_mem_pool_size = 20M
# Set .._log_file_size to 25 % of buffer pool size
#innodb_log_file_size = 100M
#innodb_log_buffer_size = 8M
#innodb_flush_log_at_trx_commit = 1
#innodb_lock_wait_timeout = 50
InnoDBでベンチマーク時のみ有効にする

TPC-H Benchmark
ベンチマーク実行
MySQL Host 127.0.0.1
MySQL Port 3306
MySQL User root
MySQL User password rootのパスワード
MySQL Database tpch or tpch_mcs
Data Warehouse Storage engine innodb
Scale Factor 10
Virtual Users Build Schema 1

TPC-H Benchmark

TPC-H Benchmark
Virtual Users 1
User Delay(ms) 0
Repeat Delay(ms) 0
Iterations 1
Show Output Check
Log Output Temp Uncheck

TPC-H Benchmark
ベンチマーク比較(sec)
Engine
Query
1 2 3 4 5 6 7 8 9 10 11
InnoDB 83.21 17.97 28.69 2.46 76.25 16.04 7.54 22.17 234.23 4.77 2.01
ColumnStore 7.74 1.38 1.87 7.86 2.82 0.63 8.29 1.81 8.02 2.32 0.39
Engine
Query
12 13 14 15 16 17 18 19 20 21 22
InnoDB 110.70 20.71 2.64 39.38 2.83 5.40 - 2.38 1.35 12.96 0.82
ColumnStore 1.43 4.02 1.05 1.36 1.37 12.48 6.69 3.45 3.36 12.32 4.67

TPC-H Benchmark
ベンチマーク比較

TPC-H Benchmark
考察
• ColumnStoreの真価を発揮できているだろうか？
• ColumnStoreの真価は並列処理とエクステントマップの有効活用

TPC-H Benchmark
実行計画を取得する
• EXPLAINでは有益な情報を得られない
• 専用関数 calSetTrace(), calGetTrace() を使用する

TPC-H Benchmark
MariaDB [tpc_mcs]> select calSetTrace(1);
MariaDB [tpc_mcs]> select l_returnflag, l_linestatus, sum(l_quantity) as sum_qty, …
MariaDB [tpc_mcs]> select calGetTrace();

TPC-H Benchmark
BPS PM lineitem 4042 (L_DISCOUNT,
L_EXTENDEDPRICE,
L_LINESTATUS,
L_QUANTITY,
L_RETURNFLAG,
L_SHIPDATE, L_TAX)
136074 278562 0 7.451 488
TNS UM 7.354 4
Partition Blocks Eliminated
• エクステントマップにより読み飛ばしたブロックサイズ
• この値が0の場合、エクステントマップの恩恵を得られていない
Query 1 実行計画

TPC-H Benchmark
• 調査対象のカラムOID取得
• editemプロセスからエクステントマップ情報を取得
• 引数にカラムID必須

5306368 - 5310463 (4096) min: 130551998, max: 130987966, seqNum: 1,
state: valid, fbo: 0, DBRoot: 1, part#: 0, seg#: 0, HWM: 0; status: avail
5468160 - 5472255 (4096) min: 130551998, max: 130987966, seqNum: 1,
state: valid, fbo: 0, DBRoot: 1, part#: 0, seg#: 1, HWM: 0; status: unavail
5621760 - 5625855 (4096) min: 130551998, max: 130987966, seqNum: 1,
state: valid, fbo: 0, DBRoot: 1, part#: 0, seg#: 2, HWM: 0; status: unavail
…

TPC-H Benchmark
state Num min max seqNum fbo DBRoot part# seg# HWM
valid 5306368 - 5310463 (4096) 130551998 130987966 1 0 1 0 0 0
valid 5468160 - 5472255 (4096) 130551998 130987966 1 0 1 0 1 0
valid 5621760 - 5625855 (4096) 130551998 130987966 1 0 1 0 2 0
valid 5775360 - 5779455 (4096) 130551998 130987966 1 0 1 0 3 0
valid 5928960 - 5933055 (4096) 130551998 130987966 1 4096 1 0 0 8191
valid 6074368 - 6078463 (4096) 130551998 130987966 1 4096 1 0 1 8191
valid 6219776 - 6223871 (4096) 130551998 130987966 1 4096 1 0 2 8191
valid 6365184 - 6369279 (4096) 130551998 130987966 1 4096 1 0 3 4725
各エクステントの MIN/MAX値が同値=絞り込み不可
lineitem テーブル l_shipdateカラムエクステントマップ詳細

TPC-H Benchmark
まとめ
•ColumnStoreはInnoDBと比較して7倍高速
• ただし並列処理の恩恵のみ
TPC-H でベンチマークする場合エクステントマップの恩恵は得られない
• エクステントマップの恩恵を得られれば
更に高速化できる余地はある

•Columnstore.xml
•AllowDiskBasedJoin = Y
•my.cnf
•infinidb_use_decimal_scale = 1
•infinidb_decimal_scale = 3
TPC-H Benchmark
SF100~大きなデータサイズでの検証
Query22 が失敗する場合
Query1 が失敗する場合

TPC-H Benchmark
CPU使用率傾向の違い
InnoDB ColumnStore

まとめ
•エクステントマップを意識しよう
•大量更新/削除はcpimportの方が高速（な場合が
ほとんど）
•バージョンアップにより新機能が追加され
ている

Columnstore関連セッション

A33
12:30 - 13:15
2018.09.21 (金)

JPMUG公式サイト
http://jpmug.org/
ただいまユーザーグループ会員を
絶賛募集中です(会費無料)

MariaDB Columnstore 使いこなそう

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie MariaDB Columnstore 使いこなそう

Ähnlich wie MariaDB Columnstore 使いこなそう (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (11)

MariaDB Columnstore 使いこなそう