コモディティサーバー３台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー（HCDI）” システム『Insight Qube』情シスの定期イベント『サーバーEOL』の度に訪れるシステムリプレースを大幅軽減！

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2018 Insight Technology, Inc. All Rights Reserved.
コモディティサーバー３台で作る高速処理
“ハイパー・コンバージド・データベース・インフラストラクチャー（HCDI）” システム
平間大輔
株式会社インサイトテクノロジー
Insight Qube

自己紹介
• Insight Qube開発責任者
• Insight Technologyの検証隊長
• ハードウェアもソフトウェアも、Big
Dataの取り扱いに役立ちそうな基盤は
何でも調査対象
（でもRDBMSが主戦場）
• 上京して20年、未だに暑さと湿気に
弱い道産子

今日のテーマは
Designed in Ebisu
Rethink
Optimized
Database
Environment

祝！次世代Insight Qube誕生
…なぜ、作ったの？

そもそもInsight Qubeとはなにか
効率の悪いテーブル設計
アプリケーションの問題、バインド
変数の使い方など
効率の悪いSQL文
ロック、ラッチなどのデータベース
リソース競合
不適切なデータベースパラメータ
システムリソースのボトルネック
DBパフォーマンス課題
アンバランスなシステムボトルネッ
ク(特にDisk I/O)により、本来の
CPU性能を発揮できない
DBに不利なHWアーキテクチャ
データ量増加に伴うパフォーマンス
の問題は、単なるチューニングでは
解決できない
DBパフォーマンス課題
Disk I/O「制約」からの解放と
大容量メモリによる低レイテンシー
処理
DB向きなHWアーキテクチャ
システムリソースのボトルネックを
解消することで大幅な性能向上。
DWH専用 RDBMSの提供
Insight Qubeで解決
待機イベントの発生回数や待機時間
による問題点の特定
各種データベース統計情報の取得
(v$表、オブジェクト統計情報)
OSリソースの使用状況調査と
ボトルネック特定
⇒ インデックス作成、データベース
パラメータ変更、アプリ改修…
製品/コンサルティングで解決

そもそもInsight Qubeとはなにか
Low Performance
メモリの容量が少ないためI/Oが多発し、また
I/Oの制約によって全体性能は制限されていた
High Performance
I/O制約を取り除き、さらに大容量メモリによるLatency
向上とI/O抑制により、CPU性能を最大限に発揮
CPU/Mem
NFS/SAN/iSCSI
HDD
CPU/Mem
SSD
InfiniBand
＜
＜
≦
たった4つしかないデータベースのボトルネック要素(システムリソース)の
帯域を拡げ CPU性能を最大限に発揮するよう設計されたサーバーである

Insight Qube 第1章
極限までの
速さの追求

Insight Qubeが登場したころ…
• 6コア(Westmere-EP) 〜 8コア(Sandy Bridge EP)
• 32GB LR-DIMMがまだ高価
• ストレージ用は16Gbps FC
• サーバ間通信は10Gbps Ethernet
• HDDが中心
• SSDはまだ高価。耐久性も不安

ボトルネックはどこにあるか

DBに耐えうるSSDを探して
0
100
200
300
400
500
600
4KB 8KB 16KB 64KB 1MB 4KB 8KB 16KB 64KB 1MB
Read Write
Client-A Client-B Client-C Ent SATA-A
Ent SATA-B Ent SATA-C Ent SAS-A Ent SAS-B

InfiniBandを使いこなす
Insight Qube開発当時のInfiniBandプロトコルスタック
55%65%80%

アプライアンスに伍する性能に
0
500
1000
1500
2000
2500
3000
3500
4000
日次バッチ A 日次バッチ B 日次バッチ C 日次バッチ D 日次バッチ E 月次バッチ全体
93 100 142
511 516
2122
191 105 174
448
1043
3287
314
375
174
807
1599
3606
Insight Qube DB専用機 (国内メーカー) DBアプライアンス製品
実顧客での PoCテスト内容：
元データ約800GBに対する各種日次/月次バッチ処理の処理時間を比較
処理時間（秒）
Oracle
Insight Qube 構成
<DBサーバ 2台>
Oracle 11gR2, RAC構成(2node)
CPU: Xeon E5-2680 (2.7GHz/8core)
Memory: 512GB
<ストレージサーバ 3台>
4.3TB(実効容量2.15TB)
1ストレージサーバあたり: 240GB SSD × 6枚

Insight Qubeを提供してきてわかったこと
導入実績 77社 182サーバ *1
業種別導入比率 Database別導入比率
主な導入企業名（敬称略、順不同）
 株式会社マクロミル
 メディカル・データ・ビジョン株式会社
 ミルボン株式会社
 タワーレコード株式会社
 マンパワーグループ株式会社
 全国酪農業協同組合連合会
 株式会社日本医薬総合研究所
 株式会社NTTぷらら
 株式会社ネットプロテクションズ
情報通信業
製造業
卸売・小売
金融・保険
サービス業建設業
Oracle
Vector
SQL Server
Hadoop
InfiniDB
PostgreSQL
*1 2016年3月実績

ハードウェアはアナログの世界

突然ですが、ここで簡単Insight Qubeクッキング
InfiniBand
ストレージノード
データベースノード
Real Application Cluster
Automatic Storage Management / Oracle Clusterware
これを作ってみよう！

突然ですが、ここで簡単Insight Qubeクッキング
1. InfiniBandを使えるようにしよう！
InfiniBandメーカー提供のOFED（ドライバ類）をインストール
2. SRP接続のためのドライバ(SCST)をインストールしよう！
OSパッケージにはないのでソースコードからコンパイル
3. データベースノードからストレージノードのどのSSDに接続しているの
かわかるようにしよう！
ストレージノードのどのスロットに入っているかをSAS HBAカードのツールから確認
どのストレージノードかがわかるようにOFED提供のスクリプトにパッチを当てて追
加情報をデータベースノード側に通知できるようにする
4. あとは接続したSSDをASMで使ってOracle RACを構築すれば出来上がり！
ただし監視ツールはもろもろスクリプトで作ってね

構成ガチガチはアプライアンスの常ですが…
カーネルパッチを当てたい！
OFEDとSCSTの再インストールも忘れずにね。あと再
インストールしたらパッチを当てたスクリプトがもと
に戻っちゃうのでこれもなんとかしてね。
InfiniBandの動きがちょっと変…
カードのファームウェアをアップデートしてね。あ、
クラスタ内で複数バージョン混在していると誤動作の
もとだから全ノードアップデートしてね！
SAS2からSAS3にモデルチェンジで
高速化だ！
スロット情報を読み取るツールはSAS2とSAS3で別だ
からIQのスクリプトを修正してね。ついでにSAS2の
ツールもバージョンアップしたら表示内容が変わる
からIQスクリプトの修正が必要だよ。
新バージョンのOracleを使うぞ！
そのバージョンだとOSも新しいのが必要だね。新しいOS
だとドライバ類も新バージョンにしなきゃ。あ、新バー
ジョンだと設定ファイルの内容が変わっているから、そ
れを自動構成するIQスクリプトも全部直しておいてね！
…速さ最優先で密結合させすぎたかも。
(実はお客様希望で結構構成変更してました。)

Linux & Oracle以外はどうするの？

世の中は移り変わっていく…
オールフラッシュ？
当然でしょ。
あ、うちはこのとお
り、DBもVMware上に載
せましたから。
今や、業務システム
も大半はクラウド上
ですよ。

次期IQを2つの方向性で考える
より尖った
高速性能
より柔軟な
多用途構成

Insight Qube 第2章
速さと
使いやすさの
両立

柔軟なクラスタ構成のために：VxFlexOS
• 旧名：ScaleIO
• ブロックストレージを提供する
SDSとしてはおそらく最速
• 最小3ノードから構成可能
• Linux / Windows /VMwareをサ
ポート
• 冗長性もあり（2面ミラー、
ノード1台停止までOK）
• CPU負荷が低いのでサーバとク
ライアントが同居したHCI構成
が可能
• Dell EMC社製品（エンドースメ
ントいただきました）

仮想も物理もひとまとめ - HCDI
Oracle RAC Always On FCI
ストレージは全ノードで共有（VxFlexOS）
• 仮想環境が必須ではないため、ライセンスの都合上物理で残さなければならないDB
サーバもストレージをまとめることが可能。
• HCI構成（ComputeとStorageを兼ねる構成）以外にも、2-Layer構成（Computeノードと
Storageノードを分ける構成）も柔軟に選択可能。
DBのコア課金対策：
物理環境上の使用で
OK！

高速性能はハードウェアで確保
• 高速！とはいってもソフトウェアのオーバーヘッドはこれまでよりも確実に大きくなる。
• その点は初代Insight Qube登場時よりも高速化したハードウェアの性能でカバーする。
• よって特に肝となるSSDとネットワークの選定は引き続き重要。

エンタープライズ向けNVMe SSDの選定
0
500
1000
1500
2000
2500
3000
3500
1MB sequential read 1MB sequential write
MB/s (Threads = 512)
A社NVMe B社NVMe C社NVMe
0
100000
200000
300000
400000
500000
600000
700000
800000
4kB random read 4kB random write
IOPS (Threads = 512)
A社NVMe B社NVMe C社NVMe
• モデルにより性能差はあるが、有名どころのメーカー製だとほぼカタログスペック通りの数値が出る。
• エンタープライズモデルであればsteady state時の値がカタログスペックとなっている。

ネットワークは？
InfiniBand Ethernet
スループット 100Gbps（200Gbpsも発表済み） 100Gbps（200Gbpsも発表済み）
低レイテンシ対策低レイテンシの各種RDMAプロト
コルをサポート
RoCE(RDMA over Converged Ethernet)や
TCP/UDP/IP等のオフロード機能
プロトコル（ストレージ） iSER, SRP, NVMe-oF NVMe-oF
TCP/IP動作（VxFlexOSはここ） IPoIB経由ネイティブ
扱いやすさ扱いづらいが知見あり扱いやすい（外部と繋げなければ）
対応アプリケーション
(SDS, クラスタウェア等)
ネイティブ対応はごくわずか
大半はIPoIB経由で動作
ほぼ全て
InfiniBand vs. Ethernet
柔軟性を評価してEthernetを採用

SDSとしての性能は？
ノード数 1Uサーバ3台（うち2台DB, Str兼用、1台Str専用）、スイッチ2台（横に並べて1U）
Ethernet 40Gbps 2ポート 1ポートずつ各スイッチに接続
チーミング(bonding)はせずに各ポートにIPアドレスを振って使用
MTUは9000に設定
CPU, メモリ（1ノードあたり） CPU: Xeon Gold 5122(4core) x2個 Memory: 128GB
SSD（1ノードあたり） A社製（あまり性能が良くないやつ）1GB NVMe SSD x4枚
VxFlexOS設定パフォーマンスモードに設定、2.4TBボリュームを1つ切り出しDBノード2台にマウント
検証環境

ストレージの単体性能を確認
0
1000
2000
3000
4000
5000
6000
7000
8000
1MB sequential read 1MB sequential write
MB/s (Threads = 512)
A社NVMe 1枚 VxFlexOS (NVMe 12枚)
0
50000
100000
150000
200000
250000
300000
350000
IOPS (Threads = 512)
A社NVMe 1枚 VxFlexOS (NVMe 12枚)
0
0.05
0.1
0.15
0.2
0.25
0.3
Response time (ms)
(Threads = 1)
VxFlexOS (NVMe 12枚)
• VxFlexOSと、搭載しているNVMe SSDの1枚あたりの単体性能とを比較。
• スループットはHW性能の1/2、IOPSでは1枚分以下の性能(1/12以下)となっている。
やはりSWオーバーヘッドは大きい。
ただし低負荷でのレイテンシはDB利用を考えても十分に低い値をとっている。

Oracle載せてちゃんと動くの？
• VxFlexOSからボリュームを切り出し、ASM外部冗長デバイスとして使用
• Oracleを通したストレージ処理能力をcalibrate_ioで測定
• OLTP能力をベンチマークツール(swingbench)で測定
• 従来型IQクラスタ（第1世代）と比較
• 下の通り結構バラバラな環境なので単純比較はできないが…
従来型IQ（第1世代） VxFlexOS
CPU Xeon E5-2680
(2.7GHz 8core) x2
x2 node = 合計32core
Xeon Gold 5122
(3.6GHz 4core) x2
x2 node = 合計16core
SSD SAS2 SSD 16枚
1枚あたり約500MB/s
 合計8GB/s
NVMe SSD 12枚
1枚あたり約1.6GB/s
 合計19.2GB/s
Network InfiniBand QDR (40Gbps)
1ノードあたり4ポート
40Gbps Ethernet
1ノードあたり2ポート

スループットは十分。IOPSは…
0
1000
2000
3000
4000
5000
6000
7000
8000
スループット(MB/s)
IQ第1世代 VxFlexOS
0
50000
100000
150000
200000
250000
300000
350000
400000
450000
500000
IOPS
Calibrate_io結果

IQ Clusterの後継者としては上出来
0
200
400
600
800
1000
1200
1400
1600
1800
2000
TPS
0
2
4
6
8
10
12
14
秒
Response time
swingbench （10セッション）結果
※値が小さい方が高性能
• 実はDB（OLTP処理）でもっとも処理能力に影響するストレージ性能はレイテンシ。
• VxFlexOSは十分に低レイテンシであるため、NVMe SSDの性能をスポイルせずに従来型IQ以上の処理性能を発揮。
※ CPU1コアあたりの処理能力はVxFlexOSマシンがIQ第1世代の約1.4倍（SPECintより）。

IOPSだって本当はいうほど悪くないんだけど
0
50000
100000
150000
200000
250000
IOPS
IOPS (4k Random Read)
某社ストレージ VxFlexOS
参考：ディスクベンチマーク(vdbench)の結果
0
1000
2000
3000
4000
5000
6000
7000
8000
MB/s
スループット(1M Seq Read)
某社ストレージ VxFlexOS
• 従来型IQはOracle ASMに特化した構成でちょっとずるいので、一般的なオールフラッシュストレージと比較してみ
る。
• 某社のオールフラッシュストレージと比較すると、IOPSは逆にVxFlexOSの圧勝。
• スループットはネットワークの差（某社ストレージは10Gb Ethernetを2本接続）がそのまま両者の差に。

DEMO: いろいろ負荷をかけてみる

ここで難問：DBライセンスとCPU

無理にHCI構成にしなくてもOK
DB & Str
DB & Str
Str Str
Str
Str
DB
DB
• VxFlexOSでは無理にHCI構成にする必要はない。要件に応じて2-Layer構成も可能。
• 1CPUのライセンス縛りがあるDBノードと2CPU搭載してNVMeを大量に使いたいスト
レージノードを分けて構成することでOracle SE2にも対応。
HCI 2-Layer

EOL時のHW更新も柔軟に
Oracle RAC Always On FCI
VxFlexOS
• ストレージを1台毎に交換していくことで、データ移行なくストレージ用HWの更新を
行うことが可能。
• DBの停止なくHW更新が可能なDBソリューション（例：Oracle RAC）と組み合わせるこ
とで、DB / Storageともに無停止でHW更新が可能。

DBに不可欠なバックアップは…
Virtual Data Pipeline™
取得
アプリケーション単位
ネイティブフォーマット
永久増分バックアップ
管理
物理コピーは1面、差分による世代管理、
任意の場所に保管
マルチクラウド、マルチディレクション
プライベート
クラウド
活用
容量消費なく仮想コピー生成、
任意の場所で即時アクセス
リカバリー災害対策
データ移行クラウド移行
開発とテストデータ分析

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Mehr von Insight Technology, Inc.

Mehr von Insight Technology, Inc. (20)