[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー平間大輔

* 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.
NVMe徹底検証
平間大輔
株式会社インサイトテクノロジー
ビッグデータ・ソリューション事業部

今回のお題は
NVM : Non-Volatile Memory = 不揮発性メモリ
• NVMeでどれだけ速くなるの？
• データベースで使って効果はあるの？
• 外部ストレージとしてもちゃんと使えるの？
ひたすら検証してみました

自己紹介
• Apple II発売開始の日に生まれた39歳
• 学生時代の所属ゼミの研究テーマは「データベース」
（ただし学部は文系の社会学部）
• 某外資系ITサービス会社（後に某外資系ハードウェアベンダーが
買収）にてアプリケーションエンジニア、DBA、プロジェクトマ
ネージャ等を10年ほど経験
• 2011年7月にOracle Databaseの技術コンサルタントとしてインサイ
トテクノロジーに入社
• 2012年に「ビッグデータ・ソリューション開発部」（当時）発足
と同時に所属。その後現在までデータベース専用サーバー
「InsightQube」やActian社の高速DWH向けRDBMS (Vector, Matrix)の
製品企画・プリセールス・デリバリー・サポート等を担当
• 暑さと湿気に弱い道産子

NVMeって？
• NVM Express (NVMe)とは、PCI Express(PCIe)でSolid-State Drive(SSD)
を扱うための規格
• 既存のPCIeをベースとすることでI/Fの柔軟性と安定性、スケーラ
ビリティーを確保
• 汎用I/FだったSCSIから脱却してSSDのコントロールに特化すること
で、プロコルスタックの簡素化やコマンド数の削減(SCSI:200以上
→NVMe:20程度)に成功し、低レイテンシーを実現
• PCIeからCPUに直結する形となるためHBA/RAIDカードが不要とな
りこれらのコスト/オーバーヘッドも削減
• 業界団体(NVM Express, Inc.)によって規格策定が進められており、
Windows, Linux, Solaris, FreeBSDなど各種OSでIn-Boxドライバが提供
されているため、ベンダーロックインの心配なく使用することが
可能
これらの効果を見ていこう！

頭打ちとなるSAS/SATA
0
200
400
600
800
1000
1200
1400
SATA3/SAS2 SAS3
インターフェイス別SSDスループット
(1MB sequential read)
理論最大値実測値

PCI Express直結で限界突破
0
500
1000
1500
2000
2500
3000
3500
4000
4500
SATA3/SAS2 SAS3 NVMe
インターフェイス別SSDスループット
(1MB sequential read)
理論最大値実測値
※NVMeの理論値はPCI Express 3.0 x4でのもの。実測値も同じ環境。

データの流れを比較する
出典:
https://www.openfabrics.org/images/eventpresos/workshops2013/2013_Workshop_Tues_1130_Akerson
_NVMe_Overview.pdf
出典:
http://nvmexpress.org/about/why-nvm-express/

低レイテンシーを実現
0
0.02
0.04
0.06
0.08
0.1
0.12
random read random write
ミリ秒
Response time (I/O size 4kB, thread=1)
SAS3 NVMe

Queueの強化
• CPUコアごとに1つ以上のI/O Submission QueueとI/O Completion Queue、MSI-X(拡張メッ
セージシグナル割り込み)が設定される。CPUコア間でのキュー・割り込みが共有されな
いためコア間でのロック待ちなく動作が可能。
• 1つ当たり64k個のコマンドをキューイングできるキューを最大64k個持つことができ、
最大で2の32乗個のコマンドをキューイング可能。(SATAは深さ32、SASは深さ256の
キューが1個)
出典：http://nvmexpress.org/wp-content/uploads/2013/04/IDF-2012-NVM-Express-and-the-PCI-Express-SSD-Revolution.pdf

Queueの強化
出典：http://nvmexpress.org/wp-content/uploads/2013/04/FMS-2012-How-the-Streamlined-Architecture-of-NVM-Express-Enables-High-Performance-PCIe-SSDs.pdf
1. ホストがsubmission queueに書き込む
2. ホストがsubmission queueの末尾のポインタをdoorbellに書き込む
3. コントローラがコマンドをフェッチする
4. コントローラがコマンドを実行する
5. コントローラが完了メッセージをcompletion queueに書き込む
6. コントローラがMSI-X割り込みを発行する
7. ホストが処理を完了させる
8. ホストがcompletion queueの先頭のポインタをdoorbellに書き込む

IOPSが大きく向上
0
100000
200000
300000
400000
500000
600000
700000
IOPS
I/O size=4kBでのIOPS (threads=512)
SAS3 NVMe

高負荷時も低レイテンシー
0
1
2
3
4
5
6
7
8
9
random read
thread 1
random read
thread 16
random read
thread 128
random read
thread 512
random write
thread 1
random write
thread 16
random write
thread 128
random write
thread 512
ミリ秒
threads
Response time (thread数を増やした場合の変化)
SAS3 NVMe

Enterprise用途で使うには
形状：
• PCI Express add-in card
• U.2 (別名SFF-8639、2.5インチ PCI Express x4、hot swap可能)
• M.2 (Enterprise用途ではあまり使われない)
構成時の注意：
• HBA/RAIDカード不要
 よってRAIDカードによるHW RAIDは構成できない
• IPMI経由での管理が可能
• 最新OS (RHEL6.5以降、Windows Server 2012R2など)ではOS標準の
ドライバが提供済み

カタログスペックと実測値
製品
128k Sequential
Read (MB/s)
4k Random
Read (IOPS)
128k Sequential
Write (MB/s)
4k Random
Write (IOPS)
カタログ実測カタログ実測カタログ実測カタログ実測
A社 3.2TB 3000 2954 743000 745008 1600 1469 140000 246252
B社 800GB 3100 2830 660000 680361 2350 2544 185000 208374
C社 3.2TB 3200 2761 800000 742575 2100 1888 170000 184638
D社 1.2TB 2800 2878 700000 743282 1300 1236 180000 224579
※ DWPDはB社製品のみ10、あとは3のモデルを検証。 512 threads時の値を記載。
• エンタープライズモデルのSSDはsteady state(一通り書き込みがなされて性能が安定した
状態)の性能をカタログスペックとして載せている。
• カタログスペックはおおむね信用できるが、やはり実測値とのずれはある(測定方法の
違い、測定機器の違い、ドライバの違いetc…)。
• 可能であればやはり実際に使用する環境で実際のワークロードに近い負荷をかけて測定
してから選びたい。
• なお、同一製品でも容量やDWPDの差によって性能にも差がある(特にrandom write)こと
に注意。検証の際は自分が使用する予定の容量・DWPDのものを使うこと。

DB用途で効くのはどこ？
• DWH(OLAP)系処理
シーケンシャルI/Oにおけるスループット性能が高
いストレージが効果的
• OLTP系処理
ランダムI/OにおけるIOPSの高さ、およびログファ
イル書き込みにおける低レイテンシーが求められる
NVMeはどちらも得意なはず
実際に検証してみよう

Oracle入れて動かそう！
SAS3 NVMe
• Intel Xeon E5-2667 v3 x2個 (16 core)
• 256GB Memory
• OS: Red Hat Enterprise Linux 7.2
※プロトタイプ版のスペックです。製品版のCPUはE5-2600 v4
ファミリーとなります。
SAS3, NVMeそれぞれ2枚1セットでOracle ASMの
ディスクグループを構成。ディスクグループは
通常冗長性(2重化)とする。
Oracle Database 12c Enterprise
Editionを使用するが、
PartitioningやIn-Memoryなど
のオプションは使用しな
い。
InsightQube NVMeモデルを使う！
近日プレスリリース予定…
でもSQL Server 2016 SSD Applianceとしては発表済み
https://www.microsoft.com/ja-jp/server-cloud/products-SQL-Server-2016-SSD.aspx
…結果は？

DWHでは…
0
200
400
600
800
1000
1200
SAS3 NVMe
秒
TPC-H SF=100GB
Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11
Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22

DWHでは…
• 大きなブロックサイ
ズのreadが主なI/O
ワークロード
• DBの処理時間はCPU
と比較してI/O待ちの
時間が長い
• よってSequential
readのスループット
の違いが処理速度の
違いに直結する

• HammerDBを使用してTPC-Cを実行
• 各インスタンスには32GBのメモリを割り当て
• REDOログファイルは500MBを10個用意
• データファイルもREDOログと同じディスクグループに配置
• それ以外の設定(初期パラ等)はdbcaでの作成時のデフォルト
• スケールファクター(warehouseテーブルの行数)を1000としてデータベー
スを作成 (スキーマサイズ：約90GB)
• 同時セッション数128で処理を実行
• 1セッションあたり100,000回処理し、最後のセッションが終了するまで
の時間を測定してTPS(Transactions Per Sec)を計算
OLTPでは… ??????

10330.91
11873.84
0
2000
4000
6000
8000
10000
12000
14000
SAS3 NVMe
TPS (Transactions Per Second)
OLTPでは…

OLTPでは…
• Small size writeが主なI/O
ワークロード
• 処理時間の大半はコミッ
ト処理(=log file sync)に費
やされる
• REDOログ書き込みのレイ
テンシーの差が処理性能
の差となる
• このベンチマークでのlog
file syncの平均時間はSAS3
が7ms、NVMeが6ms。Log
file parallel writeはSAS3が
3ms、NVMeが2ms。

やっぱりディスクは共有したい
InsightQube clusterモデルの基本構成
(InfiniBand SRPを使用)
出典：
https://www.openfabrics.org/images/eventpresos/workshops2015/DevWorkshop
/Monday/monday_10.pdf
• ストレージサーバーやフラッシュアプライアンスなど、NVMeを搭載した外部ストレージ
を接続するにはどうしたら良いか。
• ポピュラーな接続方法だとiSCSIやストレージ製品でよく使われるFibre Channel。
• 弊社製品のInsightQube clusterモデルなどInfiniBand接続ではRDMA (CPUを介さずに相手先マ
シンのメモリに直接データを転送する技術) を使うiSERやSRPといったプロトコルがよく使
われる。
• しかしこれらはすべて上でSCSIコマンドがやりとりされる。せっかくのNVMeなのに
ちょっともったいなくない？

iSCSIを使ってしまうと…
0
500
1000
1500
2000
2500
sequential read sequential write
MB/ｓ
スループット
SAS3 (local) NVMe (local) NVMe over iSCSI
0
100000
200000
300000
400000
500000
600000
700000
random read random writeIOPS
IOPS
SAS3 (local) NVMe (local) NVMe over iSCSI
• 何も考えずにOS標準のiSCSI機能を用いると上の通りスループット、IOPSともに大幅に性能
が落ちてしまう。
• 通常はもう少し考慮してNICのオフロード機能やRDMA対応のプロトコル(iSER, SRPなど)を
使うことが想定されるが、それでもSCSIのプロトコルに変換することによるオーバーヘッ
ドからは逃れられない。

強い味方:NVMe over Fabrics
出典：https://www.openfabrics.org/images/eventpresos/workshops2015/DevWorkshop/Monday/monday_10.pdf
• RDMA(InfiniBand, RoCE, iWARP)の高速通信を使って、あたかもローカル
のNVMeにアクセスするようにNVMeをアクセス可能！
• 2016/6/5（私の誕生日）にSpecificationのRevision 1.0が公開！

NVMe over Fabricsの構成
出典：http://www.nvmexpress.org/wp-content/uploads/NVMe_FMS_2015_Presentations.zip
zipファイル内の FMS 15 - NVM Express over Fabrics - Performance and emerging NVM impact-....pdf
ホスト側ターゲット側

iWARPを使ってみました
• Chelsio T580-LP-CR (40Gigabit Ethernet Adapter)
• Chelsio社のNICではRDMAでTCPを転送するiWARPが使用可能
• Chelsio社提供のNVMe over Fabricsテストコードを使用
• コミュニティ版のコードも以下で公開済みだが、まだ安定していないらしい…。
git://git.infradead.org/nvme-fabrics.git
• RHEL 7.2のカーネルを入れ替えて実行

ローカルと遜色なし！
0
500
1000
1500
2000
2500
sequential read sequential write
MB/ｓ
スループット
SAS3 (local) NVMe (local)
NVMe via iSCSI NVMe over Fabrics
0
100000
200000
300000
400000
500000
600000
700000
IOPS
IOPS
SAS3 (local) NVMe (local)
NVMe via iSCSI NVMe over Fabrics

レイテンシーも健闘
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
ミリ秒 Response time (I/O size 4kB, thread=1)
SAS3 (local) NVMe (local) NVMe via iSCSI NVMe over Fabrics

レイテンシーも健闘
0
1
2
3
4
5
6
7
8
9
random read
thread 1
random read
thread 16
random read
thread 128
random read
thread 512
random write
thread 1
random write
thread 16
random write
thread 128
random write
thread 512
ミリ秒
threads
Response time (thread数を増やした場合の変化)

NVMe over FabricsでOracle!
NVMeNVMe
iSCSI NVMeOF
• InsightQube NVMeモデルをもう1台用意
し、その間をChelsio社の40Gbit Ethernetで
直結する。
• ターゲット側のNVMeを2枚ずつiSCSIと
NVMe over Fabricsでイニシエータ側に接続
し、それらのディスクをASMのディスクグ
ループとしてセットアップし、Oracleで使
用可能とする。
40GbE
結果は…
わかりますよね？

NVMe over FabricsでDWH!
0
200
400
600
800
1000
1200
1400
秒
TPC-H SF=100GB
Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11
Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22

10330.91
11873.84
10423.45
11091.85
0.00
2000.00
4000.00
6000.00
8000.00
10000.00
12000.00
14000.00
TPS (Transactions Per Second)
NVMe over FabricsでOLTP!

実は…
• NVMe over FabricsのコードがマージされたLinux kernel
がリリースされるのはもう少し先（おそらく4.7）。
• さらにRHELやUbuntuがこのコードをバックポートする
のはおそらくもっと先。
• ディスク障害時の動作など、実際の運用に必要な動作
についてはさらに検証・作り込みが必要
• SRPなどでも同じですが…
• ちなみにターゲット側でNVMeを抜いただけだとホスト側は無
反応でした。
• 次に起こるのはネットワークボトルネック。100Gbitで
も足りない！
• 今回の40Gbit Ethernetだと2本で上限
• InsightQubeだとNVMeが最大8本搭載できてしまう

まとめ
• PCIeベースとすることでスループット・IOPSには絶大
な威力。DWH系処理では速度向上に直結。
• レイテンシー低下によりOLTPにも効果あり。ただし劇
的というほどではない。OLTP処理でもっと処理能力を
上げるには、別のソリューション(NVDIMMとか)が必要
かも。
• ノード間接続はNVMe over Fabricsが今後の標準。NVMe
の性能の優位性をそのまま確保できる。
• ただし実用的に使えるようになるにはまだ時間がかか
りそう。

[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー平間大輔

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (19)

Ähnlich wie [db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー平間大輔

Ähnlich wie [db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー平間大輔 (20)

Mehr von Insight Technology, Inc.

Mehr von Insight Technology, Inc. (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (11)