[db tech showcase Tokyo 2015] C25:HP NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか by 日本ヒューレット・パッカード株式会社原敏光

© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HPNonStopSQLはなぜグローバルに分散
DBを構築できるのか、データの整合性を
保てるのか
2015年 6月11日
日本ヒューレット・パッカード株式会社
プリセールス統括本部サーバー技術本部
原敏光 (後藤宏発表)

© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2
原敏光
経歴
日本タンデムコンピューターズ入社後、金融・通信業を中心に、NonStopサーバー
（当時Himalaya）を中核としたシステム開発、導入に従事。その後、NonStop SQLな
どの製品サポートを経験し、一時Windows Cluster（コードネームWolfpack）の立ち
上げに関与。現在も継続してミッションクリティカルの技術に携わりながら、DRソ
リューション、ハイブリッドシステム、ビッグデータ対応などの先進ソリューションを
提案するアーキテクトとして活動中。
原敏光
日本ヒューレット･パッカード
EGプリセールス統括本部
サーバー技術本部
シニアITスペシャリスト
専門分野
ミッションクリティカル基盤立案、大規模OLTP構築、統合DB構築など
私のこだわり
機械にトラブルはつきもの、しかし止まることを許されないシステムはますます増え、
当たり前になりつつあります。エンドユーザーが安心して常に利用できるサービス
を一緒に構築していきたい。可用性の追求に限界はありません。

自己紹介
Jim Gray を見て、これだ、と感じてはや24年。よもやこんなにデータベースにかか
わるとは思いもせず。以前は皆さんと同じどんな障害にも立ち向かうぞと徹夜もい
とわずでしたが、今やコンピューターシステムを信頼し、「ひと」ではなく「もの」に頑
張ってもらい、もっとクリエイティブな仕事をしようとしつこく「標準化」を唱える。
1986年非常勤講師 (統計学など)
1990年日本ディジタルイクイップメント入社
DEC Rdb (現Oracle Rdb) 支援
1992年 ISV 技術支援 (Oracle, Informix, Sybase)
2005年 IPA OSS実証プロジェクト参加
2010年「国境なき医師団 (Medecins Sans Frontieres=MSF)」へITでボランティア

垂直統合型無停止データベースプラットフォーム
HP NonStop SQLをご存知ですか？
4
3
2
止まらないDBサーバー
スケールアウト可能なDBサーバー
導入コスト・運用コストが削減可能
他データベースからの移行も容易に
1台のHP NonStop サーバーで他では実現できないレベルの可用性を提供
HW増設により直線的に性能増加が可能、ボトルネックのない並列構成
プラットフォーム費用、保守費用、運用ランニングコストすべて削減できます
他データベースと高い互換性を実現、移行ツールにより工数削減も可能
1

ワールドワイドでのお客様ご利用状況
HP NonStop SQLによるミッションクリティカルOLTPシステム
金融サービス通信・メディア
流通・製造
サービス
ヘルスケア
政府・公共機関
– ペイメントシステム
クレジット、デビット、
POS、資金決済
– 為替取引、証券取引
– 全世界の ATM トラン
ザクションの 70% を
処理
– 全世界のクレジット
カードトランザクショ
ンの 2/3 を処理
– HLR (Home Location
Register)
– インテリジェント・ネット
ワーク、第3世代サービス
メッセージング
– 世界最大の ISP にお
けるメッセージングシ
ステム
– HLR ソリューションで
管理されている端末
は3億以上
– 世界最大規模の自
動車メーカにおける
生産管理システム
– 世界規模の旅行予
約システム
– 生産管理、製造制御
– 受発注、チケット予約
– EDI、データ集配信
– 電子患者記録
– 国防関連
– 警察、消防の緊急指
示システム
– 多くの世界最大級の
大学付属病院を含
む、200以上の病院
– 国家安全保障

基幹データベースに求められる機能
「高性能」・「拡張性」
• 検索・更新のバランスの取れた
高速性が必要
• データ量、アクセス処理量の
増加に柔軟に対応できる
拡張性が求められる
「データ整合性の保証」
• HWのみに依存しない万全の
データ保全機能が必須
• トランザクション整合性が必須
この相反する要求をバランス良く満たすデータベース技術が求められているこの相反する要求をバランス良く満たすデータベース技術が求められている

性能の拡張性
• コンポーネントを横に並べ、並列処理により高速性と拡張性を確保する実
装が広く採用されている
• 特に疎結合型アーキテクチャは直線的な拡張性を提供できることが実証さ
れている
• ただし、一般的には参照系データベースに適用される技術である
 疎結合分散コンポーネント間でのトランザクション整合性保証を
実装しつつ、高性能・拡張性を確保するのは困難である
プロセッサ
OS
DB
プロセッサ
OS
プロセッサ
OS
DB
プロセッサ
OS
DB
インターコネクト
DB
古くて新しい課題、
• SMPか、MPPか
• 高いか、安いか
• 信頼性の確保は

そこに必要な技術とは
• 従来、2フェーズコミット処理は
非常に重く、利用を避けるべき
技術とされてきた
複数コンポーネント間のデータ更新を単一トランザクションとして
制御する「高性能 2フェーズコミット機能」を実装する必要がある
• トランザクション管理を実行する
モジュールがボトルネックになり易い
< 技術的課題 >
• オーバーヘッドを限界まで削減
− メッセージ交換オーバーヘッド
の削減
− 下位レイヤーでの実装
• 分散型トランザクション管理機能
− 各処理ノードで並列稼働する
トランザクション管理実装

HP Integrity NonStop X システム概要図
10Gb Ethernet
SASディスク
(HDD, SSD)
ディスクI/O
コントローラ
(Storage CLIM)
ディスクI/O
コントローラ
(Storage CLIM)
ディスク
サブシステム
ディスク
サブシステム
Ethernet
サブシステム
Ethernet
サブシステム
LANコントローラ
(IP CLIM)
メインCPU
モジュール
メインCPU
モジュール
XP7
(HDD, SSD)
InfiniBand FDR
LANコントローラ
(IP CLIM)
C7000エンクロージャに
ハーフハイトブレード
最大16台を搭載
C7000 エンクロージャ
背面に2台搭載
Bonding &
Fail over pair構成
4柔化された
ディスクI/Oパス
標準構成で単一障害点の無い冗長構成を提供
* 本情報はリリース前の内容を含みます。掲載の情報は予告なく変更されることがあります。

HP NonStop SQLの実装: オーバーヘッドを限界まで削減
1. CPU間通信にHWベースの高速通信機能を採用
− InfiniBand FDR
• HP ServerNet™のASIC実装を継承
• チェックサムによるデータ保護機能を内蔵
• ネットワーク型接続によりブレード数に応じた通信帯域を提供
• TCP/IP通信と比較し80%以上CPU負荷を低減 ※1
※1 … メッセージ長4KB、弊社社内性能試験結果より

HP NonStop SQLの実装
オーバーヘッドを限界まで削減
2. トランザクション管理機能をOSに統合
− トランザクション管理テーブルの更新機能をインタラプト処理内に実装
• プロセスディスパッチのオーバーヘッドを削減
• カーネルモードとユーザーモードのスイッチオーバーヘッドを削減

2フェーズコミット
フェーズ１ : コミット要求フェーズ
フェーズ２ : コミットフェーズ
コーディネータ
データ
Redo
Undo
ログ
DBMS
データ
Redo
Undo
ログ
DBMS
データ
Redo
Undo
ログ
DBMS
コミット
準備！コミット
準備！
コミット
準備！
完了! 完了!
完了!
データ
Redo
Undo
ログ
DBMS
データ
Redo
Undo
ログ
DBMS
データ
Redo
Undo
ログ
DBMS
コミット
確定！コミット
確定！
コミット
確定！
完了! 完了!
完了!
トランザクション
全体でコミットOK
コミット完了
ロック解放ロック解放ロック解放
Trx 101: ph1
Trx 101: ph1 Trx 101: ph1 Trx 101: ph1
Trx 101: ph2
Trx 101: ph2 Trx 101: ph2 Trx 101: ph2
単一トランザク
ションで、
3レコードを更
新します

データ
DBMS
Trx 101: ph1
InfiniBand
割り込みハンドラ
OSレベルでのトランザクション管理実装例
フェーズ１ : コミット要求フェーズ
特殊パケット
で返信
完了!
CPU宛て特殊
InfiniBandパケット
コミット準備！
コミット
準備！
完了!
トランザクション
全体でコミットOK
全CPUで同期されたトランザクション制御
テーブルを保持
データ
DBMS
Trx 101
InfiniBand
制御テーブルを
参照し処理実行
データ
DBMS
Trx 10:
InfiniBand
制御テーブルを
更新
Trx 101 Act CPU 0,1,2
Trx 100 Act
Trx 101 CPU 0,1,2
Trx 100 Act
Trx 101
Act
Act CPU 0,1,2
Trx 100 Act
プロセス
WAKE
Redo/Undo
ログ
Redo/Undo
ログバッファ
Redo/Undo
ログバッファ
システムで１つのログファイル
ログ
ディスク
プロセス-B
ログ
ディスク
プロセス-P
WALフラッシュ
WALフラッシュ
同時実行トランザクション数が多い
時は、複数パケットを単一パケット
に詰めて送信
（待ち時間を自動で調節）
Ph1
Ph1
Ph1

OSレベルでのトランザクション管理実装例
Disk processはWAITしていて、InfiniBandから特殊パケットを受信すると、割り込みハ
ンドラが関連するDisk processをWAKEします。（文字通りプロセスをディスパッチする
という意味です。）
プロセス間通信やsocket通信などではなく、割り込みレベルで関連プロセス間の同期
が処理されるという点がポイントです。
WAL = write ahead log

シングルデータベース
分散データベースへの拡張
並列アーキテクチャのCPU間距離を延伸することで、分散データ
ベースを実現
−理想的な疎結合アーキテクチャでは、通信速度・帯域さえ確保できれば、コンポー
ネント間の距離は問題とならない
−データ利用者からは透過的に、データ量の増加などに対応して最適な場所にデー
タを配置し、必要なデータアクセス性能を提供・維持できる機能を提供する
CPU CPU CPU
OS
DB
InfiniBand
OS
DB
OS
DB
CPU
OS
DB
サイトＡ
通信回線
CPU
OS
DB
CPU
OS
DB
InfiniBand
サイトＢ

分散データベースが提供する具体的な機能
1. 単一のテーブルのパーティションを、地理的に離れたノードに
透過的に分散配置することができる
2. 配置の変更も透過的に、データアクセスを実行中に実行できる
3. データ更新はトランザクション保護され整合性が保証される
アプリケーションからは単一データと同様に扱えながら、常に性
能面・管理面で最適なデータ配置を実現することを可能とする

分散データベース事例
アプリ１
アプリ２
アプリ２アプリ１
米国拠点
バックアップセンター
バックアップセンター
（米国）
東京拠点シングル
データベース
• 単一の“顧客テーブル“を、東京-米国のパーティション構成で保持
• 日本顧客のデータは東京ノードに、米国顧客のデータは米国ノードに配置
• アプリケーションは、世界中の顧客のデータを自由にアクセス可能
- 各拠点に接続のアプリの大半のアクセスはローカルノードで完結
- 多少のアクセス時間はかかるが、アプリケーションはデータ配置を
全く意識せずに全顧客のデータにアクセスが可能

木構造によるトランザクション管理の階層化
ノード間通信は遅延時間が大きいため、トランザクションコーディ
ネータを階層化し、ノード間のメッセージ数を削減することでグ
ルーバルトランザクション制御のオーバーヘッドを最小化する
ノード間メッセージ数
4×2 = 8メッセージ
サブ
コーディ
ネータサブ
コーディ
ネータ
ノード間メッセージ数
1×2 = 2メッセージ

サブ
サブ
Node A Node B
Trx 101: Orig Node=Node A Sub Node = ( A, B )
CPU 0 CPU 1 CPU 2 CPU 3CPU 0 CPU 1 CPU 2 CPU 3
Trx 101: Orig Node=Node A
CPU = ( 1, 2 )
Trx 101: Orig Node=Node A
CPU = ( 0, 2 )

HP NonStopサーバーでの実装例
1. ネットワーク接続されたノード間で、自動的にトランザクション
連携機能が提供される（特別な設定は不要）
2. 複数メッセージをまとめて送受信する等の最適化を実装
ローカルノードがトランザクション開始ノードの場合のコーディネー
タと、リモートノードがトランザクション開始ノードの場合のサブ
コーディネータの機能を兼ね備えたトランザクションモニタープロ
セス (TMP)がノード毎に起動される

重障害発生時の2pcの限界
2pcを厳密に適用し、データ整合性を堅持しようとすると、
障害発生時には復旧までデータのロックが持続してしまう
< 可用性に関する技術課題 >
• 2pcはネゴシエーション結果を互いに待ち続けられことを前提にデータ整合性を保証
するプロトコルである
• 実際のシステムではタイムアウト時間を設定し、コミット指示に対しRMやサブコーディ
ネータからの応答が返らない場合、まだコミットされていないものとして処理を続行す
るのが通常（Presume ABORT）
－コーディネータはトランザクションをロールバックし、制御テーブルから情報を削除
• 実際のデータ更新は、コミットされていてデータ整合性が損なわれてしまう可能性が
あるため、通常はあまり短いタイムアウト時間に設定することはできない

障害発生時の挙動
コーディ
ネータ
コミット指示サブ
準備完了
更新データ
＜ロック中＞
障害
発生
＜障害復旧後＞
コミット確定
コミット？？？
ロールバック？？？
コミットかロールバックか
確定するまでロックは
解放されない

Heuristic completion
• 実際には更新がCommitされている場合もあるため、データ整合性は保証
されていない
これがHeuristic completionの発生した状況である
• 障害を起こしたノードが再起動した時点で、データ不整合が発生したこと
が判明し、手動でのデータ修正が必要となる
許容される待ち時間を超えてコーディネータから応答が無い場合、
通常は障害が発生したと仮定しロールバックする (Presume Abort
実装の場合)

分散データベースに求められる “可用性”
• 障害時にも、業務で許容可能なタイムアウト時間内にトランザクション管理
機能が再開できる可用性が必須である
• 基幹業務の典型的なタイムアウト時間は最大でも数十秒であり、HP
NonStopサーバーは無停止機としてその要件を満たすことができる
データ整合性の保証が絶対な基幹データベースでは、Heuristic
ケースが発生しないノード可用性が必須である
無停止ノード B無停止ノード A
無停止ノード C
Trx
Log A
Trx
Log B
Trx
Log C
DB DB
DB
当然、ネットワークには
十分な冗長構成実装が
必要です

DBエンジンに組み込まれたプロセス2重化機能 (=プロセスペア)
「HP NonStop SQL」無停止実現のアーキテクチャー
• フェイルオーバー（再起動）ではなく、テイク
オーバー（処理継続）
秒単位の復旧を実現
• NonStop OS や、基幹ミドルウェアは、すべて
プロセスペアにて実装
• 2つのCPUに、2プロセスがペアとして存在する
• 実稼動するのはPrimaryプロセスのみ
• Backupプロセスは継続稼働に必要となる情報
をPrimaryプロセスから定期的に受信
• Primaryプロセスの異常終了や、CPUダウンが
起きると、自動的にBackupがPrimaryに昇格
し、ダウン直前の状態から処理を継続実行す
る
CPU 0 CPU 1 CPU 2 CPU 3
PrimaryBackup
Primary Backup
Primary Backup
PrimaryBackup
Primary Backup
CPU 0 CPU 1 CPU 2 CPU 3
Primary
Primary
Primary
PrimaryBackup
Primary Backup
CPU
障害

HP NonStop SQL の障害時挙動

分散データベースに求められる “自立性” (autonomy)
• HP NonStop SQLではアプリケーションコードで、「全てのデー
タがアクセス可能な時だけ処理を行う」、「アクセス可能な
データ範囲で処理を行う」を選択可能
• 一部のデータがアクセス不能と想定される場合、
SQLExceptionで警告が通知される
− 処理の続行、中止をアプリケーションで選択できる
万一の災害などでリモートノードがアクセス不能となった場合に
も、アクセス可能なデータの範囲で処理が実施できる自立性を
持つことが望まれる

まとめ
基幹グローバル分散データベースを可能とする
垂直統合型データベース技術「HP NonStop SQL」
1. 堅牢・高速かつ拡張性のあるトランザクション管理機能をOSレベルで実装
 必要な時にブレード追加。基幹データベースにスケールアウトの柔軟性！
2. 地理的分散データベースを実装可能とする、障害時にデータ不整合を起こさ
ない無停止トランザクション管理機能
 複数DCに常に最適なデータ配置を実現！
3. ミッションクリティカル領域での豊富な運用実績
 基幹データベースでお悩みの際にはHPにご相談下さい。

© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Thank you!
後藤宏
プリセールス統括本部
サーバー技術本部
サーバー技術二部部長
Hiromu.goto@hp.com
直通 050 3138 0848 携帯 090 8770 0963
FAX 03 5628 2698
日本ヒューレット・パッカード株式会社
本社
〒136‐8711
東京都江東区大島2‐2‐1

[db tech showcase Tokyo 2015] C25:HP NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか by 日本ヒューレット・パッカード株式会社原敏光

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (17)

Ähnlich wie [db tech showcase Tokyo 2015] C25:HP NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか by 日本ヒューレット・パッカード株式会社原敏光

Ähnlich wie [db tech showcase Tokyo 2015] C25:HP NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか by 日本ヒューレット・パッカード株式会社原敏光 (20)

Mehr von Insight Technology, Inc.

Mehr von Insight Technology, Inc. (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (7)