オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン発表資料）

© 2020 NTT DATA Corporation 1 © 2020 NTT DATA Corporation
第15回 PostgreSQLアンカンファレンス@オンライン
オンライン物理バックアップの
排他モードと非排他モードについて
2020年7月30日
株式会社NTTデータ藤井雅雄 @fujii_masao

© 2020 NTT DATA Corporation 2
藤井雅雄 @fujii_masao
Database Technical Lead @ NTTデータ
データベース研究開発、PostgreSQL 技術支援
PostgreSQLコミッタ
レプリケーション(非同期 / 同期 / カスケード / クォーラムコミット)
WAL圧縮、バックアップ進捗
pg_bigm(全文検索モジュール)コミッタ
自己紹介

本講演について
講演資料は、後日、NTTデータのSlideShareアカウント上で公開予定です。
https://www.slideshare.net/nttdata-tech
以前のアンカンファレンスの講演資料は公開済です。
PostgreSQL 13 での pg_stat_statements の改善について
PostgreSQL 13 での pg_basebackup の改善について
PostgreSQL 13 でのレプリケーション関連の改善について

オンライン物理バックアップの
排他モードと非排他モードについて

PostgreSQLで利用できるバックアップ手法
バックアップ
論理バックアップ
(SQLダンプ)
pg_dump /
pg_dumpall
物理バックアップ
オフラインバックアップ
(コールドバックアップ)
独自スクリプト(pg_ctl
stop + rsyncなど)
オンラインバックアップ
(ホットバックアップ)
pg_basebackup
外部ツール(pg_rman、
Barmanなど)
独自スクリプト
(pg_start_backup +
pg_stop_backup)
排他モード
非排他モード

PostgreSQLで利用できるバックアップ手法
バックアップ
論理バックアップ
(SQLダンプ)
pg_dump /
pg_dumpall
物理バックアップ
オフラインバックアップ
(コールドバックアップ)
独自スクリプト(pg_ctl
stop + rsyncなど)
オンラインバックアップ
(ホットバックアップ)
pg_basebackup
外部ツール(pg_rman、
Barmanなど)
独自スクリプト
(pg_start_backup +
pg_stop_backup)
排他モード
非排他モード
今日取り上げるバックアップ手法

ご存じでしょうか？
非排他的な手法が推奨され、
排他的な手法は推奨されず、将来的に削除されます。
https://www.postgresql.jp/document/current/html/continuous-archiving.html#BACKUP-LOWLEVEL-BASE-BACKUP

排他モード
① バックアップモードの開始
$ psql -c "SELECT pg_start_backup('mybackup')"
② DBクラスタのバックアップ
OSコマンドやスナップショットなどを使って、DBクラスタと全テーブルスペースを物理的にバックアップ
$ cp -a $PGDATA /tblspc1 /tblspc2 /backup
③ バックアップモードの終了
$ psql -c "SELECT pg_stop_backup()"

非排他モード
① バックアップモードの開始
$ psql
=# SELECT pg_start_backup('mybackup', false, false)
② DBクラスタのバックアップ
OSコマンドやスナップショットなどを使って、DBクラスタと全テーブルスペースを物理的にバックアップ
$ cp -a $PGDATA /tblspc1 /tblspc2 /backup
③ バックアップモードの終了
=# SELECT pg_stop_backup(false);
④ backup_labelとtablespace_mapのバックアップ
pg_stop_backup()の戻り値の内容から
backup_labelとtablespace_mapの2つのファイルを作成して、バックアップに含める
・第3引数にfalseを指定
・pg_start_backupを実行したセッションを
pg_stop_backupまで維持
・第1引数にfalseを指定
・pg_start_backupを実行したセッションで
pg_stop_backupを実行

非排他モード
=# SELECT * FROM pg_stop_backup(false);
lsn | labelfile | spcmapfile
-----------+---------------------------------------------------------------+-------------------------------
0/3000138 | START WAL LOCATION: 0/3000028 (file 000000010000000000000003)+| 16386 /dav/head-pgsql/tblspc2+
| CHECKPOINT LOCATION: 0/3000060 +| 16385 /dav/head-pgsql/tblspc1+
| BACKUP METHOD: streamed +|
| BACKUP FROM: master +|
| START TIME: 2020-07-06 23:55:11 JST +|
| LABEL: mybackup +|
| START TIMELINE: 1 +|
| |
(1 row)
backup_label tablespace_map
④-2 backup_labelとtablespace_mapをバックアップに格納
$ mv backup_label tablespace_map /backup
④-1 pg_stop_backup()の戻り値からbackup_labelとtablespace_mapのファイルを作成

排他モードと非排他モードの比較
排他モード非排他モード
利用可能なバージョン 8.0以降 9.6以降
バックアップの
同時実行可能数
1 複数
pg_start_backupと
pg_stop_backupを
実行するセッション
同じまたは異なるセッション
 バックアップ中のセッション断による影響はない
 pg_stop_backupを忘れるとバックアップ
モードは終了しない(次回のバックアップ取得
が失敗する)
同じセッション
 セッション断によりバックアップが失敗する
(pg_start_backupからやり直し)
 セッションが切れればバックアップモードは終了
する
backup_labelと
tablespace_mapの
作成
pg_start_backupがDBクラスタ内に作成
 DBクラスタをバックアップすれば、各ファイルは
自動的にバックアップに含まれる
 バックアップ中にPostgreSQLがクラッシュす
ると、クラッシュリカバリが失敗する可能性があ
る(backup_labelがDBクラスタ内にある状
態でクラッシュリカバリが始まるため)
pg_stop_backupからユーザが作成
 ユーザが各ファイルをバックアップに含める必要
がある
 左記のリカバリ失敗の可能性はない(DBクラ
スタ内にbackup_labelは存在しないため)

排他モードでバックアップ中にクラッシュした場合のリカバリ失敗について
pg_start_backup
CHECKPOINT
1
2
3
4
5
? WALファイル
凡例
クラッシュ
CHECKPOINT
pg_stop_backup
各操作とWAL生成の流れ
クラッシュリカバリでは
最新CHECKPOINT
以降のWALを適用
backup_labelがある状態で
クラッシュリカバリが始まると、
pg_start_backup以降の
WALを適用
• backup_labelが
pg_start_backup以降
のWAL適用を指示
 ②～④のWALが削除済だと
リカバリ失敗
 未削除の場合もリカバリ時間
が長くなる

ご存じでしょうか？
非排他的な手法が推奨され、
排他的な手法は推奨されず、将来的に削除されます。
https://www.postgresql.jp/document/current/html/continuous-archiving.html#BACKUP-LOWLEVEL-BASE-BACKUP

排他モードを削除するパッチ
v14で排他モードを削除するパッチが提案されている
Remove deprecated exclusive backup mode
https://commitfest.postgresql.org/28/1913/
削除についてまだ議論中だが、v14で削除となる可能性が高い(ように見える)
• リカバリ失敗のリスクを危険視する開発者が多い
• 排他モードを利用中のユーザがいるため削除に反対する意見もあるが少数
• 「排他モードは将来的に削除」とv9.6で明記してから、v14リリース時には5年経過済
排他モードが削除されても問題ないでしょうか？

排他モードの削除に備えて
1. pg_basebackupまたは外部ツールに移行できるのであれば移行する
2. 独自スクリプトを改修して、非排他モードに移行する
3. (排他モードの必要性を強くコミュニティで主張して、排他モードを削除させない)

排他モードから非排他モードへの移行例
$ psql -c "SELECT pg_start_backup('test')"
$ cp -a /pgdata/data /backup
$ psql -c "SELECT pg_stop_backup()"
$ psql -f backup.sql
SELECT pg_start_backup('test', false, false);
¥! cp -a /pgdata/data /backup
SELECT
pg_file_write('/tmp/backup_label', labelfile, false),
pg_file_write('/tmp/tablespace_map', spcmapfile, false)
FROM pg_stop_backup(false);
¥! mv /tmp/backup_label /tmp/tablespace_map /backup/data
排
他
モ
ー
ド
非
排
他
モ
ー
ド
・同一セッション内でpg_start_backupと
pg_stop_backupを簡単に実行できるように、
バックアップのすべての操作をpsql内で実行する
・OSコマンドはpsqlメタコマンドの¥!を介して実行
・pg_stop_backupからのbackup_labelと
tablespace_mapの作成には、
pg_file_write関数を使う
・pg_file_write関数を使うにはadminpackの
エクステンションをCREATE EXTENSIONする
必要がある(セキュリティ上の問題がないかは要確認)

まとめ
pg_start_backupとpg_stop_backupを使ったバックアップには
排他モードと非排他モードがある
排他モードは将来的に削除される予定 (v14で削除の可能性がある)

オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン発表資料）

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン発表資料）

Ähnlich wie オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン発表資料） (20)

Mehr von NTT DATA Technology & Innovation

Mehr von NTT DATA Technology & Innovation (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (6)