OSC東京2013/Spring_JPUG資料
•
21 gefällt mir•12,787 views
2013年2月23日のオープンソースカンファレンス2013 Tokyo/Spring のセッション「PostgreSQL バックアップ＆リカバリ入門」での資料です。
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie OSC東京2013/Spring_JPUG資料
Ähnlich wie OSC東京2013/Spring_JPUG資料 (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (10)
OSC東京2013/Spring_JPUG資料
- 1. PostgreSQL バックアップ & リカバリ 入門 オープンソースカンファレンス2013 2013-02-23 日本PostgreSQLユーザ会 佐藤 千佳
- 2. 日本PostgreSQLユーザ会 2 自己紹介 佐藤 千佳 （さとう ちか） 所属: 東京・池袋にある会社 Mail: metro.satock@gmail.com PostgreSQL との関わり 2007 年ごろからPostgreSQL 機能調査、周辺ツールを 含めた性能評価を実施
- 3. 日本PostgreSQLユーザ会 3 アジェンダ 1.PostgreSQL の紹介 2.バックアップ&リカバリとは 3.PostgreSQLで使用可能なバックアップ&リカバリ 4.PostgreSQL のアーキテクチャ 5.PostgreSQL のバックアップ&リカバリ方法 6.ツールの紹介
- 5. 日本PostgreSQLユーザ会 5 PostgreSQL とは... （1/3） 代表的なオープンソースの ORDBMS PostgreSQL ライセンスで配布 BSD ライセンスに類似 Linux をはじめほとんどの UNIX 系 OS で動く Windows や Mac OS X でも動く 日本語サイトが充実している 最新版の日本語ドキュメントがすぐにリリースされる 活発な意見交換の場（ML/勉強会/懇親会という名の...） 皆さん親切 … 等
- 8. 日本PostgreSQLユーザ会 8 PostgreSQL とは... （3/3） PostgreSQLのポータルサイト「Let's Postgres」 詳しくは Web で ！
- 12. 日本PostgreSQLユーザ会 12 バックアップ・リカバリとは...（1/2） データベース 社員表を バックアップ --- 社員表テーブル定義 CREATE TABLE 社員( ・・・ ); --- 社員表のデータ 1 田中 男 2 佐藤 女 3 鈴木 女 ・・・ バックアップとは データベースの内容を別ファイルに保存しておくこと 論理バックアップ 表の定義や格納されているデータなどをファイルに出力する 社員表の表定義と格納 されていたデータがバッ クアップされる
- 13. 日本PostgreSQLユーザ会 13 バックアップ・リカバリとは...（2/2） リカバリとは 失ったデータをバックアップファイルを使って復旧する こと ユーザーによるオペレーションミス メディア障害 システム障害 自然災害 ディスクのミラーリングだけで安心していません か ? ・ オペレーションミスは救えません ・ ミラーリングはバックアップではありません … 等
- 17. 日本PostgreSQLユーザ会 17 PostgreSQLで使用可能なバックアップ・リカバリ（3/3） ①① コールドバックアップとリカバリコールドバックアップとリカバリ ②② ホットバックアップとリカバリホットバックアップとリカバリ ③③ ポイント・イン・タイム・リカバリポイント・イン・タイム・リカバリ
- 20. 日本PostgreSQLユーザ会 20 PostgreSQL アーキテクチャ 「超」入門（2/5） データベース・クラスタのファイル構造の一部 ～ $PGDATA ～ ・・・ データベース・クラスタ ・・・ トランザクション・ログ格納ディレクトリ ・・・ パラメータ・ファイル ・・・ クライアント認証設定ファイル データベース・クラスタで共有する テーブルの格納ディレクトリ postmaster.pid pg_hba.conf postgresql.conf pg_xlog/ global/ pg_tblspc/ base/ テーブルスペースへのシンボリック リンク格納ディレクトリ ・・・ ・・・ データベース格納ディレクトリ ・・・ 起動中のPostgreSQL のプロセスID 記録ファイル（サーバ起動時のみ存在） ・・・
- 21. 日本PostgreSQLユーザ会 21 PostgreSQL アーキテクチャ 「超」入門（3/5） データベース・クラスタのファイル構造の一部 ～ $PGDATA ～ ・・・ データベース・クラスタ postmaster.pid pg_hba.conf postgresql.conf pg_xlog/ global/ pg_tblspc/ base/ ・ データベースに対する変更 履歴の記録ファイルを格納 ⇒一般的にトランザクション ログとよばれている ・ PostgreSQL 界ではこの ディレクトリに格納されている ファイルを WAL （ワル）とよぶ ⇒Write Ahead Log の略
- 24. 日本PostgreSQLユーザ会 24 PostgreSQL アーキテクチャ 「超」入門（4/5） WAL（トランザクションログ）とアーカイブログ WAL 1 WAL 2 WAL 3 WAL 4 WAL 2 WAL 3 WAL 4 WAL 5 これでは過去の 変更ログが なくなってしまう！！ 上書き（回収） される たまった WAL は PostgreSQL に 不要と判断されると・・・
- 25. 日本PostgreSQLユーザ会 25 PostgreSQL アーキテクチャ 「超」入門（4/5） WAL(トランザクションログ)とアーカイブログ WAL 1 WAL 2 WAL 3 WAL 4 WAL 2 WAL 3 WAL 4 WAL 5 WAL 1 WAL 2 WAL 3 WAL 4 これが アーカイブログ （WALアーカイブ）上書きされる前に WAL をコピー！
- 26. 日本PostgreSQLユーザ会 26 PostgreSQL アーキテクチャ 「超」入門（5/5） 各種 プロセス群 データ ベース データ ベース データ ベース PostgreSQL 用語の整理 WAL を コピーしたもの データベース への変更ログ WAL WAL WAL WAL アーカイブ コピー WALコピー WAL コピー WAL ＄PGDATA pg_xlog
- 27. 日本PostgreSQLユーザ会 27 PostgreSQL の バックアップ & リカバリ方法
- 28. 日本PostgreSQLユーザ会 28 PostgreSQL のバックアップ & リカバリ方法 ①① コールドバックアップとリカバリコールドバックアップとリカバリ ②② ホットバックアップとリカバリホットバックアップとリカバリ ③③ ポイント・イン・タイム・リカバリポイント・イン・タイム・リカバリ
- 29. 日本PostgreSQLユーザ会 29 コールドバックアップとリカバリ（1/4） バックアップの流れ 1.データベースを停止 2.$PGDATA を丸ごとコピー $ pg_ctl stop -w -D $PGDATA $ rsync -av $PGDATA $BACKUP/pgdata cpコマンド, tarコマンド, rsyncコマンド … 等
- 30. 日本PostgreSQLユーザ会 30 コールドバックアップとリカバリ（2/4） リカバリの流れ 1.データベースを強制終了 2.既存の$PGDATAを退避 3.バックアップファイルで$PGDATAを置き換える $ pg_ctl stop -m immediate -D $PGDATA $ rm -rf $PGDATA $ rsync -av $BACKUP/pgdata $PGDATA
- 31. 日本PostgreSQLユーザ会 31 コールドバックアップとリカバリ（3/4） 時間 $PGDATA ① 2013年1月31日 バックアップ取得 ② 2013年2月22日 障害発生 この間のデータは 失われる ③ $PGDATAを バックアップファイルで置き換える 2013年1月31日 のデータ $PGDATA バックアップ ファイル データベース 停止 データベース 起動 データベース 起動 データベース 停止 リカバリ時間 バックアップ 取得時間
- 33. 日本PostgreSQLユーザ会 33 PostgreSQL のバックアップ & リカバリ方法 ①① コールドバックアップとリカバリコールドバックアップとリカバリ ②② ホットバックアップとリカバリホットバックアップとリカバリ ③③ ポイント・イン・タイム・リカバリポイント・イン・タイム・リカバリ
- 34. 日本PostgreSQLユーザ会 34 ホットバックアップとリカバリ（1/10） バックアップの流れ 1.データベースが起動していることを確認 2.PostgreSQL のツールの1 つ pg_dump または pg_dumpall コマンドでバックアップ $ pg_ctl status pg_ctl: server is running (PID: xxxxx) $ pg_dump mydb > mydb_dump.sql
- 35. 日本PostgreSQLユーザ会 35 ホットバックアップとリカバリ（2/10） pg_dump と pg_dumpall の違い 論理バックアップには 2 つの方法がある pg_dump テーブル単位、データベース単位にバックアップ pg_dumpall データベース・クラスタに格納してある全てのデータ ベースをバックアップ
- 36. 日本PostgreSQLユーザ会 36 ホットバックアップとリカバリ（3/10） pg_dump と pg_dumpall の違い（つづき） pg_dump には 4 種類のバックアップ形式がある 1. 平文形式 SQL 文によるスクリプトファイルを作成（デフォルト） 2. カスタム形式 バイナリ形式の圧縮されたバックアップを作成 $ pg_dump –format=plain mydb > mydb_dump.sql $ pg_dump –format=custom mydb > mydb_dump.custom
- 37. 日本PostgreSQLユーザ会 37 ホットバックアップとリカバリ（4/10） pg_dump と pg_dumpall の違い（つづき） 3. ディレクトリ形式 バイナリ形式のバックアップを作成 テーブル単位で圧縮されたバックアップファイルを作成 4. tar 形式 バイナリ形式のバックアップを作成 テーブル単位でバックアップファイルを作成 $ pg_dump –format=directory mydb -f mydb_dump.directory $ pg_dump –format=tar mydb > mydb_dump.tar
- 38. 日本PostgreSQLユーザ会 38 ホットバックアップとリカバリ（5/10） pg_dump と pg_dumpall の違い（つづき） pg_dumpall のバックアップ形式は 1 種類 1. 平文形式 SQL文によるスクリプトファイルを作成 $ pg_dumpall > mydb_dumpall.sql
- 39. 日本PostgreSQLユーザ会 39 ホットバックアップとリカバリ（6/10） リカバリの流れ 1.データベースが起動していることを確認 2.psql または pg_restore コマンドでリカバリ $ psql -f mydb_dump.sql $ pg_ctl status pg_ctl: server is running (PID: xxxxx) 必要に応じて、事前に データベース・クラスタ やデータベースは作成 しておく
- 40. 日本PostgreSQLユーザ会 40 ホットバックアップとリカバリ（7/10） リカバリコマンドの違い バックアップ形式によってリカバリ方法が異なる 平文形式で取得した場合 : psql コマンド 平文形式で以外で取得した場合 : pg_restore コマンド $ pg_restore -C -d postgres < mydb_dump.custom $ psql -f mydb_dump.sql
- 41. 日本PostgreSQLユーザ会 41 ホットバックアップとリカバリ（8/10） バックアップ コマンド バックアップ 単位 出力形式 リカバリ コマンド pg_dump テーブル単位 データベース単位 平文（SQL) psql カスタム pg_restoreディレクトリ tar pg_dumpall 全てのデータベース 平文(SQL) psql コマンド対応表
- 42. 日本PostgreSQLユーザ会 42 ホットバックアップとリカバリ（9/10） 時間 $PGDATA ① 2013年1月31日 バックアップ取得 ② 2013年2月22日 障害発生 この間のデータは 失われる ③ psql または pg_restore コマンドで リカバリ 2013年1月31日 のデータ $PGDATA バックアップ ファイル リカバリ時間 バックアップ 取得時間
- 44. 日本PostgreSQLユーザ会 44 PostgreSQL のバックアップ & リカバリ方法 ①① コールドバックアップとリカバリコールドバックアップとリカバリ ②② ホットバックアップとリカバリホットバックアップとリカバリ ③③ ポイント・イン・タイム・リカバリポイント・イン・タイム・リカバリ
- 46. 日本PostgreSQLユーザ会 46 ポイント・イン・タイム・リカバリ（2/18） $ cat $PGDATA/postgresql.conf ~~ 略 ~~ wal_level = archive # PostgreSQL9.0 ~ のパラメータ archive_mode = on archive_command = '/bin/cp -i %p /mnt/server/archivedir/%f' ※ 注意 ※ このパラメータを変更し た場合、PostgreSQL の再起動が必要 ！！ ベースバックアップの取得 ① パラメータの変更 ＄PGDATA WAL データ ベース WAL をアーカイ ブするように設定
- 47. 日本PostgreSQLユーザ会 47 ポイント・イン・タイム・リカバリ（3/18） $ psql -c "SELECT pg_start_backup(label)" （）の中はメモ。 取得日時などに設定し ておくと分かりやすい。 ベースバックアップの取得 ② バックアップの開始を記録する ＄PGDATA WAL データ ベース
- 48. 日本PostgreSQLユーザ会 48 ポイント・イン・タイム・リカバリ（4/18） $BACKUP/pgdata $ rsync -av --delete –exclude=pg_xlog --exclude=postmaster.pid $PGDATA $BACKUP/pgdata ③ $PGDATA をコピー ベースバックアップの取得 rsync での 取得がオススメ ＄PGDATA WAL データ ベース
- 49. 日本PostgreSQLユーザ会 49 ポイント・イン・タイム・リカバリ（5/18） $BACKUP/pgdata $ psql -c "SELECT pg_stop_backup()" ④ バックアップの終了を記録する ベースバックアップの取得 ベースバックアップ ＄PGDATA WAL データ ベース
- 50. 日本PostgreSQLユーザ会 50 ポイント・イン・タイム・リカバリ（6/18） ベース バックアップ ベースバックアップの取得 時間 pg_stop_backup()pg_start_backup() ベースバックアップ 取得開始後に 発生した ＷＡＬ WAL 1 WAL 2 ＄PGDATA WAL データ ベース
- 51. 日本PostgreSQLユーザ会 51 ポイント・イン・タイム・リカバリ（6/18） ベースバックアップの取得 時間 pg_stop_backuppg_start_backup ベース バックアップ ＋ WAL 1 WAL 2 このセットで pg_stop_backup 時点のデータ
- 52. 日本PostgreSQLユーザ会 52 ポイント・イン・タイム・リカバリ（7/18） ベースバックアップの取得について PostgreSQL 9.1 から pg_basebackup コマンドを 使ってベースバックアップの取得に！！ コマンド 1 つでベースバックアップを取得 クライアント環境からも実行可能 $ pg_basebackup -h ＜接続先＞ -D $PGDATA --progress
- 53. 日本PostgreSQLユーザ会 53 ポイント・イン・タイム・リカバリ（8/18） PITR 時間 WAL アーカイブ 2013年2月22日 障害発生 2013年1月31日 バックアップ取得 ベース バックアップ WAL 1 WAL 2 WAL 3 WAL 4 WAL 1 WAL 2 WAL 3 ＄PGDATA WAL データ ベース
- 54. 日本PostgreSQLユーザ会 54 ポイント・イン・タイム・リカバリ（9/18） PITR 時間 WAL アーカイブ 2013年2月22日 障害発生 2013年1月31日 バックアップ取得 ベース バックアップ WAL 4 WAL 1 WAL 2 WAL 3 ① データベースの強制終了 ＄PGDATA WAL データ ベース $ ps -ae | grep postgres $ pg_ctl stop -m immediate -D $PGDATA
- 55. 日本PostgreSQLユーザ会 55 ポイント・イン・タイム・リカバリ（10/18） PITR 時間 WAL アーカイブ 2013年2月22日 障害発生 2013年1月31日 バックアップ取得 ベース バックアップ WAL 4 WAL 1 WAL 2 WAL 3 ② アーカイブされる前のWALをバックアップ $BACKUP/pgxlog WAL 4 ＄PGDATA WAL データ ベース $ rsync -av $PGDATA/pg_xlog $BACKUP/pgxlog
- 56. 日本PostgreSQLユーザ会 56 ポイント・イン・タイム・リカバリ（11/18） PITR WAL アーカイブ ベース バックアップ WAL 1 WAL 2 WAL 3 $BACKUP/pgxlog WAL 4 $ tar cvfh $PGDATA $SAVE/pgdata $ rm -rf $PGDATA ③ 既存のデータベース・クラスタを退避後 破棄する＄PGDATA WAL データ ベース
- 57. 日本PostgreSQLユーザ会 57 ポイント・イン・タイム・リカバリ（12/18） PITR WAL アーカイブ ベース バックアップ WAL 1 WAL 2 WAL 3 $ rsync -av $BACKUP/pgdata $PGDATA ④ $PGDATAをベースバックアップで 置き換える ＄PGDATA データ ベース 2013年1月31日時点 のデータベース $BACKUP/pgxlog WAL 4
- 58. 日本PostgreSQLユーザ会 58 ポイント・イン・タイム・リカバリ（13/18） PITR WAL アーカイブ ベース バックアップ WAL 1 WAL 2 WAL 3 ＄PGDATA データ ベース $ rm -rf $PGDATA/pg_xlog/* $ rsync -av $BACKUP/pgxlog/* $PGDATA/pg_xlog/. ⑤ 手順②で取得したＷＡＬファイルを $PGDATA/pg_xlog 配下にコピー $BACKUP/pgxlog WAL 4 WAL4
- 59. 日本PostgreSQLユーザ会 59 ポイント・イン・タイム・リカバリ（14/18） PITR WAL アーカイブ ベース バックアップ WAL 1 WAL 2 WAL 3 ＄PGDATA データ ベース WAL $BACKUP/pgxlog WAL 4 ⑥ recovery.conf の作成 $ cat $PGDATA/recovery.conf ~~ 略 ~~ restore_command = 'cp /mnt/server/archivedir/%f "%p" ' recovery_target_time パラメータを使い、リカバリし たい”任意の時刻”を指定 することもできる
- 60. 日本PostgreSQLユーザ会 60 ポイント・イン・タイム・リカバリ（15/18） PITR WAL アーカイブ ベース バックアップ WAL 1 WAL 2 WAL 3 ＄PGDATA $BACKUP/pgxlog WAL 4 ⑦ PostgreSQL の起動 $ pg_ctl start -D $PGDATAデータ ベース WAL4
- 61. 日本PostgreSQLユーザ会 61 PostgreSQL 起動後の内部の動き ポイント・イン・タイム・リカバリ（15/18） PITR WAL アーカイブ WAL 1 WAL 2 WAL 3 ＄PGDATA データ ベース WAL4 2013年1月31日時点 のデータベース
- 62. 日本PostgreSQLユーザ会 62 PostgreSQL 起動後の内部の動き ポイント・イン・タイム・リカバリ（15/18） PITR WAL アーカイブ WAL 1 WAL 2 WAL 3 ＄PGDATA データ ベース 2013年1月31日時点 のデータベース ① ベースバックアップ取得以 降に発生した WAL アーカ イブを適用 WAL4
- 63. 日本PostgreSQLユーザ会 63 PostgreSQL 起動後の内部の動き ポイント・イン・タイム・リカバリ（15/18） PITR WAL アーカイブ WAL 1 WAL 2 WAL 3 ＄PGDATA データ ベース ② アーカイブされなかった WAL を適用 WAL4 WAL3 まで適用された データベース
- 64. 日本PostgreSQLユーザ会 64 ポイント・イン・タイム・リカバリ（16/18） PITR WAL アーカイブ ベース バックアップ WAL 1 WAL 2 WAL 3 ＄PGDATA $BACKUP/pgxlog WAL 4 ⑧ リカバリ完了 データ ベース WAL4 リカバリが完了し、データベースに接続でき るようになると、PostgreSQL のログに以下 のメッセージが出力される LOG: archive recovery complete LOG: database system is ready to accept connections
- 65. 日本PostgreSQLユーザ会 65 ポイント・イン・タイム・リカバリ（17/18） PITR WAL アーカイブ ベース バックアップ WAL 1 WAL 2 WAL 3 ＄PGDATA $BACKUP/pgxlog WAL 4 ⑨ データベースの内容を確認データ ベース WAL4
- 67. 日本PostgreSQLユーザ会 67 コールドバックアップと リカバリ ホットバックアップ とリカバリ ポイント・イン・タイムリ カバリ バックアップタイプ 物理バックアップ （オフライン） 論理バックアップ 物理バックアップ （オンライン） バックアップ方法 cpコマンド, tarコマンド, rsyncコマンド, ストレー ジスナップショットなど pg_dump / pg_dumpall (1) pg_start_backup() (2) cpコマンド, tarコマ ンド, rsyncコマンドなど (3) pg_stop_backup() / pg_basebackup (PostgreSQL9.1～) リカバリ方法 特になし pg_restore / psql （PITR 機能） どこまで戻せるか バックアップ時点 バックアップ時点 任意の時点 バックアップの 最小単位 データベース・クラスタ テーブル(pg_dump) データベース・クラスタ WALアーカイブ 不要 不要 必要 バックアップ中の データベースの停止 必要 不要 不要 クライアント環境 からの実行 不可 可能 不可 （pg_basebackup可能） まとめ
- 68. 日本PostgreSQLユーザ会 68 コールドバックアップと リカバリ ホットバックアップ とリカバリ ポイント・イン・タイムリ カバリ バックアップタイプ 物理バックアップ （オフライン） 論理バックアップ 物理バックアップ （オンライン） バックアップ方法 cpコマンド, tarコマンド, rsyncコマンド, ストレー ジスナップショットなど pg_dump / pg_dumpall (1) pg_start_backup() (2) cpコマンド, tarコマ ンド, rsyncコマンドなど (3) pg_stop_backup() / pg_basebackup (PostgreSQL9.1～) リカバリ方法 特になし pg_restore / psql （PITR 機能） どこまで戻せるか バックアップ時点 バックアップ時点 任意の時点 バックアップの 最小単位 データベース・クラスタ テーブル(pg_dump) データベース・クラスタ WALアーカイブ 不要 不要 必要 バックアップ中の データベースの停止 必要 不要 不要 クライアント環境 からの実行 不可 可能 不可 （pg_basebackup可能） まとめ さまざまな制約事項の中から、そのシステムにあった バックアップ・リカバリ方法を ！！
- 70. 日本PostgreSQLユーザ会 70 pg_rman PostgreSQL のバックアップとリカバリを管理する ツール PostgreSQL の外部ツール Google Code からダウンロード可能 複雑な PITR の手順をコマンド 1 つで簡単に実行 増分バックアップや世代管理も可能
- 71. 日本PostgreSQLユーザ会 71 pg_rman のバックアップ・リストアの流れ 事前準備 $ pg_rman init -B $BACKUP -D $PGDATA $ pg_rman backup --backup-mode=full --with-serverlog $ pg_rman validate $ pg_ctl stop -m immediate -D $PGDATA $ pg_rman restore $ pg_ctl start -D $PGDATA バックアップ リストア
- 72. 日本PostgreSQLユーザ会 72 参考文献 書籍 PostgreSQL 完全攻略ガイド （技術評論社） オンラインドキュメント類 PostgreSQL 9.2.0文書 http://www.postgresql.jp/document/9.2/html/index.html Let's Postgres バックアップの概要と方式一覧 http://lets.postgresql.jp/documents/technical/backup ストリーミング・レプリケーション http://lets.postgresql.jp/documents/technical/replication/ オープンソースカンファレンス講演資料 http://lets.postgresql.jp/documents/report/osc2011-kansai/talks pg-rman http://code.google.com/p/pg-rman/wiki/readme_ja