Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Ähnlich wie Mysql casial01
Ähnlich wie Mysql casial01 (20)
Mysql casial01
- 1. 最近のMySQL バックアップ事情 MySQL Casual Talks Fukuoka vol1 /2012-06-27 @matsuken
- 2. 自己紹介 • twitter_id: ＠matsukena • 松尾健司 / Kenji Matsuo • paperboy&co.の開発エンジニア • http://yokoninaritai.hatenablog.jp/
- 3. アジェンダ • MySQLバックアップ & リストア • 運用まわりの話
- 5. backup tool • mysqldump • ibbackup & innobackup • xtrabackup & innobackupex • Mydumper • LVMスナップショット
- 6. mysqldump • MySQL本体に標準インストールされてます。 • 論理バックアップ（SQL分のdump）です。 • InnoDBのHotbackupが可能です。 • データ量につられてバッアップの時間が長く なります。（リストアも大変）
- 7. mysqldump使い方 （MyISAMの場合） # time mysqldump -uroot -p$password --lock-all-tables --master-data=2 hoge 2>./error.log |gzip > hoge_YYYYmmdd_HHMMSS.sql.gz • --lock-all-tables: すべてのtableをロックします。 • --master-data=2: バックアップ時点でのバイナリログの位置情報ダンプ ファイルに記録します。
- 8. mysqldump使い方 （InnoDBの場合） # time mysqldump -uroot -p$password --single-transaction --master-data=2 --order-by-primary hoge 2>./error.log |gzip > hoge_YYYYmmdd_HHMMSS.sql.gz • --single-transaction: biginしてからdumpを行う。 • --order-by-primary: dump時に明示的に主キーでソートしてくれるように なる。
- 9. mysqldumpのよく使い方 （ホスティングの場合） # time mysqldump -uroot -p$password --force --opt --quote-name --default-character-set=binary --master-data=2 --hex-blob --flush-logs hoge 2>./error.log |gzip > hoge_YYYYmmdd_HHMMSS.sql.gz
- 10. mysqldumpのよく使い方 （ホスティングの場合） • --force: テーブルダンプ中にエラーが発生しても続行する。 （view table で利用しているtableを削除するユーザがいる為） • --quote-name: `table` みたいな形でtable名・カラム名をクオートする。 （table名に特殊文字を利用してるユーザがいる為） • --default-character-set=binary; 使用している文字コードに関係なくdumpを 取得する。リストア時も同じオプションを利用します。 • --hex-blob: 16進でデータが入ってるバイナリカラムをダンプします。
- 11. mysqldumpで取得した ファイルのリストア # time gzip -dc ./hoge.sql.gz |mysql -uroot -p$password --default-character-set=binary
- 12. リストアを高速化する為に (InnoDBの場合) • 対処は基本的にI/Oを減らす事。
- 13. リストアを高速化する為に (InnoDBの場合) • バイナリログ リストア中はバイナリログをoffにする。
- 14. リストアを高速化する為に (InnoDBの場合) • Double Write InnoDBはデータベースへデータを反映させる際、 2回書く。（クラッシュ時の耐性を高める為） なので--skip-innodb-doublewriteオプションをつけてmysql を再起動する。
- 15. リストアを高速化する為に (InnoDBの場合) • InnoDBログファイル デフォルトでは、毎回コミットするごとにログのフラッ シュを行い、確実にデータがディスクへ書き込まれるよ うになっている。 リストア時は「失敗したらもう一度やり直す」事を前提 に、--innodb-flush-log-at-trx-commitを0か2にする。
- 16. リストアを高速化する為に (InnoDBの場合) • InnoDBバッファプール リストア中はインデックスの更新が必要になる。 もし他のバッファに多くメモリを割り当てていたら、 いったん解除してバッファプールへ一時的に割り振る。
- 17. リストアを高速化する為に (InnoDBの場合) • リストアが終わったら必ず、設定 を戻して再起動しましょう。
- 18. ibbackup & innobackup • InnoDBのHotbackupが可能です。 • バイナリコピーによる物理バックアップ。 • 有償です。(1ヶ月試用期間がある。) • なので使った事がないですwww
- 19. xtrabackup & innobackupex • ibbackup & innobackupみたいなオープンソフト ウェアです。 • InnoDBのHotbackupが可能です。 • オンラインで物理バックアップができる。 • 無償で使える。（Perconna++）
- 20. install xtrabackup # yum install gpg 32bitの場合 # rpm -Uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.i386.rpm 64bitの場合 # rpm -Uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm # yum install xtrabackup
- 21. xtrabackup の仕組み 1, InnoDBのWALを2重に記録する。 2, その間にデータファイルをコピーする。 3, 終了後に記録しておいたWALを適応する。 この辺はriywoさんの資料に詳しく書いてありました。 - WALとはWrite Ahead Logの略で、存在する実際のデータテーブルに対して 更新を反映する前にログの更新内容を書き込もういうものです。
- 22. xtrabackup 使い方 バックアップ実行 # time innobackupex-1.5.1 --user root --password password --slave-info /backup/xtrabackup/ /backup/xtrabackup以下に日時ディレクトリが作成されて、バックアップファイルが設置されます。 WALを適用して、バックアップ時点でのデータに更新 time innobackupex-1.5.1 --user root --password password --apply-log /backup/xtrabackup/YYYY-mm-dd_HH-MM-SS/
- 23. xtrabackup 使い方 圧縮してバックアップ # time innobackupex-1.5.1 --user root --password password --stream=tar --slave-info ./ | gzip - > backup.tar.gz バックアップファイルを展開する時は”-i”オプションをつけてください。 # tar -xizf backup.tar.gz
- 24. xtrabackup 使い方 リモートサーバへバックアップ # time innobackupex-1.5.1 --user root --password password --remote-host=user@host --slave-info /backup/xtrabackup/ scp の optionも変更できます。 --scpopt=SCP-OPTIONS This option specifies the command line options to pass to scp when the option --remost-host is specified. The option accepts a string argument. If the option is not specified, the default options are "-Cp -c arcfour".
- 25. xtrabackup 使い方 その他気になったoption --parallel=NUMBER-OF-THREADS This option specifies the number of threads the xtrabackup child process should use to back up files concurrently. The option accepts an integer argument. It is passed directly to xtrabackup's --parallel option. See the xtrabackup documentation for details. --safe-slave-backup Stop slave SQL thread and wait to start backup until Slave_open_temp_tables in "SHOW STATUS" is zero. If there are no open temporary tables, the backup will take place, otherwise the SQL thread will be started and stopped until there are no open temporary tables. The backup will fail if Slave_open_temp_tables does not become zero after --safe-slave-backup-timeout seconds. The slave SQL thread will be restarted when the backup finishes.
- 26. xtrabackup 使い方 リストアの実行 # time /usr/bin/innobackupex --copy-back /backup/xtrabackup/YYYY-mm-dd_HH-MM-SS # chown -R mysql:mysql /var/lib/mysql
- 27. Mydumper • マルチスレッドのMySQLバックアップ toolです。（コア数の多いサーバでス レッドを増やせば性能があがる。） • mysqldumpと同じく論理バックアップで す。 • 日本語のドキュメントが少ないです。
- 28. install Mydumper # yum install cmake glib2-devel zlib zlib-devel pcre-devel gcc-c++ MySQL5.5.22以前ではmakeが通りませんでしたｗｗｗ # wget http://launchpad.net/mydumper/0.2/0.2.3/+download/ mydumper-0.2.3.tar.gz # tar zxfv mydumper-0.2.3.tar.gz # cd mydumper-0.2.3 # cmake . # make # cp mydumper /usr/bin/ # cp myloader /usr/bin/
- 29. mydumper --help # mydumper --help Usage: mydumper [OPTION...] multi-threaded MySQL dumping Help Options: -?, --help Show help options Application Options: -B, --database Database to dump -T, --tables-list Comma delimited table list to dump (does not exclude regex option) -o, --outputdir Directory to output files to, default ./export-*/ -s, --statement-size Attempted size of INSERT statement in bytes, default 1000000 -r, --rows Try to split tables into chunks of this many rows -c, --compress Compress output files -e, --build-empty-file Build dump files even if no data available from table -x, --regex Regular expression for 'db.table' matching -i, --ignore-engines Comma delimited list of storage engines to ignore -m, --no-schemas Do not dump table schemas with the data -l, --long-query-guard Set long query timer in seconds, default 60 -k, --kill-long-queries Kill long running queries (instead of aborting) -b, --binlogs Get the binary logs as well as dump data -d, --binlog-outdir Directory to output the binary logs to, default ./export/binlogs/ -h, --host The host to connect to -u, --user Username with privileges to run the dump -p, --password User password -P, --port TCP/IP port to connect to -S, --socket UNIX domain socket file to use for connection -t, --threads Number of threads to use, default 4 -C, --compress-protocol Use compression on the MySQL connection -V, --version Show the program version and exit -v, --verbose Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
- 30. mydumper の 使い方 バックアップ実行 # time mydumper -u root -p password -c フォルダ名： export-YYYYMMDD-HHMMSS バックアップデータ： データベース名.テーブル名.sql.gz スキーマ情報： データベース名.テーブル名-schema.sql.gz
- 31. mydumper の 使い方 リストアの実行 # time mydumper -u root -p password -o --directory=./export-YYYYmmdd-HHMMSS
- 32. LVMスナップショット • linuxなどがもつLVMのスナップショット を利用したバックアップです。 • データサイズに関係なく一瞬で終わる のでロックをかける時間はほんの一瞬 で済みます。
- 33. LVMスナップショットの よくある使い方 # mysql -uroot -p$password -e”FLUSH TABLES WITH READ LOCK” # mysql -uroot -p$password -e”SHOW SLAVE STATUS” > ./file # sync # lvcreate --snapshot -size=16G --name snap0 /var/lib/mysql # mysql -uroot -p$password -e”UNLOCK TABLES” 後は、スナップショットのボリュームをmountして、 データをコピーして、ボリュームを破棄すれば終わりです。
- 34. Innodb Hot Backの利点・欠点・特徴 • いつでもバックアップできる手軽さ。 • OSやプラットフォームに依存しない。 • バックアップの内容はコマンド完了時のデータ。
- 35. スナップショットの利点・欠点・特徴 • スナップショット用の領域を事前に準備しておく必 要がある。(ZFSの用に必要ない場合もある。) • 瞬時のスナップショットがとれる。 • バックアップの内容はスナップショット実行時の データ。(狙った時間にバックアップが可能)
- 38. 例えば メンテナンス時
- 40. こんな時でも別のサーバに 退避させていれば、メンテナンス後に メンテナンスの不具合が 発覚しても安心ですね。
- 42. 間違ってtableを更新した後にcronで バックアップの処理が走ってしまう事が あるかもしれません。
- 44. 取得したバックアップからきちんと リストアできますか？
- 47. まとめ • バックアップしたデータは別のサーバ においておく。 • 世代管理をきちんとしておく。 • リストアのテストはやっておく。
- 48. バックアップはいざという時自分を 助けてくれます。 なので手間を惜しまず安全な バックアップを心がけましょう。
- 49. ご清聴ありがとうございました。
Hinweis der Redaktion
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n
- \n