MongoDB Casual TalksのLTで話したネタ。 MongoDBのバックアップ機能について。

1. カジュアルに
MongoDBの
Backup機能説明
Masakazu Matsushita
Cyberagent, Inc.

2. About Me
•松下 雅和 / @matsukaz
•Cyberagent, Inc.
•Ameba Pico (海外版ピグ)
•Animal Land
•DevLOVE Staff

3. MongoDBで
Backupと言えば？

4. mongoexport
or
mongodump

5. mongoexportは
JSON/CSV形式で
データを出力

6. ただし
全てのデータ型を
サポートしている
わけではない

7. 以下のデータ型は
データの忠実性が
一部失われてしまう
data_binary data_regex
data_date data_oid
data_timestamp data_ref

8. 数値型も
全てdoubleになる
> db.hoge.save( { val : 100 } );
> db.hoge.save( { val : NumberInt( 200 ) } );
1 = double
> db.hoge.find( val : { $type : 1} );
{ _id : ObjectId("..."), val : 100 }
16 = int
> db.hoge.find( val : { $type : 16} );
{ _id : ObjectId("..."), val : 200 }

9. mongoexport
(・A ・)ｲｸﾅｲ

10. mongodumpは
BSON形式で
データを出力

11. データは
正しい情報のまま
出力される

12. Onlineでの
実行も可能

13. ただし
小規模での利用を
想定したもの

14. 全データが一箇所に
出力されるので
データ量に注意

15. 実行中は
パフォーマンスにも
影響する

16. mongorestoreも
時間がかかる

17. Sharding環境だと
さらに問題が

18. --oplogオプションは
使えない
（dump開始時∼完了時の
差分のoplogも出力する機能）

19. mongorestoreだけ
でなくrestore後の
マイグレーションも
時間がかかる

20. データ量が多いと
ひどいことに・・・
orz

21. MongoDBを
停止させていいなら
話は簡単

22. Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod mongod mongod mongoc
mongod mongod mongod mongoc
Shard内のmongod1台と
mongocのデータを物理コピーでOK

23. Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod mongod mongod mongoc
mongod mongod mongod mongoc
リカバるときはデータを
コピーするだけ

24. Onlineで、かつ
サービスへの影響を
抑えたBackupって
出来ないの？

25. そんなうまい話
なんて・・・

26. あるんです！！

27. Officialな手順

28. 1. balancerを止める
use config;
db.settings.update( { _id: "balancer" },
{ $set : { stopped: true } } , true );

29. 2. 全Primaryをlock
db.fsyncLock();
Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod 更新されない mongod
mongod mongoc
ようにする
mongod mongod mongod mongoc

30. 3. config情報を
Backup
mongodump -d config dump_configdata

31. 4. Secondaryの
データをBackup
Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod mongod mongod mongoc
mongod mongod mongod mongoc

32. 5. 全PrimaryをUnlock
db.fsyncLock();
Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod mongod mongod mongoc
mongod mongod mongod mongoc

33. 6. balancerを有効化
use config;
db.settings.update( { _id: "balancer" },
{ $set : { stopped: false } } , true );

34. Backupに
時間がかかると
lock時間が長すぎる

35. そこで

36. mongodを落として
あとからゆっくり
Backupを取ったら？

37. 手順はほぼ一緒

38. 1. balancerを止める
use config;
db.settings.update( { _id: "balancer" },
{ $set : { stopped: true } } , true );

39. 2. 全Primaryをlock
db.fsyncLock();
Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod 更新されない mongod
mongod mongoc
ようにする
mongod mongod mongod mongoc

40. 3. config情報を
Backup
mongodump -d config dump_configdata

41. 4. Secondaryを落とす
Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod mongod mongod mongoc
mongod mongod mongod mongoc

42. 5. 全PrimaryをUnlock
db.fsyncLock();
Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod mongod mongod mongoc
mongod mongod mongod mongoc

43. 6. balancerを有効化
use config;
db.settings.update( { _id: "balancer" },
{ $set : { stopped: false } } , true );

44. 7. 落としたSecondary
をBackup
Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
mongod mongod mongod mongoc
mongod mongod mongod mongoc

45. 8. 落としたSecondary
を起動
Shard 1 Shard 2 Shard 3
mongod mongod mongod mongoc
勝手に同期が
mongod mongod mongod mongoc
取られる
mongod mongod mongod mongoc

46. カジュアルに
検証した限りは
問題なし

47. なお、この方法を
試して問題が起きても
当方でｈ（ｒｙ

48. 銀河さん情報だと
Secondaryの
Lockでいけるんだとか

49. ・・・

50. そっちのがいいよね

51. アプリケーションに
影響ないしー
...（ = =）ﾄｵｲﾒ

52. Primaryと
Secondaryの
同期ズレだけ許容
できるかどうかだけ？

53. 大抵できると思うので
Secondaryの
Lockの方向でドウゾ

54. ご清聴
ありがとう
ございました！