道玄坂LTで発表した資料です！！！

1. ビッグデータの話
桑野 章弘

2. 雑か

3. MongoDBの可能性の話
桑野 章弘

4. 自己紹介
• 桑野 章弘
• 目黒のSA
• Twitter: @kuwa_tw
• 属性
• MongoDB 芸人
• 息子がかわいい芸人

5. ElastiCacheセミナー
• やります！！！！
• おらにえさん
• 私
• サイバーエージェントの小貫様
• の3名！！！

6. ElastiCacheセミナー
• やります！！！！
• @oranie さん
• 私(@kuwa_tw)
• サイバーエージェントの小貫様
• の3名！！！

7. CAの社内イベントで
はありません！！！

8. MongoDB

9. 解散！！！

10. MongoDB
• ご存知MongoDB
• ドキュメントストアのNoSQL
• JavaScriptでクエリがかける
• 冗長化もシャーディングもある
• Version3.2が最新

11. 自己紹介

12. ログを貯めるなと言っただ

13. だからログを貯めるな
と言っただろう！

14. と、いいたい所なんで
すが

15. 本当に今のMongoDB
でもログを貯めちゃ
ダメなのか？

16. ちゅーことで

17. 今日の話
MongoDB
にログを貯めてみる

18. ビッグデータ！
（勢い）

19. ストレージエンジン
• MMAPv1とWiredTiger
• MMAPv1は全ての元凶
• WiredTigerは救世主になるのか

20. ためしてみること
• キャッシュ以上のアクセスが頻発した
場合にどのくらい耐えられるのか
• データBulkInsert
• 大きいデータのRead

21. 実行環境
• MongoDBサーバ
• c3.large
• 負荷実行サーバ
• c3.8xlarge

22. BulkInsert環境
• 160000000（一億六千万）オブジェク
ト
• 1スレッド並列

23. データインサート
• MMAPv1
• WiredTiger

24. MMAPv1
• 完了まで8時間半程度
• 徐々にキャッシュの改廃が追いつかな
くなりスローダウン
• 80000->2000tpsへ…

25. WiredTiger
• 完了まで2時間半
• 最初より遅くなってはくるが、コンス
タントに速度は出ている
• 70000->12000tps

26. MMAPは
スローダウン

27. 設定した2GBのキャッシュ＋
Dirtyなメモリの容量

28. MMAPへのデータ改廃が増
えるにしたがってReadが支
配的になる

29. Read環境
• 160000000（一億六千万）オブジェク
トへのアクセス
• 10000オブジェクトのレンジ取得
• 100スレッド並列
• 多めのオブジェクト数を少なめの並
列度想定

30. Read
• MMAPv1
• WiredTiger

31. MMAPv1
• 10tps程度を安定して実行
• io waitが80%と支配的

32. WiredTiger
• 10tps程度を安定して実行
• io waitが60%で持ちこたえている
• たまーに30secくらいのすごい遅いクエ
リがあるが、平均的には早い

33. 約2倍の
スループット

34. io waitが80%

35. キャッシュ特性の違
い

36. 処理はどちらも
できてる

37. いい話で終わると思った？

38. 検証時に食らった事
• CacheGBを間違えて実メモリより
CacheGB増やしたらOOM
• CacheGBを実メモリギリギリにしたら
OOM
• Aggregate Frameworkを複数同時にか
けた結果OOM

39. んだけOOMすんねん！！

40. から油断するなと言っただろ

41. そして

42. この画像つかいすぎ

43. 結論

44. S3にexportして
RedShiftかEMR（ｒ
ｙ

45. も、いいんですが

46. WiredTigerであればロ
グ貯めてもある程度
耐えられる

47. （こともある）

48. 今までログに使えなく
て困ってた方はバー
ジョンアップどうぞ
！

49. （根性があれば）

50. れっつらもんご！

51. ElastiCacheセミナー
• やります！！！！
• おらにえさん
• 私
• サイバーエージェントの小貫様
• の3名！！！