第二回MongoDB勉強会の発表資料です

1. Tachy with MongoDB
株式会社サイバーエージェント
アメーバ事業本部 宍戸展志

2. MongoDB勉強会
第二回 MongoDB勉強会
• 自己紹介
• 宍戸展志（ししど ひろむね） 25歳
• Twitter @joe_hrmn
• 所属
• 株式会社 サイバーエージェント
• Tachy（プレリリース中）担当 アプリケーションエンジニア
• その他
• サッカー大好き
• Piggに似てる
2

3. MongoDB勉強会
第二回 MongoDB勉強会
アジェンダ
• Tachyについて
• システム構成
• MongoDBの使いどころ
• 苦労した話
• これから
3

4. MongoDB勉強会
第二回 MongoDB勉強会
Tachy
• 実名制SNS
• タイムライン形式で情報を表示
• ひとこと、写真投稿、予定機能 etc
• 『閲覧権限』の設定あり
• 使っている技術要素
• MongoDB
» Morphia
http://code.google.com/p/morphia/
• MySQL
• ActiveMQ ( 5.3.2 )
4

5. MongoDB勉強会
第二回 MongoDB勉強会
5

6. MongoDB勉強会
第二回 MongoDB勉強会
＼(^o^)／
／
6

7. MongoDB勉強会
第二回 MongoDB勉強会
を使った理由
MongoDBを使った理由
• 使ってみたかった
• 社内ではpicoで利用実績あり
• データ分散の処理は大変
• データアクセスが高速（と聞いて）
• 自動でfailover
• ドキュメント形式の柔軟性
7

8. MongoDB勉強会
第二回 MongoDB勉強会
システム構成
【Web App】
】
【ActiveMQ】
】
【mongoDB】
】 】
【MySQL】
8

9. MongoDB勉強会
第二回 MongoDB勉強会
MongoDB
• Ver 1.6.5
• ReplicaSet + Sharding webApp
MQ
API
• JavaDriver
【client】
• 2.4
• morphia mongoc
mongos
• 0.99
mongod mongod mongod
9

10. MongoDB勉強会
第二回 MongoDB勉強会
Collections
• Entry
• Timeline
• Room
Etc…
10

11. MongoDB勉強会
第二回 MongoDB勉強会
Entry
11

12. MongoDB勉強会
第二回 MongoDB勉強会
operation@Entry
• 発言の取得
– db.Entry.find({entryId : 123, deleteFlag:0});
• コメントの取得
– db.Entry.find({replyEntryId:1234, deleteFlag:0}).sort({registDate:-1});
• データのinsert（１件ずつ）
• 削除（→deleteFlagのupdate）
12

13. MongoDB勉強会
第二回 MongoDB勉強会
Timeline
13

14. MongoDB勉強会
第二回 MongoDB勉強会
operation@Timeline
• ユーザーのタイムラインの取得
– db.Timeline.find({userId:1, registDate > xxx});
→この部分には複合indexを定義
db.Timeline.ensureIndex({userId:1, registDate:-1});
• Insert（１件ずつ）
– １Entryに対して、100人に配る場合は100回ループを回す形
– 後々ボトルネックになるので変更
14

15. MongoDB勉強会
第二回 MongoDB勉強会
Room
Embedオブジェクトとして
Listを内部に保持
Ex) db.Room.findOne({members:26});
15

16. MongoDB勉強会
第二回 MongoDB勉強会
> db.Room.findOne({roomId:603});
{
"_id" : ObjectId("4d9e772074978c29974fba92"),
"roomId" : NumberLong(603),
"userId" : NumberLong(238),
"text" : "限定ﾋﾄｺﾄ(グループ５)",
"registDate" : "Fri Apr 08 2011 11:46:56 GMT+0900 (JST)",
"editDate" : "Fri Apr 08 2011 11:46:56 GMT+0900 (JST)",
"emaFlag" : 0,
"deleteFlag" : 0,
"members" : [
NumberLong(239),
NumberLong(274),
NumberLong(238)
]
}
16

17. MongoDB勉強会
第二回 MongoDB勉強会
operation@Room
• Room情報の取得
– db.Room.find({roomId:123});
• Roomに含まれているか
– db.Room.find({members:123});
• Insert
– １件ずつ
• Update
– メンバーの追加
17

18. MongoDB勉強会
第二回 MongoDB勉強会
テストしてみました
• 環境
– App (Apache / Tomcat)
• Intel(R) Xeon(R) CPU X3430 @ 2.40GHz (4core)
• 12G RAM
– MongoDB
• Xfs
• Intel(R) Xeon(R) CPU X3430 @ 2.40GHz (4core)
• 16G RAM
– ActiveMQ
• Intel(R) Xeon(R) CPU L5410 @ 2.33GHz (4core)
• 12G RAM
18

19. MongoDB勉強会
第二回 MongoDB勉強会
タイムラインの作成が重い・・・
• 変遷
– timelineDao.save(timeline, WriteConcern.SAFE);
– １件ずつinsert
» Reciever側の負荷が高騰
19

20. MongoDB勉強会
第二回 MongoDB勉強会
タイムラインの作成が重い・・・
• 変遷
– timelineDao.save(timeline, WriteConcern.SAFE);
– １件ずつinsert
» Reciever側の負荷が高騰
– timelineDao.getCollection().insert(timelineList, WriteConcern.SAFE);
– Bulk insertに変更
» Thread dumpなどで見ているとまだ詰まってる
20

21. MongoDB勉強会
第二回 MongoDB勉強会
タイムラインの作成が重い・・・
• 変遷
– timelineDao.save(timeline, WriteConcern.SAFE);
– １件ずつinsert
» Reciever側の負荷が高騰
– timelineDao.getCollection().insert(timelineList, WriteConcern.SAFE);
– Bulk insertに変更
» Thread dumpなどで見ているとまだ詰まってる
– timelineDao.getCollection().insert(timelineList);
– 書き込みチェックなしに
21

22. MongoDB勉強会
第二回 MongoDB勉強会
タイムラインの取得も重い・・・
• TimelineにはentryIdしかentry情報が無い
• 結局EntryCollectionに取得件数分find()する必要がある
» CSが頻発
• 変遷
– db.Entry.find({entryId:12345});
» 必要な数だけ
22

23. MongoDB勉強会
第二回 MongoDB勉強会
タイムラインの取得も重い・・・
• TimelineにはentryIdしかentry情報が無い
• 結局EntryCollectionに取得件数分find()する必要がある
» CSが頻発
• 変遷
– db.Entry.find({entryId:12345});
» 必要な数だけ
– entryIdListを事前に作成して
db.Entry.find({entryId:{$in : entryIdList}}).sort({registDate:-1});
23

24. MongoDB勉強会
第二回 MongoDB勉強会
【Error】 Switching Master
】
• 接続先がmongosプロセス１つの時、mongoインスタンス
作成時に渡すIPがListだと発生
■before
List<ServerAddress> replSets = new ArrayList<ServerAddress>();
for(String server : serverList)
replSets.add(new ServerAddress(server, port));
mongo = new Mongo(replSets, option.createMongoOptions());
■after
ServerAddress addr = new ServerAddress(mongos, port);
mongo = new Mongo(addr, option.createMongoOptions());
24

25. MongoDB勉強会
第二回 MongoDB勉強会
・・・じゃない
slaveOk・・・じゃない
• mongosを通すとslaveに参照クエリが投げられない
• ReplicaSet単体で動かしているときは問題なし
• 書き込みチェック（WriteConcern.SAFE など）は内部
的に書き込み後、findOneを発行
• Collectionのlock回数を少しでも減らしたい
• 参照は別サーバーに向いて欲しい
» 調査中…(´・ω・｀)
25

26. MongoDB勉強会
第二回 MongoDB勉強会
その他いろいろ
• Out of semaphores to get db connection
• MongoOptionsの下記の値を調整
connectionPerHost * threadsAllowedToBlockForConnectionMultiplier >= maxthreads
• Too Many Open Files
• Test中にnic死亡
• Xfsの設定はmongo推奨に合わせるのがよさそう
26

27. MongoDB勉強会
第二回 MongoDB勉強会
良かったこと
• Index重要
• mongostatが役に立った
• Sar, vmstat, iostat
• RDBのノウハウの流用が可能
• explain
27

28. MongoDB勉強会
第二回 MongoDB勉強会
今後
• より複雑なクエリでの性能検証
> db.Entry.find({
... userId:26,
... replyUserId:{$nin:[0,26]},
... entryType:{$in:["ENTRY","PHOTO"]},
... deleteFlag:0,
... $where:"this.replyEntryId <= this.parentEntryId"}).limit(50).sort({registDate:-1}).explain();
{
"cursor" : "BtreeCursor userId",
"nscanned" : 176,
"nscannedObjects" : 176,
"n" : 18,
"scanAndOrder" : true,
"millis" : 2,
"indexBounds" : {
"userId" : [
[
26,
26
]
]
}
}
28

29. MongoDB勉強会
第二回 MongoDB勉強会
今後
• バックアップ、リストア
• Collection設計
• もっと多くのデータで
29