大規模Redisサーバ縮小化の戦い
•
19 gefällt mir•38,180 views
2/18のデブサミ2016で発表したスライドになります。 著作権の関係上、ネタスライドは全て削除しております。 Developers Summit 2016【18-C-4】 株式会社アカツキ 駒井祐人
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Ähnlich wie 大規模Redisサーバ縮小化の戦い
Ähnlich wie 大規模Redisサーバ縮小化の戦い (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (11)
大規模Redisサーバ縮小化の戦い
- 2. 2 ⽒氏名：駒井 祐⼈人 経歴： ・2012〜～2015 NTTデータ 官公庁システムのインフラ設計/構築 ・2015〜～2016 アカツキ ゲームのサーバサイド機能開発 インフラの設計構築、運⽤用保守 趣味： キャンプ、フェス、ドラム、でんぱ組 感情報酬社会を⽬目標に、明るく楽し いエンジニアリングを⽇日々⽬目指してい ます。 ⾃自⼰己紹介 ※よく未成年年と間違えられます 使っている技術：
- 4. 4 直近4年年の収益成⻑⾧長率率率 2,106％ ⽇日本第1位 受賞 “働きがいのある会社ランキングベストカンパニー” 3年年連続受賞 アカツキって？ Tips Pitch (毎朝) ︎マンスリーパーティ （毎⽉月） ︎Good And New （毎朝）
- 7. 7 Redisとは ・インメモリデータベース → ⾼高速 ・5種類のキー/バリューのデータ型 → 複数の⽤用途 ・ファイル永続化オプション → 信頼性 どういうときに使われる？ ・セッション情報のキャッシュ ・クエリのキャッシュ ・弊社では冒険に⾏行行く際のフレンド情報や、 ショップのセール情報などに そもそもRedisって？
- 14. 14 ・当然、お⾦金金がかかる cache.m3.large($0.240) * 64台 * 1ヶ⽉月 * (1ドル→120円) = 135 万円/⽉月 64台運⽤用してみて ※ RedisはAWSのElastiCacheを使⽤用している。 Redisはシングルスレッドのため、コア数1の ノードタイプを採⽤用したかったが、コア数が少ない ノードタイプは、メモリ量量も少ないため、バランス を取ってcache.m3.largeを採⽤用している。
- 21. 21 ・キーの件数 現状整理理
- 34. 34 マージ⽅方法の検討 ・Redisってマージできんの？ Redisのドキュメントを調べる → のってない AWSのドキュメントを調べる → のってない Github上のそれっぽいツール
- 35. 35 マージ⽅方法の検討 ・Redisってマージできんの？ Redisのドキュメントを調べる → のってない AWSのドキュメントを調べる → のってない Github上のそれっぽいツール → makeが通らない w
- 45. 45 ごちゃごちゃしましたが、要は、こういうわけです Redisのdumpの構造 Redis ・・・ db15db0 db1 Redis db 0 デ ー タ ヘ ダ db 15 デ ー タ 終 端 ⽂文 字 チ ク サ ム db 1 デ ー タ ・・・ 9byte 1byte 8byte
- 50. 50 ・まず2つのdumpのマージ⽅方法について考えてみる マージ⽅方法 Redis-‐‑‒01 db 0 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム Redis-‐‑‒02 db 1 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム 9byte 1byte 8byte 9byte 1byte 8byte Redis-‐‑‒01の 後ろ9byteを削除 Redis-‐‑‒02の 前の9byteを削除
- 51. 51 ・まず2つのdumpのマージ⽅方法について考えてみる マージ⽅方法 Redis-‐‑‒01 db 0 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム Redis-‐‑‒02 db 1 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム 9byte 1byte 8byte 9byte 1byte 8byte Redis-‐‑‒01の 後ろ9byteを削除 Redis-‐‑‒02の 前の9byteを削除 Redis (New) db 0 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム 9byte 1byte 8byte db 1 デ ー タ
- 52. 52 ・試しにローカル環境でリストアしてみる (ローカルのredis-‐‑‒serverを停⽌止した状態で、dumpファイルを差し替えると、次 に起動する際に、差し替えたdumpファイルを読み込んで起動してくれます) マージ⽅方法 $ cp –p merged_dump.rdb dump.rdb $ redis-server /usr/local/etc/redis.conf dump ローカルPC redis-‐‑‒server
- 53. 53 マージ⽅方法 (カチャカチャ・・・) (ッターン！) $ cp –p merged_dump.rdb dump.rdb $ redis-server /usr/local/etc/redis.conf ・試しにローカル環境でリストアしてみる (ローカルのredis-‐‑‒serverを停⽌止した状態で、dumpファイルを差し替えると、次 に起動する際に、差し替えたdumpファイルを読み込んで起動してくれます)
- 55. 55 ・よーく⾒見見ると・・・ マージ⽅方法 Redis-‐‑‒01 db 0 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム Redis-‐‑‒02 db 1 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム 9byte 1byte 8byte 9byte 1byte 8byte Redis-‐‑‒01の 後ろ9byteを削除 Redis-‐‑‒02の 前の9byteを削除 Redis (New) db 0 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム 9byte 1byte 8byte db 1 デ ー タ
- 56. 56 ・よーく⾒見見ると・・・ マージ⽅方法 Redis-‐‑‒01 db 0 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム Redis-‐‑‒02 db 1 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム 9byte 1byte 8byte 9byte 1byte 8byte Redis-‐‑‒01の 後ろ9byteを削除 Redis-‐‑‒02の 前の9byteを削除 Redis (New) db 0 デ ー タ ヘ ダ 終 端 ⽂文 字 チ ク サ ム 9byte 1byte 8byte db 1 デ ー タ ここのチェックサムが Redis02全体のチェックサムに なっている
- 58. 58 ・CRC64 checksum(8byte)を付与することでおｋ ・checksumを無視する設定も ・安⼼心してください、 dumpの構造が問題ないか 確認するコマンドありますよ マージ⽅方法 rdbchecksum no $ redis-check-dump [dumpファイル名]
- 72. 72 縮⼩小化の流流れ メンテナンス開始 バックアップ ゴミデータ削除 マージ リストア メンテナンス終了了 ・EC2をReadReplicaとして接続 $ redis-cli slaveof [ホスト名] 6379 Redis EC2 redis-‐‑‒server
- 73. 73 縮⼩小化の流流れ メンテナンス開始 バックアップ ゴミデータ削除 マージ リストア メンテナンス終了了 ・バックアップ(dump)取得 ※ AWS上でスナップショットは取得できるが、 ファイル出⼒力力ができない $ redis-cli save Redis redis-‐‑‒server EC2 dump dump
- 75. 75 縮⼩小化の流流れ メンテナンス開始 バックアップ ゴミデータ削除 マージ リストア メンテナンス終了了 ・指定のdbをflushする ✕ 64台 redis = Redis.new(host: HOSTNAME, port: 6379) redis.select(dbnum) redis.flushdb Redis redis-‐‑‒server EC2
- 82. 82 1. バックアップ失敗 ※ ReadReplicaとして接続した際に、過去のデータがflushされる前にsaveを実⾏行行 しても、正確にバックアップが取れない 失敗談 Redis redis-‐‑‒server EC2 dump dump ※ log出⼒力力の設定：syslog-‐‑‒enabled yes → syslog、 logfile stdout → 標準出⼒力力
- 83. 83 1. バックアップ失敗 ※ ReadReplicaとして接続した際に、過去のデータがflushされる前にsaveを実⾏行行 しても、正確にバックアップが取れない 失敗談 Redis redis-‐‑‒server EC2 dump dump ※ log出⼒力力の設定：syslog-‐‑‒enabled yes → syslog、 logfile stdout → 標準出⼒力力
- 84. 84 2. マージ後のdumpファイルはたった8個しかないのに オペミスで同じdumpファイルから2台サーバを⽴立立ち上げる ※ くれぐれも深夜作業にはご注意を・・・ 失敗談
- 85. 85 ・想定通り縮⼩小することができた！！冗⻑⾧長化も！！ ・かかった時間はトラブルも含め約4時間 縮⼩小前 cache.m3.large * 64台 → 135 万円/⽉月 縮⼩小＋冗⻑⾧長化後 cache.r3.large * 8台 * 2(マルチAZ) → 38 万円/⽉月 →冗⻑⾧長化しつつも約100万/⽉月 コスト削減！！ (1ドル120円換算) 結果
- 86. 86 しかし、数週間後・・・
- 87. 87 突然のエラーの嵐嵐！！！
- 88. 88 突然のエラーの嵐嵐！！！
- 89. 89 ・ゲームのあるスペシャルイベントでリクエスト数が激増 ・サーバ台数をかなりの⼤大規模で増やした ・Redisのconnectionが上限に達してエラー ※ 接続数の計算例例 100(サーバ) ✕ 50(unicornプロセス) ✕ 16(DB) = 80000 clients →複数DBを使ったことがアダとなり、接続数が激増した 縮⼩小後に発⽣生した事象 接続数設定 実際の接続数 $ redis-cli –h [ホスト名] –p 6379 info # Clients connected_clients:64086
- 100. 100 ・試しに検証環境で同じ環境を構築してやってみる とは⾔言え、それでもマージ時間だけでめちゃくちゃ時間がかかった 1dump 12分 * 8dump = 96分 (※ 最初のバイナリ結合の⽅方法だと、数秒で全てのマージが終わるのに対して) 検証 Redis redis-‐‑‒server EC2 dump ・応答が返ってこない… ・直接ElastiCache(Redis)を操作するよ り、ローカルでリストアしたデータを操作 したほうが早かった。
- 101. 101 ・複数サーバで並列列に実⾏行行し、 なんとか縮⼩小することができた！！ ・想定通り接続数が半分に！ 結果 接続数 $ redis-cli –h [ホスト名] –p 6379 info # Clients connected_clients:30125