Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (19)
Andere mochten auch
Ähnlich wie Redisととあるシステム
Ähnlich wie Redisととあるシステム (20)
Redisととあるシステム
- 2. 今日話すこと • Redisについて • とあるシステムで問題になっていること • いろいろ検証してみたこと
- 3. Redisってなに？ • Cで書かれた高速なKVS • オンメモリなので超高速 • 非同期でディスクにも書き出す（永続化機能） • 文字列以外にも、文字列のリストなどが利用 できる • マスター・スレーブによるレプリケーション機 能 • 最新バージョンは「2.4.xx(2.4)系」
- 4. 文字列データの登録 文字列データを登録します。 set [キー] [値] 値に指定可能な文字列の上限は1GB(1073741824bytes)です。 redis> set key_t value_t OK これで「key_t」というキーで「value_t」という値が登録されたことになります。
- 5. 文字列データの取得 キーを指定して、データを取得します。 get [キー] 戻り値は、指定したキーが存在する場合は値、 キーが存在しない場合はnilが返されます。 redis> get key_t "value_t“ redis> get key_a (nil)
- 7. データの永続化 • 定期的にメモリ上のデータセットのスナップショッ トをファイル（.rdb）にダンプ • 再起動時にはこのスナップショットの内容をメモ リに読み込むことにより，前回ダンプした状態ま でデータセットを復元 • ただし、最後にダンプしてからクラッシュするまで の更新内容は消えてしまう（＞＜） ↓ 追記専用ファイルモードで損失を抑えることができる
- 8. 追記専用ファイルモード • すべての更新コマンドをファイル（Append Only File）に随時追記 • 再起動時にこれらのコマンドを再実行することにより，データを復元！ Append Only File（AOF） $ ls -l -rw-r--r-- 1 cy_redis cy_redis 732 3月 29 14:10 appendonly.aof ただし、AOFの更新コマンドログが増加していくとパフォーマンスが落ちる（らしい） ↓ この回避として「 BGREWRITEAOF 」がある！
- 9. BGREWRITEAOF • AOFファイルをリビルドして、 AOFの中身を再 構成する ↓ この「 BGREWRITEAOF 」を定期実行することに より、パフォーマンス低下を防ぐ
- 10. とあるシステムでは？ • Redisサーバは約２０数台以上いる（らしい） • サーバのメモリは２４GB • 使っているRedisのバージョンは「1.2.6」 • 追記専用モードで運用
- 11. とあるシステムで問題になっているこ と • Redisのメモリ使用量が１３GB以上になると、 「BGREWRITEAOF」が正常動作しない（らしい） ↓ パフォーマンスが悪くなる（らしい） • メモリを２４GB積んでいるのにRedisが１３GB以上使え ない（T_T） ↓ 現状メモリを１０GB以上使わないように運用している（らしい） ↓ Redisのサーバ台数が多くなっている（>_<） データが増えつづければサーバ台数がやばいことに・・・ ((((；ﾟДﾟ)))
- 12. 問題の解決には？ • Redisの使用メモリ量を増やすことができるか？ ↓ 使用メモリ量が増やすことができれば・・・ ↓ メモリいっぱい積んだサーバを用意すればサー バ台数減らせるかも（＾＾）
- 13. 検証 • メモリ使用量が多くなったときの BGREWRITEAOFの挙動を確認 • 最新バージョンとの挙動の違い • 最新バージョンとの性能比較 • その他いろいろやってみた（＾＾）
- 14. BGREWRITEAOFの検証 検証方法 redisサーバに対して、データをSETしつづけ、メモリ使用量10GB,20GB以上達したときの 「BGREWRITEAOF」の挙動を検証 検証環境 OS メモリ CentOS5.4 64bit 32GB 結果 バージョン Redisの使用メモリ量 vm.overcommit_memory BGREWRITEAOFの実行結果 Redis-1.2.6 14GB 0(デフォルト) Cannot allocate memory 14GB 1 successfully rewritten. 23GB 1 Out of memory Redis-2.4.9 14GB 0(デフォルト) rewrite successful 22GB 0（デフォルト） Cannot allocate memory 22GB 1 rewrite successful
- 15. バージョンごとの性能 検証方法 1000万件のデータをSET/GETしたときの所用時間と使用メモリ量を測定 1000万件のCSVデータを読み込ませてSETを実行 CSVデータ内容（1000万件分） ============== tokyo00001,09000001 tokyo00002,09000002 tokyo00003,09000003 tokyo00004,09000004 tokyo00005,09000005 ・・・・ 結果 バージョン SET（秒） GET（秒） 使用メモリ（GB） Redis-1.2.6 1276 1249 1.54 Redis-2.4.9 1253 1190 1.17
- 16. メモリの限界テスト 検証環境 OS メモリ Redisバージョン CentOS5.4 64bit 64GB 2.4.9 検証方法 --------------------- Redisにデータを登録しつづけたときの挙動を確認 結果 ------------ サーバハングアップ ※60GB以上のメモリを使いはたし、コンソールになにも映らない キーボードも反応なし syslog、redisのログにエラー出力なし 電源OFF/ONで復帰
- 17. 使用メモリ上限テスト 検証方法 100MB以上のデータをSETできないようにできるかテスト 設定 redis.conf -------------- maxmemory 100mb maxmemory-policy noeviction ※書き込み操作でエラーを返す 結果 --------------- クライアント側で以下エラー発生 redis.exceptions.ResponseError: command not allowed when used memory > 'maxmemory'
- 18. BGREWRITEAOFの実行上限 検証方法 メモリ使用量40GB,50GB以上達したときの「BGREWRITEAOF」の挙動を検証 結果 AOFファイルサイズ（GB） 使用メモリ量（GB） 結果 20 44 rewrite successful 24 50 サーバハングアップ 考察 メモリ40GB以上のとき成功したのは、AOFサイズ＋使用メモリ量の合計が64GBだっ たからで、50GB以上のときハングしたのは合計が70GB以上になったからではないか と思われる ※サーバで使用できるメモリ量は物理メモリ（64GB）＋SWAP（2GB）＝66GB