Weitere ähnliche Inhalte
Mehr von VIOPS Virtualized Infrastructure Operators group ARCHIVES (20)
VIOPS08: グリーでのログ分析とストレージ
- 1. Copyright © GREE, Inc. All Rights Reserved.
グリーでのログ分析とストレージ
@ VIOPS08
グリー株式会社 開発本部
一井 崇 / ICHII Takashi / @ichii386
- 2. Copyright © GREE, Inc. All Rights Reserved.
Who am I?
• ログ集計屋をやっています
• 最近はほぼストレージインフラ
• php, MySQL, gawk, Solaris, ZFS
• グリー / GREE
• SNS とかゲームとかスマホとか
• サービス自体は「x86 サーバをたくさん並べる」方針
• Debian (Linux), Apache, MySQL, php
- 3. Copyright © GREE, Inc. All Rights Reserved.
ログ分析に必要なインフラ
• 「cat して grep して wc –l するだけの簡単なお仕事」
• やることはシンプル
• 効率よくやるには工夫が必要
• ほとんどの場合、ストレージ容量とI/O速度が問題
• とにかく量が多い (1TB/day くらい)
• 運用とか、どう分析するかとか、分析してどうすんの
とかは別の問題 (ここでは触れません)
• 社内でも複数のやり方があります
- 4. Copyright © GREE, Inc. All Rights Reserved.
ログ分析に必要なインフラ (2)
• 効率のよい保存/アクセス方法
• 符号化: 圧縮、疎なデータの表現など
• ファイル, RDB (MySQL), On-memory KVS
• データの重要度に応じて保存方法は変わる
• すべてのパターンを事前に網羅することは難しい
• 網羅できても最適解を決めるのは困難
• 愚直に「性能の良いストレージ」は1つの解
• もちろん費用も重要
- 5. Copyright © GREE, Inc. All Rights Reserved.
ZFS + InfiniBand
• Sun ZFS Appliance
• 容量 1.0PB (+1.6PB?)
• Solaris ベースのストレージ
• 計算サーバと接続
• InfiniBand
• NFS, iSCSI (iSER)
• それなりにお高いけれど、外に
丸投げするより圧倒的に安い
- 6. Copyright © GREE, Inc. All Rights Reserved.
ZFS の特徴
• Copy on Write な block device + file system
• ディレクトリごとの snapshot, 圧縮など
• 動的な flush キャッシュの on/off 切り替え
• ブロック単位でのバックアップ転送など
• Solaris の boot もできます
• いろいろできるぶん、運用はすこし難しい
• Solaris 自身とともに開発が進んでいる
• 最新の Solaris と各種 porting の乖離が激しい
- 7. Copyright © GREE, Inc. All Rights Reserved.
InfiniBand の特徴
• もともと HPC 屋のイメージ
• 最近は Web 屋でも普及しはじめた??
• 速くて安い
• 40Gbps/56Gbps など
• Copper ケーブルで 10GbE/FC よりも安価
• Solaris/ZFS との相性もよい
• ほとんど意識せず使える
• もちろん Linux でも!
- 8. Copyright © GREE, Inc. All Rights Reserved.
あと MySQL も
• ストレージエンジンを選択できる
• InnoDB/MyISAM/Archive/...
• それぞれ得意/不得意分野がある
• relation, transaction ばかりではない
• B-Tree Index はそれ自身がひとつの統計量
• 平均, 分散などと同じ
• 中間データとして木構造はよいバランス (だと思って
います)
- 9. Copyright © GREE, Inc. All Rights Reserved.
難しいところ
• データの重要性は変化する
• 発生からの経過時間
• データを見る人
• 必要な粒度も変わる
• どんな要件にも対応可能なんて絶対に無理
• H/W, middleware, XaaS, 費用, どのレイヤでも
• 必要な要件がなにか、それに応じたものはどれか、を
選択できることが大事
• あたり前に聞こえますが、ある程度規模が大きくなれば...