Robust log process

安全にスケールするログ解析システム構築の勘所株式会社スケールアウト　　　　　　　　　山崎大輔

はじめに ,[object Object],[object Object],[object Object]

アジェンダ ,[object Object],[object Object],[object Object],[object Object]

自己紹介 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

広告集計で行っている典型的な処理 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

システム構成 ( 分散が効くもの ) 配信サーバ集計サーバレポートサーバ (RDB) 　生ログ中間集計ログ

システム構成 ( 分散が効かないもの ) 配信サーバ集計クラスタ (Hadoop) レポートサーバ (RDB) 　生ログ

処理全体で意識すべきこと ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ログローテート ,[object Object],[object Object]

中間集計 ,[object Object],[object Object]

ログトランスファー ,[object Object],[object Object],[object Object],[object Object],[object Object]

ログトランスファーその 2 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

本集計 ,[object Object],[object Object],[object Object],[object Object],[object Object]

本集計 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

日々の運用について ,[object Object],[object Object],[object Object]

キャパシティプランニング ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

人的依存の排除 ,[object Object],[object Object],[object Object],[object Object]

集計系に過度な負荷をかけない ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

まとめ ,[object Object],[object Object],[object Object],[object Object]

Robust log process

Recommended

Recommended

More Related Content

Similar to Robust log process

Similar to Robust log process (20)

More from Daisuke Yamazaki

More from Daisuke Yamazaki (7)

Robust log process

Editor's Notes