Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie Mackerelのロール内異常検知の設計と運用
Ähnlich wie Mackerelのロール内異常検知の設計と運用 (20)
Mehr von syou6162
Mehr von syou6162 (20)
Mackerelのロール内異常検知の設計と運用
- 2. 自己紹介 • id:syou6162(本名: 吉田康久) • 専門は自然言語処理や機械学習 • 3年前にはてなに転職 – Mackerel/はてなブックマーク – アプリケーションエンジニア 2
- 3. MACHINE LEARNING Meetup KANSAIと私 • #1の会場がはてな & 登壇 – 「はてなにおける機械学習の取り組み」 • #3でLT登壇 – 「趣味の機械学習サイトにおける工夫紹介」 • 超交流会@京都大学 – 「機械学習を組み込む時のアレコレ」 – with 染田さん@ハカルス 3
- 8. サーバー監視初心者の場合 • 例: アプリケーションエンジニア • クラウドを使うようになって、サーバーも自分 で立てるようになった – しかし、サーバー監視はよく分からない • 本質的にはアプリケーションコードの開発に 集中したい 8
- 9. サーバー監視玄人の場合 • インフラ周りの知識が豊富、何を監視すれば いいか経験的に知っている • 見なければいけないサービスも多く、多忙な ことも • 監視ルールを一度設定すれば終わり、では なく定期的にメンテナンスする必要がある 9
- 10. 機械学習による監視のサポート • 以下を実現したい – インフラの知識があまりなくても、低コストで監視ルー ルが作れる – 人間が列挙するには困難な複数の条件を考慮した 監視ができる • 機械学習による異常検知機能でユーザーをサ ポートしたい! • 3/1にロール内異常検知としてβリリース 10
- 15. アラートの具体例 16
- 16. アラートの具体例 17 • ユーザーは細かい設定をする必要がない • ロール内のどのサーバーが異常か分かる • サーバーのどのメトリックが異常か分かる が特徴
- 17. アラートの具体例 18 • このような教師データを事前に集めるのは困難 • ユーザーによって障害の基準が異なる • 障害事例は極めて少ない • 以降では教師なし学習を前提に話します
- 22. ロール内異常検知の要件 • モデルが軽量(メモリ面、速度面) • 検知の根拠が分かる • 検知漏れより誤検知を減らすことを重視 23 • システム運用がしやすいアルゴリズム選定 • 教師なし学習をどうやって手懐けるか • システム評価をどうやっているか の観点からお話します
- 23. ロール内異常検知の要件 • モデルが軽量(メモリ面、速度面) • 検知の根拠が分かる • 検知漏れより誤検知を減らすことを重視 24
- 24. 一般的な機械学習 例: カテゴリ判定の場合 25 判定用APIサーバー URL 1 URL 2 URL 3 URL 4 • 全体でモデルが一個〜 数個しか存在しない • それらを頑張って チューニングする • モデルはメモリ上に事 前に展開しておく Model
- 25. ロール内異常検知の場合 26 判定用APIサーバー Host 1: Role A Host 2: Role B Host 3: Role A Host 4: Role C Model A Model B Model C • 大量のモデルの学習が低 コストにできる必要がある • メモリ上にモデル持ってお くのは困難 – ロール毎にモデルが存在 • リクエストがある度にモデ ルをロード – 判定はリアルタイム – 低latencyが必須
- 27. メモリ面、速度面、コスト面の心配が 少ない混合ガウス分布を選択 • 混合ガウス分布の学習は必要な計算リソースが比 較的少なくて済む – ちなみに学習はAWS Batchでやっています • ロールによらずモデルサイズの上限が分かる – 見積りにくい/ロール毎にlatencyが大きく異なると困る – 混合数で上限が簡単に見積れる • 根拠を出す際にも混合ガウス分布を選択したことが 生きた(後述) 28
- 28. ロール内異常検知の要件 • モデルが軽量(メモリ面、速度面) • 検知の根拠が分かる • 検知漏れより誤検知を減らすことを重視 29
- 30. 解釈可能な機械学習 31 ref: hKps://github.com/marcotcr/lime hKps://www.slideshare.net/SatoshiHara3/ss-126157179 • LIMEやSHAPが主流 – 元のモデルを近似した解 釈可能なモデルを学習 • ロール内異常検知は混 合ガウス分布がベース なのでシンプルにできる
- 32. ロール内異常検知の要件 • モデルが軽量(メモリ面、速度面) • 検知の根拠が分かる • 検知漏れより誤検知を減らすことを重視 33
- 34. 誤検知の例 35
- 39. システムの評価(手動) • 実際に起きたアラートを人手でアノテーション – アラート自体と根拠のそれぞれ • 誤報率を時系列でトラッキング • アノテーションを元に誤報の原因を探る、効果の 大きい施策を次のバージョンで導入 – 導入後は再度アノテーションして評価 • 割とどろ臭く頑張ってる 40
- 40. 人手でアノテーション 41