サービスのインシデントを解決するには.pdf

Copyright Drecom Co., Ltd. All Rights Reserved.
サービスのインシデントを解決するには

名前
• 平石陽介 a.k.a. hiracy(ひらしー)
所属
• SREインフラグループ
技術スタック
• AWS/GCP/ansible/terraform/ruby/python/golang
• IaS(Infrastructure as Code)大好きで自作したりも
趣味
• コーヒー焙煎、クラフトコーラ作成
• (そのうちそば打ちやりそう)

話すこと
• インシデントとは
• 監視のバッドパターン
• 何を監視すれば良いのか?
• どう通知すれば良いのか?
• どう改善すれば良いのか?
• まとめ

インシデントとは
ITIL Wiki#Incident Management より
インシデントは、ITサービスの計画外の中断または品質の低下
（サービス中断）として定義されます。
• ITILはITマネジメントの成功事例をまとめたガイドライン
• ISOのような厳密な規格に参考にされている
• インシデントは広義の障害・サービス品質劣化
• これを検知するために監視が必要

監視のバッドパターン
• 監視漏れ
• 多すぎるモニタリング・アラート
• 適切でないエスカレーション

• 監視漏れ
そもそも監視してないパターン。
いわゆる泥縄

• 多すぎるモニタリング・アラート
見ないモニタリング・アラートは見るべきものを見ない理
由となってしまう

• 適切でないエスカレーション
アラートに対処すべき人に届いていない

何を監視すれば良いのか
• ビジネスKPI
• SLI/SLO
• ユーザー提供価値
障害・サービス劣化することによりどのような影響が発
生するのかチームで相談

何を監視すれば良いのか
まずは利用者の目線で監視できる外形監視用
のエンドポイントを作る。
$ curl -s http://api.anyservice.com/any_process/ping | jq .
{
"message": "healthy",
"status": 200,
"response_time_milli_seconds": 10
}

どう通知すれば良いのか?
• ツール・SaaSに任せましょう
• 監視・モニタリング
• Mackerel
• Datadog
• NewRelic
• インシデント管理
• PagerDuty
• VictorOps
• splunk

• 弊社事例(「ドリコム PagerDuty アラート管理」で検索)

1. 監視ツールからアラートを発報

• PagerDutyのようなアラートを集約してくれるSaaSを利用
• 同じインシデントでアラートをまとめてくれる機能があると便利

2. PagerDutyにインシデントが作られ、対象アラートに関連するエンジニアチームの
チャットグループに通知

• エスカレーションする単位をチャットグループでまとめると便利
• メールは極力利用しない(見ないとノイズの温床になるので)
• 過去のインシデントはSaaSで管理する

2. PagerDutyにインシデントが作られ、対象アラートに関連するエンジニアチームの
チャットグループに通知
3. サービス担当者がインシデントを確認、対応状況を追記していく、
対応が完了したらインシデントをクローズ

• インシデントの状態と解決を通知し履歴を追えるようにする
(PagerDutyのようなSaaSはここが強い)
• 状態を追えるようにしていればインシデントの編集や解決は誰
でも良い

どう改善すれば良いのか?
• インシデントレビューしましょう
• 緊急対応とは別に毎朝昨日のアラートをチーム全員で
見る
• 不要なアラートの削除
• 予防策・自動化が必要なものの洗い出し
• 通知先(エスカレーション)の精査
• システム・サービスの理解

どう改善すれば良いのか?
ポストモーテムとインシデントレビュー
• ポストモーテムは実際にサービスに影響があったイン
シデントに対し再発防止に集中して対策する
• インシデントレビューは監視システムの最適化

まとめ
• 監視のバッドパターンを意識して監視設定しましょう
• 通知・インシデント管理にSaaSを使いましょう
• インシデントレビューして監視自体を改善しましょう

ご清聴ありがとうございました！

サービスのインシデントを解決するには.pdf

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie サービスのインシデントを解決するには.pdf

Ähnlich wie サービスのインシデントを解決するには.pdf (20)

Mehr von Drecom Co., Ltd.

Mehr von Drecom Co., Ltd. (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (12)

サービスのインシデントを解決するには.pdf