2018年9月22日に日本マイクロソフトさんで開催されたAzureユーザーグループ8周年イベントにてお話した資料になります。 概要：Datadogは SaaS ベースのサーバー監視xAPMxログ管理の一元化ツールです。ここ数年はコンテナのモニタリングに注力をしており、AKSの運用についてご相談頂くことも増えてまいりました。こうしたコンテナ化やサーバーレスアーキテクチャなどアーキテクチャ面が進歩する一方で、そこと切り離せないオペレーション、特にモニタリングの本質的な進歩について語られることは多くはありません。今回はDatadogの知見としてUSのカンファレンスやMeetupで話しているモニタリングの新しい考え方についてご紹介しました。

1. クラウド時代のモニタリング
AzureとDatadog、でもその前に
Japan Azure User Group 8周年年イベント
@⽇日本マイクロソフト 22 Sep, 2018
Masahiro Hattori
masahiro.hattori@datadoghq.com @toolyee
Datadog

3. • SaaS ベースのサーバー監視xAPMxログ管理理ツール
• オープンソースのエージェント
• 1⽇日あたり1兆以上のデータポイントとトレースを処理理
• 意思決定のためのダッシュボード
• インテリジェントでアクショナブルなアラート
• 問題分析プラットフォーム
• 分散されたシステムのためのデータプラットフォーム
Datadog って？

4. Operating Systems, Cloud Providers, Containers, Orchestrators, Datastores, Caches,
Queues and more...
Monitor Everything！ 250以上のインテグレーション
Azure
Azure SQL

5. Azure Monitor のGA発表時には、エコシステムパートナーとして
CPO(プロダクト責任者)がエンドースメントしてたりします
https://azure.microsoft.com/ja-jp/blog/announcing-the-general-availability-of-azure-monitor/

6. Azure Monitor のサポートを60超のサービスに⼤大幅拡張！！
https://www.datadoghq.com/blog/azure-monitoring-enhancements/

7. $ cat ~/.plan
1. The Challenge: 昨今の運⽤用環境の新しい課題
2. Finding the Signal: メトリクスを仕分ける
3. Thins to know: メトリクスを実務に落とし込む
4. Demo: どうやって解決するのか？(時間があれば)

8. インフラは抽象化され,,,

9. CONTAINERS!
TW: @toolyee @datadoghq

10. https://www.datadoghq.com/docker-adoption/
Docker 採⽤用の驚くべき８つの事実 ~2018年年6⽉月版

11. Docker 採⽤用状況
TW: @toolyee @datadoghq

12. 物量量 と スピード
複雑さが増⼤大する要素とは…

13. サーバーホストあたりのコンテナ集積度
TW: @toolyee @datadoghq

14. Source: Datadog
サーバーホストとコンテナの平均寿命
TW: @toolyee @datadoghq

15. 新しいやり⽅方が必要！
物量量 * スピード = 爆発的な複雑性増加

16. DEVOPS

17. NOPE.

18. フォーカスしたいのは,,,
Culture
Automation
Metrics
Sharing
Damon Edwards and John Willis
DevOps Day LA
TW: @toolyee @datadoghq

19. 昔ながらの納屋の建て⽅方 … でも素早く建つよ
TW: @toolyee @datadoghq

20. TW: @toolyee @datadoghq
もちろんCluture がうまくまとまっているなら⼤大幅な効率化が可能

21. Culture
“organizations which design systems ...
are constrained to produce designs
which are copies of the communication
structures of these organizations”
- Melvin E. Conway
ツールはCulture をサポートするものですよね

22. METRICS
CULTURE, AUTOMATION そして SHARING はOK。ではMETRICSはどうか？

23. COLLECTING DATA IS CHEAP;
NOT HAVING IT WHEN YOU
NEED IT CAN BE EXPENSIVE
データは集められるだけ集めておくべき
もはやデータは⾮非常に安価に収集して保管できる. 依然無いと⾼高くつくが

24. 良いメトリックの４要素とは
すべてのメトリックが同じ、ではない

25. 1. 組織内で正しく理理解されている
TW: @toolyee @datadoghq

26. 2. ⼗十分な粒度がある
TW: @toolyee @datadoghq

27. 1 秒単位
Peak 46%
1 分単位
Peak 36%
5 分単位
Peak 12%

28. 3. タグ付けされ
フィルタ可能
TW: @toolyee @datadoghq

29. TW: @gitbisect @datadoghq

30. クエリー ベースのモニタリング
“’application:iis のスループットの平均値につい
て version ごとに値はどう違う?”
“application:sql-server を稼働している当社の
role:accounting-app の毎秒のリクエスト数につ
いて region:east-us と region:west-us を⽐比較す
ると？”
TW: @gitbisect @datadoghq

33. クエリー ベースのアラート設定
“role:web-app が可動しているリソースグループで
region:west-us であるものについて、リクエスト数が
異異常に低下した場合にアラートする”
“application:sql-server が可動している
role:accounting-app のホストについて、region:east-
us にあるグループ内で他と違うものがあればアラー
ト”
TW: @gitbisect @datadoghq

34. TW: @gitbisect @datadoghq
4. ⻑⾧長期的な保管
TW: @toolyee @datadoghq

36. M T W TH F M T W TH F M T W TH FM T W TH F
障害? ⽕火曜⽇日は祝⽇日?

37. クラウドプロバイダーの場合
▸ MS Azure:
▸ 1分の粒度で93⽇日まで保持
▸ AWS:
▸ 1分の粒度で15⽇日まで
▸ 5分の粒度で63⽇日まで
▸ 1時間の粒度で15ヶ⽉月まで、保持
▸ Google Stackdriver: 1分の粒度で6週間まで保持

38. メトリクスを仕分ける

40. TW: @toolyee @datadoghq

41. TW: @toolyee @datadoghq

42. TW: @toolyee @datadoghq

43. 原因となる問題を発⾒見見するまで再帰的に探索する…
理理想論ではあるが、この構造化によって本当に重要なメトリックを議論する下地ができる

44. メトリクスを実務に落とし込む

45. MTTR (平均復復旧時間)
TW: @gitbisect @datadoghq
最も重要なメトリックの1つ

46. MTTR (平均復復旧時間)
1. 検知までの時間
1. モニタリング
2. アラート
2. 解決までの時間
1. 原因分析
2. 修復復

47. いつ架電するのか？

48. WORK METRICS をアラート, しかし RESOURCE METRICS もまた WORK METRICS
になり得るもの。それでは全てをアラートすべきなのか?

49. だれにアラートするのか？
Leadership

50. Developers
だれにアラートするのか？

51. Database Team
だれにアラートするのか？

52. Ops/SRE
だれにアラートするのか？

53. MTTR (平均復復旧時間)
1. 検知までの時間
1. モニタリング
2. アラート
2. 解決までの時間
1. 原因分析
2. 修復復

54. アラートが来たということだけわかる…
何
が
あ
っ
た
?

55. メトリクスを実務に落とし込む
アクション可能なアラートを作る
1. 何が起こったのか?
2. なぜそれが問題なのか?
3. 問題分析と修復復
1. 問題箇所の確認
2. 応急⼿手当ての指示
3. 問題分析のガイド
4. ヘルプの連絡先と参考資料料

57. 新しいやり⽅方が必要！
モニタリングを再考しよう！
物量量 * スピード = 爆発的な複雑性増加

58. Resources
•
•
•
•
•