More Related Content
Similar to アプリケーションエンジニアがMackerelで楽しく監視構成している事例 (20)
アプリケーションエンジニアがMackerelで楽しく監視構成している事例
- 3. © DMM.com Group
太⽥浩⼀
• id:koudenpa
• 中⼩SI→DMMへ来て2年半
• アプリケーションエンジニア
• 他のレイヤはほどほど
• 監視の構成経験なし
• 最近の⼝癖「レイヤーとロールの違い」
3
- 4. © DMM.com Group
⻄岡景⼦
• id:heleeen
• 2015年新卒
• 社会⼈3年⽬
• アプリケーションエンジニア
• もちろん0からの監視構成はやったことない
• 最近
• イカが楽しいです
4
- 6. © DMM.com Group 6
グループについて
DMM.com Groupは、動画や電⼦書籍など
のダウンロード販売ほか、ゲームや通販、
オンラインレンタルなどを提供するサイト
「DMM.com」の構築から運営までを⼿が
けているグループです。
About Group
株式会社DMM.com
事業の企画・営業
DMM.comラボ
システム開発・運営
ネットワークインフラの提供
Webマーケティング株式会社
株式会社DMM.com証券
FX・CFDの運営
株式会社DMM.com OVERRIDE
DMM GAMES制作・運営
2D / 3Dデザイン制作
ゲームネットワークインフラの運⽤
株式会社DMM.com Base
DISCメディアのプレス、アッセンブ
リ業務、物流サービス事業
DVD、CD、BDなどのソフトレンタ
ル事業
株式会社DMM.futureworks
DMM VR THEATERの運営および
プロデュース・企画、
⾳楽・映像コンテンツの制作
- 7. © DMM.com Group 7
DMM.comは1999年から続く⽼舗サービス
サイトです。時代のニーズに合わせた多彩
なコンテンツを、17年間培った独⾃プラッ
トフォームで安定的に提供しています。
About DMM.com
40以上の幅広いサービスを展開
サービスについて
担当は
ココ
- 12. © DMM.com Group 12
DMM.makeとは
「モノづくり」に関係する「⼈」と
「情報」と「ツール」が集まる
makerのためのプラットフォーム。
3D、IoTのサービス郡。
- 13. © DMM.com Group
導⼊背景
• これまでDMMのサービスはオンプレミスが主流
• 担当サービスを世の流れにしたがってクラウド移⾏することに
• これに伴いエンジニアの責務が変化
• クラウド移⾏前
• 仮想マシンとネットワークまではインフラエンジニアが担当
• 移⾏後
• アプリケーションエンジニアが全て担当
13
- 19. © DMM.com Group
そんな中 AWS Summit Tokyo があった
• EXPOのブースをまわった
• Mackerelのブースへも⾏った
• 即⽇営業メールがくる
• 動きが早い
• なんとなくで、営業を受けた
19
- 21. © DMM.com Group
2時間さわったアウトプット
• 監視できた! 通知来た!
• 指⽰に従うだけでやりたかったことができた
• 遊んだ直後だったので、営業さんの話に実感を得られた
• 担当営業id:soudai(現CRE)
• 営業を受けて本格的に検討を始めた
• Mackerel超簡単!!
21
- 22. © DMM.com Group
Letʼs 稟議
• 使⽤するサービスを増やす=⼿続きが必要
• それでも導⼊する価値が⼤いにあると感じた
• 特に、監視を構成する時間(⼈的コスト)が⼤いに削減される
• 上⻑に処理を依頼
• 処理してくれる⼈がいて幸運だった
22
- 23. © DMM.com Group
稟議を通すにあたって⽐較はしました
• ⽐較観点
• ⾃分たちが運⽤するにあたっての利便性
• 結論
• Mackerelはとにかく楽
• 論拠
• 簡単かつ柔軟に設定できた
• メトリクス収集、通知設定
• ドキュメントが⽇本語であり理解しやすい
• ドキュメントの構成⾃体が理解しやすいものでもあった
• などのこちらの事情と上⼿くかみ合っていた
23
- 27. © DMM.com Group
サーバーはまだペット
• EC2の完全なIaCはできていない
• 家畜ではなくペットとしてかわいがっている状態
• Terraformで構築
• Ansibleで各種設定
• の2段階管理
• Mackerel-Agent設定はAnsible-Role
• https://github.com/mackerelio/ansible-mackerel-agent
• GroupVers, HostVers で処理
27
- 28. © DMM.com Group
監視構成
• 監視対象
• EC2, ALB, RDS
• アプリケーションのホスティング以外はマネージドサービスを利⽤
• EC2
• 各種メトリクス
• ミドルウェア, アプリケーションの死活
• Check-Log
• 他
• AWSインテグレーションにお任せ
28
- 31. © DMM.com Group
ホスト毎設定(Host Variables)
mackerel_agent_display_name
: "prd-3dprint-appfront-0"
mackerel_agent_display_name
: "prd-3dprint-batch-0"
...
31
- 33. © DMM.com Group
監視設定の管理
• Jenkinsから”mkr monitor push”
• 設定のJSONはGit管理
• 各種メトリクス監視、URL外形監視
• Web上で設定をお試しすること多し
• チャンネル設定は⼿設定
33
- 34. © DMM.com Group 34
email
CI状況等を含む汎⽤通知Channel
- CheckLogは現状ここ
⾼い感受性が必要な通知Channel
サービス・通知レベル毎にチャンネル設定
CRITICAL系通知
WARNING系通知
必要な通知を
必要なところで
- 39. © DMM.com Group
当たり前の気づき
• 何はともあれAWSへ移⾏した
• 結果、リソースが有り余っている……! 業務時間中だけRDSのCPUが80% !?
• など、チューニングしていくためのネタ
• 移⾏作業中、Check-Logでの通知が⼤量に
• アプリケーションの不備に対処できた
• 移⾏後も継続中ですが……
• これらの『あたり前の価値』を得られた
39
- 42. © DMM.com Group
サービスとの距離が近い
• フィードバックを送ってみたことがある
• 即⽇返事をいただいた
• さらに要望した機能のリリース時にもご連絡いただいた
• これこそDevOps!
• Customer Reliability Engineerすごい
• 今回含め、各種イベントへ参加
• 噂のまかないランチにもお呼びいただいた
• イベントでプラグイン作成
• FBを積極的に聞いていく姿勢を⾒習いたい
42
- 45. © DMM.com Group
まとめ
• 必要⼗分・当たり前の監視を⾏えている
• VM、ミドルウェア、アプリケーション、それぞれの正常性
• アプリケーションエンジニアでも出来ている感
• 監視設定は試⾏途上
• 導⼊が『楽』で、運⽤が『楽しい』
• 結果、監視結果を受けてのカイゼンサイクルができつつある
45