第3回『いまさら聞けない！システム運用・管理のコツ』 ～システム監視ツールバトル2013！～ @zembutsu の発表スライドです。 前半は、これまでのお復習い。後半は、現在の取り組みです。 2013/07/11(木) 19:00 ～ 22:30 http://everevo.com/event/6342 様々な監視ツールがあるなかで、Munin はリソースの変化を識るためのツール。サーバ上のありとあらゆる情報を集めることが出来るので、日常の利用状況の把握や、障害時のトラブルシューティングにも最適です。そこで、Munin を使えばトラブルシューティングがどのように変わるのか、実例とグラフを交えてご紹介します。 おまけ、スライド冒頭は、本当はこんな無駄アニメーションでした。。 （頑張るところが間違ってるだろうと反省しています） http://youtu.be/YNJ-Mn0IOpI

1. 実践! MuninとZABBIXで
効率的トラブルシューティング
Masahito Zembutsu @zembutsu
July 11, 2013
第3回『いまさら聞けない！システム運用・管理のコツ』
～システム監視ツールバトル2013！～
Effective Troubleshooting, Munin and Zabbix.
×

2. 1. Munin とは何か？
2. Munin を使い始めた理由
3. もう一つの鍵、ZABBIX
4. かさなり合う瞬間
5. 障害防止への道のりは遠い
My Very Best Friend, Munin
I'm Not Afraid of Anything Anymore
Another Key, ZABBIX
Munin and ZABBIX are Real
More Vivid Than Today
お題は「監視ツールバトル」で
すが「みんな仲良く」な私の仕
事模様を紹介する機会を頂きま
した。前半はこれまでの復習、
後半が今の取り組みです。
p.18
p.39
p.50
p.60
p.70

8. NOW LOADING…

10. みんな、今日も
監視おつかれさま
なにかまたメキメキ
うまくなってるきがする！
冒頭スライドのアニメーション版
http://youtu.be/YNJ-Mn0IOpI

11. おうよ！
頑張らざるを得ない
みんな、やる気だねー
トラブルシュートしたいな
冒頭スライドのアニメーション版
http://youtu.be/YNJ-Mn0IOpI

12. お∼！
おー！
おー！
おー！
おー!!!
冒頭スライドのアニメーション版
http://youtu.be/YNJ-Mn0IOpI

13. (意訳：コイツ馬鹿ww)

14. (意訳：コイツ馬鹿ww)

16. 運用
監視
Operation
Monitoring
―Don't forget. always, somewhere,
someone is fighting for you.
―As long as you remember her.
you are not alone.
忘れないで、いつもどこかで誰かがあなたの為に戦っている。
彼女を覚えている限り、あなたは一人じゃない。
（出典：魔法少女まどかマギカ最終話「わたしの、最高の友達」）

17. This Photo is under creative commons license by torkildr
http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
※こんな職場の
イメージです
元々は、サービス企画・開発的な事をし
ていました。が、気がついたら二次対応
どころか、お客さまとの直接対応＆デー
タセンタで一次対応も行っています。
…どうしてこうなった ／(^o^) ＼

18. My Very Best Friend, Munin
Muninとは何か？
1
■ ■ ■ ■ ■
なに

19. Muninは、リソース監視ツール
• “単純かつ強力”な設計思想
– データを収集し、蓄え、グラフを描画する
• オープンソース GNU GPL v2
• Perl5 で記述
– RRDtool でデータ格納・グラフ描画
– RDBMS 不要、メンテナンスの手間軽減
– マスタとノード(エージェント)間の通信で、
複数のサーバ環境を監視可能
• 導入コストが低い
Munin は、ひたすらリソースの変化を見る
ための、シンプルなツール。比較的手軽に
サーバに関する多くの情報を視覚化します。

20. Munin セットアップ
• EPEL ( RHEL/CentOS )
# yum -y install munin munin-node
# service munin-node start
# chkconfig munin-node on
# htpasswd -bc /etc/munin/munin-htpasswd muninadmin ******
# service httpd restart
10分待つ
ブラウザで http://<HOST>/munin/ にアクセス
(ﾟдﾟ)ｳﾏｰ
動かすためのコマンドは、たったこれだけ。
インスタント・ラーメンを作っている間に、
セットアップが完了するほどの手軽さです。
RDBMS の設定が不要なのも楽な所。

21. グラフ値の意味
• 数値は 4 種類 ( rrdtool の RRD と同じ）
– COUNTER 変化率 = ( 現在値 – 前回値 ) ÷ 300
– DERIVE マイナス値もある変化率
– ABSOLUTE 変化率だが、直前値 0 で固定
– GAUGE そのままの値
Munin がグラフで描画しているのは、
殆どが “DERIVE”（変化率）または
“GAUGE”（実測値）です。

22. カテゴリ プラグイン名 役割 フィールド名 値の型 参照しているデータ
apache
apache_accesses Apache へのアクセス数 port 80 DERIVE /server-status?auto の 「Total Accesses: n」
apache_processes Apache のプロセス状況
busy server 80 GAUGE 「BusyServer: n」
idle server 80 GAUGE 「IdleServers: n」
free slots 80 GAUGE 「Scoreboard: xxx」の「.」の件数
apache_volume Apache 通信量 port 80 DERIVE 「Total kBytes: n」
disk
diskstats_iops
秒間I/O IO/sec GAUGE /proc/diskstats のデータを整形
平均リクエストサイズ Req Size (KB) GAUGE /proc/diskstats のデータを整形
df ディスク使用率 / , /home等 GAUGE df の結果を整形
network if_ トラフィック bps DERIVE /sys/class/net/<ethX>/statistics/rx_bytes or tx_bytes
processes vmstat vmstat の結果
running GAUGE 「vmstat 1 2」の結果の、1つめのフィールド
I/O sleep GAUGE 2つめのフィールド
system
cpu CPU使用率
system DERIVE /proc/stats のデータを整形
user DERIVE /proc/stats のデータを整形
nice … DERIVE /proc/stats のデータを整形
load 平均負荷 load GAUGE /proc/loadavg のデータを整形(5分間平均)

23. CASE: A
利用シーン
例えば、Load Average上昇

24. 事象：
Load Average 急上昇
物理メモリ不足の兆候
CPUの負担増加
原因：
sendmail の大量
のキュー発生

25. CASE: B
BINDへのクエリ

26. 普段とは異なる状況から、
不正アクセスや攻撃の疑い

27. CASE: C
MySQLクエリ

28. 事象：
MySQLの処理が頭打ち？
原因はどこに？
ディスクのスループットは問題なし。
CPUの処理にも負担なし。
→ MySQL のチューニング余地を検討

29. MySQL の新しいプラグイン (mysql2_)を
有効にすると、レプリケーション遅延な
ど、より詳細な情報が得られます。

30. CASE: D
不正アクセス検出

31. 事象：
Postmaster宛のエラーメールが急増。
httpdの動作ユーザ権限によるもの。
Muninで見ると、キュー数が急増
通常とは異なったアクセス兆候。
当該時間の httpd のログを調査し、
不正アクセスを発見→直ちに対処

32. Other Resrouces
その他

33. https://github.com/zembutsu/AWS-EstimateCharge
AWS の料金表示プラグインを
書いてみました。API 経由で
データを取得し、Munin に取
り込みグラフ化します。

34. とある電子書籍媒体の冊数を数
えることも出来ます。Muninは
数値化されたものなら、何でも
簡単にグラフ化できます。

35. こちらは、とある電力会社の総
発電量と供給量のグラフです。

36. Forecasting
簡単な予測

37. ディスクの使用率が 100% に達
する見込みも立てられます。

38. ディスクの使用率が 100% に達
する見込みも立てられます。
RRDtool を使えば、こんな予測曲線も
簡単に引けたりするのですが、これを
Munin にも取り込めないかなぁ……、
などと思っていたりします。

39. I’m Not Afraid of Anything Anymore
Muninを使い始めた理由
2
■ ■ ■ ■ ■
つか はじ わけ

40. そもそも、監視って何でしょうか。
• ビジネス価値を高めるため？
• 閾値なんて無くなればいいのに。
• トリアージ的な考え方も、時には。
状況に応じた機敏な判断が求め
られています。理由の説明でき
ない監視項目や手順は、廃止し
たら良いのではないでしょうか。
手順の遵守が、サービスによっ
ては機会損失が生じるケースも
出始めました。
そのためには、正しい情報を迅
速に集めなくてはいけません。

41. はじまりはいつも障害
• 原因不明のサーバ障害への対応
– 何かあった時、ログ調査をしていては遅い
私が Munin 導入のきっかけになっ
たのは、障害発生と、その対処。
多くのサーバに対して短期間で状
況判断する必要に迫られました。

42. Before After 今は用途に応じてサーバ
を分けたり、アクセスを
捌くため台数が…（苦
10年前は中規模ECサイ
トでも、せいぜい数台
（一ケタ台）の規模感。

43. 正直、何でも良かった
• ただし、時系列推移が確認できるものは必須
• 一次対応部隊では無かった
当時は、二次エスカレーションのチーム
たまたま目の前にあったのが Munin でした。もしかしたら、Cacti だったり、
Zabbix や Ganglia や Graphite だったかもしれません。
当時の私の役割は、トラブルシュート対応。
状況が進行中で、いかに短時間で状況を把握するかが最大の課題でした。

44. 時系列リソース監視
• Munin http://munin-monitoring.org/ http://munin.jp/
• Zabbix http://www.zabbix.com/jp/
• Nagios http://www.nagios.org/
• Ganglia http://ganglia.sourceforge.net/
• Cacti http://www.cacti.net/
• MRTG http://oss.oetiker.ch/mrtg/
私、樹になります！
このほかにも、色々あります。

45. Muninが変えた、障害対応の流れ
• ツールにたよらない場合
– 各種ログの調査、コマンド実行(sysstat等)
– 人の手が掛かり、時間もかかる←致命的
• Munin があれば…
– サーバにログインしなくとも、状況把握
– 視覚的に比較できるので、異常値検出が用意
– 迅速な対応が可能
• 障害対応の Plan-Do-Check-Action (PDCA)
• グラフを見た瞬間「この障害対応のエンディングが見えたッ！」
トラブルシュートの
鍵は、適格な状況判
断。手順書に無い例
外時でも、まずは原
因の切り分けが求め
られます。
また、オープンソー
スなので、自分でプ
ラグインの拡張や、
挙動を理解するのも
容易でした。

46. とあるホスティングの場合
• Muninはマジで仕事に欠かせません。
– とにかく入れる
– 片っ端から入れる
– 無駄に入れる
気がつくと、自分のチームでは標準
で使用するツールとなりました。
お客さまと情報を共有する目的もあ
りました。しかし、次第に社内で
「もしも」の時に使うのがメインに。

47. Vertical axis is a server, cross axle is metrics. The grouping function is characteristic.
Munin は、様々なリ
ソースを一覧で見やす
いのも特長の１つだと
思います。

48. リソース監視の必要性
• スマートフォンの普及
– ますます生活に密着するインターネット
– 僅かな障害も、大きな機会損失になり得る時代
• 時系列「変化」を簡単に把握するために
– 過去の経緯を記録・参照
– グラフを通した人間の認識能力
• 「なんとなく重い」「もしかして障害？」を視覚化
– 客観的データの確保
• 属人性の排除
トラブルシュートを加速するた
め、リソースを参照する場面は
Munin が適任でした。
しかし、そこにスマートフォン普及による
新たな影が這い寄るのです。

49. どうかこの夜に何があったか教えてください。
それは例えるなら猫を詰めた箱。
どうかこの夜に何があったか教えてください。
箱の中の猫は、生か死かすらもわからない。
どうかあの夜に何があったか教えてください。
箱の中の猫は、死んでいたのです。
Frederica Bernkastel

50. Another Key, ZABBIX.
もう一つの鍵、ZABBIX
3
■ ■ ■ ■ ■
かぎ

51. 混沌 CRAWLING CHAOS這い寄る

52. はじまりはいつも障害（またか）
• ロードバランサで障害が発生したという話
– 想定を上回るアクセス増
– 共用環境だったので影響範囲が大きい
• 原因調査と切り分けに時間がかかる
– 当時のモニタでは1分間隔
– 状況照会には、自分たちも時間がかかった
Munin で見えていたのは、サーバの中だけ。
サービズ全体の状況を把握するには至りませんでした。

53. 新たな課題 1/3
• 5分間隔では遅い
– Munin の監視間隔で
追いつかないケース
「見えていない所で、問題が起こっ
ているのでは…？」
Munin のデータ取得間隔は、標準の
5 分間で運用。そのため、データに
よっては、その5分間の間に何が起
こったか分からない事もありました。

54. $ sar -q -s 08:50:00 -e 10:00:00
Linux 2.6.18-194.17.1.el5 (sv.example.co.jp) 2013年07月11日
08時50分01秒 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
09時00分01秒 5 187 0.99 0.82 0.75
09時10分01秒 6 189 1.10 8.64 6.47
09時20分01秒 3 186 0.13 2.31 4.46
09時30分01秒 3 191 1.92 1.51 3.00
09時40分01秒 3 198 0.26 0.94 2.04
09時50分01秒 1 196 0.10 0.81 1.53
平均値: 4 191 0.75 2.50 3.04
例えば sysstat のデータは 10 分間隔。
1 分間の load average を見るとたい
したことは無さそうですが…

55. Munin で見ても（5分間隔の Load
Average 5分のデータ）あまり問題な
さそうですが……

56. Zabbix で15秒単位でデータを収集すると、
実は短時間に、大きな負荷のピークが３つ
発生していた事がわかります。

57. 新たな課題 2/3
• 機器のデータを SNMP で知りたい
– 責任分界点を超える箇所まで把握
– 目的は、迅速な状況把握のため
• 通報があった時には終息しているケースも多い
• お客さまに迅速な状況説明ができない
– 自分たちで直接監視を開始
• 上位装置の SNMP 情報を開示してもらう
• せめて、状況が直ちに分かるように
リアルタイムに情報が参照で
きれば、有る程度自分たちで
も状況が分かるように。
問い合わせを行い、回答を貰
うまでも時間のロスでした。

58. 今はポート毎のトラフィックやパケット流
量のほか、機器の CPU 等のリソースも直接
参照しています。
SNMP データを参照できるよう、Zabbix に
よる環境を構築しはじめました。

59. 新たな課題 3/3
• 一次対応開始
– インシデント管理
– アラート管理
従来は Nagios ベースの監視ツールと、
そのエスカレーション対応がメイン。
しかし、それでは求められている監視
間隔や対応ペースに追いつきません。
結論として、自分たちで一次対応を行
う事がベストと考え、そこに適した
ツールが、Zabbix でした。
イベントやトリガの一覧表示を
通して、今何が起こっているか、
機器・サーバを一括して参照で
きるように。

60. Munin and ZABBIX are Real
かさなり合う瞬間
4
■ ■ ■ ■ ■
あ とき

61. 更に新たな課題
• サービス安定性向上
• ハードウェア障害の予防ないし、事前傾向監視
– 割とベンダ任せだったが。。
• 調べたいこと
– 1. RAIDカードや ioDrive の SNMP 値
– 2. IPMI のログ
– 3. S.M.A.R.T のデータ
ここからは、これまで話した事が
ない、今まさに取り組んでいる課
題。機器のハードウェア故障への
対策です。
物理環境なので、いつかは壊れます。かといって、
壊れるのを座して待つ訳にもいきません。
突発故障は免れないとしても、徐々に故障が積み重なる問題は
検出できると考えています。

62. Munin sensor Plugins
Munin の sensor_ プラグインで、
IPMIのデータを可視化します。
内部温度
消費電力
ファン回転数
【メモ】MuninのOpenIPMIプラグインでFAN速度・HDD/センサ温度・
電力をグラフ化 | Pocketstudio.jp log3
http://pocketstudio.jp/log3/2013/07/01/munin-openipmi-plugins/

63. muninwalk で連携
• ノード側の手順
– 1. munin-node のサーバに zabbix-agent を入れる
– 2. zabbix_agentd.conf に UserParameter 追加
• UserParameter=munin-node[*],/usr/local/bin/muninwalk $1 $2 –z
Munin のデータを Zabbix が取り込み、
閾値監視や、トリガ超過時の通知を担う。
※ muninwalk … munin-node の CLI
https://github.com/zembutsu/muninwalk
Munn プラグインのデータは直接
Zabbix で参照できません。そのため、
仲介ツールを自作しました。Munin が
参照するものは、全て Zabbix からも読
み込めます。

64. 以前であれば、不定期に巡回して、
その結果を集計＆目視で変動確認を
しなくてはいけませんでした。
リアルタイム把握は厳しかったです。

65. munin × zabbix
• Munin のプラグイン smart_
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 239 238 021 Pre-fail Always - 1041
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 26
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 100 253 000 Old_age Always - 0
9 Power_On_Hours 0x0032 074 074 000 Old_age Always - 19275
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 25
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 19
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 6
194 Temperature_Celsius 0x0022 113 111 000 Old_age Always - 34
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 100 253 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 100 253 000 Old_age Offline - 0
SMART Error Log Version: 1
No Errors Logged
連携の順番としては、まず Munin が
データを取り込みます。これは HDD の
S.M.A.R.T 値を参照(smartctl)します。

66. munin × zabbix
• Munin のプラグイン smart_
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 239 238 021 Pre-fail Always - 1041
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 26
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 100 253 000 Old_age Always - 0
9 Power_On_Hours 0x0032 074 074 000 Old_age Always - 19275
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 25
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 19
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 6
194 Temperature_Celsius 0x0022 113 111 000 Old_age Always - 34
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 100 253 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 100 253 000 Old_age Offline - 0
SMART Error Log Version: 1
No Errors Logged
Munin のグラフがこちらです。
頻繁に Seek_Error_Rate が変動
している事が分かります。
プラグインを書き換え、RAW 値
も参考値として取得します。

67. muninwak ( zabbix-agent ) を通して、
Zabbix にもデータを取り込みます。参
考になりそうな値には、トリガを設定、
変動時には通知します。

68. key の書式は
“munin-node[localhost,プラグイン名]”
このような形式です。

69. 設定後は、このように Zabbix が指定する任意間隔毎に、
データの収集が出来るようになりました。
もう、これまでの手動巡回とレポート作成の必要はありま
せん。数時間かかった作業が、不要になります。
今後は、データが障害に役立つかどうかの検証です。
役立たないかもしれませんが、まずはデータ集めから。

70. More Vivid Than Today
障害防止への道のりは遠い
5
■ ■ ■ ■ ■

71. 今は Munin と Zabbix だけど…
• 必ずしも拘っている訳ではありません。
• たまたま、目の前に使えるツールがあり、
使わざるを得ない状況だったからなのです。
ツールありきで運用や監視を考えるのではなく、目
的に応じて、様々なツールを使い分ける事が大切な
のではないでしょうか。
また、私の場合は、オープンソースだから自由に扱
えた（何かあっても自分で対処できる）のも大きな
理由の一つでした。

72. This Photo is under creative commons license by superchango
http://www.flickr.com/photos/superchango/4376866953/
一色 健次郎 博士
Isshiki Kenjiro, Ph.D.
「他と関わりを持たぬ孤独のものは、自ずとその限界が定まってしまう。
じゃが、他者と惹かれ合い影響し合うとき、その限界が限界では無くなる。
また１から研究のやりなおしじゃ」
出典：「ビビッドレッド・オペレーション」第12話
とある博士も、このような名言を仰って
います！！

73. お∼！
おー！
おー！
おー！
おー!!!
“監視ツールバトル”という “殺し合えー
(^q^”の世界ではなく、使い分け＆協力が
強力なパワーになるのではと思います。

74. 1. Munin とは何か？
2. Munin を使い始めた理由
3. もう一つの鍵、ZABBIX
4. かさなり合う瞬間
5. 障害防止への道のりは遠い
My Very Best Friend, Munin
I'm Not Afraid of Anything Anymore
Another Key, ZABBIX
Munin and ZABBIX are Real
More Vivid Than Today

75. 今 ま で な か っ た ド キ ド キ を 。
http://munin.jp

76. つづく

77. Questions?
• もう少しkwsk訊きたい所はありますか？
／￣＼
| |
＼＿／
|
／ ￣ ￣ ＼
／ ＼ ／ ＼
／ ⌒ ⌒ ＼ よくぞ訊いてくれた
| （__人__） | 褒美としてオプーナを買う権利をやる
＼ ｀ ⌒´ ／ ☆
/ヽ､--ー､＿＿,-‐´ ＼─／
／ > ヽ▼●▼<＼ ||ｰ､
/ ヽ､ ＼ i |｡| |/ ヽ (ニ､｀ヽ
.l ヽ l |｡| | ｒ-､y ｀ﾆ ﾉ ＼
l | |ー─ | ￣ l ｀~ヽ＿ノ＿＿＿_
／￣￣￣￣ヽ-'ヽ--' ／ オプーナ ／|
.|￣￣￣￣￣￣|／| |￣￣￣￣￣￣|／| ＿＿＿＿＿＿
／￣オプーナ／| ￣|__」／_オプーナ ／|￣|__,」＿＿_ ／|
|￣￣￣￣￣|／オプーナ￣／￣￣￣￣|／ オプーナ ／| ／ .|
|￣￣￣￣￣|￣￣￣￣￣|／l￣￣￣￣|￣￣￣￣￣|／ | ／
|￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣|

78. おしまい

79. References
• Munin
– http://munin-monitoring.jp/
• Munin User Group Japan
– http://munin.jp/
– http://munin.jp/wiki/
#muninja … ドキュメント翻訳 ← New!
• Slideshare
– http://slideshare.net/zembutsu/
• Magazine
– Software Design 2012年11月号
– 第二特集 Muninが手放せない理由
– p.77-110

80. References
• Munin 詳細は、他のスライドをご覧下さい（ ＾ω＾）
http://slideshare.net/zembutsu/
最後までありがとうございました。