Packet capture for infrastructure-driven debugging

1. パケットキャプチャでインフラ主導
のデバッグ環境を作る
＠Clorets8lack
NetOpsCoding#5 ×
ネットワークプログラマビリティ勉強会#13

2. ある日の会話
アプリ担当者
「昨日夜間バッチがコケてたんだけど、インフラおかしくな
かった？」
ぼく
「？？？？？」

3. 「昨日夜間バッチがコケてたんだけど、イン
フラおかしくなかった？」
言葉の意味はよく分からんがとにかく凄い自信だ

4. 仲良くしようぜ
集英社コミックス ゆでたまご著 キン肉マンより引用

5. 原因はユーザー入力のデータバグ
アプリ内部の例外処理漏れ
（想定外だったのでログは出なかった）
この手の問題にインフラ側が汎用的に協
力できる仕組みを考える

6. ある時間に、インフラが問題なく動作していた事をエビ
デンスとして示す事は意外と難しい。
死活監視->Ping、SNMP、ログ解析
エビデンスか？と言われるとどうですかね…
・正常に動いていないかもしれないシステムのログ
・5分間隔で起動する解像度の低いサービス監視
・状況証拠にはなり得ても問題解決に繋がるか？
そもそも論

7. どうしているか？
・DBサーバ周辺に予めパケットキャプチャを仕込む
・パケットを収集し、一定期間保存する
・リモートデータベース処理は全SQLを後追いできる
・警告処理を独自に実装可能 -> 再発防止に繋げる
問題発生時に、サーバ応答がどういう状態だったかをアプ
リ非依存でシステム外部から独自に検証できる

8. インフラの無罪証明とアプリの信頼を勝ちとる
・正常な夜間バッチの通信と問題の入出力を比較
・DBに流れたクエリと応答からデータバグを発見
・暫定対策としてDBからの一部のエラーコードを検知して
メールで警告するように設定
ここまで約1時間でした

9. アプリとインフラが力を合わせて何かいい感じになること、
それが俺達のDevOpsじゃないのかな…？
集英社コミックス ゆでたまご著 キン肉マンより引用

10. 同人誌出します！
10/22（日）技術書典3 @秋葉原UDX
@Clorets8lack
パケットキャプチャによる
エラー検知と警告システムの
構築について書きました