2014.07.27 JAWS-UG Chiba #4 AWS Operation BestPractice

1. クラメソ保守運⽤用担当からみた
AWS使っててよかったこと
JAWS-‐‑‒UG 千葉葉⽀支部 Vol.4 -‐‑‒ AWS運⽤用縛り
2014/07/26
Kazuki Ueki

2. ⾃自⼰己紹介
• 名前:植⽊木 和樹（うえき かずき）
• 年年齢:37歳
• 出⾝身:新潟県妙⾼高市（単⾝身赴任中）
• 元製造業情報システムG常駐
• 主にUnixサーバエンジニア（監視、保守）
• 資格：IPA ITサービスマネージャ
IPA システムアーキテクト
• JAWS北北陸陸コアメンバー（JAWS DAYS 2013〜～）
• JAWS埼⽟玉コアメンバー（2013年年8⽉月〜～）
• 好きなAWSサービス：SQS
classmethod.jp 2
@czkuk

3. 本⽇日は「運⽤用」しばり
classmethod.jp 3

4. ところで
保守ってなんだろう？
運⽤用ってなんだろう？
classmethod.jp 4

5. 保守
classmethod.jp 5

6. ⽇日本⼯工業規格
JIS X 0161：2008
classmethod.jp 6
保守の種類 定義 例例
改良良保守
（ソフト
ウェア⾃自体
の修正）
適応保守 引渡し後，変化した⼜又は変化している
環境において，ソフトウェア製品を使
⽤用できるように保ち続けるために実施
するソフトウェア製品の修正。
OS新バージョンへの対
応／消費税対応
完全化保守 引渡し後のソフトウェア製品の潜在的
な障害が，故障として現れる前に，検
出し訂正するための修正。
ドキュメントの改善
UIの改善
（問題への
対応）
是正保守 ソフトウェア製品の引渡し後に発⾒見見さ
れた問題を訂正するために⾏行行う受⾝身の
修正。
不不具合の修正
（リアクティブ）
緊急保守 是正保守実施までシステム運⽤用を確保
するための，計画外で⼀一時的な修正。
是正処置実施までの暫
定処置
予防保守 引渡し後のソフトウェア製品の潜在的
な障害が運⽤用障害になる前に発⾒見見し，
是正を⾏行行うための修正。
ミドルウェアアップ
デート、不不要ファイル
削除

7. つまり
「システムが本来あるべき姿」
になるよう対応すること
メンテナンス
classmethod.jp 7

8. 運⽤用
classmethod.jp 8

9. バックアップ
監視
リソース収集
定型業務
classmethod.jp 9

10. 「正常に稼働しているシステム」
を⽤用いて実施する業務
オペレーション
classmethod.jp 10

11. 「正常に稼働しているシステム」
を⽤用い「⼿手順やルールに従って」
実施する業務
オペレーション
classmethod.jp 11

12. ⾯面倒？
classmethod.jp 12

13. classmethod.jp 13
⾯面倒は全部AWSに任せる

14. １．障害復復旧
２．障害原因調査
３．バックアップ
４．監視
５．リソース収集
６．定型業務
（よくある）保守運⽤用業務

15. １．障害復復旧
２．障害原因調査
３．バックアップ
４．監視
５．リソース収集
６．定型業務
保守運⽤用業務

16. EC2 Stop
↓
EC2 Start
これだけ
classmethod.jp 16

17. ・突発障害の多くは仮想ホスト障害が原因
仕組み上不不可避・受け⼊入れる
・“Design for Failure”
極⼒力力複数台構成（できればMulti-‐‑‒AZ）
・再起動すればサービス再開する作りにしておく
・AutoScalingにしておくとなおよし
（AutoHealing）
AWSでの障害復復旧

18. １．障害復復旧
２．障害原因調査
３．バックアップ
４．監視
５．リソース収集
６．定型業務
保守運⽤用業務

19. AWSサポートを
活⽤用しましょう
classmethod.jp 19

20. ・環境をみて⼀一緒に原因を調べてくれる
・客観的に調査してくれる（当事者の思い込み）
・ドキュメントへのポインタを教えてくれる
・⼿手順やエビデンスはちゃんと伝えましょう
・EC2 retirement、RI期限切切れの通知（β？）
・ec2 abuse Report（踏み台とか）
・ベーシックは無料料。「開発者」は約5千円/⽉月
AWSサポートは素晴らしい

21. １．障害復復旧
２．障害原因調査
３．バックアップ
４．監視
５．リソース収集
６．定型業務
保守運⽤用業務

22. スナップショット
取りましょう
classmethod.jp 22

23. ・RDSならスケジュールで⾃自動
・ちゃんと取れてるかはTrusted Advisor参照
・EBSには「ソンナコトモアロウカト」 オススメ
EBSにタグ設定するだけで⾃自動世代管理理
1クリックで毎⽇日スナップショットを⾃自動取得 〜～ ソンナコトモアロウカト編 ｜ Developers.IO
・リストア／リカバリ⼿手順も確認してる？
バックアップが簡単

24. １．障害復復旧
２．障害原因調査
３．バックアップ
４．監視
５．リソース収集
６．定型業務
保守運⽤用業務

25. CloudWatch
使いましょう
classmethod.jp 25

26. ・インスタンス作成後「すぐに」情報収集
・気になる項⽬目にはアラーム設定
・⾜足りない項⽬目はカスタムメトリクスで
（ディスク使⽤用率率率、メモリ使⽤用率率率など）
・監視項⽬目数が膨⼤大なのでZabbixなど利利⽤用すべき
（ログ監視、RDSイベント監視なども）
CloudWatchによる監視

27. １．障害復復旧
２．障害原因調査
３．バックアップ
４．監視
５．リソース収集
６．定型業務
保守運⽤用業務

28. やっぱり
CloudWatch
使いましょう
classmethod.jp 28

29. ・CloudWatchの保存期間は2週間のみ
・CloudWatchはOSより下のみ
・⾜足りない項⽬目も多いのでZabbixなどと併⽤用
（特にRDSまわり）
・Web１台構成でもELBは⼊入れておくと良良い
リクエスト数、レイテンシ、HTTPステータスコード
リソース収集

30. １．障害復復旧
２．障害原因調査
３．バックアップ
４．監視
５．リソース収集
６．定型業務
保守運⽤用業務

31. aws-‐‑‒cli
classmethod.jp 31

32. ・運⽤用はドキュメントドリブンで
・マウスでのオペレーションは意外と難易易度度⾼高い
⼿手順書作りも⼤大変（→ ⼿手順書作ってくれない）
・コマンドコピペでOK、操作ログ、複数処理理実⾏行行
・Zabbixから⾃自動実⾏行行も
コマンドラインによる定型業務

33. １．障害復復旧：Stop/Start
２．障害原因調査：AWSサポート
３．バックアップ：⾃自動スナップショット
４．監視：CloudWatch
５．リソース収集：CloudWatch
６．定型業務：aws-‐‑‒cli
保守運⽤用業務まとめ
AWSで⾃自動化・省省⼒力力化が可能

34. ところで
あなたのAWSは健全ですか？
classmethod.jp 34

35. ⽇日本⼯工業規格
JIS X 0161：2008
classmethod.jp 35
保守の種類 定義 例例
改良良保守
（ソフト
ウェア⾃自体
の修正）
適応保守 引渡し後，変化した⼜又は変化している
環境において，ソフトウェア製品を使
⽤用できるように保ち続けるために実施
するソフトウェア製品の修正。
OS新バージョンへの対
応／消費税対応
完全化保守 引渡し後のソフトウェア製品の潜在的
な障害が，故障として現れる前に，検
出し訂正するための修正。
ドキュメントの改善
UIの改善
（問題への
対応）
是正保守 ソフトウェア製品の引渡し後に発⾒見見さ
れた問題を訂正するために⾏行行う受⾝身の
修正。
不不具合の修正
（リアクティブ）
緊急保守 是正保守実施までシステム運⽤用を確保
するための，計画外で⼀一時的な修正。
是正処置実施までの暫
定処置
予防保守 引渡し後のソフトウェア製品の潜
在的な障害が運⽤用障害
になる前に発⾒見見し，是正を
⾏行行うための修正。
ミドルウェアアップ
デート、不不要ファイル
削除

36. やっぱり
AWSサポート
classmethod.jp 36

37. ■電話、チャット
・24時間年年中無休
・ELB暖気（Pre-‐‑‒Warming）
■Trusted Advisor ★イチオシ！
・コスト最適化（RI推奨、EIPつけ忘れ）
・セキュリティ（全開放のポート検知）
・耐障害性（スナップショット取り忘れ）
・パフォーマンス（上限数警告、EBS最適化）
■100 USD または AWS使⽤用料料の10%
・⽉月額使⽤用料料が10万円までなら⽉月1万円
・契約は⽉月単位
ビジネスサポートがおすすめ

38. Operational Checklists for AWS

39. 先ほど公開しました

40. 予防保守が⼤大事
検証が⼤大事
事前チェックが⼤大事
classmethod.jp 40

41. ご清聴ありがとうございました
classmethod.jp 41

42. 参考資料料（1/2）
u JIS X 0161:2008（ソフトウェアライフサイクルプロセスー保守）
http://ja.wikipedia.org/wiki/ソフトウェア保守
u Amazon EC2 インスタンスに関するよくある質問
「Q: インスタンスが応答しなくなったときは、どうすればよいですか?」
http://aws.amazon.com/jp/instance-‐‑‒help/
u AWSサポート
https://aws.amazon.com/jp/premiumsupport/
u 1クリックで毎⽇日スナップショットを⾃自動取得 〜～ ソンナコトモアロウカト編 ｜ Developers.IO
http://dev.classmethod.jp/cloud/aws/aws-‐‑‒cfn-‐‑‒advent-‐‑‒calendar-‐‑‒2013-‐‑‒snapshot/
u aws-‐‑‒missing-‐‑‒tools/ec2-‐‑‒automate-‐‑‒backup ·∙ GitHub
https://github.com/colinbjohnson/aws-‐‑‒missing-‐‑‒tools/tree/master/ec2-‐‑‒automate-‐‑‒backup

43. 参考資料料（2/2）
u ELBの挙動とCloudWatchメトリクスの読み⽅方を徹底的に理理解する ｜ Developers.IO
http://dev.classmethod.jp/cloud/aws/elb-‐‑‒and-‐‑‒cloudwatch-‐‑‒metrics-‐‑‒in-‐‑‒depth/
u グラフの確認⽅方法と確認できるグラフ⼀一覧(EC2/ELB/RDS) ｜ Developers.IO
http://dev.classmethod.jp/cloud/aws/cloudwatch-‐‑‒can-‐‑‒be-‐‑‒seen-‐‑‒graph/
u Operational Checklists for AWS
http://aws.amazon.com/jp/whitepapers/operational-‐‑‒checklists-‐‑‒for-‐‑‒aws/
u これからAWSを始める⼈人は⼀一読すべき「AWS運⽤用チェックリスト」を読んでみた ｜ Developers.IO
http://dev.classmethod.jp/cloud/aws/aws-‐‑‒operational-‐‑‒checklist/