Infrastructure as Codeの取り組みと改善
•
13 likes•2,845 views
Developers Summit 2015にて登壇した際の資料です。 セッション: http://event.shoeisha.jp/devsumi/20150219/session/710/ 概要: 数年前よりChefやAnsibleといったProvisioning Toolsが広く話題となっています。 弊社では2013年にChefを導入、その後Chefでどこまで構築するか、テストはどうやって回すかを試行錯誤しながら取り組んできました。 そこで本セッションでは、実際に運用していく中で発生した課題をどのように解決していったかを、弊社におけるサーバ構築の概念を踏まえてお話します。
Recommended
More Related Content
What's hot
What's hot (19)
Viewers also liked
Viewers also liked (20)
Similar to Infrastructure as Codeの取り組みと改善
Similar to Infrastructure as Codeの取り組みと改善 (20)
Infrastructure as Codeの取り組みと改善
- 1. 「実践！Infrastructure as Codeの取り組みと改善」 Copyright 2015 CYBIRD Co., Ltd. All Rights Reserved. 株式会社サイバード 藤原 涼 本田 恭
- 4. Agenda 〜問題編〜 1: サービスの特徴 2: インフラの歴史 3: サーバ構築の概念化
- 5. 自己紹介 ● 藤原 涼 ● 2012年新卒入社 (3年目) ● Twitter @megadreams14 ● エンジニア ○ ソーシャルゲームの開発・運用 ○ サーバ運用からフロントエンド開発まで幅広く担当
- 6. サービスの特徴
- 11. リリース一覧
- 12. イケメンシリーズ イケメン大奥 イケメン清盛 イケメン王宮 新章イケメン大奥 イケメン夜曲 イケメン幕末 イケメン王宮２ ラブセン 眠り姫イケメン王国
- 19. Chefを導入することで ● サーバ構築を自動化 ● 構築手順の明確化 ● 迅速なスケールアウト
- 22. Auto Scaling運用当初
- 31. Auto Scalingを導入することで ● 負荷に合わせて自動でサーバを増減 ○ 急激な負荷にも耐えられる ● スケジュール機能を利用したサーバ増減 ○ スケジュールでサーバ増減
- 32. Auto Scalingを導入することで 運用効率化と機会損失の削減 ● 負荷に合わせて自動でサーバを増減 ○ 急激な負荷にも耐えられる ● スケジュール機能を利用したサーバ増減 ○ スケジュールでサーバ増減
- 38. １：構成管理ツールに全てを任せている ● Chefのレシピのコードの複雑化 ○ Chefの役割が集中している ○ Cookbook同士が疎結合になっていない ○ 冪等性が担保されていない ● 外部サービスとの連携 ○ サーバ内で完結しない処理もレシピ化 ○ デプロイやロードバランサへの追加
- 39. ２：運用上の課題 ● Chef Serverとの接続エラー ○ 単一障害点、同時接続数問題 ● Chefの実行結果を追跡しずらい ○ 実行したサーバに入らないとログが確認できない
- 42. サーバ構築の概念
- 44. Orchestration Configuration Bootstrapping Application Service Deployment System Configuration Cloud or VM Image Launch OS Install [Provisioning Toolchain by Lee Thompson at Velocity 2010] 参考：http://kentana20.hatenablog.com/entry/2014/02/15/023158 Capistrano Fabric Puppet Chef EC2 OpenStack
- 45. Provisioning Toolchain ● Bootstrapping ● Configuration ● Orchestration
- 47. Configuration ● ミドルウェアのセットアップ ● 対象サーバの役割に応じた設定 ● サーバ単体で完結するような処理 システム構成のプロビジョニング 構成管理ツールが得意な領域 Bootstrapping Configuration Orchestration
- 48. Orchestration ● サーバ単体では完結しない処理を担う ○ GlusterFSのClusterに追加 ○ Jenkinsからソースコードデプロイ ○ zabbix-agentの起動など アプリケーションのプロビジョニング Bootstrapping Configuration Orchestration デプロイツールなどが得意な領域
- 50. Releasalization（造語） ● Orchestrationの処理内容をテスト ○ Serverspec ● サーバを本番環境に投入 ○ LBに追加 サービス提供のプロビジョニング Configuration Bootstrapping Releasalization Orchestration
- 58. slideshare jenkins 役割 2015 http://goo.gl/dQozKz
- 59. 恋愛ソーシャルゲームインフラ事情 2013年 2014年 2015年 夏 基本的に手動でサーバ構築 Chefの導入とサーバ構築自動化 秋 Auto Scaling導入冬 サーバ構築自動化とAuto Scaling本格運用 夏 サーバ構築の運用上の課題と改善 サーバ構築の概念化 秋 Auto Scaling見直し 冬 運用管理サービス
- 61. これまでのAuto Scalingの問題点 ● 起動スクリプトで制御しなければいけない ● Auto Scaling機能で起動後すぐにELBに追加 ● 起動用AMI作成の手間
- 64. ● /etc/init.dでやっていること ○ サーバのホスト名の決定 ○ Chefの実行制御（失敗制御など） ○ メール通知 ● 手動起動の際にもChefが流れる ○ 間違って起動するとサービスに組み込まれる危険性 ○ サーバ再起動で毎回処理が走る 起動スクリプトで制御
- 78. ● 起動AMI用のレシピをメンテナンスしていない ○ 基本的に初回作成時のみ ○ 随時手動で設定変更 ● リソースデータの最新化の手間 ○ 予め画像ファイルなどをダウンロード ○ 本番稼働前は、差分のみを適用 ○ 画像の更新が多いため、差分がすぐに多くなる 起動用AMI作成の手間
- 79. ● 起動スクリプトで制御しなければいけない ● Auto Scaling機能で起動後すぐにELBに追加 ● 起動用AMI作成の手間 Auto Scalingの３つの問題
- 81. 恋愛ソーシャルゲームインフラ事情 2013年 2014年 2015年 夏 基本的に手動でサーバ構築 Chefの導入とサーバ構築自動化 秋 Auto Scaling導入冬 サーバ構築自動化とAuto Scaling本格運用 夏 サーバ構築の運用上の課題と改善 サーバ構築の概念化 秋 Auto Scaling見直し 冬 運用管理サービス Auto Scaling運用とコスト削減取り組み
- 82. ここから「改善編」です
- 84. 自己紹介 ● 本田 恭 (ほんだ たかし) ● 2012年新卒入社 (3年目) ● Twitter: @Altsencturely ● インフラ系男子
- 85. Agenda 〜改善編〜 1: 各レイヤーの実践方法 2: Auto Scalingについて 3: やってみた結果
- 86. Agenda 〜改善編〜 1: 各レイヤーの実践方法 2: Auto Scalingについて 3: やってみた結果
- 88. レイヤー ● Bootstrapping ● Configuration ● Orchestration ● Releasalization
- 90. Bootstrapping実践 -物理- ● Kickstartで実行 ○ OSインストール ○ ディスクのパーティション設定 ○ NICやRoutingの設定 ○ SELinux無効化 ○ 管理ユーザーの作成 (Chef実行ユーザー) ■ useradd ■ authorized_keys
- 91. Bootstrapping実践 -クラウド- ● Kickstartの内容を実行しイメージ化 ○ OSの選択 ○ Volume設定 ○ Network Interface設定 ○ SELinux無効化 ○ 管理ユーザーの作成 (Chef実行ユーザー) ■ useradd ■ authorized_keys
- 92. 物理 クラウド 共通 ● SELinux無効化 ● 管理ユーザーの作成 (Chef実行ユーザー) ● OSインストール ● パーティション ● NICやRouting ● OSの選択 ● Volume設定 ● Network設定
- 93. Bootstrapping実践 ● Kickstartをベースに作業 ○ 物理とクラウド両方で同じように考えられるように ● 最低限の作業のみ行う ○ ミドルウェアのインストールや設定は他のレイヤー ○ Chefが実行できる状態にするだけ
- 94. レイヤー ● Bootstrapping ● Configuration ● Orchestration ● Releasalization
- 95. Configuration ● ミドルウェアのセットアップ ● 対象サーバの役割に応じた設定 ● サーバ単体で完結するような処理 システム構成のプロビジョニング 構成管理ツールが得意な領域 Bootstrapping Configuration Orchestration 再 掲
- 96. Configuration実践
- 97. Configuration実践 http://www.levihackwith.com/wp-content/uploads/2011/10/github-logo.png 【実行レシピ(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] Chef Repository
- 98. Configuration実践 ● Chef Soloの利用 ○ Chef Server運用の問題を解決 ● Jenkinsからknife solo実行 ○ Chefの実行がより簡単になった ○ Chef実行結果ログがJenkins上で見られる
- 99. レイヤー ● Bootstrapping ● Configuration ● Orchestration ● Releasalization
- 100. Orchestration ● サーバ単体では完結しない処理を担う ○ GlusterFSのClusterに追加 ○ Jenkinsからソースコードデプロイ ○ zabbix-agentの起動など アプリケーションのプロビジョニング Bootstrapping Configuration Orchestration デプロイツールなどが得意な領域 再 掲
- 102. Serfって何? ● Go言語製オーケストレーションツール ○ メンバーシップ ○ 障害検知と復旧 ○ カスタムイベント伝播 ○ https://serfdom.io/ ● ゴシッププロトコル
- 105. Orchestration実践 ● Serf ○ イベントを受けて各Nodeでやりたい処理を実行 ● Jenkins ○ サーバのSerfクラスタ参加イベントを検知 ○ Serf経由でOrchestration処理イベント発火
- 106. Serfの便利機能 ● Query ○ 実行結果をイベント発火者が取得できる ○ JenkinsがOrchestration処理の失敗を判定 ● Tags ○ ‘KEY=VALUE’形式でNodeに情報を持たせる ○ ChefのRoleの要約を記述している
- 107. Serfの便利機能 ● Query ○ 実行結果をイベント発火者が取得できる ○ JenkinsがOrchestration処理の失敗を判定 ● Tags ○ ‘KEY=VALUE’形式でNodeに情報を持たせる ○ ChefのRoleの要約を記述している ジョブの分岐と失敗判定
- 108. Configuration実践 http://www.levihackwith.com/wp-content/uploads/2011/10/github-logo.png 【実行レシピ(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] Chef Repository 再 掲
- 109. Configuration実践 【実行レシピ(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Chef Repository Serf [設定][起動]
- 111. Orchestration実践
- 112. Orchestration実践
- 117. Orchestration実践 ● SerfでConfigurationとOrchestrationを連携 ○ ChefでSerfのインストールと起動 ● JenkinsでOrchestration処理実行 ○ Queryを使って成功/失敗の判断 ○ 処理内容はTagsで分岐
- 118. レイヤー ● Bootstrapping ● Configuration ● Orchestration ● Releasalization
- 119. Releasalization（造語） ● Orchestrationの処理内容をテスト ○ Serverspec ● サーバを本番環境に投入 ○ LBに追加 サービス提供のプロビジョニング Configuration Bootstrapping Releasalization Orchestration 再 掲
- 120. Serverspecって何？ ● サーバ環境の自動テストフレームワーク ○ RSpecの機能を使って書ける ○ http://serverspec.org/
- 123. ● Orchestrationの処理内容をテスト ○ Serfでhttpd起動 => httpdが起動しているか ● Configurationのテストは別途実施 ○ Auto Scalingの話で紹介 Serverspecのテスト
- 125. Releasalization実践
- 127. Releasalization実践 ● Serverspecによるテスト ○ 中途半端なサーバを本番投入しなくてすむ ○ Orchestration処理の品質向上 ● 全レイヤーの処理が成功すると本番投入
- 128. Bootstrapping AMI/Kickstart Releasalization JOB JOB Orchestration JOB JOB Configuration JOB JOB
- 129. Releasalization JOB JOB Orchestration JOB JOB Configuration JOB JOB Bootstrapping AMI/Kickstart
- 130. Releasalization JOB JOB Orchestration JOB JOB Configuration JOB JOB Bootstrapping AMI/Kickstart Serf serf-members
- 131. Releasalization JOB JOB Orchestration JOB JOB Configuration JOB JOB 【query】 httpd start Bootstrapping AMI/Kickstart
- 132. Releasalization JOB JOB Orchestration JOB JOB Configuration JOB JOB Serverspec Bootstrapping AMI/Kickstart
- 133. Releasalization JOB JOB Orchestration JOB JOB Configuration JOB JOB Bootstrapping AMI/Kickstart
- 136. Agenda 〜改善編〜 1: 各レイヤーの実践方法 2: Auto Scalingについて 3: やってみた結果
- 137. ● 起動スクリプトで制御しなければいけない ● Auto Scaling機能で起動後すぐにELBに追加 ● 起動用AMI作成の手間 Auto Scalingの３つの問題 再 掲
- 141. Lifecycle Hook
- 142. Lifecycle Hook ● Auto Scalingの新機能の1つ ○ 2014年8月発表 ● Auto ScalingのLifecycle内でインスタンスの状 態の制御と通知
- 143. http://docs.aws.amazon.com/AutoScaling/latest/DeveloperGuide/images/as-lifecycle-basic-diagram.png
- 145. Lifecycle Hook機能まとめ ● Auto Scalingの遷移でユーザーに通知 ● 通知を受けてインスタンスへの処理が可能 ● APIで終了を通知しAuto Scalingの処理継続
- 147. Auto Scaling Group
- 148. Auto Scaling で起動開始
- 149. 起動通知 SQS
- 150. SQS 取得
- 151. ● Configuration ○ Chef ● Orchestration ○ デプロイ ○ サービス起動 ● Releasalization ○ Serverspec
- 152. 完了通知
- 153. グループへ 追加
- 154. サーバ追加
- 156. Lifecycle Hookのメリット ● JenkinsがAuto Scalingの発動を取れる ○ 各レイヤーの処理を自動化 ● JenkinsとAWSの様々なプロダクトで完結
- 157. Lifecycle Hookにより解決したこと ● 起動スクリプトで制御 ● 起動後すぐにELBに追加される
- 158. ● 起動スクリプトで制御 ● 起動後すぐにELBに追加される Lifecycle Hookにより解決したこと Auto Scalingを自然な形に
- 163. ● Configuration ○ Chef ● Orchestration ○ デプロイ ○ サービス起動 ● Releasalization ○ Serverspec 再 掲
- 164. ● Configuration ○ Chef ● Orchestration ○ デプロイ ○ サービス起動 ● Releasalization ○ Serverspec
- 166. AMI作成編 Plug-in
- 167. AMI作成編 起動
- 170. Chef/Serverspec AMI作成編 【実行レシピ(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動]
- 171. Chef/Serverspec AMI作成編 【実行レシピ(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] Chefはインストールと設定だけ
- 173. AMI作成編 デプロイ
- 175. AMI作成編 AMI作成
- 177. 【AMI作成時(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] Configurationの時間短縮
- 178. 【AMI作成時(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] 【Auto Scaling(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] Configurationの時間短縮
- 179. Configurationの時間短縮 【AMI作成時(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] 【Auto Scaling(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] 時間がかかる (10 - 15分) すぐに終わる (1 - 2分)
- 180. 【AMI作成時(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] 【Auto Scaling(例)】 host名 [設定] iptables [設定] User [設定] PHP [インストール] ImageMagick [インストール] Apache httpd [インストール] GlusterFS [インストール] Zabbix Agent [インストール] Fluentd [インストール] Serf [設定][起動] Configurationの時間短縮 なるべく事前にやっておく
- 181. AMI問題の解決で得たこと ● Infrastructure as Codeの実現 ○ AMIをChefで管理可能 ○ テストも実行してChefのCIが可能 ● Auto Scalingの失敗時の予防線 ○ AMI自体のバージョン管理 ○ 各種サービスを起動させれば本番と同じ
- 184. Agenda 〜改善編〜 1: 各レイヤーの実践方法 2: Auto Scalingについて 3: やってみた結果
- 185. やってみた結果 -概念化- ● Chefが本番に影響しない ○ 他サービスと連携しないからテストやCIもできる ● Serfの機能でフローの制御 ○ 失敗したら先に進まないようにできる ● 本番投入前にServerspecでテスト ○ 不完全なサーバは本番稼働させない
- 186. ● Chefが本番に影響しない ○ 他サービスと連携しないからテストやCIもできる ● Serfの機能でフローの制御 ○ 失敗したら先に進まないようにできる ● 本番投入前にServerspecでテスト ○ 不完全なサーバは本番稼働させない サーバ構築の安定化 やってみた結果 -概念化-
- 187. やってみた結果 -Auto Scaling- ● 起動スクリプトの制御不要 ○ JenkinsとLifecycle Hookの連携 ● ChefとAMIで差分がなくなった ○ 手動で行っていたことのコード化 ○ AMI自体のバージョン管理 ● ChefのCIができるようになった
- 188. ● 起動スクリプトの制御不要 ○ JenkinsとLifecycle Hookの連携 ● ChefとAMIで差分がなくなった ○ 手動で行っていたことのコード化 ○ AMI自体のバージョン管理 ● ChefのCIができるようになった やってみた結果 -Auto Scaling- Infrastructure as Code
- 189. やってみた結果 -改善について- ● 時間置いてからの改善大事 ○ 運用していると不満や改善案がたくさん出る ○ 技術が進歩している ● 開発・運用とインフラで仲良くするの大事 ○ インフラ側視点だけだと運用面で難あり ○ 開発・運用チーム視点だけだと他で使いまわせない
- 190. ● 時間置いてからの改善大事 ○ 運用していると不満や改善案がたくさん出る ○ 技術が進歩している ● 開発・運用とインフラで仲良くするの大事 ○ インフラ側視点だけだと運用面で難あり ○ 開発・運用チーム視点だけだと他で使いまわせない やってみた結果 -改善について- チーム間の連携は大事
- 191. Growth!
- 192. Copyright 2015 CYBIRD Co., Ltd. All Rights Reserved.