面白法人カヤックで運用しているLobiというサービスの、デプロイにまつわるはなし。 https://lobi.co/

1. DEPLOY TO LOBI
@handlename
KAYAC Inc.

2. WHO AM I?
長田洸明(ながたひろあき)
@handlename
2010年新卒入社
Lobiのサーバーサイドエンジニア

3. INDEX
こんなことをはなします
Lobiとはなんぞや
デプロイの仕組みいまむかし
デプロイするときにやっていること

4. ABOUT LOBI
Lobiとはなんぞや

5. LOBI
https://lobi.co/

6. LOBI
サービスについて
チャットをメインコンテンツとしたSNS
2010年からサービス提供している
iOS/Android/Web版
DAU等は非公開/サーバー数十～百台規模
Amazon Web Service上で稼働

7. 公開グループ数は50万弱
連携アプリは・・・

8. LOBI
運用・開発チームについて
チームメンバーは40名弱
サーバーサイドエンジニアは10名ほど
全てのサーバーサイドエンジニアにデプロイ権がある
毎日十数回のデプロイが発生

9. 入社から日が浅いメンバー・外部パートナーは除く
細かくデプロイして確認範囲を小さくする方針
デプロイ作業を日常化する→仕組み化される
MEもデプロイしてる

10. HISTORY OF DEPLOY SYSTEM
デプロイの仕組みいまむかし

11. HISTORY
2010～git pull
2013～rsync
2015～stretcher

12. GIT PULL
$ git pull origin master

13. GIT PULL
git repo -> servers
2010年～
小規模では便利だった
本番サーバーでgit pullするだけ
いま何がデプロイされているのかが分かる

14. GIT PULL
しかし・・・
規模が大きくなるとつらい
巨大な.gitディレクトリ
新規ホストでcloneが終わらない

15. RSYNC
$ rsync -avn src server:/path/to/dst

16. RSYNC
deploy server -> servers
2013年～
git pullに耐えられなくなった頃に乗り換え
本番環境に必要なファイルだけrsync
余計なファイルがないのでディスクに余裕
新規ホストのセットアップもつらくない

17. のちにgnu parallelを使用
Archer使ってた

18. しかし・・・
更に規模が大きくなるとつらい
デプロイサーバーの帯域が埋まる
デプロイサーバーが死ぬと新規ホストが上がらない

19. STRETCHER
https://github.com/fujiwara/stretcher

20. STRETCHER
$ consul watch -type event -name deploy stretcher
2015年～
rsyncに耐えられなくなった頃に乗り換え
consul/serfのイベントを利用したデプロイツール
refs AWS CodeDeploy, mamiya

21. STRETCHER
daemontools serviceとして
exec setuidgid app
consul watch # consulで
-type event # eventの発火を待つ
-name deploy # 対象は"deploy"という名前のevent
stretcher # eventが発火したらstretcherを起動

22. STRETCHER
consul eventでmanifest.ymlのURIが送られる
stretcherはmanifest.ymlを見てデプロイ処理を実行

23. MANIFEST.YML
デプロイするべきtarballの場所
デプロイ先のパス
デプロイの前処理・後処理
デプロイ成功・失敗時の処理

24. MANIFEST.YML
src: s3://path/to/tarball
checksum: deea122cf66dd796ee46efb3cacd1e86d6a348af0a5cf5d61b88068f532917f6
dest: /path/to/dest
commands:
pre:
- ...(デプロイの前処理:クリーンアップとか)
post:
- ...(デプロイの後処理:アプリの再起動とか)
success:
- ...(成功時の処理)
failure:
- ...(失敗時の処理)

25. STRETCHER IN LOBI
manifest.ymlのテンプレートから生成
tarballはS3に保存
アプリの更新もプロビジョニングもstretcherで
前処理でデプロイ操作の通知
後処理でアプリケーションの再起動、など

26. プロビジョニングにはchefを使用
stretcherにする前はchef serverを使っていた
いまはstretcherでchef-soloを実行
ホスト一台で処理が完結する

27. AROUND DEPLOY
デプロイするときにやっていること

28. AROUND DEPLOY
Slack botでデプロイ前チェック・周知
Consul KV Dashboardに状態を記録
Google Calendarにデプロイ履歴を記録
etc.

29. SLACK BOT

30. SLACK BOT
nukoというbotがいる
CI通過していないと教えてくれる
花金デプロイしようとするとめっちゃ怒る

31. SLACK BOT

32. SLACK BOT

33. CONSUL KV DASHBOARD
https://github.com/fujiwara/consul-kv-dashboard

34. CONSUL KV DASHBOARD
各ホストのデプロイ状況を一覧
デプロイ処理に失敗したらアラート

35. CONSUL KV DASHBOARD

36. GOOGLE CALENDAR

37. GOOGLE CALENDAR
デプロイ作業時間を予定として記録
いつ誰が何をデプロイしたのかが分かる

38. GOOGLE CALENDAR

39. MORE
Rundeckからデプロイ実行
デプロイロック
一台だけデプロイ
Lambda functionのデプロイ
DBスキーマ変更適用
ユニコーンが出たら
etc.

40. THANK YOU!!

41. APPENDIX
ファイル更新もchef実行もstretcherで！Lobiをデプロイ
するときにやっていること- KAYAC engineers' blog
RedashとRundeckで安全・安心なサービス運用- KAYAC
engineers' blog
#10 Consulと連携するpull型デプロイツールstretcher -
KAYAC engineers' blog
LobiにおけるConsul活用事例- KAYAC engineers' blog