「3社共同企画 Ansible 夏祭り(2017/08/28)」用の公開用スライド - https://connpass.com/event/61994/

1. ほんとうはこわいAnsible
@3社共同企画 Ansible 夏祭り

2. あんた誰？
- name: せっかくなのでAnsibleっぽく
profile:
name: t_nakayama0714
birth: 1988/07/14 (29)
address: Tokyo
company: SIer
interest:
- SONY
- Camera (α99Ⅱ)
book:
- DevOps導入指南 (共著)

3. 今日は何の話を？
• Ansibleを使っていて嬉しかった話
• Ansibleを使っていて苦しかった話

4. 今日は何の話を？
• Ansibleを使っていて嬉しかった話
• Ansibleを使っていて苦しかった話

5. 昔々あるところに...

6. 昔々あるところに...
(意訳) とてもべんりだよ

7. どこに入れようかな

8. どこに入れようかな
たいしたことない負荷だし
いいだろう
あそこのサーバに
入れさせて下さい

9. てなわけで使い始めてみた

10. アップデートも順調
1.9.4
↘
2.0.0
↙
2.1.0
↘
2.2.0
↙
＿人人人人＿
＞ 2.3.0 ＜
￣^Y^Y^Y^￣

11. ところが...(お約束)

13. 鳴り響くZabbixのアラート

15. CPUがやばい

16. CPUがやばい
メモリもやばい

17. CPUがやばい
他のアプリにまで
影響が...
メモリもやばい

18. 蘇る記憶

19. 蘇る記憶
たいしたことない負荷

20. つらい

21. あれは何だったのか

22. 事象のポイント
• とあるPlaybookを実行していた
– include を2階層の with_items でまわす
– まわされる item はそこそこでかい
• Ansibleプロセスがリソースを大きく消費
– CPUは1コアまるまる
– メモリは1プロセスで10GBにも達する(白目)

23. ググってみる

24. 怪しいIssueが2つ
• Extreme Resource Usage During
include_role w/ with_items #24891

25. 怪しいIssueが2つ
• Extreme Resource Usage During
include_role w/ with_items #24891
Extreme Resource Usage

26. 怪しいIssueが2つ
• Nested includes cause "exponential"
growth of consumed memory #27024

27. 怪しいIssueが2つ
• Nested includes cause "exponential"
growth of consumed memory #27024
"exponential" growth

28. エビデンスをたのむ

29. やってみる

30. 検証環境
• 1サーバ + 3ノード
– 2vCPU, 16GB
– 1vCPU, 512MB
• Ansibleバージョンを切り替えながら
Issueに書いてあったPoCコードをまわす
– 対象バージョンはv2以降
• https://github.com/t-nakayama0714/ansible_problem_poc
– 実行状況をDatadogでモニタリング
2.0.0.0
...
2.3.2.0

31. 結果
メモリ使用量(サーバ)

32. 結果
メモリ使用量(サーバ)
何もなければ
1GBちょい
2.3.0.0が一番ひどい
7GB超
バージョン切替ごとに
sleepさせている
ここから2.2.0.0

33. 結果
• nested includeは確かにまずいらしい
• 他のIssueと合わせて考えると
– include
– include_role
– with_*
の組み合わせ(の一部)がまずそう
• ご利用は計画的に...！

34. ＿人人人人人人人人＿
＞ Ansibleこわい ＜
￣Y^Y^Y^Y^Y^Y^Y^￣

35. おまけ
メモリ使用量(サーバ)
CPU使用率(サーバ)

36. おまけ
メモリ使用量(サーバ)
CPU使用率(サーバ)
2.2以前はむしろ
CPUやばくね...？
約10分

37. うっ...目が...！

38. ありがとうございました