발표영상 다시보기: https://youtu.be/wF7du63Ld4U 카오스 엔지니어링은 프로덕션 서비스에서 각종 장애 조건을 견딜 수 있는 안정적인 시스템을 구축하기 위해서 분산 시스템을 대상으로 실험하고 배우는 분야입니다. 복잡도가 높은 비즈니스 운영에 필수적인 마이크로서비스를 대상으로 카오스 엔지니어링 도구를 적용해보고, AWS 클라우드, Amazon EKS, Service Mesh 등을 활용해서 마이크로서비스의 안정성을 개선하는 방법을 알아봅니다.

1. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
카오스 엔지니어링을 활용한
마이크로서비스 안정성 개선하기
정준우
솔루션즈 아키텍트
AWS Korea

2. Agenda
카오스 엔지니어링
실패 주입 방법
복원력 개선 방법

3. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

4. Microservices Architecture

5. • 목표: Amazon.com 시스템 안정성
• 정기적인 테스트 및 훈련 이벤트
• 컴퓨팅 용량 계획 및 준비를 검증
• 필요한 모든 운영 방식에 대한 동작 확인
• 의도적인 장애 주입
• 반복적인 문제 식별 및 해결
• 복원력 개선 효과
Jesse Robbins, “Master of Disaster”
자원봉사 소방관
Chef and Velocity 설립자
GameDay 운영 (2004년~)

6. “Simian Army to keep our cloud safe, secure, and highly available.”
- 2011 Netflix blog
목적별 에이전트 기반:
• 무작위로 서비스 종료
• 성능 저하
• 적합성 점검
• 특정 가용영역 또는 리전 전체를 공격
• Spinnaker (CI/CD)와 통합
Chaos Monkey 도입 (2011년)

7. 카오스 엔지니어링은
프로덕션 서비스에서
각종 장애 조건을 견딜 수 있는
안정적인 시스템을 구축하기 위해서
분산 시스템을 대상으로
실험하고 배우는 분야입니다.
Principles of Chaos Engineering
http://principlesofchaos.org/

8. 카오스 엔지니어링은
목적성 없이 시스템을 파괴하는 것이 아닙니다
카오스 엔지니어링은
통제된 환경에서 의도적으로 구성된 실험을 통해
잠재적인 문제를 선제적으로 발견하는데 도움을 줍니다.

9. 사전에 준비해야 할 것들이 많이 있습니다.

10. 운영
데이터 / 네트워크
애플리케이션
인프라

11. https://aws.amazon.com/ko/well-architected-tool

12. 정상상태
가설
실험
검증
개선
카오스 엔지니어링 단계

13. 정상상태 란?
• 시스템의 “정상” 동작
• 시스템 내부 속성이 아님 (CPU, memory, etc.)
• 비즈니스 및 고객 경험과 연계된 운영 매트릭스가 정상상태가 될 수 있음
• Amazon : 페이지 로딩 100ms ↑ 주문 수 1% ↓
• Netflix : 초당 시작 횟수, SPS (Starts-per-second), The Pulse of Netflix

14. 가설
정상상태
가설
실험
검증
개선

15. 만약…?
“Load Balancer가 고장 난다면?”
“Kubernetes 노드 중 하나가 내려간다면?”
“Redis가 느려 진다면?”
”Latency time이 300ms 증가 한다면?”
”Database가 갑자기 정지 한다면?”
장애 이력, 서비스 의존 관계 참조
다양한 역할 담당자들의 의견 수렴

16. 실험
정상상태
가설
실험
검증
개선

17. 실패 주입
• 작은 것부터 시작
• Application level (exceptions, errors, etc.)
• Host level (services, processes, etc.)
• Resource attacks (CPU, memory, IO, etc.)
• Network attacks (dependencies, latency, packet loss, etc.)
• AZ attack
• Region attack
• People attack

18. 빠르고 간단한 방법으로 실험을 중지하고 롤백!
롤백 할 수 없는 상태에 주의
(손상되거나 잘못된 데이터)
실험이 정상상태를 유지하지 못하면

19. 검증
정상상태
가설
실험
검증
개선

20. 실험 결과 정량화
• 감지 시간?
• 알림 시간?
• SNS 등을 통해서 공개적으로 알려진 장애 시간?
• 단계별 성능 완화가 시작된 시간?
• 자가 치유가 일어난 시간?
• 부분 및 전체 복구하는데 걸린 시간?
• 안정화될 때까지 걸린 시간?

21. 개선을 위한 Postmortem
• 구체적인 장애 상황
• 고객과 비즈니스에 미치는 영향 (고객, 기능, 지역)
• 근본 원인? The 5 whys
• 분석을 위해 필요한 데이터
• 매트릭 및 그래프
• 장애를 통해 배운 점
• 필요한 조치
• 액션 아이템

22. 개선 그리고 지속적으로 반복
정상상태
가설
실험
검증
개선

23. 카오스 엔지니어링은
숨어있는 문제를 발견하는데 도움을 주는 방법론입니다.
결국 사람이 시스템을 개선해야합니다.

24. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

25. 실패 주입 방법
• 리소스 레벨
• Exhausting CPU, memory, and I/O : stress-ng
• Exhausting the disk space on hard drives : dd
• Exhausting application APIs : wrk
• 네트워크 및 의존성 레벨
• Injecting latency, loss and corrupting the network : tc, /etc/hosts, Blackholing
• 애플리케이션, 프로세스, 서비스 레벨
• Killing Java processes, Python processes
• Database failure injection, Failures in the serverless world
• 인프라 레벨
• Randomly stopping an EC2 instance in an availability zone

26. 카오스 엔지니어링 도구
• Chaos Monkey from Netflix (https://netflix.github.io/chaosmonkey/)
• Simian Army
• Chaos Gorilla, Chaos Kong
• Latency Monkey, Doctor Monkey, Conformity Monkey
• Kube Monkey
• Chaos Toolkit, ChaosIQ (https://chaostoolkit.org/)
• Litmus (https://litmuschaos.io/)
• PowerfulSeal (https://github.com/bloomberg/powerfulseal)
• Istio (https://istio.io/)
• Gremlin Inc. (https://www.gremlin.com/)

27. Failure as a service
Easy to use API and UI
타겟 유형
• Hosts, Containers, Kubernetes
공격 유형
• Resource : CPU, Memory, Disk
• State : Process Killer, Shutdown
• Network : Latency, Packet Loss
https://app.gremlin.com/

28. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

31. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

32. Amazon EKS를 통한 복원력 개선

33. 프로덕션
워크로드
표준,
업스트림
준수
완벽한 통합오픈소스 공헌
Amazon EKS가 제공하는 이점

34. EKS control plane
관리형 서비스
Phase 1
Phase 2
EKS data plane
관리형 서비스
Amazon EKS
AWS Fargate
(Serverless)
Managed
Node Groups

35. EKS Control Plane
고 가용성
Native AWS 컴포넌트로 구성
NLB 프론트엔드
VPC
Instances
Instances
ELB
Etcd ASG
API servers ASG
NLB
AZ-3AZ-1 AZ-2

36. EKS Data Plane
mycluster.eks.amazonaws.com
Amazon EKS workers
Kubectl
AZ 1 AZ 2 AZ 3
• Cluster Autoscaling
• Horizontal Pod Autoscaling
• Node/Pod Affinity
• Readiness/Liveness probes
• Pre-stop commands

37. AWS App Mesh를 통한 복원력 개선

38. AWS App Mesh 동작 방식
http/http2/grpc/tcp
Service
team A
Service
team B
Control plane
상태 변경을 프록시에 배포
Proxy
서비스 간 트래픽 모니터링 및 관리

39. App Mesh 적용 전 마이크로서비스

40. App Mesh 적용 후 마이크로서비스

41. Avoiding Cascading Failures
• Traffic Management
• Retry
• Timeout
• Fallback
• Circuit Breaker
https://martinfowler.com/bliki/CircuitBreaker.html

42. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

43. Book Info Application
https://istio.io/docs/examples/bookinfo/

45. Next step
• Demo 관련 실습 가이드
• https://openzon.github.io/aws/summit-2020
• Kubernetes 레퍼런스 문서
• https://kubernetes.io/docs/home/
• Amazon EKS & App Mesh 실습 가이드
• https://eksworkshop.com
• https://appmeshworkshop.com
• Gremlin 실습 가이드
• https://www.gremlin.com/community/tutorials/how-to-install-and-use-gremlin-with-eks/
• Litmus 실습 가이드
• https://docs.litmuschaos.io/docs/getstarted/

46. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

47. 감사합니다
© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.