짧은 시간안에 적은 비용으로 aws 에서 kubernetes 환경을 구성한 내용입니다

1. 최소한의 비용과 시간을 갈아넣어 만든 Kubernetes + CI/CD
+ Real-time streaming pipeline + OLAP + Monitoring.
by 독고혁

2. 01
02
03
04
05
06
00
CONTENTS
Introduction
K8s + kops
CI/CD
Real-time streaming data processing
OLAP
Monitoring
Endgame (이젠 가망이 없어)

3. 빅데이터 가공 솔루션
(주)빅인사이트는 AI 기반 데이터분석 툴, 빅데이터 처리 기술을 자체
개발하여 국내 우수 스타트업부터 대형 기업들에게 공급합니다.
데이터 가공, 데이터분석 솔루션, SI 사업분야별로 전문가들이 고객사
맞춤 컨설팅 및 개발을 원스탑으로 제공하며 국내 최고의 AI 기반 데이
터 가공, 데이터 분석 기업으로 발돋움 하고 있습니다.
Who we areIntro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame

4. What we doIntro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
기존의 웹 분석 도구와
무엇이 다른가요?
bigin 애널리틱스는 이벤트의 수집을 방문,
사용자 단위로 수집하여 사용자의 방문 당
행동 이벤트의 수준까지 측정 수준을 다르
게 하여 다차원 분석이 가능한 이벤트 기반
분석 인사이트 솔루션 입니다.

5. 분석 결과의 실제 사용자 목록을 제공합니다.Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
I•STACKSHARE•U

6. ArchitectureIntro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
Kafka Flink
Hazel-
cast
Ingress
nginx
Linkerd
Prome-
theus
Grafana
Jenkins
Sonar-
qube
EFK
Druid
Zoo-
keeper
Arango
DB
Portus
APP

7. ?
분석 결과의 실제 사용자 목록을 제공합니다.
!Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
k8s and CNCF
https://github.com/cncf/landscape

8. ?
분석 결과의 실제 사용자 목록을 제공합니다.
!Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Demo
k8s + kops
https://github.com/cncf/landscape

9. We like to think of it as kubectl for clusters.
kops helps you create, destroy, upgrade and maintain production-grade, highly
available, Kubernetes clusters from the command line. AWS (Amazon Web Services) is
currently officially supported, with GCE in beta support , and VMware vSphere in alpha,
and other platforms planned.
분석 결과의 실제 사용자 목록을 제공합니다.
!Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
https://github.com/kubernetes/kops

10. Kubernetes
Operations
쿠베니티스운영의 핵심 요소
Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
https://kubernetes.io
Deployemnts
Daemon Sets
Services
Ingress
Self Healing
Rolling Update
Load Balancing
Auto Scaling

11. Kubernetes
Operations
Stateful Sets
Database?
Kafka
Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame

12. Kubernetes
Operations
Stateful Sets
Database?
Kafka
Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
https://docs.confluent.io/current/installation/installing_cp/cp-helm-charts/docs/index.html

13. Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
CI/CD PITA

14. Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
CI/CD pipeline
git push build store deploy
test
notify

15. Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
Real-time
streaming data

16. Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
Real-time
streaming data
Job Manager
Task Manager
Task Manager
Task Manager
Checkpoint
Storage
Task Manager
Task Manager
Task Manager
Session Cluster
ZK

17. 분석 결과의 실제 사용자 목록을 제공합니다.Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
OLAP
BI 서비스 플랫폼이라
다차원 분석이 MUST

18. 분석 결과의 실제 사용자 목록을 제공합니다.Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
OLAP
OLAP Open Source Platforms
• ClickHouse
• Druid
• Pinot
Which one to use?
Pick one that is right for your use case
We needed an OLAP for limited audience with high performance + stability + scalability

19. Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
Monitoring
장점:
빠르게 적용/사용 가능
왠만한 대쉬보드는 이미 다 있다
쓰기 쉽다
...
단점:
쓰다보면 무언가 아쉽다
처음엔 이쁜것 같은데 보다보면...
Prometheus + Grafana

20. 분석 결과의 실제 사용자 목록을 제공합니다.Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
Monitoring
이쁜 Kibana
로그만이 아니라
모니터링도 여기서

21. 분석 결과의 실제 사용자 목록을 제공합니다.Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
Endgame(이젠 가망이 없어)
•kops ver = kubernetes ver
•vpc route table 건드릴때는 뭐 할지 확실히 알고 해야한다
•helm forbidden error
•topology-aware volume provisioning
•ubuntu+docker+ufw = 아무나 드르와
•그 외에도 너무 많지만...
History of 삽 to the 질

22. 분석 결과의 실제 사용자 목록을 제공합니다.Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
Endgame
•ACM / Let's encrypt abuse it!
•Lightsail abuse it!! (vpc peering 도 됨)
•docker system prune --all --filter until=24h
•direnv 디렉토리만 바꾸면 환경설정을 바꿔준다
•kubectx/kubens
•kube-ps1
Dog 꾸르 tip

23. Intro
k8s+kops
CI/CD
Real-time
OLAP
Monitoring
Endgame
감사합니다~