Slide presneted at Tech Planet 2016 Event at Seoul, Korea

1. Unified Monitoring System
targeting OpenStack, Baremetal,
and Network Fabric
안재석
SDI Tech. Lab. NIC기술원
SK텔레콤

2. Story goes like this
연구소 (Software Defined Data Center 구현)
- 사업/운영부서 요구사항 vs. 선행 R&D (Product)
- Navigation between 이상과 현실
- Step by Step

3. Baremetal Monitoring
Datacenter Operation Automation
- 사업/운영부서 요구사항: Asset Management & Baremetal Provisioning
- What we want: Software Defined DC based on Cloud Platform
Baremetal Monitoring
- 사업/운영부서 현황: 기존 솔루션 존재 (오픈소스 기반으로 비용절감 요구사항)
- What we had: Zabbix

4. Baremetal Monitoring
What is important here…
- 사업/운영부서에서 사용하는 기존 솔루션 대체로 비용 절감
. Metrics/Logs : 최소한 기존 솔루션 만큼
. Alarm : 최소한 기존 솔루션 만큼 (정확한 알람!)
. Dashboard & UI : 최소한 기존 솔루션 만큼
. 운영/문제 대응 : 최소한 기존 솔루션 만큼

5. Physical Resource Management
(랙, 서버, 스위치, etc)
Baremetal Provisioning Automation
(Razor + Chef)
T-ROS (Datacenter Operation Platform)

6. VM Monitoring
Private Cloud 2.0
- 사업/운영부서 요구사항: Open Source (OpenStack) based Cloud Service
- What we want: Yeah~
Private Cloud Monitoring
- 사업/운영부서 현황: 어떤 것을 사용하면 될지 알려주세요
- What we decided: Thinking…

7. VM (Cloud) Monitoring
What is important here…
- OpenStack 운영을 위해서 무엇을 모니터링 해야 하는지 알아내기
. OpenStack Controller, Service, Compute Node, Storage, etc.
- 현재 사용하는 OpenStack Distribution 과 잘 맞아야 하며, 더 나아가서는 어
떤 OpenStack Distribution을 쓰더라도 쉽게 적용 가능해야 함

8. Monasca Project (OpenStack)
https://wiki.openstack.org/wiki/Monasca
Monitoring-as-a-Service solution based on a first-class REST API
• Multi-tenancy based on Keystone authentication. Supports self-service.
Metrics storage/retrieval/statistics and alarm/thresholding engine
Notification system
Open-source and built-on open-source technologies such as:
• Kafka: Performant, scalable, fault-tolerant, durable message queue. Used by LinkedIn, Twitter, …
• Apache Storm:
• Time-series databases: InfluxDB supported today.

9. Monasca 아키텍처
Out-Of-Box
API를 통한 Data 수집
API를 통한 Data 조회
OpenStack에 맞춰진 데이
터 수집과 알람 (link)
Kafka를 기반으로 다양한 서
비스 추가 가능
- 향 후 확장성 고려

10. P.CL User Portal

11. P.CL User Monitoring

12. Analytics
Datacenter Operation Analytics
- 사업/운영부서 요구사항: 정확한 알람을 주세요.
- What we want: 분석툴은 필요없으세요?
Private Cloud Monitoring
- 사업/운영부서 현황: 하고 싶어도, 분석을 위한 여유가 없음.
- What we decided: 분석툴 + Knowledge (직접 수행)

13. ?
Analytics (T-ROI)

14. Analytics (T-ROI)

15. Analytics (T-ROI)

16. Analytics (T-ROI)

17. Container Monitoring
PaaS (DevOps Platform)
- 사업/운영부서 요구사항: … (Do we need Paas?)
- What we want: DevOps Platform 기반 PaaS 서비스 구축
Container Monitoring
- 사업/운영부서 현황: What?
- What we decided: Just do it

18. T-Fabric (PaaS) 모니터링 체계
T-Fabric Portal System
T-Fabric Portal Web
T-Fabric Portal
Collector
Pinpoint System
Pinpoint DB
( Hbase )
Pinpoint
Collector
Server
Pinpoint
Web
Server
T-Fabric Metering DB Server
T-Fabric DB
( MongoDB )
Zabbix System
Zabbix Server
Zabbix DB
( MySQL )
T-Fabric Mo
nitoring
T-Fabric Met
ering
vm
Zabbix Agent
…
cAdvisor
Container
Pinpoint Agent
Container
Pinpoint Agent
Container
Pinpoint Agent
vm
Zabbix Agent
…
cAdvisor
Container
Pinpoint Agent
Container
Pinpoint Agent
Container
Pinpoint Agent
Pinpoint Web API
APM Monitoring
System Monitoring
System Metering
Metering/Monitoring
Zabbix Web API

19. T-Fabric (PaaS)

20. T-Fabric (PaaS)

21. Houston, We have a problem

22. Private Cloud로 시작된 변화
P.CL
- SKT의 Self-Provision이 가능한 클라우드 서비스 (오픈소스 기술 적용)
. 내부 IT자원 사용 프로세스 변경 / 클라우드에 맞는 보안정책 변경등 진행
. 오픈소스의 적극적인 도입 시도
- Baremetal (Host), OpenStack Service, VM에 대한 통합 모니터링 필요
- 기존 Legacy 환경과 다른 신규 환경으로 “새로운” 시도를 위한 기반 조성

23. 솔루션/모니터링의 파편화
Baremetal, VM, Container, 분석까지 너무 복잡합니다.
- 그래서, 저는 무엇을 쓰면 되나요? 어떤 화면을 봐야 하나요?
- 그래서, 알람은 어디서 온다는거에요?
모니터링과 분석을 위한 데이터 요구사항은 유사한데, 어디에서 받아야 하나요?
- 요청되는 데이터는 유사한데 수집 에이전트도 다르고, monitoring data path도 다르고, 복잡합니다.
- 우리 서로 필요한 정보를 가지고 있긴 한데, 어떻게 이걸 주고 받죠?
- Raw데이터를 가공한 정보가 있는데 다른 솔루션에서 사용 가능토록 하려면 어떻게 하죠?

24. Let’s unify all

25. Step-by-Step
Monasca Agent 적용 범위 확장
& Beaver 적용 범위 확장
- 베어메탈, VM으로도 확장
기존 데이터센터 Metrics/Logs/Alaram 적용
- Monasca Agent Plugin 추가 개발 (link)
Infra Resource (베어메탈, VM) 메타데이터
통합
Datacenter Operation Platform과
Analytics Platform 통합

26. Step-by-Step

27. Renewed Operation - 1

28. Renewed Operation - 2

29. Renewed Operation - 3

30. Renewed Operation - 4

31. Renewed Operation - 5

32. Renewed Operation - 6
Chain of Actions
• Ghost VM 삭제
• Ghost VM 생성 원인 파악 - Fix
• Ghost VM 생성시 모니터링 방법 (monasca collector log?)
• …

33. We still have a long journey to go
• Integrating Container Monitoring
• Integrating Network Monitoring
• Better analytics - More Data
• Metrics
• Logs
• Event
• Network Packet Flow
• SNMP
• …
• Better analytics - Anomaly Detection

34. Step-by-Step

35. Better Analytics
• 2016년: Algorithm기반 Anomaly Detection 기능 개발 및 실데이터 기반 검증
• 2017년: Algorithm (Deep Learning등) 검증 및 상용 적용 (OpenStack-Focused)

36. Network Monitoring
가상 네트워크 관리 / Fabric 관리
- 사업/운영부서 요구사항: It will be good to have.
- What we want: SDN 기반 가상네트워크 관리 & Fabric 관리
Container Monitoring
- 사업/운영부서 현황: Network (기존 솔루션 존재) / IT (Vendor Dependent)
- What we decided: Software Defined Network Visibility

37. OpenStack Needs Network Monitoring

38. Network Monitoring
SDN네트워크 혹은 기존 L2/L3 기반의 Legacy 네트워크에서 SNMP, sFlow,
NetFlow, Mirror등을 통하여 모니터링 정보를 수집하며, 이를 원하는 Flow정보
로 변환하고 통계 데이터 전송을 할 수 있는 모니터링 플랫폼 개발

39. Network
Monitoring
NPB (Network Packet Broker)
- Tab으로부터 Mirroring된 Packet을 5-
tuple기반으로 분류/전달 가능한 Packet
Filter
NPM (Network Packet Monitoring)
- Tab으로부터 Mirroring된 Packet을
Flow Tracking하여 Flow별 네트워크 성능
모니터링 수행
Flow Analyzer - sFlow/NetFlow를 이용
한 Flow 정보 추출 및 분석

40. Network
Monitoring
T-CAP: 서버스위치* (news article)

41. 3D Network Administration

42. Our Goal
(Conceptually)

43. Let me put my community hat.

44. Help Together in 커뮤니티
OpenStack Operator Group =>
• OpenStack 운영을 위해서 무엇을 어떻게 모니터링 해야 할까?
• Baremetal, VM, Container를 통합 모니터링 하려면 어떤 방법들을?
• 혹시 미리 테스트 해본 넘들은 있는가요?
• 운영… @#$!#@#$%$# (속 풀이)
하자고 하고, 여태까지 시작도 못하고 있습니다. ^^

45. Question?
email: jay.ahn@sk.com / bluejay.ahn@gmail.com
linkedin: https://kr.linkedin.com/in/jsahn