공석환 팀장 / KulCloud

1. Copyright (C) 2015 by Co., Ltd. All Rights Reserved.
How to Speed Up
Openstack Network
with PRISM
2016. 02. 18
SeokHwan Kong

2. 2
Everythins are going to the cloud

3. 3
Everythins are going to the cloud
Openstack Solve every cloud issues?
No!
What is most popular openstack project?
Is Complex!
Cloud and Openstack is
inevtiable

4. 4
Everythins are going to the cloud

5. Copyright (C) 2015 by Co., Ltd. All Rights Reserved.
Issues

6. 6
Issues
모듞 트래픽이 꼭 네트워크 노드를 통해서 가야 하는가?
Compute Node Network Node
ML2 plugin
OVS-agent
DHCP-agent
Controller Node
Neutron Server
L3-agent
ML2 plugin
OVS-agentOVS-agent
metadata-agent
: Management network
: External network
: Data network
Network Node

7. 7
Issues
문제 해결의 시작은... 문제 인식과
패턴 분석이 중요함

8. 8
Issues
Compute node #1 Network NodeCompute node #2
br-tun
br-int
br-tun
br-int
br-ex
VM VM VM DHCP
br-tun
br-int
vRouter
꼭 네트워크 노드가 필요한가?
East-
West
(1) VM 간 (동일 서브넷) No
(2) VM 간 (다른 서브넷) Yes
(3) VM 이 DHCP 접속경우 Yes
(4) VM 의 메타데이터 경우 Yes
North-
South
(5) Floating IP 사용 경우 Yes
(1)
(1)
(2),(3),(4),(5)
Bottle neck
오픈스택 네트워크 트래픽 패턴분석
네트워크 노드의 주된 동작은 라우터 인데,
하드웨어로 오프로드 할 수 없을까?

9. Copyright (C) 2015 by Co., Ltd. All Rights Reserved.
Kulcloud PRISM 솔루션

10. 10
Solution
Yes !
Kulcloud PRISM Can do it!
네트워크 노드의 주된 동작은 라우터 인데,
하드웨어로 오프로드 할 수 없을까?

11. 11
Compute Node Network Node
ML2 plugin
OVS-agent
DHCP-agent
Controller Node
Neutron Server
L3-agent
ML2 plugin
OVS-agentOVS-agent
metadata-agent
Network Node
: Management network
: External network
: Data network
Before
Before Openstack Network

12. 12
Compute Node
ML2 plugin
OVS-agent
DHCP-agent
Controller Node
Neutron Server
L3-agent
ML2 plugin
OVS-agentOVS-agent
metadata-agent
: Management network
: External network
: Data network
PRISM Controller
WhiteBox SW WhiteBox SW
Network Node
After
Before Openstack Network with Kulcloud PRISM

13. 13
PRISM Overview
Routing
Network
Orchestartion
MonitoringAutomation
PRISM Agent
LINUX APPS/
THIRD PARTY APPS
PRISM Application
Abstracted Linux Switch
PRISM is Low cost,
plug & play
And agile
Network Service Platform

14. 14
What is PRISM?

15. 15
What is PRISM?
Build an open programmable data plane
Advancing IO and network vitualization in the Linux Stack
Whit Box
Switch
LB
Monitoring
3rd
3rd
Router
3rd

16. 16
PRISM Features – COST
Whit Box
Switch
Low COST
저가의 공 스위치(기존 대비 1/3 가격) 위에서 다양한 애플리케이션 설치만으
로 고가의 기존 레거시 장비 기능 제공(라우터, Firewall, LB 등) 기존 장비 대비
장비 운용 비용 1/2 로 절감 Future-proof design (왜냐하면 계속적으로 간단
히 업그레이드 가능해서)

17. 17
Whit Box
Switch Router
LB
Monitoring
3rd
3rd
3rd
Plug-n-Play easiness
다양한 3rd party 솔루션을 계속적으로 add 해 나갈 수 있는 확장성
Future-proof design (왜냐하면 계속적으로 간단히 업그레이드 가능해서)
PRISM Features – Plug-n-Play

18. 18
PRISM Features – Agile
Agile
라우터 장비의 용량 증설을 위해 고용량의 새로운 라우터 장비 구매 없이,
공 스위치만 추가 구매해서 연결하면 바로 용량이 증설되는 Agile 구조
LB
3rd
Monitoring
3rd
Router
3rd

19. 19
BACKPLANE
Supervisor
LINE CARD
LINE CARD
LINE CARD
LINE CARD
: Perfect Routing Integration of SDN using Mul
BACKPLANE
Supervisor
LINE CARD
LINE CARD
LINE CARD
LINE CARD
SUPERVISOR
(PRISM)
LINE CARD
BACKPLANE
Traditional Chassis Switches
PRISM Overview
Routing Suite
Network
Orchestration
Automation MonitoringSDN Apps

20. 20
Expected Benefits
Telco 요구사항 : CAPEX/OPEX , 신규 서비스의 Try out 이 용이한 시스템
Enterprise 요구사항 :CAPEX, 다양한 서비스 수익 모델
Cloud Operator 요구사항 :CAPEX/OPEX, 민첩합 서비스 관리를 위한 자동화 시스템
Telco Enterprise Cloud Operator
저비용 하드웨어의 구축 지원(CAPEX)
운영비용, 장비의 유지 비용 감소(OPEX)
서비스 속도 증가를 포함한 자동화
캐리어 네트워크 리소스 할당 조율
신규 서비스 및 서비스 수익화
높음 보통

21. 21
PRISM 이 가져다 주는 기대효과
• Simplicity
• Performance
• Agility
• Stability
• CAPEX/OPEX
• Customization

22. Copyright (C) 2015 by Co., Ltd. All Rights Reserved.
How To work on
Openstack

23. 23
PRISM 이 가져다 주는 기대효과 on Openstack Neutron
• 성능
– 클러스터링된 WhiteBox Switch 를 활용
• 대역폭 Utilization 증가
– WhiteBox Switch 기반 DVR(Distribured Virtual Routing)
• WhiteBox Switch 테이블 최적화
– WhiteBox Switch 의 테이블 제한 극복
– 2 Tier Routers (LER + GW). BGP 와 같이 큰 규모의 라우팅 테이블
을 관리하는 라우터(GW) 와 VM 간의 소규모의 라우팅 테이블을
관리하는 라우터(LER)의 분리. 이에 적합한 WhiteBox SW의 운용
을 통한 설비 비용 절감
• 하드웨어 기반의 SLA (Service Level Agreement)
– QoS(Quality of Service)
– ACL(Access Control List)

24. 24
Openstack+PRISM 기반 Private Cloud 인프라 형상
DataNetwork
ManagementNetwork
[HW] Pica8 3297 Switch (Leaf/Spine)
[SW] PicOS 2.6
Openstack Compute node #1
Openstack Compute node #2
Openstack Compute node #3
쿨클라우드 가상 라우터 서버(PRISM)
Openstack Controller node
Noviflow NS-1248 Switch (Gateway)
[HW] EdgeCore 5712-48x Switch (Leaf/Spine)
[SW] PicOS 2.6
* Openstack Kilo Version. Liberty 버전 업그레이드 중

25. 25
PRISM – Cloud orchestration service
PRISM supports a various network plugins of cloud orchestration system
• PRISM Supports Openstack L3 Service Plugin & Docker network plugin(next qaurter)
Fabric Network
Service APIs
• Router
• FloatingIPs
• Metering
• DHCP
• ExtraRoutes
• FW
• LB (next quarter)
• VPN (next quarter)
https://www.youtube.com/watch
?v=7NmvbQYOC1w
ONS 2015 Demo :
Gateway
Network
L2/L3 Fabric
Leaf/Spine
Compute Racks Service Racks

26. 26
PRISM – Cloud orchestration service
MPLS/VPN Internet
Layer 3
eBGP
Layer 3
OSPF
Any vendor
Gateway
Network
L2/L3 Fabric
Leaf/Spine
Compute Racks Service Racks
CLOS
Router
(PRISM)
VM VM
.10 .11
Subnet1
1.0.0.0/24
VM VM
.10 .11
Subnet2
2.0.0.0/24
FW
.10
ServiceNet
200.0.0.0/24
GW
Router
(PRISM)
TransitNet
198.0.0.0/24
Internet
Pyhsical View Logical View

27. 27
Issues
Compute node #1 Network NodeCompute node #2
br-tun
br-int
br-tun
br-int
br-ex
VM VM VM DHCP
br-tun
br-int
vRouter
꼭 네트워크 노드가 필요한가?
East-
West
(1) VM 간 (동일 서브넷) No
(2) VM 간 (다른 서브넷) Yes
(3) VM 이 DHCP 접속경우 Yes
(4) VM 의 메타데이터 경우 Yes
North-
South
(5) Floating IP 사용 경우 Yes
(1)
(1)
(2),(3),(4),(5)
Bottle neck
오픈스택 네트워크 트래픽 패턴분석
Kulcloud PRISM 을
사용하면 어떻게 변하나?

28. 28
Traffic Flow
CLOS
Router
(PRISM)
VM VM
.10 .11
Subnet1
1.0.0.0/24
VM VM
.10 .11
Subnet2
2.0.0.0/24
FW
.10
ServiceNet
200.0.0.0/24
GW
Router
(PRISM)
TransitNet
198.0.0.0/24
Internet
Need through Network Node?
East-
West
(1) VM 간 (동일 서브넷) No
(2) VM 간 (다른 서브넷) No
(3) VM 이 DHCP 접속경우 No
(4) VM 의 메타데이터 경우 No
North-
South
(5) Floating IP 사용 경우 No
(2)
• 네트워크 노드의 기능들을 SDN 제어기와 WhiteBox
스위치로 오프로딩 함
– vRouter, Floating IP, and bridge (interface) to external network
• 다른 서브넷 간 VM 트래픽
– 목적지 VM 의 MAC 어드레스와 VLAN 으로 헤더
변환 수행

29. 29
Traffic Flow
CLOS
Router
(PRISM)
VM VM
.10 .11
Subnet1
1.0.0.0/24
VM VM
.10 .11
Subnet2
2.0.0.0/24
FW
.10
ServiceNet
200.0.0.0/24
GW
Router
(PRISM)
TransitNet
198.0.0.0/24
Internet
Need through Network Node?
East-
West
(1) VM 간 (동일 서브넷) No
(2) VM 간 (다른 서브넷) No
(3) VM 이 DHCP 접속경우 No
(4) VM 의 메타데이터 경우 No
North-
South
(5) Floating IP 사용 경우 No
• VM 이 DHCP 요청 경우
– PRISM의 CLOS Router 가 대싞 DHCP 수행
– DHCP DB 는 Openstack 에 의해 관리됨
• VM 메타 데이터 경우
– PRISM의 CLOS Router 가 대싞 수행
DHCP
동기화

30. 30
Traffic Flow
CLOS
Router
(PRISM)
VM VM
.10 .11
Subnet1
1.0.0.0/24
VM VM
.10 .11
Subnet2
2.0.0.0/24
FW
.10
ServiceNet
200.0.0.0/24
GW
Router
(PRISM)
TransitNet
198.0.0.0/24
Internet
Need through Network Node?
East-
West
(1) VM 간 (동일 서브넷) No
(2) VM 간 (다른 서브넷) No
(3) VM 이 DHCP 접속경우 No
(4) VM 의 메타데이터 경우 No
North-
South
(5) Floating IP 사용 경우 No
• VM 의 외부 엑세스 경우
– CLOS Router 와 GW Router 를 통해 외부 엑세스
• GW Router 와 CLOS Rouer 를 구분 짓는 이유
– 관리의 용이성 (접귺권한 관리, 라우팅 관리 등)
– 용도 특성에 따른 최적의 하드웨어 선택을 통한
비용절감
(CLOS Router의 경우 저가 스위치 사용)

31. 31
3rd party integration - FW integration
CLOS
Router
(PRISM)
VM VM
.10 .11
Subnet1
1.0.0.0/24
VM VM
.10 .11
Subnet2
2.0.0.0/24
FW
.10
GW
Router
(PRISM)
TransitNet
198.0.0.0/24
Internet
• 외부로부터 VM 엑세스 경우(FW 통해서)
– 외부로부터의 트래픽은 GW Router, CLOS
Router, FW Router 를 통해 VM 에 접귺
– FW Router 와 CLOS Router 는 OSPF 를 통해
Peering 하고 이를 통해 FW Router 는 내부 VM
네트워크의 정보를 습득하게 됨.
ServiceNet1
200.0.0.0/24
ServiceNet1
200.1.0.0/24
Network Dev
1.0.0.0/24 Servicenet1
2.0.0.0/24 Servicenet1
200.0.0.0/24 Servicenet1
200.1.0.0/24 Servicenet2
* 방화벽 라우팅 테이블 정보

32. 32
3rd party integration - ELK
CLOS
Router
(PRISM)
VM VM
.10 .11
Subnet1
1.0.0.0/24
VM VM
.10 .11
Subnet2
2.0.0.0/24
FW
.10
ServiceNet
200.0.0.0/24
GW
Router
(PRISM)
TransitNet
198.0.0.0/24
Internet
• 트래픽 모니터링과 분석
– ELK(Elasticsearch + Logstash + Kibana) 와 PRISM
의 Openflow/sFlow 기반의 모니터링 시스템 연
동을 통한 트래픽 모니터링 및 분석
Flow stats
Push
* Kibana monitoring & Analytic

33. Copyright (C) 2015 by Co., Ltd. All Rights Reserved.
감사합니다.