EVPN for Cloud Builders

Data Center Fabric Evolution
EVPN for Cloud Builders
The MARCH to IP Fabrics
Juniper Networks,K.K.
2015/12

仮想化とクラウドDCの流れ
Data Center 仮想化された Data Center Private Cloud
（より高度な仮想化と
オートメーション化）
Orchestration
Automation
Self-Service Portal

収容顧客毎のグルーピングと
サービス・チェイニング
VM VM VM VM
グループ（テナント）
VMs or Servers
• Applications, Tenants, ...
Policy
Conditions + Actions
仮想化されたネットワーク
グループベースのポリシー

仮想化されたData Center を司るDCI
（Data Center Interconnect）
Virtual Private Cloud
IaaS Provider 1
Private Cloud
Data Center 1
Private Cloud
Data Center 2
WAN
Gateway Red
VPN
Green
VPN

VLANによるネットワークの仮想化
“Traditionalな” アプローチ
VM VM
VM VM
VMVM
Bare Metal Server
Tenant / Application毎にVLANを割り当てる
Virtualized Server

VLANによるネットワークの仮想化
仮想化されたトポロジーが物理的な制約やVLAN IDの制限に縛られてしまう
Layer 3 POD Inter-connect
App 1
App 2
App 3
App 4
App 5
Deployment Silo Deployment Silo Deployment Silo
Layer 2 POD with VLANs Layer 2 POD with VLANs Layer 2 POD with VLANs

Overlayアーキテクチャ
”新しいDCアーキテクチャ”による解決方法；
L3VPN or EVPN over VXLAN over IP Fabric (or LSP over MPLS Fabric)
VM VM
VM VM
VMVM
VXLAN
BGP
IP Fabric
EVPN or L3VPN
BGP Route-Reflector

App 1
App 2
App 3
App 4
App 5
Overlayアーキテクチャ
仮想化されたトポロジーと物理・論理的な制約を自由に切り離す事が可能に
Layer 3 IP Fabric + EVPN-VXLAN overlay
POD PODPOD

Software-Defined Networking (SDN)
SDN Controller
VMVMVM VM
VM VM
Cloud Management
System
SDNやSDDCを実現するためには、この物理・論理的な制約からネットワークを
解き放つ事がまず必要に！

L3
L2
L3
L2
L3
L2
L3
L2
L3
L2
L3 L3
L3 L3 L3
L3
L2
L3
L2
L2 L2 L2
Data Center Fabric Evolution
March Towards IP Fabrics
• ネットワーク管理負荷の軽減
• ストレージ・コンバージェンス
• Active-Active Forwarding
（L2/L3マルチパス）
• アプリケーションの制御
• Overlayアーキテクチャ
• ホスティング環境へのより柔
軟な適応
Traditional Ethernet Fabric IP Fabric
Ubiquitous L2/L3 Ubiquitous L2/L3 L3 Only

Mid
Market
F500 T2 SP T1 SP MSDC
Mid
Market
Mid
Market
IP Fabric
Edge / Transit Network
Physical Server
AppApp App
Physical Server
AppApp App
Physical Server
AppApp App
Peers Internet
なぜ IP Fabric か?
3つの主なユースケース
• Software-Defined Data Center
• Self-Service
• Over-the-Top Web Services
• ハイパースケール
• マルチテナンシー
• ハイパー論理スケール
IT-as-a-Service Software-as-a-Service Hosting / IX
Underlay
IP Fabric
Overlay
Server
Hypervisor
VMVM VM
Server
Hypervisor
VMVM VM
Server
Hypervisor
VMVM VM
Overlay
Controller
VLAN Fabric – IP Fabric + VXLAN + EVPN
Edge / Transit Network
Physical Server – T2
AppApp App
AppApp App
AppApp App
Peers Internet

Data Center アーキテクチャの傾向
イーサネット・ファブリックとIPファブリックのトレンド
0%
25%
50%
75%
100%
Mid
Market
0%
25%
50%
75%
100%
Mid
Market
Today Next Generation

Data Center Timeline
Juniper はすべての選択肢を柔軟にサポート
L2 + STP + L3 + RVI
MC-LAG
JUNOS Fusion
QFabric
3-Stage
5-Stage Performance
5-Stage Real Estate
VXLAN + EPVN Fabric
Virtual Chassis Fabric
Virtual Chassis

QFX10002-36Q
Fixed
QFX10002-72Q
Fixed
QFX10008
8-slot modular
QFX10016
16-slot modular
QFX5000
Multi-Tier
L2/L3
Ethernet Fabric
L2/L3
IP Fabric
All L3
QFX10000EVPN VxLAN ISSUEVPN MPLS Segment Routing
AutomationAnalyticsIntegrated Cloud
Management
あらゆるDCアーキテクチャに柔軟に対応することが可能な
新世代のSpineスイッチ：
QFX10000-Series

3:1
O/S
S S S S
L L L L L L L L L L L LL L L L
IP Fabric トポロジー
必要なサイズはビジネスの傾向により変化
3-Stage IP Fabric 5-Stage IP Fabric
Performance
5-Stage IP Fabric
Real Estate / POD
Spine Leaf AccessS L A
3:1
O/S
A A A A A AA A
S S S S S SS S
24:1
O/S
3:1
O/S
3:1
O/S
3:1
O/S
3:1
O/S
A A A A A A A A A A A AA A A A
S S S S
L L L L L L L L

VXLAN Fabric アーキテクチャ
VXLAN Tunnelのフル・メッシュ構成
S S S S
BMS BMS BMS
BMS
VXLAN Routing in the Spine
VXLAN L2 GW in Leaf
L2 / L3 Everywhere

CLOS IP Fabric Requirements
Requirement OSPF IS-IS BGP
Advertise prefixes Yes Yes Yes
Scale Limited Limited Yes
Traffic Engineering Limited Limited Yes
Traffic Tagging Limited Limited Yes
Multi-Vendor Stability Yes Yes Even more so
VPNs No No Yes

S1
AS1
S2
AS2
L1
AS3
L2
AS4
L3
AS5
S1 S2
L1 L2 L3
IBGP vs. EBGP
iBGP eBGP
• BGP Route Reflection
• BGP AddPath
• Loopback peering
• OSPF or IS-IS
• 16-bit vs. 32-bit ASNs
• Relaxed multi-path
ASN 64,512

Ethernet の進化
Ethernet  Fast Ethernet  Gigabit Ethernet  10GbE  40GbE  100GbE  400GbE
Faster
Link Aggregation  IEEE 802.1ad  IEEE 802.1AX
Link Aggregation
Ethernet Switching  Provider Backbone Bridging  TRILL and SPB
Ethernet Services
IEEE 802.1D  IEEE 802.1w  IEEE 802.1s  IEEE 802.1aq
Loop Prevention
CCC  L2VPN  VPLS
Data Center Interconnect
VXLAN  NVGRE  MPLS-over-UDP
Data Center Overlays

業界的なチャレンジ（DCI）
DataCenter
Interconect
VPLS
Data Center
1
Data Center
2
• No All-Active Forwarding
• No Control Plane Learning
• No Inter-Subnet Forwarding
• No MAC Mobility / トロンボーン・エフェクト
• No Advanced Ethernet Services
• VLAN-based
• VLAN Bundle
• VLAN Aware

業界的なチャレンジ（Overlay）
• 標準化されたコントロールプレーンがない
• 標準化されたデータプレーンもない
• ベンダーロックインによる独自技術は過去何度も失敗してきた…
IP Fabric
Overlay Networks
Controller

業界的なチャレンジ（Multi-Teanant）
Multi-Tenant Network
• 唯一解が存在せず
• 殆どの実装がproprietary
• 複雑なオペレーション
• 限定的なスケール
• 物理的な制約 – no L2 between PODs, etc.
Bare-Metal Servers

EVPN as a Solution
EVPN
DCI
Multi-
Tenancy
Overlay
Network
• All-Active フォワーディング
• 統合された L2・L3 サービス
• 馴染み深い L3VPN に類似したオペレーション
• Control plane learning
• Auto-Discovery
• 柔軟なデータプレーンの選択

EVPN（ETHERNET VPN）とは？
LAG
BGPをベースと
してStateを交換
EVPN
router
EVPN
router
LAN
WAN
複数のL2 domains (VLANs) を接続するための
新しい標準化ベースのプロトコル
Integrated Routing & Bridging (IRB) により
L2 & L3 コンバージェンスをネイティブにサポート
Juniper が業界のマルチベンダーイニシアチブを主導
-- JNPR, CSCO, ALU, ATT, Verizon, Bloomberg ….
次世代のデータセンターインターコネクトに最適

Use case #1:
EVPN for Next Generation Ethernet Services
Benefits:
• より効率的で機能豊かな E-LAN ＆ E-LINE サービスを提供
• VPLSの欠点を補足; IP VPN likeな policy control を提供
• 急激なトラフィックの伸びに対応可能
• Active/Active multi-homing with load balancing
• ネットワークの効率性を改善
• BUM trafficのFloodingを最小化して/ MAC learningのスピードを改善
BGP signaling on WAN
exchange MAC/IP routes
EVPN
PE2
EVPN
PE1
EVPN
PE3
EVPN
PE4
CE
CE
MPLS
MP-BGP

Use Case #2:
EVPN For Data Center Interconnect
Benefits:
• シームレスなデータセンター・インターコネクト – L3 を意識したDC間L2 ストレッチ
• シームレスなワークロードマイグレーション – DC間でのVM mobility を実現
• 広い流用性 – 旧来のL2 と MPLSやVxLANのようなOverlay DCテクノロジーとを接続
VLAN 1
MAC1
VLAN 2
MAC 2
VLAN 1
MAC11
VLAN 2
MAC22
Data Plane Learning BGP Control Plane based learning on WAN Data Plane Learning
MX Series MX Series
Data Center Site1 Data Center Site 2Data Center Interconnect
MPLS/
E-VPN
Cloud
Legacy L2
VLAN
VXLAN
Cloud

Use Case #3:
EVPN-VXLAN for DC Overlay
• EVPN がコントロールプレーンとして動作
 VNID がEthernet Tag IDの代わりとしてEVPNのシグナリングに
利用される
• VxLAN はデータプレーンのEncapsulationとして利用される
Benefits of EVPN-VxLAN DC Overlay:
• シンプルなAll IPファブリックのDC内利用を促進
• DC内における多段のL2セットアップ構成が不必要に
• VM/アプリケーションに対して L2 connectivity を提供
• ハイパーバイザーに対して直接L2VPNを提供
• すべてのIP DCにL2 マルチテナンシーを提供
• 各テナントが4094 VNIDを利用可能に
• VXLAN Tunnel Endpoints (VTEP) はネットワーク機器上にも
ハイパーバイザー上にも存在し、それらを結びつけることが可能
• EVPNにおけるあらゆるメリットをDCのLAN内でも利用可能に
Overlay
environment
IP Fabric
TOR
VDS
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
Network
Orchestrator
Management
Plane API
needed only

EVPN の概要
• 新しい MP-BGP family
• 統合された L2・L3 コントロールプレーン
• 選択可能なデータプレーン
• All-Active フォワーディング

EVPN アーキテクチャ
App
OS
Customer Edge (CE)
(switch, router, host, etc)
Single-Active Mode
All-Active Mode
EVPN Instance
(EVI)
LAG
BGP-RR
Provider Edge (PE)
Agnostic Data Plane Encapsulation
(EVPNの場合、ここの転送手段はMPLSでもVXLANでも対応が可能)
Ethernet Segment (ES)

EVPN NLRI Types
Route Type Description Usage Standard
1 Ethernet Auto-Discovery PE Discovery and Mass Withdraw draft-ietf-l2vpn-evpn
2 MAC Advertisement MAC Advertisement draft-ietf-l2vpn-evpn
3 Multicast Route BUM Flooding draft-ietf-l2vpn-evpn
4 Ethernet Segment Route ES Discovery and DF Election draft-ietf-l2vpn-evpn
5 IP Prefix Route IP Route Advertisement
draft-rabadan-l2vpn-evpn-
prefix-advertisement
※
※Roadmap

EVPN Services
VLAN Based Service
VLAN Bundle Service
VLAN Aware Service
• 1:1 VLAN ID to EVI
• RT per VLAN – Label per VLAN
• Supports VLAN normalization
• Efficient flooding
• Requires more labels
• N:1 VLAN ID to EVI
• RT per VRF – Label per VRF
• No support for VLAN normalization
• Inefficient flooding
• Uses less labels
• N:1 VLAN ID to EVI
• RT per VRF – Label per VLAN
• Supports VLAN normalization
• Efficient flooding
• Requires more labels
EVPN Instance 4
EVPN Instance 1
EVPN Instance 2
EVPN Instance 3
vlan-id 1
vlan-id 2
vlan-id 3
vlan-id 4
vlan-id 11
vlan-id 12
vlan-id 13
vlan-id 14
EVPN Instance 1
vlan-id 1
vlan-id 2
vlan-id 3
vlan-id 4
vlan-id 1
vlan-id 2
vlan-id 3
vlan-id 4
Broadcast Domain 1
Broadcast Domain 2
Broadcast Domain 3
Broadcast Domain 4
EVPN Instance 1
vlan-id 1
vlan-id 2
vlan-id 3
vlan-id 4
vlan-id 11
vlan-id 12
vlan-id 13
vlan-id 14

VLAN-based EVPN Summary
PE1 PE2
VRF2
VRF1
VRF2
VRF1
vlan-id 1
vlan-id 2
vlan-id 11
vlan-id 22
EVI 1
EVI 2
L11 L21
L22L12
ラベルはユニークである必要あり
ラベルは同一でも別でも構わない

VLAN Bundle EVPN Summary
PE1 PE2VRF1 VRF1
vlan-id 1
vlan-id 2
vlan-id 11
vlan-id 22
EVI 1
L11 L21

VLAN Aware EVPN Summary
PE1 PE2VRF1 VRF1
vlan-id 1
vlan-id 2
vlan-id 11
vlan-id 22
EVI 1
L11 L21
L22L12

VXLAN EVPN Service – Hybrid
PE1 PE2VRF1 VRF1
vlan-id 1
vlan-id 2
vlan-id 11
vlan-id 22
VNI はユニークなName Spaceとなり、
マッチしていないといけない
VNI55 VNI55
VNI55VNI55
bd bd
bd bd
Auto RT
routing-instance foo
{
type evpn;
route-target AS:auto;
bridge-domains {
bd1 {
vlan-id 1;
}
bd 2 {
vlan-id 2;
}
}
1,0x1 VNIDnew
0x02 Sub-Type ASNold
RT Format

EVPN サービス・マトリックス
Attribute VLAN-Based Service VLAN Bundle Service
VLAN Aware
Service
VLAN to EVPN Instance Ratio 1:1 N:1 N:1
Route Target VLAN VRF VRF
Service Label VLAN VRF VLAN
VLAN Normalization Yes No Yes
Overlapping MAC Addresses Yes No Yes
Juniper Support Yes No Yes※
※Roadmap

Data Plane Meta Data
Transport Label Service Label PayloadMPLS
Outer IP Header VXLAN VNID PayloadVXLAN
• Forwarding
• Service Separation
• Split Horizon
• Hashing

EVPN Split Horizon – MPLS
EVPN Instance
CE 1
• 片側の DF だけが BUM トラフィ
クを転送する
• ESI毎にSplit Horizonラベルが付
与される
• Single-homedのCE1に対しては
Split Horizonラベルは付与されず、
転送が行われる
DF
ESI 2
CE 2
Split Horizon Label 1
Split Horizon Label, ESI

EVPN Mass Withdraw
App
OS
Customer Edge (CE)
(switch, router, host, etc.)
Single-Active Mode
All-Active Mode
LAG
BGP-RR
Provider Edge (PE)
• 障害時にはPE がEthernet Segment (ES)
に関係するすべてのMACアドレスに対する
Withdrawの告知を送信する
No need for MC-LAG
(story)

EVPN MAC Aliasing
MAC learned
MAC not learned
EVPN ES Update
Aliasing
• 対向のPEは、該当のMacアドレスへは
エイリアスを組んだ双方のPE越しでア
クセス可能なことを学習しているため、
ロードバランスしながら転送すること
が可能

App
OS
All-Active
Mode
BGP-RR
Provider Edge (PE)
MAC NLRI Gen-ID++
App
OS
MAC NLRI Gen-ID++
EVPN MAC Mobility
• PE は MACの移動を検知するごと
に、Gen-ID を付与した
community 情報を伝播
• 最も高い Gen-ID を発行したPE配
下に該当MACが存在すると判断さ
れる

DATA CENTER
INTERCONNECT
DCI Use Case with EVPN Options

DCI OVERVIEW
DC2 DC3
DC1
Data Center Interconnect
 物理的に離れたデータセンター間でデータをやり取りする
 L2とL3のデータ転送
 データの分離と統合
 ノードとリンク、耐障害性の確保
D1-
R1
D1-
R2

DCI w/ EVPN の利点
DC Fabric DC Gateway DC FabricDC Gateway
Link Efficiency
L2ループを回避しながら、
A/Aのフォワーディング
を提供
Convergence
MPLSにより培われた高
速なコンバージェンスと
ルート変更をそのまま提
供
L3 and L2
L2 & L3 をNativeに
統合したプロトコル管理
を提供
DC Optimized
DC間でのVMのモビリティ
にも柔軟に対応
MPLS
IP Fabric
Virtual Machine Mobility
Custom Services
IPVPN のようなポロ
シーコントロールを持っ
てサービスを提供するこ
とが可能

EVPN の構成要素
DC1 DC Gateway2 DC2DC Gateway4
MPLS
IP Fabric
Data Plane
MAC learning
BGP Control Plane
MAC learning
Data Plane
MAC learning
DC Gateway1 DC Gateway3
MACs
DF
Non DF
ESI -100
• Aliasing – すべてのActiveリンクにおいてロードバランスを提供
• Mac Mass withdrawal – 高速なコンバージェンス
• Mac mobility – VMの可動性をほぼヒットレスにサポート
• 統合された L3 – 設定の簡素化を提供
• Finer policy Control with BGP – より柔軟なコントロール
• Built in HA – 高速なコンバージェンスとネットワークの堅牢化
Traffic for MAC1
Active-Active Modes of deployment

Aliasing
• MACアドレスが片側のPEでのみ学習された環境であっても、すべてのActive Linkを使用してトラフィックのロード
バランスを提供
• PE はMAC Routeをアドバタイズする際にESIも併せて告知し、ES内のすべてのActiveな接続性を対向に告知する
• 対向側のPEは受け取ったESIに向けてトラフィックをロードバランスしながら転送する
PE2
PE1
PE3
PE4
CE
CE
MPLS
3．PE3とPE4は、EVIごとに受け取るRoute
告知によりMAC1へはPE1とPE2経由でリー
チできることを認識する
2．CEからのトラフィックを受信してMACアド
レス1を学習したPE2だけが該当のMac Routeを
対向に告知
2．PE1 と PE2 がEVIごとに同一のESIを含
んだAD Routeを告知している
4．PE3 はMAC1へのトラ
フィックをロードバランス
しながら転送
1．CEからはLAGによりトラ
フィックをバランシングして転送

MAC Mass Withdrawal
• ESIに関係するリンク障害が発生した場合、高速なコンバージェンスを提供
• ESI (link) に障害が発生すると、PEは（個別のMACアドレス毎のではなく）該当するESIに関するRoute削除更新を
対向に送信する
• 対抗のすべてのPEは該当のESI経由で学習しているすべてのIP/MACアドレスに対するネクストホップ経路から該当
のPEを削除する
• これにより学習しているMACアドレスの数量にかかわらず高速なコンバージェンスを提供
PE2
PE1
PE3
PE4CE
CE
9
2．PE2 はダウンしたリン
クに該当するESIに関する
withdraw を送信
3．すべてのPEはそのESI宛のネクストホップから
PE2 を即座に除外する
1．リンク障害が発生

DCI OPTIONS
QFX10K
DC 1
QFX10K
DC 2
MX1 MX2
L3VPN-MPLS
EVPN-
VXLAN
Option 1
QFX10K
DC 1
QFX10K
DC 2
MX1 MX2
EVPN-VXLAN
EVPN-
VXLAN
Option 3
 既存の WANを流用
 ASBRとしてのMX
QFX10K
DC 1
QFX10K
DC 2
MX1 MX2
EVPN-MPLS
EVPN-
VXLAN
Option 2
 EVPN stitching
 多少のデザインと移行プラ
ンニングが必要
 既存のMPLS技術を流用
 容易な実装
QFX10K
DC 1
QFX10K
DC 2
EVPN-VXLAN
Option 4
 直接接続
 容易な実装
 No MPLS

VXLAN VNID 100
DCI OPTION 1 QFX10K
1
QFX10K
2
MX1 MX2
EVPN-
VXLAN
MX1 MX2QFX10K 1 QFX10K 2
L3VPNVXLAN VNID 100
family mplsfamily inet family inet
loopback loopback
BGP-INET-VPN
BGP-EVPN
loopback loopback
(OTT WAN)

VXLAN VNID 200
DCI OPTION 2
EVPN-MPLS (MPLS option A)
family mplsfamily inet family inet
loopback loopback
BGP-EVPNBGP-EVPN
loopback loopback
BGP-EVPN
QFX10K
1
QFX10K
2
MX1 MX2
EVPN-
VXLAN
EVPN stitching /
possible VNID transition
point
VXLAN VNID 100
MX2
EVI EVI
Logical Tunnels
EVPN-MPLS
EVPN-VXLAN
EVPN stitching /
possible VNID transition
point

VXLAN VNID 300
DCI OPTION 3
VXLAN VNID 200
family inetfamily inet family inet
loopback loopback
BGP-EVPNBGP-EVPN
loopback loopback
BGP-EVPN
QFX10K
1
QFX10K
2
MX1 MX2
EVPN-
VXLAN
Possible VNID
translation
Possible VNID
translation
VXLAN VNID 100
(OTT Internet)

DCI OPTION 4
QFX10K 1 QFX10K 2
VXLAN VNID 100
family inet
loopback loopback
BGP-EVPN
QFX10K
1
QFX10K
2
EVPN-VXLAN
(Dark Fiber)

DATA CENTER
MULTI-TENANT
Data Center Switching Use Case
with EVPN Options

MULTI-TENANT DC OVERVIEW
T1 T2 T3 T4
Data Center Network
Multi-Tenant Data Center
Spine
1
Spine
2
Leaf 2 Leaf 3 Leaf 4Leaf 1
 テナント毎の分離を提供
 テナント毎に複数のサブネットを提供
 L2とL3のトランジットを提供
 物理・仮想的な負荷に応じて配置する必要がある

MULTI-TENANT DC OPTIONS
Spine
1
Spine
2
Option 1
 3-stage Clos トポロジー
 小〜中規模構成
 一般的にはひとつの BGPで構成 (iBGP)
Spine
1
Spine
2
Spine
1
Spine
2
Fabric
1
Fabric
2
Option 2
 5-stage Clos トポロジー
 中〜大規模構成
 様々な BGP デザインオプションが検討可能

MULTI-TENANT DC FUNDAMENTALS
VRF 1 VRF 2
default.vs
VNID1
VNID2
VNID3
VNID4
IRB IFD
BD3 BD4BD1 BD2
SpineLeaf
VRF_1_VS
BD1 BD2
VRF_2_VS
BD3 BD4
VTEP – bound to lo0.0
routing-instances {
VRF_1 {
instance-type vrf;
interface irb.1;
route-distinguisher 1:1;
vrf-target target:1:1;
}
VRF_1_VS {
instance-type virtual-switch;
vtep-source-interface lo0.0;
route-distinguisher 11:1;
vrf-import VRF_1_VS_IN;
protocols {
evpn {
encapsulation vxlan;
extended-vni-list [ 1 2 ];
multicast-mode ingress-replication;
}
bridge-domains {
bd1 {
vlan-id 1;
routing-interface irb.1;
vxlan {
vni 1;
ingress-node-replication;
}
}
}
}
}
accept esi comm
accept self RT
irb.1 irb.2 irb.3 irb.4

MULTI-TENANT DC FUNDAMENTALS
default.vs
VNID1
VNID2
VNID3
VNID4
BD3 BD4BD1 BD2
switching-options {
vtep-source-interface lo0.0;
vrf-import LEAF-IN;
}
vlans {
bd1 {
vlan-id 1;
vxlan {
vni 1;
}
bd2 {
vlan-id 2;
vxlan {
vni 2;
}
bd3 {
vlan-id 3;
vxlan {
vni 3;
}
bd4 {
vlan-id 4;
vxlan {
vni 4;
}
Leaf
protocols {
evpn {
encapsulation vxlan;
extended-vni-list [ 1 2 3 4 ];
multicast-mode ingress-replication;
vni-routing-options {
vni 1 {
vrf-target export target 1:1;
}
}
}
}

BUM REPLICATION OPTIONS
Spine
1
Spine
2
Ingress Replication (IR)
 Leaf がBUMパケットの複製を行う
 関連するすべてのLeaf へコピーを転送
 1000+ を超えるLeafが存在するような構成で
はスケールしない
Spine
1
Spine
2
Assisted Replication (AS)
 Leaf がBUMトラフィックのコピーをSpineに送信
 Spine が各Leaf向けのBUMトラフィックの複製を
行う
 より大規模な構成に対応
 Spine にはより強力なCPUパワーが要求される

FLOOD LIST – IR AND AR (SPINE)
VLANn
IP  Remote PE5, (VNID derived from VLANn)
1 2 3 4 5 Flood Next Hop / List
Composite Next Hop
**AR does split horizon

VXLAN FABRIC BGP OPTIONS
Spine
RR
Leaf
1 2
Leaf
1 3
iBGP + RR
 iBGP
 Spine == RR
 Leaf == RR client
 同一のASNを使用
 別途IGPが必要
Spine
Leaf
1 2
Leaf
1 3
eBGP
 eBGP
 Leaf毎に異なった
ASNを設定
EBGP OR IBGP ?
話はそうシンプルではなく、
デザイン構成時には、UnderlayとOverlayを
考慮する必要があり

VXLAN FABRIC BGP RECOMMENDATION
Spine
1
Spine
2
AS101 AS102
AS201 AS202 AS203 AS204
Underlayを構成するためのEBGP
 シンプルなデザイン
 物理インターフェイスでeBGPネイバを張る
 スイッチ毎にBGP ASN を設定
 EVPN構成のために loopback の prefixeをExport
 IGP は必要なし
Spine
1
Spine
2
AS64512 AS64512
AS64512 AS64512 AS64512 AS64512
EVPN Overlayを構成するためのIBGP
 シンプルなデザイン
 LoopbackでiBGPネイバを張る
 ひとつの BGP ASN を設定
 フルメッシュのPeeringを避けるためにSpineでRRを構成
 EVPN コントロールプレーンでMAC と ESIを学習
RR RR

VXLAN FABRIC BGP RECOMMENDATION
group underlay {
type external;
family inet;
local-as 101;
multipath multiple-as;
neighbor 192.168.1.201 {
peer-as 201;
}
neighbor 192.168.1.202 {
peer-as 202;
}
}
group overlay {
type internal;
family evpn signaling;
local-as 64512;
multipath;
neighbor 172.16.1.201;
neighbor 172.16.1.202;
}
Spine
group underlay {
type external;
family inet;
local-as 201;
multipath multiple-as;
neighbor 192.168.1.101 {
peer-as 101;
}
neighbor 192.168.1.102 {
peer-as 102;
}
}
group overlay {
type internal;
family evpn signaling;
local-as 64512;
multipath;
neighbor 172.16.1.101;
neighbor 172.16.1.102;
}
Leaf

VXLAN FABRIC BGP SUMMARY
IBGP family evpn / bound to lo0
EBGP family inet / bound to ifd
両方の利点を最大限活用
 100% BGP で構成することが可能で、IGPの管理
は不必要に (NO OSPF, ISIS)
 Underlayのトラブルシュート時
 Full AS_PATHを確認
 Overlayのトラブルシュート時
 Global のFabric Viewを確認
 iBGP overlay はトポロジーに依存させず、
eBGP underlay にトポロジーを意識させる
 5-stage CLOS になった場合にも同様のアーキテ
クチャを流用可能！
Spine
Leaf

DATA CENTER
MULTI-TENANT
Moving on to 5-stage topologies

EVPN Type-5 Vs. L3VPN / INET-VPN
“Same same, but different”
L L L L L L L L
POD1
L L L L L L L L
POD2
S S S S S S S S
F F F F
P P
Namespace: A/24 and B/24 Namespace: X/24 and Y/24
inet-vpn
EVPN Type-2 EVPN Type-2
EVPN Type-5

L L L L L L L L
POD1
L L L L L L L L
POD2
S S S S S S S S
F F F F
P P
Namespace: A/24 and B/24 Namespace: A/24 and B/24
inet-vpn
EVPN Type-2

L L L L L L L L
POD1
L L L L L L L L
POD2
S S S S S S S S
F F F F
P P
Namespace: A/24, B/24 + X/24 Namespace: X/24, Y/24 + A/24
inet-vpn
EVPN Type-2
EVPN Type-5

Leaf
Spine
Fabric
EBGP FOR SUBSTRATE / UNDERLAY
AS
2101
AS
2102
3102 3103 31043101
AS
2201
AS
2202
3202 3203 32043201
AS
1001
AS
1002

VXLAN L3 DISTRIBUTED GW OPTIONS
Spine GW
 今日サポート可能な構成
 SpineでL3State情報を中央集中化
 LeafはVXLAN L2 GW として動作
 上位のFabricスイッチには VXLAN機
能は必要なし
Fabric GW
 今日サポート可能な構成
 上位のFabricスイッチでL3State情報
を集中管理
 SpineスイッチにはVXLAN機能は必
要なし
Leaf GW
 将来ロードマップで対応予定
（Leafスイッチに BRCM T2+ 以降
のPFEが必要）
 L3State情報はLeafスイッチ上に分散
管理される
 SpineスイッチにはVXLAN機能は必
要なし

BGP FAMILY EVPN OPTIONS
EVPN Intra-POD T2
 POD内ではEVPN Type-2
 POD間ではEVPN Type-5
 POD毎にiBGP + RR
Type-2 Type-2
Type-5
AS64512
AS64512
AS64500
as-override
Type-5
Type-2
AS64512
BGP
RR
BGP
RR
VNI Range
1 – 4K
VNI Range
4 – 8K
EVPN Inter-POD T2
 外部の BGP route reflectors
 VNIDで管理ドメインを分離
 より大規模なスケールを提供
RR RR RR RR
EVPN Inter-POD T2
 POD間でEVPN Type-2
 POD間でEVPN Type-5
 Inline での階層型 iBGP と RR
Type-5
Type-2
Cluster 10
AS64512
Cluster11
Cluster 11
Cluster 1
AS64512
RR RR RR RR
RR RR

VRF A VRF A
x.1
x.101
H11
VNID
101
H21
H22
z.2
x.2
y.2 VNID
201
VNID
202
y.1
z.1
y.201
z.202
VRF B VRF B
c.1
c.102
H12
VNID
102
H23
d.2
c.2
e.2 VNID
203
e.1
e.203
d.1d.103
VNID
103
Switch ΔSwitch Γ
INTER-VNID ROUTING SUMMARY
Γ Next Hop Scale = VNIDs,Hosts
Asymmetric
VRF A VRF A
x.1
x.101
H11
VNID
101
H21
H22
VNID
201
VNID
202
y.1
z.1
y.201
z.202
VRF B VRF B
c.1c.102
H12
VNID
102
H23
VNID
203
e.1
e.203
d.1d.103
VNID
103
Switch ΔSwitch Γ
VNID
55
VNID
56
Γ Next Hop Scale = VRFs,PE
Symmetric

ASYMMETRIC ROUTING DETAIL
y.201  (201, H21)
z.202  (202, H22)
VRF A
e.203  (203, H23)VRF B
x.101  (101, H11)VRF A
c.102  (102, H12)
d.103  (103, H12)
VRF B
VRF A VRF A
x.1
x.101
H11
VNID
101
H21
H22
z.2
x.2
y.2 VNID
201
VNID
202
y.1
z.1
y.201
z.202
VRF B VRF B
c.1
c.102
H12
VNID
102
H23
d.2
c.2
e.2 VNID
203
e.1
e.203
d.1d.103
VNID
103
Switch ΔSwitch Γ
Γ route  next-hop table Δ route  next-hop table

SYMMETRIC ROUTING DETAIL
y.201 
z.202 
VRF A (55, Δ)
e.203 VRF B (56, Δ)
x.101 VRF A (55, Γ)
c.102 
d.103 
VRF B (56, Γ)
VRF A VRF A
x.1
x.101
H11
VNID
101
H21
H22
VNID
201
VNID
202
y.1
z.1
y.201
z.202
VRF B VRF B
c.1c.102
H12
VNID
102
H23
VNID
203
e.1
e.203
d.1d.103
VNID
103
Switch ΔSwitch Γ
VNID
55
VNID
56
Γ route  next-hop table Δ route  next-hop table

LOAD BALANCING HIERARCHY
Spine1 Spine2
Leaf2 Leaf3 Leaf4Leaf1
Host2
ESI
Host1
ESI
m n o p
Host2 ⇛ (o, p) VP-LAG
(Spine1, Spine2) L3 ECMP
(L1, L2) L2 ECMP
L3 LAGs
L1, L2
 VP-LAG
 L3 ECMP
 L2 ECMP

VIRTUAL PORT LAG (VP-LAG)
Spine1 Spine2
Host2
ESI
Host1
ESI
m n o p
Host2 ⇛ (o, p) VP-LAG
(L1, L2) L2 ECMP
L3 LAGs
L1, L2
Spine1 Spine2
Host2
ESI
Host1
ESI
m n o p
Host2 ⇛ (o) No VP-LAG
(L1, L2) L2 ECMP
L3 LAGs
L1, L2
Today VP-LAG RLI

SUMMARY
 次世代データセンターアーキテクチャにベストなEVPN実装
 冗長化とECMPを実現するVP-LAG
 マルチホーミング構成におけるESI
 MPLS and VXLAN データプレーン
 業界で最も最適なSpine switch: QFX10000
 高い論理スケール値
 豊富な機能
 将来を保証する様々なアーキテクチャの選択肢を提供
 DC-LANとしてもDCIとしてもGatewayの役割を担うことが可能
 EVPNアーキテクチャを最適化するJunos Fusion
 管理ポイントの低減
 複数のコントロールプレーンによる高い冗長性
 容易なOSアップグレードと管理を提供

Thanks!!!
Your ideas. Connected.

BGP Whitepaper
• http://www.juniper.net/us/en/local/pdf/whitepapers/2000565-en.pdf
• Googleで “QFX5100 IP Fabrics” と検索すればTop Hitで出てきます。
ベストプラクティス + 構成例 + 設定例

Spine : QFX10000-Series
Juniper Q5 based switches
QFX10002-36Q
Fixed
QFX10002-72Q
Fixed
QFX10008
8-slot modular
QFX10016
16-slot modular
36 x 40GE
or 12 x 100 GE or 144 x 10GE
72 x 40GE
or 24 x 100 GE or 288 x 10GE
30 x 100GE per slot
36 x 40GE per slot
or 12 x 100 GE or 144 x 10GE
60 x 10GE + 2 x 100 GE per slot
or 60 x 10 GE + 4 x 40 GE or 68 x 10 GE
Industry’s highest density 100GE switches
Flexible architectural support
EVPN/VXLAN support
SDN support (VMware NSX, Juniper Contrail)

Leaf : QFX5100-Series
Broadcom Trident 2 based leaf switches
QFX5100-48S
QFX5100-48T
QFX5100-96S
QFX5100-24Q
48x10GE/1GE + 6x40GE
24x40GE + 2 slots, each 4x40GE
In Service Software Upgrades (ISSU)
Flexible architectural support
EVPN/VXLAN support
SDN support (VMware NSX, Juniper Contrail, Openflow)

EVPN for Cloud Builders

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie EVPN for Cloud Builders

Ähnlich wie EVPN for Cloud Builders (20)

Mehr von Juniper Networks (日本)

Mehr von Juniper Networks (日本) (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (10)

EVPN for Cloud Builders