Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
BETTER TOGETHER
NOW Your Network is plugged into the SDDC
〜VMware NSXとJuniperデバイスを繋いでみよう!〜
Juniper Networks, K.K.
Kazubu
M...
2 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Legal Disclaimer
本資料に記載されている機能や構成、ロードマップ情報などは、
資料作成時点におけるジュニパーネッ...
3 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Agenda
この資料では、以下の内容について解説します。
 本資料について
 VMware NSXの概要
 アンダーレイ...
4 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
本資料について
本資料は、VMware NSXとジュニパー・デバイスの連動検証試験の過程と結
果、設定サンプル、デザイン案などを...
5 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMWARE NSXの概要
6 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
JuniperのSDN/SDDCへの2つのアプローチ
Open Source
• オープンソースによる汎用
化
• 多少のカスタ...
7 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXが実現するSDDCの世界とは、
VMware NSXとは、VMwareが提唱するSoftware Defin...
8 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネントとアーキテクチャ
NSXは(一般的なネットワーク機器と同様に)管理プレーン、コントロールプ
...
9 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネントとアーキテクチャ
・データプレーン (.cont)
また、ハイパーバイザーのカーネル上で提供...
10 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネントとアーキテクチャ
これまでの説明で登場したコンポーネントの関連性をまとめると以下の様なイ
...
11 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント ”VXLAN”
オーバーレイ・ネットワークにおいてソフトウェアによる自由な管理・運用を
...
12 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VXLAN FRAME FORMAT
 VXLAN とは MACアドレスをUDPヘッダーでカプセリングするテクノロジー (M...
13 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLANOuter Eth Outer IP
TH...
14 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント ”Logical Switch”
Logical SwitchはNSXがVXLANにより...
15 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント ”Logical Switch”
それぞれ別のESXi上に存在している2台の仮想マシン同...
16 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント ”Logical Router”
Logical Routerはオーバーレイ・ネットワー...
17 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント ”Logical Router”
Logical Routerはオーバーレイ・ネットワー...
18 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント ”Logical Router”
・Centralized Routing
Centra...
19 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント ”Logical Router”
・Distributed Routing
Distri...
20 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント ”Logical Router”
・Distributed Routing(.cont)...
21 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント
”Edge Service Gateway(ESG)”
Edge Service Gat...
22 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント
”Edge Service Gateway(ESG)”
NSXにおけるESGのデザインは...
23 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSXのコンポーネント
”Distributed Firewall (DFW)”
NSX Distributed...
24 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VMware NSX Overview
これまでの説明で登場したコンポーネントをまとめると以下の様な関係性にな
ります。これよ...
25 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの検討と構築
26 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの検討
VMware NSXを構成するにあたっては、オーバーレイ・ネットワークを動作
させるためのア...
27 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの検討
ジュニパーのDCスイッチ・アーキテクチャでNSXと連動させる際には主に以
下3つの選択肢を提...
28 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ge-0/0/0,2
アンダーレイ・ネットワークのデザイン
#Underlay Network Pane
Spine
ESXi...
29 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークのデザイン
#Management Network Pane
Spine
ESXi
(Managem...
30 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Spine Switch (Hermes)の設定
set system host-name...
31 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Spine Switch (Hermes)の設定 (.cont)
set protocol...
32 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Leaf Switch (Calypso)の設定
set system host-name...
33 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Leaf Switch (Calypso)の設定(.cont)
set policy-op...
34 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Leaf Switch (Atlas)の設定
set system host-name A...
35 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Leaf Switch (Atlas)の設定(.cont)
set policy-opti...
36 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Underlay Network の確認
以下のようにeBGPで各スイッチのLoopbac...
37 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Clos IP Fabricの詳しい概念、設定詳細については以下のWhite Paperを...
38 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
39 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
前提として、以下の環境が構築済みであることとします。
 VMware 環境
 vCenter Server ...
40 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
(.cont)
 Network構成
 以下のvDSが構成されていること
– ManagementVDS
-...
41 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VDS Network Design
Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ...
42 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX ManagerのOVAファイルをデプロイします。
43 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX ManagerのOVAファイルをデプロイします。
44 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX ManagerのOVAファイルをデプロイします。
45 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX ManagerのOVAファイルをデプロイします。
46 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX ManagerのVM名を指定します。
47 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX Managerのデプロイ先クラスタを指定します。
48 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX Managerのデプロイ先ESXiホストを指定します。
49 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX Managerのディスクのプロビジョニング方法を指定します。
50 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
IPアドレスやパスワード等、NSX Managerの基本設定を行います。
51 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
各種設定が完了正しい事を完了して、デプロイを開始します。
52 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
インストールが完了したら、ブラウザでNSX Managerにログインします。
53 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
ログイン後、Manage Appliance Settingsをクリックします。
54 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
必要に応じて初期設定を行います。
55 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX Management Serviceタブを開き、vCenter Serverを指定します。
56 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX Management Serviceタブを開き、vCenter Serverを指定します。
57 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
証明書の確認画面が出るので、Yesを選択します。
58 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
正常に接続されると、StatusがConnectedになります。
59 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
しばらくするとvSphere Web Clientに現れる、NSXの設定画面に移動します。
60 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Installationタブを開き、Controller Nodeを追加します。
61 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
デプロイ先のクラスタやデータストアなど、必要な項目を入力します。
62 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Controller Nodeとの接続に使用する管理ネットワークを選択します。
63 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Controller Nodeが使用するIPアドレスプールを作成し、選択します。
64 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
全ての必須項目を入力したら、OKを押します。
65 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
StatusがConnectedになったら以上の手順を繰り返し、合計3台デプロイします。
66 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Host Preparationタブに移動し、NSXを使用するクラスタに対してNSX VBI
をインストールしま...
67 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
インストールが完了すると、バージョン情報とFirewall statusが表示されます。
68 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
VXLANの初期設定を行います。”Not Configured”をクリックすると、設定画
面が開きます。
69 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
ここでは、VXLANの転送に使用するVDS, VLAN ID, MTU, アドレス採番方式、
NICのチーミング...
70 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
QFXにおけるDCHPサービスとPIMの設定
(この設定によりESXiにIPアドレスを付与します。)
#Spin...
71 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
(.cont)
#Leaf Switch (Atlas)の設定
set system services dhcp...
72 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
全てのクラスタで設定が完了すると、VXLANがConfiguredの状態になります。
73 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、Logical Network Preparationタブを開き、VXLANで使用するパラ
メータを設定...
74 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
ここでは、VXLANで使用するSegment ID(VNI: VXLAN ID)と、それに対応
するマルチキャス...
75 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Transport Zonesタブに移動し、転送ゾーンを作成します。
76 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
転送ゾーンは、VXLANによる仮想ネットワークにアクセスできるクラスタごとに
作成するゾーンです。今回は、全ての...
77 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
作成が完了したら、Logical Switchを作成していきます。
78 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Logical Switchは、VXLANの1つのVNIにマップされるL2セグメントです。
(従来のネットワーク...
79 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
作成が完了すると、Logical Switchが一覧に追加されます。各Logical Switch
に紐付けられ...
80 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
各Logical SwitchにVMを接続していきます。ここでは、martini-vm1と
calvin-vm1...
81 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
オーバーレイ・ネットワークのデザイン
#Overlay Network Pane
Spine
ESXi
(Management...
82 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESXi
(Edge GW)
vCenter NSX
Manager
NSX
Controller
NSX
Controlle...
83 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
仮想ネットワークの構成
同一Logical Switchに収容された別のVMに対して到達性があることを確認します。
また、異な...
84 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、各Logical Switch間を分散仮想ルータで接続していきます。NSX
Edgesタブに移動し、追加...
85 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Logical Distributed Routerを選択し、名前とデプロイの種類を決定します。
86 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
管理VMの管理ユーザとロギングの設定を行います。
87 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
デプロイ先のデータセンタを選択し、追加ボタンを選択します。
88 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
デプロイ先のクラスタとハードウェアを選択します。
89 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
選択した内容が反映されていることを確認し、次に進みます。
90 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
HAのハートビート等に使用するインターフェイスを指定します。
91 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
各Logical Switchに対するインターフェイスを追加します。
92 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
必要な全てのLogical Switchに対してインターフェイスを追加して、次に進み
ます。
93 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
現時点では外部接続を行わないため、何も設定せずに次に進みます。
94 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
設定が正しく反映されていることを確認し、完了します。
95 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESXi
(Edge GW)
vCenter NSX
Manager
NSX
Controller
NSX
Controlle...
96 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
仮想ネットワークの構成
異なるロジカルスイッチに収容されたホスト間で疎通が取れるようになったこ
とを確認します。
97 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、これまで構築してきた仮想ネットワークを、外部の物理ネットワーク
と接続します。分散仮想ルータとEdge ...
98 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSX Edgesタブに移動し、追加ボタンを選択します。
99 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Edge Service Gatewayを選択し、名前とデプロイの種類を決定します。
100 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
ESGの管理ユーザとロギングの設定を行います。
101 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
デプロイ先のデータセンタとESGのサイズを選択し、追加ボタンを選択します。
102 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
デプロイ先のクラスタとデータストアを選択します。
103 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
選択した内容が反映されていることを確認し、次へ進みます。
104 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、ネットワークインターフェイスを追加します。
105 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
外部と接続するネットワーク(Uplink)を追加します。
106 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Edge GWと分散仮想ルータを接続するためのネットワークを追加します。
107 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
全てのインターフェイスが正しく追加されたことを確認し、次へ進みます。
108 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
後ほどルーティングプロトコルの設定を行いますので、Default GWの設定は
スキップします。
109 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
デフォルトのFW設定と、H/Aの通信に使用するインターフェイスを選択します。
110 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
最後に、全ての設定を確認し、完了します。
111 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
暫くすると、Edge GWがデプロイされます。続いて、LDRをダブルクリック
します。
112 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
分散仮想ルータの設定画面が開くので、インターフェイスの追加を行います。
113 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
分散仮想ルータとEdge GWを接続するインターフェイスの設定を行います。
114 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いてRoutingタブに移り、ルーティングプロトコルの設定を行います。
115 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
ダイナミックルーティングプロトコルで使用するRouter IDを選択します。
116 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
変更を適用します。(各ページ毎に適用しなければならないことに注意が必要
です)
117 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
今回はBGPを使用して分散仮想ルータとESGを接続します。BGPタブに移動し、
Editを選択します。
118 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
BGPを有効化し、AS番号を設定します。
119 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、BGPネイバーを追加します。
120 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
BGPネイバーに関連する設定を行います。
121 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
経路フィルタの追加を行います。今回は、In/Outともに全てを許可します。
122 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
設定が完了したら、設定を反映します。
123 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて経路の再配送を設定します。BGPに対する再配送を有効にします。
124 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
再配送のルールを設定します。今回は、Connected経路をBGPに再配送する
設定を行います。
125 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
設定が正しい事を確認し、設定を反映します。
126 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、Edge GW側でもBGPの設定を行っていきます。Edge GWをダブルク
リックします。
127 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Routingタブを開き、Router IDを選択します。
128 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
設定の反映を行います。
129 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
BGPタブに移動し、BGPの有効化とAS番号の設定を行います。
130 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、BGPネイバーの追加を行います。
131 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
分散仮想ルータに対するBGPネイバーの設定を行います。
132 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
経路フィルタの追加を行います。こちらも、In/Outともに全てを許可します。
133 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
設定が正しい事を確認し、設定を反映します。
134 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて経路の再配送を設定します。BGPに対する再配送を有効にします。
135 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
再配送のルールを設定します。Connected経路をBGPに再配送する設定を行います。
136 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
設定が正しい事を確認し、設定を反映します。
137 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
オーバーレイ・ネットワークのデザイン
#Overlay Network Pane
Spine
ESXi
(Managemen...
138 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controll...
139 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controll...
140 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
仮想ネットワークの動作確認
正しく通信が行えていることがわかります。
141 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
Distributed Firewallは、NSXのFirewallタブ及びService Composerタ...
142 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
Service Composerタブに移動します。この画面では、セキュリティグループ
を定義します。
143 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
名前を入力します
144 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
動的にマッチさせる項目と値を設定します。ここでは例として、VM名の末尾
がvm2であるという条件を設定します。
145 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
静的に(必ず)含めたいVMなどを選択します。今回は何も選択せずに次に進みます。
146 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
必ず除外したいVMなどを選択します。こちらも今回は何も選択せずに次へ進みます。
147 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
内容が正しいことを確認して、完了します。
148 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
作成が完了すると、一覧に作成した項目が現れます。Virtual Machinesの数字
をクリックするとそのセ...
149 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
作成したセキュリティグループを右クリックして、Apply Policyを選択します。
150 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
適用先のセキュリティポリシーが表示されます。今回はまだ作成していません
ので、New Security Pol...
151 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
セキュリティポリシーの作成ウィザードが表示されます。名前を入力します。
152 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
Guest Introspection Servicesは設定せずに次に進みます。
153 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
ファイアウォールルールを設定します。ここでは、セキュリティグループ宛の
ICMP EchoをBlockします。
154 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
設定した内容が正しく表示されていることを確認して、完了します。
155 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
Firewallタブに移動すると、先ほど設定した内容が反映されています。
Destinationのグループをク...
156 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controll...
157 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの動作確認
パケットが通らないことが確認できます。
158 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
DFWの設定
後の検証でICMP Echoを使いますので、動作を確認したら作成したSecurity
Policyは削除してお...
159 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controll...
160 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
Load balancerを設定します。Edge GWのLoad balancerタブに移動しま...
161 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
Editを押し、Load balancerを有効化します。
162 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
Application Profilesに移動し、LBを適用するアプリケーションを定義します。
163 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
サービスの設定を行います。今回はHTTPをロードバランスします。
164 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
続いて、Poolタブに移動し、サーバのプールを定義します。
165 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
サーバプールを定義します。負荷分散の方式と監視の方式を設定します。
166 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
サーバプールに追加するメンバーを選択します。今回はCompute Clusterの
全てのVMを...
167 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定(おまけ)
先ほどDFWの紹介で作成したSecurity Groupも対象として選択が可能です。
...
168 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
仮想サーバの設定を行います。この設定を行う事で、Edge GWがLBとして動
作します。
169 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの設定
作成したプロファイルやプール、Edge GWが待ち受けるIPアドレスなどを設定し
ます。
170 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
ESG LBサービスの確認
設定が正しく完了すると、Edge GW宛のHTTPリクエストが各サーバにロー
ドバランスされるよ...
171 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
HW VTEPとの連携:L2 GATEWAY
172 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Hardware VTEPのUse Case
ジュニパーではNSXと連動可能なHW VTEPとして、L2での接続を提供するL...
173 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Hardware VTEPのUse Case
NSXのデザインを考慮するにあたって、検討する必要があるのが仮想ネット
ワーク...
174 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Hardware VTEPのUse Case
 アクセススイッチでNSX L2
Gateway (HW VTEP)として動...
175 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Hardware VTEPの統合
NSXの仮想ネットワークとHW VTEPを接続するためには、VXLAN環境におけ
るBUM...
176 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Multicast-VXLANの設定
まずは、Multicast-VXLANを用いて、Logical SwitchをHW V...
177 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークのデザイン
#Underlay Network Pane
Spine
ESXi
(Manageme...
178 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
VMware NSXのLogical Switch画面にて、Logical SwitchごとのSegment
...
179 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Leaf Switch (Atlas)の設定
# VXLANのDestination U...
180 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
オーバーレイ・ネットワークのデザイン
#Overlay Network Pane
Spine
ESXi
(Managemen...
181 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VXLAN動作の確認
#Leaf Switch (Atlas)で以下のコマンドを用いることで、VXLANの動作状況が確認可能...
182 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
EX3300
(Baremetal)
vCenter NSX
Manager
NSX
Controller
NSX
Cont...
183 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
仮想ネットワークの動作確認
184 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
分散仮想ルーター(DLR)の仕様制限
仮想ネットワークと物理ネットワークが接続されましたので、物理ネットワー
クのサーバから...
185 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
OVSDB-VXLANの設定
次に、OVSDBを使用してNSXの仮想ネットワークとQFX配下の物理ネット
ワークを接続してみ...
186 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークのデザイン
#Underlay Network Pane
Spine
ESXi
(Manageme...
187 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
OVSDBの事前準備
#VXLANポート番号の変更
OVSDBを使用する場合、NSXはVXLANのポート番号をNSXデフォル...
188 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
OVSDBの事前準備
#VXLANポート番号の変更
VXLANのポート番号を変更した場合、Multicast VXLANの設...
189 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
OVSDBの事前準備
#証明書の発行
OVSDBを使用したL2 VTEPを構成する場合には、NSX Controllerが物...
190 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
OVSDBの事前準備
#Leaf Switch (Calypso)への証明書の配置
FTP等にて、/var/db/certs...
191 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
OVSDBの事前準備
#Leaf Switch (Calypso)の証明書の確認
file showコマンドを使用して、vt...
192 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークの構築
#Leaf Switch (Calypso)の設定
# LAGの設定
set interf...
193 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
NSXにHardware VTEPを登録します。Service DefinitionsのHardware
De...
194 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
BUMトラフィックを複製する、Replication Clusterを設定します。Editボタ
ンを選択します。
195 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Replication Clusterに追加するホストを選択します。ここでは、Edge
ClusterのGib...
196 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、物理スイッチを登録します。
Hardware Devicesの追加ボタンを押し、スイッチの名前と先ほど...
197 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
少しすると、スイッチのConnectivityがUPの状態になります。
198 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
続いて、Unicast VXLANを使用したLogical Switchを作成します。
今回は例として、LS3...
199 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
なお、分散仮想ルータが接続されているLogical Switchには、Hardware
VTEPの設定を行う事...
200 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Edge GWの設定画面を開き、使用していないインターフェイスを選択し、編集
画面を開きます。
201 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
名前と種類、接続先のLogical Switch、IPアドレスなどを指定します。
202 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
以上の設定を繰り返し、Logical SwitchとEdge GWをマッピングします。
203 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
Logical Switchの作成とVMの追加, Edge GWの設定が完了したら、Logical
Switc...
204 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
マッピング画面が表示されるので、スイッチを選択した後追加ボタンを押して
Hardware VTEPを追加し、H...
205 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
NSXの構築
追加が正常に行われると、Hardware VTEP側に自動的に情報が送信され、
VXLANとインターフェイスの...
206 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
オーバーレイ・ネットワークのデザイン
#Overlay Network Pane
Spine
ESXi
(Managemen...
207 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
VXLAN動作の確認
#Leaf Switch (Calypso)で以下のコマンドを用いることで、VXLANの動作状況が確認...
208 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークのデザイン
Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi...
209 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークのデザイン
Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi...
210 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
仮想ネットワークの動作確認
211 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークのデザイン
Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi...
212 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
仮想ネットワークの動作確認
213 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
アンダーレイ・ネットワークのデザイン
Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi...
214 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
仮想ネットワークの動作確認
215 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
HW VTEPとの連携:L3 GATEWAYの検討
216 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Hardware VTEPを利用したL3 Gatewayデザイン検討
VMware NSXを構成するにおいてはこれまで確認し...
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜
Nächste SlideShare
Wird geladen in …5
×

BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜

VMwareのSDDCソリューションであるNSXとJuniperの連動について、ジュニパーネットワークスのSEがProof of Concept 及び、デザイン検討を行った資料です。
Juniperの最新アーキテクチャ、Clos IP FabricとVMware NSXの連動によるSDDCの世界をご堪能ください。

  • Als Erste(r) kommentieren

BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう!〜

  1. 1. BETTER TOGETHER NOW Your Network is plugged into the SDDC 〜VMware NSXとJuniperデバイスを繋いでみよう!〜 Juniper Networks, K.K. Kazubu Mar 2016
  2. 2. 2 Copyright © 2016 Juniper Networks, Inc. www.juniper.net Legal Disclaimer 本資料に記載されている機能や構成、ロードマップ情報などは、 資料作成時点におけるジュニパーネットワークスの仕様や予定を示したもの であり、事前の通告無しに内容が変更されることがあります。 本資料は技術情報の提供を目的としたものであり、機器、機器の機能、 サービスなどに関して保証を行うものではありませんので、ご注意ください。 Internal Rev.02 Thanks,Gensan
  3. 3. 3 Copyright © 2016 Juniper Networks, Inc. www.juniper.net Agenda この資料では、以下の内容について解説します。  本資料について  VMware NSXの概要  アンダーレイ・ネットワークの検討と構築  NSXの構築  Hardware VTEPとの連携:L2 Gateway  Multicast-VXLANの設定  OVSDB-VXLANの設定  Hardware VTEPとの連携:L3 Gatewayの検討  アンダーレイ・ネットワークのL3デザイン:その1  アンダーレイ・ネットワークのL3デザイン:その2  Hardware VTEPとの連携:VXLAN/MPLS-Stitching  Datacenter Interconnectとの結合デザイン  まとめ
  4. 4. 4 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 本資料について 本資料は、VMware NSXとジュニパー・デバイスの連動検証試験の過程と結 果、設定サンプル、デザイン案などをシェアすることを目的としています。 NSXについては、ジュニパーのテクニカル・アライアンス・パートナーである VMware様より評価用のライセンスを頂き、以下のパブリックドキュメントを 参照しながら評価環境を構築しました。 NSXの構築については基本的には上記ドキュメントに沿って作成していますが、 一部デザインガイドには無い構成の動作確認も実施しています。ここで紹介す るデザイン案はあくまで参考として頂き、NSXについてのより正確な設定方法 や仕様・構成上のサポート範囲についてはVMware様、もしくはVMware販売 パートナー様にご確認ください。 ※特にOVSDB VXLANについては、本資料作成時(NSX6.2.1を使用して構築)に於いては一般リリース 前機能による確認となっています。最新の情報、動作仕様、サポート状況などについてはVMware様 にご確認いただくことをお勧めいたします。 https://www.vmware.com/files/pdf/products/nsx/vmw-nsx-network-virtualization-design-guide.pdf http://pubs.vmware.com/NSX-62/index.jsp?lang=ja
  5. 5. 5 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMWARE NSXの概要
  6. 6. 6 Copyright © 2016 Juniper Networks, Inc. www.juniper.net JuniperのSDN/SDDCへの2つのアプローチ Open Source • オープンソースによる汎用 化 • 多少のカスタマイズでオリ ジナルなサービス化を展開 することが可能 Commercial Eco System • 商用SDNパッケージ • 共通化されたサービス • 限定されたカスタマイズ • 手早くSDN/SDDC展開が 可能 DO IT YOURSELF • 独自のオートメーション ツールを開発 • 高い開発環境が必要 • オーダーメイドのサービス を展開することが可能 JuniperはOpen Source系SDNコントローラー(Contrail/Open Contrail)を開 発しつつ、商用SDNパッケージ(VMware NSX)との連動にも重点をおくという、 2つのアプローチを同時に実施しています。
  7. 7. 7 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXが実現するSDDCの世界とは、 VMware NSXとは、VMwareが提唱するSoftware Defined Data Center(SDDC)を実現するためのネットワーク仮想化プラットフォームで、 これまでサーバーに提供されてきた仮想化テクノロジーによる様々なメリッ トをデータセンターインフラストラクチャー全体に提供することを目的とし たSDNソリューションです。 NSXによる”Network Hypervisor”により、Layer2~Layer7までの各種ネッ トワークサービス(スイッチング、ルーティング、ファイアウォール、ロー ドバランサーなど…)をソフトウェアによる仮想化によって提供することが 可能となり、物理ネットワークによる制限を受けること無く迅速なサービス 展開をデータセンターオペレーションに提供します。
  8. 8. 8 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネントとアーキテクチャ NSXは(一般的なネットワーク機器と同様に)管理プレーン、コントロールプ レーン、データプレーンの3つの要素が独立して存在します。これにより必要 に応じた要素ごとのスケールアウトを実現するアーキテクチャとなっています。 データプレーン コントロールプレーン 管理プレーン ・データプレーン データプレーンの基本はvSphereで使用されているVDSをベースとしています。ここに NSXのAdd-Onモジュール(VBI)がインストールされることにより、分散ルーティン グ(DLR)、分散ファイアウォール(DFW)、VXLAN to VLANブリッジング、などの NSXならではの各種ネットワークサービスが提供されるようになります。
  9. 9. 9 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネントとアーキテクチャ ・データプレーン (.cont) また、ハイパーバイザーのカーネル上で提供される各種分散サービスの他にEdge Service Gateway(ESG)と呼ばれるゲストサービス上で提供されるネットワークサービ ス(ファイアウォール、VPN、ロードバランサーなど)も用意されています。 ・コントロールプレーン NSX ControllerとよばれるインスタンスがNSX全体のコントローラの役割を行い、複数 台(3台)のクラスター構成により冗長性が担保されます。また、これとは別にDLR Control VMと呼ばれるDLRとESG間におけるルーティングプロトコルの管理を行うイン スタンスもNSXコントロールプレーンの一部を担っています。 ・管理プレーン NSX ManagerとよばれるインスタンスがNSX全体の設定変更、状態監視、オーケスト レーション部分を担います。構成の自動化を実現するためのREST APIによる外部APIを 提供するのもNSX Managerが提供するサービスのひとつとなっています。
  10. 10. 10 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネントとアーキテクチャ これまでの説明で登場したコンポーネントの関連性をまとめると以下の様なイ メージになります。 この資料ではNSXが提供するサービスネットワークを”オーバーレイ・ネット ワーク”、その下で実データを転送するネットワークを”アンダーレイ・ネット ワーク”と呼称し、区別して解説します。 データプレーン コントロールプレーン 管理プレーン アンダーレイ ネットワーク オーバーレイ ネットワーク
  11. 11. 11 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”VXLAN” オーバーレイ・ネットワークにおいてソフトウェアによる自由な管理・運用を 実現するためには、アンダーレイ・ネットワークの制限から解放されることが 必要で、そのためにNSXで使用されているテクノロジーがVXLANです。 VXLANはレイヤー2フレームをレイヤー3のプロトコルでカプセリングして転 送される業界標準のオーバーレイ・テクノロジーで、これによりVLAN IDの 制限(4095 VLAN)を越えたスケーラブルなレイヤー2ネットワークをレイ ヤー3ネットワーク上に構成することが可能となります。 ※NSXではUDPヘッダーの宛先ポート番号に Draft時に割り当てられていた”8472”を使用 しています。 一方でRFC7348で定義されている、IANAに よりアサインされたVXLAN UDPヘッダーの 宛先ポート番号は”4789”となっています。 http://tools.ietf.org/html/rfc7348#page-19. このことがアンダーレイネットワークで問題 になる場合には、NSX ManagerのREST API からVXLANで使用するUDPポート番号を変 更することが可能となっています。 また、Juniperのスイッチ・ルーターでは、 設定にてVXLANで使用するUDPポート番号 を8472に変更することも可能です。
  12. 12. 12 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VXLAN FRAME FORMAT  VXLAN とは MACアドレスをUDPヘッダーでカプセリングするテクノロジー (MAC-in-UDP)  VXLAN IDとしてVNIと呼ばれる 24-bit のセグメントIDを使用することが可能で、約16万ものIDを クラウドDCに提供することが可能(これまでのVLAN IDの4095という制限から解放される)  Layer2の情報がUDPによりカプセリングされて転送されるため、より拡張性のあるLayer3のネット ワーク上にLayer2セグメントの拡張を展開することが可能 Original L2 Frame OUTER MAC OUTER IP OUTER UDP VXLAN Header F C S DEST MAC SRC MAC VLAN (OPTIONAL) ETH TYPE 0X0800 VERSION ETC... PROTO: UDP CKSUM SRC IP: MY VTEP DST IP: DEST VTEP SOURCE PORT VXLAN PORT UDP LENGTH CHKSUM 0X0000 FLAGS VNI RESERVED RESERVED 48 48 32 16 72 8 16 32 32 16 16 16 16 8 24 24 8 Ethernet Header Destination Address – This is set to the MAC address of the destination VTEP if it is local of to that of the next hop device, usually a router, when the destination VTEP is on a different L3 network. VLAN – This is optional Ethertype – This is set to 0×0800 as the payload packet is an IPv4 packet. IPv6 is planned. IP Header Protocol – Set 0×11 to indicate that the frame contains a UDP packet Source IP – IP address of originating VTEP Destination IP – IP address of target VTEP. If this is not known, as in the case of a target virtual machine that the VTEP has not targeted before, a discovery process needs to be done by originating VTEP. UDP Header Source Port – Set by transmitting VTEP VXLAN Port – IANA assigned VXLAN Port. This has not been assigned yet UDP Checksum – This should be set to 0×0000. If the checksum is not set to 0×0000 by the source VTEP, then the receiving VTEP should verify the checksum and if not correct, the frame must be dropped and not decapsulated. VXLAN Header VXLAN Flags – Reserved bits set to zero except bit 3, the I bit, which is set to 1 to for a valid VNI VNI – 24-bit field that is the VXLAN Network Identifier Reserved – A set of fields, 24 bits and 8 bits, that are reserved and set to zero
  13. 13. 13 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLANOuter Eth Outer IP THE PACKET WALK THROUGH VXLANによるVM1 から VM4 への通信イメージ VM1 VM2 VM3 VXLAN VTEP vSwitch Kernel IP Stack VM4 VM5 VM6 VTEP vSwitch Kernel IP Stack Step 2: VTEP モジュールがUDP/VXLANヘッダーで VM1 からのパケットをカプセリング Step 1: VM1 がデータパケットをvSwitch経由で送信 IP Transport Network Step 3: Kernel がRemote Hypervisor宛の Outer IP & Ethernet header を追加 Step 4: IP Packet が Remote Hypervisor へ到着 Step 5: IP header が取り除かれ、 UDP/VXLAN packet が VTEP まで到着 Step 6: VTEP が UDP/VXLAN header のカプセル化を取り除き、 VM1 からのパケット が VM4 へ到着 VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLAN VM1 TCPVM1 Eth VM1 App DataVM1 IP VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLAN VM1 TCPVM1 Eth VM1 App DataVM1 IP Step 1: Step 2: Step 3-4: Step 5: Step 6: 1 2 3 4 5 6 ESXi-1 ESXi-2
  14. 14. 14 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Logical Switch” Logical SwitchはNSXがVXLANにより提供する、仮想のレイヤー2セグメント で接続を提供するネットワークサービスです。これにより仮想マシンは物理的 な配置場所や物理的なネットワークデザインに制限されること無く、レイヤー 2での接続を提供されます。 Logical Switchは、仮想マシン同士のレイヤー2接続だけではなく、仮想マシ ンと物理ネットワークとのレイヤー2接続を提供することも可能です。 アンダーレイ ネットワーク (L2ネットワークでも L3ネットワークでも関係なく 動作) オーバーレイ ネットワーク (VXLANオーバーレイテク ノロジーによりL2セグメント の仮想化を実現)
  15. 15. 15 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Logical Switch” それぞれ別のESXi上に存在している2台の仮想マシン同士がUnicast通信する ことを考えると、各ハイパーバイザーが保持するIPアドレスがVXLANのVTEP として制御され、該当のVTEP間でVXLANでカプセリングされたパケットの通 信が伝送されます。一方、仮想マシンがBUMトラフィック(Broadcast, Unknown-Unicast, Multicast)を送信する場合には、必要な複数のハイパーバイ ザーにパケットを複製して転送しなくてはなりません。 NSXではこのパケットの複製手法としてLogical Switch毎に設定可能な3つの モードが用意されています。 <マルチキャストモード>※ <ユニキャストモード> ※ <ハイブリッドモード> ※物理的なネットワークにより提供されるHW VTEPとLogical Switchを接続する場合には、パケットの複製モードに マルチキャストモードかユニキャストモードを選ぶ必要があります。本資料ではマルチキャストモードとユニキャス トモード(OVSDB)で接続を行う際のサンプルを提供しています。
  16. 16. 16 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Logical Router” Logical Routerはオーバーレイ・ネットワークにおける異なるレイヤー2セグ メント(Logical Switch)に配備されたエンドポイント同士をルーティングに より接続します。Logical Routerによる主なサービスは、異なるLogical Switchに接続されたエンドポイント(それが仮想であろうと物理であろう と)同士を接続することとと、仮想空間にあるLogical Switchと物理空間にあ る外部L3ネットワークとの接続させる、という2つの役割から構成されます。 アンダーレイ ネットワーク オーバーレイ ネットワーク
  17. 17. 17 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Logical Router” Logical Routerはオーバーレイ・ネットワークにおける異なるレイヤー2セグ メント(Logical Switch)に配備されたエンドポイント同士をルーティングに より接続します。 Logical Routerによる主なサービスは、異なるLogical Switchに接続されたエ ンドポイント(それが仮想であろうと物理であろうと)同士を接続する”East- West”トラフィックを処理することと、仮想空間にあるLogical Switchと物理 空間にある外部L3ネットワークと接続させる”North-South”トラフィックを 処理する、という2つの役割から構成されています。 それぞれ2つのLogical Routerの役割 は、”Centralized Routing”、 ”Distributed Routing”という2つの構 成オプションにより提供されます。
  18. 18. 18 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Logical Router” ・Centralized Routing Centralized RoutingはESGによりLogical Switchのルーティングを提供するデザインオ プションです。Logical Switch間でのルーティングに際して、DHCPやNAT、Firewallや Load Balancerなど各種サービスの提供を付加できることが特徴ですが、East-Westト ラフィックの処理もESGにより中央集中化されるためパフォーマンスの最適化は求めら れないデザインオプションとなります。 すべてのL3トラフィック 処理がESGで実施されるた め、East-West通信はヘア ピン型通信となる。
  19. 19. 19 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Logical Router” ・Distributed Routing Distributed Routingはハイパーバイザーレベルでルーティングサービス(Distributed Logical Router ;DLR)を提供することによりより高いネットワークパフォーマンスを 提供するデザインオプションとなります。これによりEast-Westトラフィックの処理を 分散処理することによりパフォーマンスの最適化を図る事が可能となります。 South-Northトラフィック のみがESGで処理され、 East-Westトラフィックは DLRによりハイパーバイ ザー上で分散処理される。
  20. 20. 20 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Logical Router” ・Distributed Routing(.cont) DLRはControl PlaneとData Planeの2つのコンポーネントから構成されます。 DLRのControl PlaneはDLR Control VMと呼ばれるゲストサービスにより構成されてお り、Next-Hopルーター(ESGなど)とのダイナミックルーティングプロトコル(BGP, OSPF)による経路情報の交換もサポートされ、これによりDLR内の経路情報を最新状 態にメンテナンスしています。 DLRのData PlaneはESXiにインストールされるVIB内にあるカーネルモジュールで、こ れにより高速な分散ルーティングがハイパーバイザーレベルで実行されます。
  21. 21. 21 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Edge Service Gateway(ESG)” Edge Service Gateway(ESG)は、多種多様でステートフルなネットワーク サービスを提供する仮想アプライアンスで、以下の様なサービスを提供するこ とが可能です。 ・Routing ・Network Address Translation(NAT) ・Firewall ・Load Balancing ・L2/L3 VPN ・SSL-VPN ・DHCP,DNS and IP Address Management また、ESGによるRoutingサービスは、NSXによる仮想のオーバーレイ・ネッ トワークと物理によるアンダーレイ・ネットワークの接続ポイントという役割 も担います。外部のネットワークとESGの間で各種ダイナミックルーティング プロトコル(OSPF, iBGP, eBGPなど)で経路情報の受け渡しを行いつつルー ティング接続を提供します。
  22. 22. 22 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Edge Service Gateway(ESG)” NSXにおけるESGのデザインはその目的や必要なパフォーマンスに応じて以下 のデザイン・オプションが提供されています。 ・Active/Standbyモード 2台のESGにより各種ステータス情報の同期を取りつつ冗長性を提供するデザイン。 ESGにより提供されるすべての仮想ネットワークサービスを利用可能。 ・ECMPモード 最大8台までのESGにより外部ネットワークとの広帯域接続と障害時におけるトラフィックへの インパクトを最小限に抑えることが可能なデザイン。 ECMPモードの場合は使用できるネットワークサービスはRoutingのみに制限される。
  23. 23. 23 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSXのコンポーネント ”Distributed Firewall (DFW)” NSX Distributed Firewall(DFW)は、ESXiのカーネル上で高速に動作するL2- L4のステートフルファイアウォールです。 DFWのインスタンスは、仮想マシンのvNIC上に適用されて動作する形となる ため、ワークロード間のトラフィック(仮想マシン間の通信でも、仮想マシン と物理環境間の通信でも)に対してきめ細やかなトラフィック制御を提供でき ます。
  24. 24. 24 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VMware NSX Overview これまでの説明で登場したコンポーネントをまとめると以下の様な関係性にな ります。これよりこれらを踏まえて各種ネットワークデザインを検討していき ます。 アンダーレイ ネットワーク オーバーレイ ネットワーク Logical Switch Logical Switch Distributed Logical Router (DLR) Edge Service Gateway (ESG) NSX Manager NSX Controller VTEP VXLAN Tunnel Distributed Firewall (DFW)
  25. 25. 25 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの検討と構築
  26. 26. 26 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの検討 VMware NSXを構成するにあたっては、オーバーレイ・ネットワークを動作 させるためのアンダーレイ・ネットワークが必要となります。 NSXのアンダーレイ・ネットワークに求められる要素は一般的に、 ・高いパケット転送能力 ・高帯域 ・低遅延 ・耐障害性 ・拡張性 ・ジャンボフレームの転送 ・管理容易性 などがあり、それぞれの要件に応じたネットワークデザインが必要となります。 また、仮想サーバーを構築する際に物理ネットワークに要求されていたレイ ヤー2での接続性は、NSXにおいてはVXLANにより構成されるLogical Switch が提供する機能に包含されるため、アンダーレイでは特にレイヤー2ネット ワークにこだわる必要が無い点も特徴です。
  27. 27. 27 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの検討 ジュニパーのDCスイッチ・アーキテクチャでNSXと連動させる際には主に以 下3つの選択肢を提供することが可能で、それぞれ構成毎に応じた特徴が存在 しています。 Option-1.Ethernet Fabric (Virtual Chassis Fabric ; VCF) Option-2.IP Fabric (Clos IP Fabric) Option-3.IP Fabric w/ Ethernet Fabric (Clos IP Fabric w/ VCF) ジュニパーのEthernet Fabricを使用する と、仮想的に一台のシャーシ型L2/L3ス イッチとして動作するため、ある程度の規 模(VCFでは32メンバーまでを1つの論理 エンティティにすることが可能)までは低 い管理負荷でアンダーレイネットワークを メンテナンスすることが可能。 IP Fabricを使用すると非常に大規模な (実質的には制限のない)拡張性のある ネットワーク構成を実現することが可能。 また、標準化技術のみを使用するデザイン なので、マルチベンダーで構成できるとい うメリットもある。一方でスイッチの管理 は個体ごとに必要となるので管理・運用性 はある程度犠牲となる。 Option-1とOption−2、両者の良い所をあ る程度包含したデザイン。大規模な構成へ の拡張性をできるだけ低い管理負荷で実現 することが可能。 ※本資料ではOption-2とOption-3のハイブリッド構成を構築するサンプルを提供します。 BGP BGP
  28. 28. 28 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ge-0/0/0,2 アンダーレイ・ネットワークのデザイン #Underlay Network Pane Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 172.31.0.X/31 172.31.0.X/31 10.128.2.0/2410.128.3.0/24 10.255.0.1/32 10.255.0.2/32 10.255.0.3/32 Leaf Leaf 本資料では以下の様な構成でアンダーレイ・ネットワークを構成する際のサン プルを提供します。 10.128.1.0/24 .254 .254 .3 .1 .2 .0 .254 #Loopback Address 10.255.0.X/32 #Spine-Leaf Network Address 172.31.0.X/31 #QFX-ESXi Network Address 10.128.X.0/24 #Spine&Leaf Switch QFX5100-48S JUNOS 14.1X53-D31 eBGP ge-0/0/0, ge-1/0/0 ge-0/0/4 ge-0/0/0 ge-0/0/8 ge-0/0/8, ge-1/0/8 ge-0/0/8 PIM
  29. 29. 29 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークのデザイン #Management Network Pane Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 172.31.0.2/31 172.31.0.0/31 10.128.2.0/2410.128.3.0/24 10.255.0.1/32 10.255.0.2/32 10.255.0.3/32 Leaf Leaf 管理セグメントおよびホスト名は以下の様な形で構成しています。 10.128.1.0/24 Stinger 10.0.0.21 Atlas 10.0.0.3 Gibson 10.0.0.22 Martini 10.0.0.23 Calvin 10.0.0.24 Hermes 10.0.0.1 Tiny 10.0.0.50 Calypso 10.0.0.2 10.0.0.0/24 #Management Network Address 10.0.0.0/24 ManagementVDS
  30. 30. 30 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Spine Switch (Hermes)の設定 set system host-name HERMES_SPINE set system commit synchronize set chassis redundancy graceful-switchover set chassis aggregated-devices ethernet device-count 1 set interfaces ge-0/0/0 ether-options 802.3ad ae0 set interfaces ge-0/0/2 ether-options 802.3ad ae0 set interfaces ge-0/0/4 description toATLAS_LEAF set interfaces ge-0/0/4 mtu 9014 set interfaces ge-0/0/4 unit 0 family inet address 172.31.0.2/31 set interfaces ae0 description toCALYPSO_LEAF set interfaces ae0 mtu 9014 set interfaces ae0 unit 0 family inet address 172.31.0.0/31 set interfaces lo0 unit 0 family inet address 10.255.0.1/32 primary set interfaces lo0 unit 0 family inet address 10.255.0.254/32 set interfaces vme unit 0 family inet address 10.0.0.1/24 set routing-options nonstop-routing set routing-options router-id 10.255.0.1 set routing-options autonomous-system 65000 set routing-options forwarding-table export PFE-LB set protocols bgp log-updown set protocols bgp import BGP-CLOS-IN set protocols bgp export BGP-CLOS-OUT set protocols bgp graceful-restart set protocols bgp group CLOS type external set protocols bgp group CLOS mtu-discovery set protocols bgp group CLOS bfd-liveness-detection minimum-interval 350 set protocols bgp group CLOS bfd-liveness-detection multiplier 3 set protocols bgp group CLOS bfd-liveness-detection session-mode single-hop set protocols bgp group CLOS multipath multiple-as set protocols bgp group CLOS neighbor 172.31.0.1 peer-as 65011 set protocols bgp group CLOS neighbor 172.31.0.3 peer-as 65012 set protocols pim rp local address 10.255.0.254 set protocols pim interface lo0.0 mode sparse set protocols pim interface ae0.0 mode sparse set protocols pim interface ge-0/0/4.0 mode sparse set protocols pim interface ge-0/0/8.0 mode sparse
  31. 31. 31 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Spine Switch (Hermes)の設定 (.cont) set protocols layer2-control nonstop-bridging set policy-options policy-statement BGP-CLOS-IN term loopback from route-filter 10.255.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-IN term loopback then accept set policy-options policy-statement BGP-CLOS-IN term server-l3-gw from route-filter 10.128.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-IN term server-l3-gw then accept set policy-options policy-statement BGP-CLOS-IN term reject then reject set policy-options policy-statement BGP-CLOS-OUT term loopback from protocol direct set policy-options policy-statement BGP-CLOS-OUT term loopback from route-filter 10.255.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-OUT term loopback then next-hop self set policy-options policy-statement BGP-CLOS-OUT term loopback then accept set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from protocol direct set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from route-filter 10.128.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then next-hop self set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then accept set policy-options policy-statement PFE-LB then load-balance per-packet set policy-options policy-statement distribute-default from route-filter 0.0.0.0/0 exact set policy-options policy-statement distribute-default then accept
  32. 32. 32 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Leaf Switch (Calypso)の設定 set system host-name CALYPSO_LEAF set system commit synchronize set chassis redundancy graceful-switchover set chassis aggregated-devices ethernet device-count 4 set interfaces ge-0/0/0 ether-options 802.3ad ae0 set interfaces ge-1/0/0 ether-options 802.3ad ae0 set interfaces ae0 description toHERMES_SPINE set interfaces ae0 mtu 9014 set interfaces ae0 unit 0 family inet address 172.31.0.1/31 set interfaces lo0 unit 0 family inet address 10.255.0.2/32 set interfaces vme unit 0 family inet address 10.0.0.2/24 set routing-options nonstop-routing set routing-options router-id 10.255.0.2 set routing-options autonomous-system 65011 set routing-options forwarding-table export PFE-LB set protocols bgp log-updown set protocols bgp import BGP-CLOS-OUT set protocols bgp export BGP-CLOS-OUT set protocols bgp graceful-restart set protocols bgp group CLOS type external set protocols bgp group CLOS mtu-discovery set protocols bgp group CLOS bfd-liveness-detection minimum-interval 350 set protocols bgp group CLOS bfd-liveness-detection multiplier 3 set protocols bgp group CLOS bfd-liveness-detection session-mode single-hop set protocols bgp group CLOS multipath multiple-as set protocols bgp group CLOS neighbor 172.31.0.0 peer-as 65000 set protocols pim rp static address 10.255.0.254 set protocols pim interface lo0.0 mode sparse set protocols pim interface ae0.0 mode sparse set protocols pim interface ae1.0 mode sparse set protocols layer2-control nonstop-bridging
  33. 33. 33 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Leaf Switch (Calypso)の設定(.cont) set policy-options policy-statement BGP-CLOS-IN term loopback from route-filter 10.255.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-IN term loopback then accept set policy-options policy-statement BGP-CLOS-IN term server-l3-gw from route-filter 10.128.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-IN term server-l3-gw then accept set policy-options policy-statement BGP-CLOS-IN term reject then reject set policy-options policy-statement BGP-CLOS-OUT term loopback from protocol direct set policy-options policy-statement BGP-CLOS-OUT term loopback from route-filter 10.255.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-OUT term loopback then next-hop self set policy-options policy-statement BGP-CLOS-OUT term loopback then accept set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from protocol direct set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from route-filter 10.128.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then next-hop self set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then accept set policy-options policy-statement PFE-LB then load-balance per-packet
  34. 34. 34 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Leaf Switch (Atlas)の設定 set system host-name ATLAS_LEAF set system commit synchronize set chassis redundancy graceful-switchover set chassis aggregated-devices ethernet device-count 2 set interfaces ge-0/0/0 description LEAFtoSPINE set interfaces ge-0/0/0 description toHERMES_SPINE set interfaces ge-0/0/0 mtu 9014 set interfaces ge-0/0/0 unit 0 family inet address 172.31.0.3/31 set interfaces lo0 unit 0 family inet address 10.255.0.3/32 set interfaces vme unit 0 family inet address 10.0.0.3/24 set routing-options nonstop-routing set routing-options autonomous-system 65012 set routing-options forwarding-table export PFE-LB set protocols bgp log-updown set protocols bgp import BGP-CLOS-OUT set protocols bgp export BGP-CLOS-OUT set protocols bgp graceful-restart set protocols bgp group CLOS type external set protocols bgp group CLOS mtu-discovery set protocols bgp group CLOS bfd-liveness-detection minimum-interval 350 set protocols bgp group CLOS bfd-liveness-detection multiplier 3 set protocols bgp group CLOS bfd-liveness-detection session-mode single-hop set protocols bgp group CLOS multipath multiple-as set protocols bgp group CLOS neighbor 172.31.0.2 peer-as 65000 set protocols pim rp static address 10.255.0.254 set protocols pim interface lo0.0 mode sparse set protocols pim interface ge-0/0/0.0 mode sparse set protocols pim interface ge-0/0/8.0 mode sparse set protocols pim interface ge-0/0/2.0 mode sparse set protocols layer2-control nonstop-bridging
  35. 35. 35 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Leaf Switch (Atlas)の設定(.cont) set policy-options policy-statement BGP-CLOS-IN term loopback from route-filter 10.255.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-IN term loopback then accept set policy-options policy-statement BGP-CLOS-IN term server-l3-gw from route-filter 10.128.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-IN term server-l3-gw then accept set policy-options policy-statement BGP-CLOS-IN term reject then reject set policy-options policy-statement BGP-CLOS-OUT term loopback from protocol direct set policy-options policy-statement BGP-CLOS-OUT term loopback from route-filter 10.255.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-OUT term loopback then next-hop self set policy-options policy-statement BGP-CLOS-OUT term loopback then accept set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from protocol direct set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from route-filter 10.128.0.0/16 orlonger set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then next-hop self set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then accept set policy-options policy-statement PFE-LB then load-balance per-packet
  36. 36. 36 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Underlay Network の確認 以下のようにeBGPで各スイッチのLoopback Addressを学習し、PIM Neighborが確立されていることを確認したら、NSXを構築するための準備は 完了です。 root@HERMES_SPINE> show route protocol bgp inet.0: 18 destinations, 19 routes (18 active, 0 holddown, 0 hidden) + = Active Route, - = Last Active, * = Both 10.128.2.0/24 *[BGP/170] 02:15:55, localpref 100 AS path: 65011 I, validation-state: unverified > to 172.31.0.1 via ae0.0 10.128.3.0/24 *[BGP/170] 02:15:11, localpref 100 AS path: 65012 I, validation-state: unverified > to 172.31.0.3 via ge-0/0/4.0 10.255.0.2/32 *[BGP/170] 02:15:55, localpref 100 AS path: 65011 I, validation-state: unverified > to 172.31.0.1 via ae0.0 10.255.0.3/32 *[BGP/170] 02:15:11, localpref 100 AS path: 65012 I, validation-state: unverified > to 172.31.0.3 via ge-0/0/4.0 root@HERMES_SPINE> show pim neighbors B = Bidirectional Capable, G = Generation Identifier H = Hello Option Holdtime, L = Hello Option LAN Prune Delay, P = Hello Option DR Priority, T = Tracking Bit Instance: PIM.master Interface IP V Mode Option Uptime Neighbor addr ae0.0 4 2 HPLGT 03:22:33 172.31.0.1 ge-0/0/4.0 4 2 HPLGT 03:22:32 172.31.0.3
  37. 37. 37 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Clos IP Fabricの詳しい概念、設定詳細については以下のWhite Paperを参照 してください。 http://www.juniper.net/us/en/local/pdf/whitepapers/ 2000565-en.pdf ・Googleで “QFX5100 IP Fabric” と検索すればTop Hitで 出てきます。 Clos IP Fabric with QFX5100 Switches ベストプラクティス + 構成例 + 設定例
  38. 38. 38 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築
  39. 39. 39 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 前提として、以下の環境が構築済みであることとします。  VMware 環境  vCenter Server 6.0.0  VMware ESXi 6.0.0 update1(3073146)  Datacenter/Cluster構成  ManagementCluster – NSX Manager, vCenter等が動作するクラスタ – 今回は1台で構成(stinger)  EdgeCluster – NSX Edge Gateway等が動作するクラスタ – 今回は1台で構成(gibson)  ComputeCluster – 通常のVM(サーバ等)が動作するクラスタ – 今回は2台で構成(martini, calvin)
  40. 40. 40 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 (.cont)  Network構成  以下のvDSが構成されていること – ManagementVDS - 全ESXiの管理ネットワーク – NSXVDS - EdgeCluster, ComputeClusterのアンダーレイネットワーク – UplinkVDS - EdgeClusterが外部ネットワークと接続するためのネットワーク
  41. 41. 41 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VDS Network Design Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 vCenter NSX Manager NSX Controller NSX Controller NSX Controller 192.168.255.254 192.168.255.0/24 NSXVDS UplinkVDS ManagementVDS
  42. 42. 42 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX ManagerのOVAファイルをデプロイします。
  43. 43. 43 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX ManagerのOVAファイルをデプロイします。
  44. 44. 44 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX ManagerのOVAファイルをデプロイします。
  45. 45. 45 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX ManagerのOVAファイルをデプロイします。
  46. 46. 46 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX ManagerのVM名を指定します。
  47. 47. 47 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX Managerのデプロイ先クラスタを指定します。
  48. 48. 48 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX Managerのデプロイ先ESXiホストを指定します。
  49. 49. 49 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX Managerのディスクのプロビジョニング方法を指定します。
  50. 50. 50 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 IPアドレスやパスワード等、NSX Managerの基本設定を行います。
  51. 51. 51 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 各種設定が完了正しい事を完了して、デプロイを開始します。
  52. 52. 52 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 インストールが完了したら、ブラウザでNSX Managerにログインします。
  53. 53. 53 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 ログイン後、Manage Appliance Settingsをクリックします。
  54. 54. 54 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 必要に応じて初期設定を行います。
  55. 55. 55 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX Management Serviceタブを開き、vCenter Serverを指定します。
  56. 56. 56 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX Management Serviceタブを開き、vCenter Serverを指定します。
  57. 57. 57 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 証明書の確認画面が出るので、Yesを選択します。
  58. 58. 58 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 正常に接続されると、StatusがConnectedになります。
  59. 59. 59 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 しばらくするとvSphere Web Clientに現れる、NSXの設定画面に移動します。
  60. 60. 60 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Installationタブを開き、Controller Nodeを追加します。
  61. 61. 61 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 デプロイ先のクラスタやデータストアなど、必要な項目を入力します。
  62. 62. 62 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Controller Nodeとの接続に使用する管理ネットワークを選択します。
  63. 63. 63 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Controller Nodeが使用するIPアドレスプールを作成し、選択します。
  64. 64. 64 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 全ての必須項目を入力したら、OKを押します。
  65. 65. 65 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 StatusがConnectedになったら以上の手順を繰り返し、合計3台デプロイします。
  66. 66. 66 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Host Preparationタブに移動し、NSXを使用するクラスタに対してNSX VBI をインストールします。
  67. 67. 67 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 インストールが完了すると、バージョン情報とFirewall statusが表示されます。
  68. 68. 68 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 VXLANの初期設定を行います。”Not Configured”をクリックすると、設定画 面が開きます。
  69. 69. 69 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 ここでは、VXLANの転送に使用するVDS, VLAN ID, MTU, アドレス採番方式、 NICのチーミングポリシーを設定します。 ここで設定した内容は、クラスタ内の全てのノードに等しく適用されることに注意 が必要です。 今回のように、クラスタ内のホストが別々のL3セグメントに存在しうる場合、 DHCPを使用するか、この画面で設定を行った後に手動で各ESXiホストのvmknic のアドレスを変更する必要があります。(今回はDHCPを使用します) チーミングポリシーに関しては、クラスタ内の全てのホスト間で必ず同一の設定と する必要があります。
  70. 70. 70 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 QFXにおけるDCHPサービスとPIMの設定 (この設定によりESXiにIPアドレスを付与します。) #Spine Switch (Hermes)の設定 set system services dhcp-local-server group SV-GROUP interface irb.4000 set interfaces ge-0/0/8 description toGIBSON_ESXi set interfaces ge-0/0/8 mtu 9014 set interfaces ge-0/0/8 unit 0 family ethernet-switching interface-mode access set interfaces ge-0/0/8 unit 0 family ethernet-switching vlan members SERVERS set access address-assignment pool SV-POOL family inet network 10.128.1.0/24 set access address-assignment pool SV-POOL family inet range SV-RANGE low 10.128.1.10 set access address-assignment pool SV-POOL family inet range SV-RANGE high 10.128.1.20 set access address-assignment pool SV-POOL family inet dhcp-attributes router 10.128.1.254 set vlans SERVERS vlan-id 4000 set vlans SERVERS l3-interface irb.4000 set protocols pim interface irb.4000 mode sparse #Leaf Switch (Calypso)の設定 set system services dhcp-local-server group SV-GROUP interface irb.4000 set interfaces ge-0/0/8 ether-options 802.3ad ae1 set interfaces ge-1/0/8 ether-options 802.3ad ae1 set interfaces ae1 description toCALVIN_ESXi set interfaces ae1 mtu 9014 set interfaces ae1 unit 0 family ethernet-switching interface-mode access set interfaces ae1 unit 0 family ethernet-switching vlan members SERVERS set access address-assignment pool SV-POOL family inet network 10.128.2.0/24 set access address-assignment pool SV-POOL family inet range SV-RANGE low 10.128.2.10 set access address-assignment pool SV-POOL family inet range SV-RANGE high 10.128.2.20 set access address-assignment pool SV-POOL family inet dhcp-attributes router 10.128.2.254 set vlans SERVERS vlan-id 4000 set vlans SERVERS l3-interface irb.4000 set protocols pim interface irb.4000 mode sparse
  71. 71. 71 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 (.cont) #Leaf Switch (Atlas)の設定 set system services dhcp-local-server group SV-GROUP interface irb.4000 set interfaces ge-0/0/8 description toMARTINI_ESXi set interfaces ge-0/0/8 mtu 9014 set interfaces ge-0/0/8 unit 0 family ethernet-switching interface-mode access set interfaces ge-0/0/8 unit 0 family ethernet-switching vlan members SERVERS set access address-assignment pool SV-POOL family inet network 10.128.3.0/24 set access address-assignment pool SV-POOL family inet range SV-RANGE low 10.128.3.10 set access address-assignment pool SV-POOL family inet range SV-RANGE high 10.128.3.20 set access address-assignment pool SV-POOL family inet dhcp-attributes router 10.128.3.254 set vlans SERVERS vlan-id 4000 set vlans SERVERS l3-interface irb.4000 set protocols pim interface irb.4000 mode sparse
  72. 72. 72 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 全てのクラスタで設定が完了すると、VXLANがConfiguredの状態になります。
  73. 73. 73 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、Logical Network Preparationタブを開き、VXLANで使用するパラ メータを設定していきます。
  74. 74. 74 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 ここでは、VXLANで使用するSegment ID(VNI: VXLAN ID)と、それに対応 するマルチキャストアドレスを設定します。 今回はMulticast VXLANも使用していきますので、Segment IDとMulticast Addressをそれぞれ入力します。
  75. 75. 75 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Transport Zonesタブに移動し、転送ゾーンを作成します。
  76. 76. 76 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 転送ゾーンは、VXLANによる仮想ネットワークにアクセスできるクラスタごとに 作成するゾーンです。今回は、全てのクラスタから全ての仮想ネットワークにアク セスさせるため、1つの転送ゾーンに全てのクラスタを追加します。 また、BUMトラフィックのレプリケーション方式として、Multicastを選択します。 (この部分は、Logical Switch毎に変更することも可能です。)
  77. 77. 77 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 作成が完了したら、Logical Switchを作成していきます。
  78. 78. 78 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Logical Switchは、VXLANの1つのVNIにマップされるL2セグメントです。 (従来のネットワークにおけるVLANに相当) ここでは、Multicast VXLANを使用した2つのLogical Switch “LS1”と”LS2” を作成します。
  79. 79. 79 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 作成が完了すると、Logical Switchが一覧に追加されます。各Logical Switch に紐付けられているSegment ID(VNI)とMulticast Addressを確認しておきま す。
  80. 80. 80 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 各Logical SwitchにVMを接続していきます。ここでは、martini-vm1と calvin-vm1をLS1に、martini-vm2とcalvin-vm2をLS2に参加させます。
  81. 81. 81 Copyright © 2016 Juniper Networks, Inc. www.juniper.net オーバーレイ・ネットワークのデザイン #Overlay Network Pane Spine ESXi (Management) ESXi ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 vCenter NSX Manager martini VM1 martini VM2 calvin VM1 calvin VM2 NSX Controller NSX Controller NSX Controller VTEP VXLAN Tunnel ここまでの設定で、以下のようなL2のオーバーレイ・ネットワークが構成されています。
  82. 82. 82 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESXi (Edge GW) vCenter NSX Manager NSX Controller NSX Controller NSX Controller 仮想ネットワークの構成 #Logical View Spine ESXi (Management) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 Logical Switch 1 Logical Switch 2 martini VM1 martini VM2 calvin VM1 calvin VM2 192.168.1.0/24 192.168.2.0/24 .3 .3 .4 .4 この時点で、Overlay Network上の各論理ネットワーク接続はこのようになっています。
  83. 83. 83 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 仮想ネットワークの構成 同一Logical Switchに収容された別のVMに対して到達性があることを確認します。 また、異なるLogical Switchに収容されたVMに対しては到達性がないことを確認 します。
  84. 84. 84 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、各Logical Switch間を分散仮想ルータで接続していきます。NSX Edgesタブに移動し、追加ボタンを選択します。
  85. 85. 85 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Logical Distributed Routerを選択し、名前とデプロイの種類を決定します。
  86. 86. 86 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 管理VMの管理ユーザとロギングの設定を行います。
  87. 87. 87 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 デプロイ先のデータセンタを選択し、追加ボタンを選択します。
  88. 88. 88 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 デプロイ先のクラスタとハードウェアを選択します。
  89. 89. 89 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 選択した内容が反映されていることを確認し、次に進みます。
  90. 90. 90 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 HAのハートビート等に使用するインターフェイスを指定します。
  91. 91. 91 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 各Logical Switchに対するインターフェイスを追加します。
  92. 92. 92 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 必要な全てのLogical Switchに対してインターフェイスを追加して、次に進み ます。
  93. 93. 93 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 現時点では外部接続を行わないため、何も設定せずに次に進みます。
  94. 94. 94 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 設定が正しく反映されていることを確認し、完了します。
  95. 95. 95 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESXi (Edge GW) vCenter NSX Manager NSX Controller NSX Controller NSX Controller 仮想ネットワークの構成 #Logical View Spine ESXi (Management) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 DLR (Distributed Logical Router) .254.254 Logical Switch 1 Logical Switch 2 martini VM1 martini VM2 calvin VM1 calvin VM2 192.168.1.0/24 192.168.2.0/24 .3 .3 .4 .4 この時点で、Overlay Network上の各論理ネットワーク接続はこのようになっています。
  96. 96. 96 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 仮想ネットワークの構成 異なるロジカルスイッチに収容されたホスト間で疎通が取れるようになったこ とを確認します。
  97. 97. 97 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、これまで構築してきた仮想ネットワークを、外部の物理ネットワーク と接続します。分散仮想ルータとEdge GWをつなぐための新規Logical Switchを作成します。
  98. 98. 98 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSX Edgesタブに移動し、追加ボタンを選択します。
  99. 99. 99 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Edge Service Gatewayを選択し、名前とデプロイの種類を決定します。
  100. 100. 100 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 ESGの管理ユーザとロギングの設定を行います。
  101. 101. 101 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 デプロイ先のデータセンタとESGのサイズを選択し、追加ボタンを選択します。
  102. 102. 102 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 デプロイ先のクラスタとデータストアを選択します。
  103. 103. 103 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 選択した内容が反映されていることを確認し、次へ進みます。
  104. 104. 104 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、ネットワークインターフェイスを追加します。
  105. 105. 105 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 外部と接続するネットワーク(Uplink)を追加します。
  106. 106. 106 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Edge GWと分散仮想ルータを接続するためのネットワークを追加します。
  107. 107. 107 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 全てのインターフェイスが正しく追加されたことを確認し、次へ進みます。
  108. 108. 108 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 後ほどルーティングプロトコルの設定を行いますので、Default GWの設定は スキップします。
  109. 109. 109 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 デフォルトのFW設定と、H/Aの通信に使用するインターフェイスを選択します。
  110. 110. 110 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 最後に、全ての設定を確認し、完了します。
  111. 111. 111 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 暫くすると、Edge GWがデプロイされます。続いて、LDRをダブルクリック します。
  112. 112. 112 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 分散仮想ルータの設定画面が開くので、インターフェイスの追加を行います。
  113. 113. 113 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 分散仮想ルータとEdge GWを接続するインターフェイスの設定を行います。
  114. 114. 114 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いてRoutingタブに移り、ルーティングプロトコルの設定を行います。
  115. 115. 115 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 ダイナミックルーティングプロトコルで使用するRouter IDを選択します。
  116. 116. 116 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 変更を適用します。(各ページ毎に適用しなければならないことに注意が必要 です)
  117. 117. 117 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 今回はBGPを使用して分散仮想ルータとESGを接続します。BGPタブに移動し、 Editを選択します。
  118. 118. 118 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 BGPを有効化し、AS番号を設定します。
  119. 119. 119 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、BGPネイバーを追加します。
  120. 120. 120 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 BGPネイバーに関連する設定を行います。
  121. 121. 121 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 経路フィルタの追加を行います。今回は、In/Outともに全てを許可します。
  122. 122. 122 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 設定が完了したら、設定を反映します。
  123. 123. 123 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて経路の再配送を設定します。BGPに対する再配送を有効にします。
  124. 124. 124 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 再配送のルールを設定します。今回は、Connected経路をBGPに再配送する 設定を行います。
  125. 125. 125 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 設定が正しい事を確認し、設定を反映します。
  126. 126. 126 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、Edge GW側でもBGPの設定を行っていきます。Edge GWをダブルク リックします。
  127. 127. 127 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Routingタブを開き、Router IDを選択します。
  128. 128. 128 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 設定の反映を行います。
  129. 129. 129 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 BGPタブに移動し、BGPの有効化とAS番号の設定を行います。
  130. 130. 130 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、BGPネイバーの追加を行います。
  131. 131. 131 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 分散仮想ルータに対するBGPネイバーの設定を行います。
  132. 132. 132 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 経路フィルタの追加を行います。こちらも、In/Outともに全てを許可します。
  133. 133. 133 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 設定が正しい事を確認し、設定を反映します。
  134. 134. 134 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて経路の再配送を設定します。BGPに対する再配送を有効にします。
  135. 135. 135 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 再配送のルールを設定します。Connected経路をBGPに再配送する設定を行います。
  136. 136. 136 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 設定が正しい事を確認し、設定を反映します。
  137. 137. 137 Copyright © 2016 Juniper Networks, Inc. www.juniper.net オーバーレイ・ネットワークのデザイン #Overlay Network Pane Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 vCenter NSX Manager NSX Edge SG NSX Edge SG martini VM1 martini VM2 calvin VM3 calvin VM4 NSX Controller NSX Controller NSX Controller VTEP VXLAN Tunnel ここまでの設定で以下のようなオーバーレイ・ネットワークが構成されています。 DLR Control DLR Control
  138. 138. 138 Copyright © 2016 Juniper Networks, Inc. www.juniper.net vCenter NSX Manager NSX Controller NSX Controller NSX Controller 仮想ネットワークの構成 #Logical View Spine ESXi (Management) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 DLR (Distributed Logical Router) ESXi (Edge GW) 192.168.0.0/24 .254 .254.254 .1 Logical Switch 1 Logical Switch 2 martini VM1 martini VM2 calvin VM1 calvin VM2 192.168.1.0/24 192.168.2.0/24 .3 .3 .4 .4 BGP Neighbor Overlay Network上の各論理ネットワーク接続はこのようになっています。 NSX Edge SG NSX Edge SG 192.168.255.254 Physical Network 192.168.255.0/24 .1 DLR Control DLR Control .2
  139. 139. 139 Copyright © 2016 Juniper Networks, Inc. www.juniper.net vCenter NSX Manager NSX Controller NSX Controller NSX Controller 仮想ネットワークの動作確認 Spine ESXi (Management) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 DLR (Distributed Logical Router) ESXi (Edge GW) 192.168.0.0/24 .254 .254.254 .253 VM1からの各種(L2/L3)通信がOverlayネットワーク越しで実現されることをICMPで確認します。 #Logical View BGP Neighbor NSX Edge SG NSX Edge SG 192.168.255.254 Physical Network 192.168.255.0/24 .1 DLR Control DLR Control Logical Switch 1 Logical Switch 2 martini VM1 martini VM2 calvin VM1 calvin VM2 192.168.1.0/24 192.168.2.0/24 .3 .3 .4 .4 .2
  140. 140. 140 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 仮想ネットワークの動作確認 正しく通信が行えていることがわかります。
  141. 141. 141 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 Distributed Firewallは、NSXのFirewallタブ及びService Composerタブで設 定を行います。 一般的なファイアウォールのように、IPアドレスなどをベースにした設定でも 動作しますが、より柔軟にファイアウォールを適用するために、VMの情報を 元にしたルールを記述する事が可能です。 今回は、VM名の末尾が”vm2”で終わるVMに対して適用されるルールを作成し、 全てのホストからICMP接続を禁止する設定を行います。 xxx- VM1 xxx- VM2 xxx- VM3 yyy- VM1 yyy- VM2 yyy- VM3 Any ICMP
  142. 142. 142 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 Service Composerタブに移動します。この画面では、セキュリティグループ を定義します。
  143. 143. 143 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 名前を入力します
  144. 144. 144 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 動的にマッチさせる項目と値を設定します。ここでは例として、VM名の末尾 がvm2であるという条件を設定します。
  145. 145. 145 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 静的に(必ず)含めたいVMなどを選択します。今回は何も選択せずに次に進みます。
  146. 146. 146 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 必ず除外したいVMなどを選択します。こちらも今回は何も選択せずに次へ進みます。
  147. 147. 147 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 内容が正しいことを確認して、完了します。
  148. 148. 148 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 作成が完了すると、一覧に作成した項目が現れます。Virtual Machinesの数字 をクリックするとそのセキュリティグループに含まれるVM一覧が表示されま す。
  149. 149. 149 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 作成したセキュリティグループを右クリックして、Apply Policyを選択します。
  150. 150. 150 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 適用先のセキュリティポリシーが表示されます。今回はまだ作成していません ので、New Security Policyを選択します。
  151. 151. 151 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 セキュリティポリシーの作成ウィザードが表示されます。名前を入力します。
  152. 152. 152 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 Guest Introspection Servicesは設定せずに次に進みます。
  153. 153. 153 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 ファイアウォールルールを設定します。ここでは、セキュリティグループ宛の ICMP EchoをBlockします。
  154. 154. 154 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 設定した内容が正しく表示されていることを確認して、完了します。
  155. 155. 155 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 Firewallタブに移動すると、先ほど設定した内容が反映されています。 Destinationのグループをクリックすると、実際に適用されるVMの一覧が確認 できます。
  156. 156. 156 Copyright © 2016 Juniper Networks, Inc. www.juniper.net vCenter NSX Manager NSX Controller NSX Controller NSX Controller DFWの動作確認 Spine ESXi (Management) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 DLR (Distributed Logical Router) ESXi (Edge GW) 192.168.0.0/24 .254.254 .254.254 .253 DFWの設定を行うことで各VM同士の通信がHypervisorのカーネル上で遮断されることを確認します。 #Logical View BGP Neighbor NSX Edge SG NSX Edge SG Physical Network 192.168.255.254 192.168.255.0/24 DLR Control DLR Control Logical Switch 1 Logical Switch 2 martini VM1 martini VM2 calvin VM1 calvin VM2 192.168.1.0/24 192.168.2.0/24 Distributed FW192.168.2.0/24 Distributed FW192.168.1.0/24 .3 .3 .4 .4
  157. 157. 157 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの動作確認 パケットが通らないことが確認できます。
  158. 158. 158 Copyright © 2016 Juniper Networks, Inc. www.juniper.net DFWの設定 後の検証でICMP Echoを使いますので、動作を確認したら作成したSecurity Policyは削除しておきます。
  159. 159. 159 Copyright © 2016 Juniper Networks, Inc. www.juniper.net vCenter NSX Manager NSX Controller NSX Controller NSX Controller ESG LBサービスの設定 Spine ESXi (Management) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 DLR (Distributed Logical Router) ESXi (Edge GW) 192.168.0.0/24 Physical Network 192.168.255.0/24 192.168.255.1 .254.254 .254.254 .253 ESGのLoad Balancerサービスを有効化することにより、サーバー負荷分散サービスが提供されることを確認します。 #Logical View BGP Neighbor NSX Edge SG NSX Edge SGDLR Control DLR Control Logical Switch 1 Logical Switch 2 martini VM1 martini VM2 calvin VM1 calvin VM2 192.168.1.0/24 192.168.2.0/24 .3 .3 .4 .4
  160. 160. 160 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 Load balancerを設定します。Edge GWのLoad balancerタブに移動します。
  161. 161. 161 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 Editを押し、Load balancerを有効化します。
  162. 162. 162 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 Application Profilesに移動し、LBを適用するアプリケーションを定義します。
  163. 163. 163 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 サービスの設定を行います。今回はHTTPをロードバランスします。
  164. 164. 164 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 続いて、Poolタブに移動し、サーバのプールを定義します。
  165. 165. 165 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 サーバプールを定義します。負荷分散の方式と監視の方式を設定します。
  166. 166. 166 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 サーバプールに追加するメンバーを選択します。今回はCompute Clusterの 全てのVMを追加するため、ComputeClusterを選択します。
  167. 167. 167 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定(おまけ) 先ほどDFWの紹介で作成したSecurity Groupも対象として選択が可能です。 これにより、FWと一貫性を持ったLBの設定が可能です。
  168. 168. 168 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 仮想サーバの設定を行います。この設定を行う事で、Edge GWがLBとして動 作します。
  169. 169. 169 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの設定 作成したプロファイルやプール、Edge GWが待ち受けるIPアドレスなどを設定し ます。
  170. 170. 170 Copyright © 2016 Juniper Networks, Inc. www.juniper.net ESG LBサービスの確認 設定が正しく完了すると、Edge GW宛のHTTPリクエストが各サーバにロー ドバランスされるようになります。 ※注意:検証環境においてはこの構成で問題なく動作出来ていますが、VMware社としては、DLR越しのLB構成は非推奨構成とのことです。
  171. 171. 171 Copyright © 2016 Juniper Networks, Inc. www.juniper.net HW VTEPとの連携:L2 GATEWAY
  172. 172. 172 Copyright © 2016 Juniper Networks, Inc. www.juniper.net Hardware VTEPのUse Case ジュニパーではNSXと連動可能なHW VTEPとして、L2での接続を提供するL2 SDN Gateway (QFX5100シリーズ)、およびL2/L3/DCIでのHW VTEP接 続を提供するUniversal SDN Gateway(MX/EX9200シリーズ)の2種類を用 意しています。 Layer 2 SDN Gateway QFX5100 series あらゆるFabricトポロジに対応 VC – VCF – CLOS IP Fabric VMware NSXのHW VTEPとして L2連携 QFX5100 series MX & EX9200 Series Virtual Chassisによる仮想統合 VMware NSXのHW VTEPとして L2/L3、及びMPLSで連携 Universal SDN Gateway MX series EX9200 series
  173. 173. 173 Copyright © 2016 Juniper Networks, Inc. www.juniper.net Hardware VTEPのUse Case NSXのデザインを考慮するにあたって、検討する必要があるのが仮想ネット ワーク空間と物理環境の橋渡しについてです。 Virtual Network Physical Environment NSX Edgeサービスにより物理ネットワークとのL2/L3接続が提供されますが、 既存環境とのより高い帯域・パフォーマンスでの接続、より高い拡張性、より 高速なHA機能などが必要な場合にはHW VTEPとの連動で実現が可能です。 NSX Edge Service Gateway Layer2 Bridging/Routing Service Hardware VTEP L2/L3 Gateway Physical Server & Storage Physical Firewall & Load balancer or
  174. 174. 174 Copyright © 2016 Juniper Networks, Inc. www.juniper.net Hardware VTEPのUse Case  アクセススイッチでNSX L2 Gateway (HW VTEP)として動作  必要に応じて、ベアメタルサーバー とNSX配下の仮想サーバー間の VXLAN接続をスイッチが提供 物理サーバーとの接続 Bare Metal Server Virtual Network Infrastructure as a Service  NSX のL2 ゲートウェイをエッジ・ ルーターが実行  テナント(特定VXLAN)ごとのポ リシーに応じた柔軟な接続を提供 Virtual Network Physical Network
  175. 175. 175 Copyright © 2016 Juniper Networks, Inc. www.juniper.net Hardware VTEPの統合 NSXの仮想ネットワークとHW VTEPを接続するためには、VXLAN環境におけ るBUMトラフィックのReplicationに応じた設定をアンダーレイ・ネットワー クとNSX間で合わせて行う必要があり、ジュニパーのデバイスでは Multicast−VXLANかOVSDB−VXLAN、2種類の方法でNSXと接続することが 可能です。それぞれの特徴は以下のとおり。 ※OVSDB-VXLANはNSX6.2.3より正式にサポートが追加される予定の新しい機能です。 本資料ではNSX6.2.1で動作検証をしています。 Multicast-VXLAN OVSDB-VXLAN BUMトラフィックはMulticastルーティングにより Rendezvous Point(RP)がパケットの複製を行う (デメリット) ・アンダーレイでマルチキャストルーティングが必要 ・NSX Managerから物理ネットワークの設定変更が不可 (構成変更時には物理ネットワークの設定が個別に必要) (メリット) ・DLRによるDistributed Routingとの共存が可能 (ただしLayer2スイッチングのみサポート) ・証明書の管理は不要 BUMトラフィックはNSXコントローラが制御を行い、 代表ノードが各VTEPへパケットの転送を行う (メリット) ・アンダーレイでマルチキャストルーティングは不要 ・NSX Managerから物理ネットワークの設定変更が可能 (ただしLayer2設定のみサポート) (デメリット) ・DLRによるDistributed Routingとの併用が不可 (DLRなしのCentralized Routingのみサポート) ・ネットワークデバイス毎の証明書の管理が必要
  176. 176. 176 Copyright © 2016 Juniper Networks, Inc. www.juniper.net Multicast-VXLANの設定 まずは、Multicast-VXLANを用いて、Logical SwitchをHW VTEP経由で物理 ネットワークと接続します。 NSXでMulticast VXLANを使用する準備はこれまでの手順で整っていますので、 L2 VTEPに対してMulticast VXLANの設定を行っていきます。
  177. 177. 177 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークのデザイン #Underlay Network Pane Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 172.31.0.X/31 172.31.0.X/31 10.128.2.0/2410.128.3.0/24 10.255.0.1/32 10.255.0.2/32 10.255.0.3/32 Leaf Leaf アンダーレイを構成するスイッチでMulticast VXLANを有効にし、VXLANと 物理ネットワークをL2接続します。 10.128.1.0/24 .254 .254 .3 .1 .2 .0 .254 #Spine&Leaf Switch QFX5100-48S JUNOS 14.1X53-D31 #Loopback Address 10.255.0.X/32 #Spine-Leaf Network Address 172.31.0.X/31 #QFX-ESXi Network Address 10.128.X.0/24 EX3300 (Baremetal) eBGP PIM
  178. 178. 178 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 VMware NSXのLogical Switch画面にて、Logical SwitchごとのSegment ID(VNI)と、Multicast Groupを確認します。 今回の例では以下の通りです。  LS1  Segment ID: 5000  Multicast Group: 239.0.1.0  LS2  Segment ID: 5001  Multicast Group: 239.0.1.1
  179. 179. 179 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Leaf Switch (Atlas)の設定 # VXLANのDestination UDPポートを8472に変更 set protocols l2-learning destination-udp-port 8472 # VXLANのTunnel Endpointとしてlo0.0を指定 set switch-options vtep-source-interface lo0.0 # VXLANと接続するVLANを作成 set vlans LS1 vlan-id 1000 set vlans LS1 vxlan vni 5000 set vlans LS1 vxlan multicast-group 239.0.1.0 set vlans LS2 vlan-id 1001 set vlans LS2 vxlan vni 5001 set vlans LS2 vxlan multicast-group 239.0.1.1 # インターフェイスにVXLANと接続されたVLANを設定 set interfaces ge-0/0/16 unit 0 family ethernet-switching interface-mode trunk set interfaces ge-0/0/16 unit 0 family ethernet-switching vlan members LS1 set interfaces ge-0/0/16 unit 0 family ethernet-switching vlan members LS2
  180. 180. 180 Copyright © 2016 Juniper Networks, Inc. www.juniper.net オーバーレイ・ネットワークのデザイン #Overlay Network Pane Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 vCenter NSX Manager NSX Edge SG NSX Edge SG NSX Controller NSX Controller NSX Controller VTEP VXLAN Tunnel ここまでの設定で以下のようにHW VTEPを含めたオーバーレイ・ネットワークが構成されています。 EX3300 (Baremetal) HW-VTEP DLR Control DLR Control martini VM1 martini VM2 calvin VM1 calvin VM2
  181. 181. 181 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VXLAN動作の確認 #Leaf Switch (Atlas)で以下のコマンドを用いることで、VXLANの動作状況が確認可能です。 root@ATLAS> show ethernet-switching vxlan-tunnel- end-point remote Logical System Name Id SVTEP-IP IFL L3-Idx <default> 0 10.255.0.3 lo0.0 0 RVTEP-IP IFL-Idx NH-Id 10.128.1.10 559 1744 VNID MC-Group-IP 5001 239.0.1.1 5000 239.0.1.0 RVTEP-IP IFL-Idx NH-Id 10.128.2.10 562 1754 VNID MC-Group-IP 5001 239.0.1.1 5000 239.0.1.0 RVTEP-IP IFL-Idx NH-Id 10.128.3.10 561 1755 VNID MC-Group-IP 5001 239.0.1.1 5000 239.0.1.0 root@ATLAS> ...vxlan-tunnel-end-point remote mac-table MAC flags (S -static MAC, D -dynamic MAC, L -locally learned, C -Control MAC SE -Statistics enabled, NM -Non configured MAC, R -Remote PE MAC) Logical system : <default> Routing instance : default-switch Bridging domain : LS1+1000, VLAN : 1000, VNID : 5000 MAC MAC Logical Remote VTEP address flags interface IP address 00:50:56:f7:f6:4a D vtep.32769 10.128.1.10 02:50:56:56:44:52 D vtep.32769 10.128.1.10 MAC flags (S -static MAC, D -dynamic MAC, L -locally learned, C -Control MAC SE -Statistics enabled, NM -Non configured MAC, R -Remote PE MAC) Bridging domain : LS2+1001, VLAN : 1001, VNID : 5001 MAC MAC Logical Remote VTEP address flags interface IP address 00:50:56:f7:f6:4a D vtep.32769 10.128.1.10 02:50:56:56:44:52 D vtep.32769 10.128.1.10
  182. 182. 182 Copyright © 2016 Juniper Networks, Inc. www.juniper.net EX3300 (Baremetal) vCenter NSX Manager NSX Controller NSX Controller NSX Controller 仮想ネットワークの構成 #Logical View Spine ESXi (Management) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf 10.128.1.0/24 DLR (Distributed Logical Router) ESXi (Edge GW) 192.168.0.0/24 .254 .254.254 .253 BGP Neighbor NSX Edge SG NSX Edge SG 192.168.255.1 Physical Network 192.168.255.0/24 .254 Physical Network .100 .100 VM1からHW VTEPの先の物理ネットワークへの各種(L2/L3)通信がOverlayネットワーク越しで 実現されることをICMPで確認します。 DLR Control DLR Control Logical Switch 1 Logical Switch 2 martini VM1 martini VM2 calvin VM1 calvin VM2 192.168.1.0/24 192.168.2.0/24 L2 HW VTEPによるブリッジング .3 .3 .4 .4
  183. 183. 183 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 仮想ネットワークの動作確認
  184. 184. 184 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 分散仮想ルーター(DLR)の仕様制限 仮想ネットワークと物理ネットワークが接続されましたので、物理ネットワー クのサーバからもL3通信を行いたいと考えるのは当然のことです。 ただし物理ネットワークからVMware NSXの分散仮想ルーターをL3ゲート ウェイとして使用する事はできません。これは分散仮想ルーターが物理ネット ワークからのARPリクエストに対して応答を行わない仕様によるものです。 仮想ネットワーク側からARPリクエストがVXLANに飛ぶタイミングにおいて、 一時的に物理ネットワーク側でARPが学習されるタイミングがあり、そのタイ ミングにおいてのみL3通信が可能となりますが、一度物理サーバのARPテー ブルからエージアウトすると、通信が不可能となります。 これは現時点でのVMware NSXの仕様となりますので、物理ネットワークの サーバも含めたL3通信を行いたい場合は、Edge GWを使用するか、物理ルー ターでL3ルーティングを行うデザインを検討する必要があります。 DLR (Distributed Logical Router) Virtual Machine Baremetal Server Hypervisor(ESXi) ARP Request ARP Request ARP ReplyNO Reply
  185. 185. 185 Copyright © 2016 Juniper Networks, Inc. www.juniper.net OVSDB-VXLANの設定 次に、OVSDBを使用してNSXの仮想ネットワークとQFX配下の物理ネット ワークを接続してみます。 OVSDBを使用するにあたっては、以下の設定を行う必要があります。  VXLANで使用するポート番号の変更  OVSDBで使用する証明書の発行と配置  L2 Gatewayに対するOVSDB設定の投入  NSXに対するHardware VTEPの設定  Unicast VXLANを用いたLogical Switchの作成  Logical SwitchとL2 Gatewayポートのマッピング
  186. 186. 186 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークのデザイン #Underlay Network Pane Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 172.31.0.X/31 172.31.0.X/31 10.128.2.0/2410.128.3.0/24 10.255.0.1/32 10.255.0.2/32 10.255.0.3/32 Leaf Leaf アンダーレイを構成するスイッチでOVSDBを動作させて、 スイッチとNSX Controllerを接続します。 10.128.1.0/24 .254 .254 .3 .1 .2 .0 .254 #Loopback Address 10.255.0.X/32 #Spine-Leaf Network Address 172.31.0.X/31 #QFX-ESXi Network Address 10.128.X.0/24 #Spine&Leaf Switch QFX5100-48S JUNOS 14.1X53-D31 NSX Controller NSX Controller NSX Controller EX3300 (Baremetal) eBGP
  187. 187. 187 Copyright © 2016 Juniper Networks, Inc. www.juniper.net OVSDBの事前準備 #VXLANポート番号の変更 OVSDBを使用する場合、NSXはVXLANのポート番号をNSXデフォルトの 8472から、標準ベースの4789に変更することを要求します。 NSX Managerに対してREST APIリクエストを行う事により、この設定の変更 が可能です。 例えばLinux/curlを用いる場合、以下のようにしてポート番号を変更します。 # 変更リクエスト $ curl -u admin -k -X PUT https://nsxmanager.juniper.local/api/2.0/vdn/config/vxlan/udp/port/4789 Enter host password for user 'admin': (password) jobdata-4446% # 変更結果の確認 $ curl -u admin -k https://nsxmanager.juniper.local/api/2.0/vdn/config/vxlan/udp/port Enter host password for user 'admin': (password) <?xml version="1.0" encoding="UTF-8"?> <int>4789</int>%
  188. 188. 188 Copyright © 2016 Juniper Networks, Inc. www.juniper.net OVSDBの事前準備 #VXLANポート番号の変更 VXLANのポート番号を変更した場合、Multicast VXLANの設定を行っている 既存のスイッチについて、ポート番号をデフォルトに戻す必要があります。 # VXLANのDestination UDPポートをデフォルトに戻す delete protocols l2-learning destination-udp-port
  189. 189. 189 Copyright © 2016 Juniper Networks, Inc. www.juniper.net OVSDBの事前準備 #証明書の発行 OVSDBを使用したL2 VTEPを構成する場合には、NSX Controllerが物理ス イッチを識別するための証明書と秘密鍵を発行する必要があります。 Linux PCにて以下の手順を実行することにより、証明書と秘密鍵の発行が可 能です。(以下はUbuntu 14.04における例) # まずはじめに、ovs-pkiコマンドをインストールする $ sudo aptitude install openvswitch-pki …(snip)… # calypso という証明書を生成 $ sudo ovs-pki req+sign calypso calypso-req.pem Fri Feb 19 20:09:26 JST 2016 fingerprint 2740b5914c84423ac43621269c67b738a8325b0d $ ls *.pem calypso-cert.pem calypso-privkey.pem calypso-req.pem calypso-cert.pemが証明書, calypso-privkey.pemが秘密鍵となります。
  190. 190. 190 Copyright © 2016 Juniper Networks, Inc. www.juniper.net OVSDBの事前準備 #Leaf Switch (Calypso)への証明書の配置 FTP等にて、/var/db/certs以下にvtep-cert.pem, vtep-privkey.pem という名 前で証明書と秘密鍵のファイルをそれぞれ配置します。 配置後、OVSDBデーモンが起動したタイミングで、ca-cert.pemが生成されま す。 root@CALYPSO_LEAF> file list /var/db/certs/ /var/db/certs/: ca-cert.pem common/ system-cert/ system-key-pair/ vtep-cert.pem vtep-privkey.pem
  191. 191. 191 Copyright © 2016 Juniper Networks, Inc. www.juniper.net OVSDBの事前準備 #Leaf Switch (Calypso)の証明書の確認 file showコマンドを使用して、vtep-cert.pemの内容を表示し、公開鍵部分(以 下太字部分)をコピーしておきます。 root@CALYPSO_LEAF> file show /var/db/certs/vtep-cert.pem Certificate: Data: <snip> 6e:87:b3:b5 -----BEGIN CERTIFICATE----- MIIDgzCCAmsCAQQwDQYJKoZIhvcNAQEEBQAwgYExCzAJBgNVBAYTAlVTMQswCQYD VQQIEwJDQTEVMBMGA1UEChMMT3BlbiB2U3dpdGNoMREwDwYDVQQLEwhzd2l0Y2hj YTE7MDkGA1UEAxMyT1ZTIHN3aXRjaGNhIENBIENlcnRpZmljYXRlICgyMDE2IEZl YiAwOSAxNzo1Njo1NCkwHhcNMTYwMjEyMTAxNzQyWhcNMjYwMjA5MTAxNzQyWjCB jDELMAkGA1UEBhMCVVMxCzAJBgNVBAgTAkNBMRUwEwYDVQQKEwxPcGVuIHZTd2l0 <snip> AQABMA0GCSqGSIb3DQEBBAUAA4IBAQB9wWdHyFyMnSiauMHEDCM6qIuLuNSWmtXq Z2hDtVnysn35+YQCcu102yP2Xa3iZ/IsxYzwUUHi1s1M4aJ92t1E/XyNMdWSgcTV xI1V7TJ6/HyeOyOSEaLJ3Jdhu+HvT7eK4lynq/929R9H6Dlg0csSO5MfnoKTTnj0 YRpBPWqKhQlKUi8QyIbualJC1i8p8XeRL2ECuTMEm7jE5cYFu0tACf1mSxJ9Nf2C 8TpvovKFTKaIF4Gr+PZbNe+mKzIyRe/2mVdVOkq0sXNAN6EkQmSQcuCD1ps/hFFT 0ffYvWKBgDZ91y1cIqJcbjWRiN2JFdkT+kS+F+AmQF7dUjZuh7O1 -----END CERTIFICATE-----
  192. 192. 192 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークの構築 #Leaf Switch (Calypso)の設定 # LAGの設定 set interfaces ge-0/0/16 ether-options 802.3ad ae2 set interfaces ge-1/0/16 ether-options 802.3ad ae2 set interfaces ae2 aggregated-ether-options lacp active set interfaces ae2 aggregated-ether-options lacp periodic fast # VXLANのTunnel Endpointとしてlo0.0を指定 set switch-options vtep-source-interface lo0.0 # OVSDBプロトコルの設定 set protocols ovsdb interfaces ae2 set protocols ovsdb controller 10.0.0.103 protocol ssl port 6640 set protocols ovsdb controller 10.0.0.104 protocol ssl port 6640 set protocols ovsdb controller 10.0.0.105 protocol ssl port 6640 # スイッチをOVSDB管理下に置く事を許可 set switch-options ovsdb-managed
  193. 193. 193 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 NSXにHardware VTEPを登録します。Service DefinitionsのHardware Devicesを開きます。
  194. 194. 194 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 BUMトラフィックを複製する、Replication Clusterを設定します。Editボタ ンを選択します。
  195. 195. 195 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Replication Clusterに追加するホストを選択します。ここでは、Edge ClusterのGibsonを追加します。
  196. 196. 196 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、物理スイッチを登録します。 Hardware Devicesの追加ボタンを押し、スイッチの名前と先ほどコピーした証明 書を入力します。
  197. 197. 197 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 少しすると、スイッチのConnectivityがUPの状態になります。
  198. 198. 198 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 続いて、Unicast VXLANを使用したLogical Switchを作成します。 今回は例として、LS3, LS4の2つのLogical Switchを作成し、それぞれの Logical SwitchにVMを追加します。
  199. 199. 199 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 なお、分散仮想ルータが接続されているLogical Switchには、Hardware VTEPの設定を行う事ができません。そのため、Logical SwitchとHardware VTEPを組み合わせて物理サーバ等と高速な通信を行いたい場合、L3接続のた めには、Edge GWを用いてL3ルーティングを行うか、Hardware VTEPの先 にL3ゲートウェイが必要になります。 今回は、Edge GWにこれらのLogical Switchを追加することで、L3ルーティ ングを行います。
  200. 200. 200 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Edge GWの設定画面を開き、使用していないインターフェイスを選択し、編集 画面を開きます。
  201. 201. 201 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 名前と種類、接続先のLogical Switch、IPアドレスなどを指定します。
  202. 202. 202 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 以上の設定を繰り返し、Logical SwitchとEdge GWをマッピングします。
  203. 203. 203 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 Logical Switchの作成とVMの追加, Edge GWの設定が完了したら、Logical SwitchとHardware VTEPの物理ポートのマッピングを行います。 Logical Switchを右クリックし、Attach Hardware Portsを選択します。
  204. 204. 204 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 マッピング画面が表示されるので、スイッチを選択した後追加ボタンを押して Hardware VTEPを追加し、Hardware VTEPの物理ポートとVLAN IDを設定 します。
  205. 205. 205 Copyright © 2016 Juniper Networks, Inc. www.juniper.net NSXの構築 追加が正常に行われると、Hardware VTEP側に自動的に情報が送信され、 VXLANとインターフェイスの設定が行われます。 OVSDBから送信された情報は、show ovsdb interface, show ovsdb logical-switch等で確認可能です。 各ロジカルスイッチで、 Flags: Created by bothとなっていれば、正常に VXLANの設定が行われています。
  206. 206. 206 Copyright © 2016 Juniper Networks, Inc. www.juniper.net オーバーレイ・ネットワークのデザイン #Overlay Network Pane Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 10.128.2.0/2410.128.3.0/24 Leaf Leaf vCenter NSX Manager NSX Edge SG NSX Edge SG NSX Controller NSX Controller NSX Controller VTEP VXLAN Tunnel ここまでの設定で以下のようにHW VTEPを含めたオーバーレイ・ネットワークが構成されています。 EX3300 (Baremetal) HW-VTEP martini VM3 martini VM4 calvin VM3 calvin VM4
  207. 207. 207 Copyright © 2016 Juniper Networks, Inc. www.juniper.net VXLAN動作の確認 #Leaf Switch (Calypso)で以下のコマンドを用いることで、VXLANの動作状況が確認可能で す。 root@CALYPSO> show ethernet-switching vxlan-tunnel- end-point remote Logical System Name Id SVTEP-IP IFL L3-Idx <default> 0 10.255.0.2 lo0.0 0 RVTEP-IP IFL-Idx NH-Id 10.128.1.10 558 1720 VNID MC-Group-IP 5004 0.0.0.0 * 5003 0.0.0.0 * RVTEP-IP IFL-Idx NH-Id 10.128.2.10 557 1719 VNID MC-Group-IP 5004 0.0.0.0 5003 0.0.0.0 RVTEP-IP IFL-Idx NH-Id 10.128.3.10 559 1721 VNID MC-Group-IP 5004 0.0.0.0 5003 0.0.0.0 root@CALYPSO> show ovsdb mac Logical Switch Name: 1d640826-4d31-3453-9556- c60fe7d0459e Mac IP Encapsulation Vtep Address Address Address 00:50:56:bb:36:bb 0.0.0.0 Vxlan over Ipv4 10.128.2.10 00:50:56:bb:92:4e 0.0.0.0 Vxlan over Ipv4 10.128.3.10 ff:ff:ff:ff:ff:ff 0.0.0.0 Vxlan over Ipv4 10.128.1.10 Logical Switch Name: 2c27a260-f16a-3309-8393- cc529f391f4a Mac IP Encapsulation Vtep Address Address Address 00:50:56:bb:f7:ab 0.0.0.0 Vxlan over Ipv4 10.128.3.10 00:50:56:bb:f8:34 0.0.0.0 Vxlan over Ipv4 10.128.2.10 ff:ff:ff:ff:ff:ff 0.0.0.0 Vxlan over Ipv4 10.128.1.10
  208. 208. 208 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークのデザイン Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 172.31.0.X/31 172.31.0.X/31 10.128.2.0/2410.128.3.0/24 10.255.0.1/32 10.255.0.2/32 10.255.0.3/32 Leaf Leaf 10.128.1.0/24 .254 .254 .3 .1 .2 .0 .254 NSX Controller NSX Controller NSX Controller EX3300 (Baremetal) #Logical View Physical Network 192.168.255.1 Physical Network 192.168.255.0/24 .254 NSX Edge SG NSX Edge SG Logical Switch 3 Logical Switch 4 martini VM3 martini VM4 calvin VM3 calvin VM4 192.168.3.0/24 192.168.4.0/24 .254 .254 .100 .100 .3 .3 .4 .4
  209. 209. 209 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークのデザイン Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 172.31.0.X/31 172.31.0.X/31 10.128.2.0/2410.128.3.0/24 10.255.0.1/32 10.255.0.2/32 10.255.0.3/32 Leaf Leaf 10.128.1.0/24 .254 .254 .3 .1 .2 .0 .254 NSX Controller NSX Controller NSX Controller EX3300 (Baremetal) #Logical View Physical Network 192.168.255.254 Physical Network 192.168.255.0/24 .254 NSX Edge SG NSX Edge SG Logical Switch 3 Logical Switch 4 martini VM3 martini VM4 calvin VM4 calvin VM4 192.168.3.0/24 192.168.4.0/24 .254 .254 .100 .100 VM3から各種VMへの通信、ESGの先の物理ネットワーク、およびHW VTEPの先の物理ネットワー クへの各種(L2/L3)通信がOverlayネットワーク越しで実現されることをICMPで確認できます。 .3 .3 .4 .4
  210. 210. 210 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 仮想ネットワークの動作確認
  211. 211. 211 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークのデザイン Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 172.31.0.X/31 172.31.0.X/31 10.128.2.0/2410.128.3.0/24 10.255.0.1/32 10.255.0.2/32 10.255.0.3/32 Leaf Leaf 10.128.1.0/24 .254 .254 .3 .1 .2 .0 .254 NSX Controller NSX Controller NSX Controller EX3300 (Baremetal) #Logical View Physical Network 192.168.255.1 Physical Network 192.168.255.0/24 .254 NSX Edge SG NSX Edge SG Logical Switch 3 Logical Switch 4 martini VM3 martini VM4 calvin VM3 calvin VM4 192.168.3.0/24 192.168.4.0/24 .254 .254 .100 .100 VM3から各種VMへの通信、ESGの先の物理ネットワーク、およびHW VTEPの先の物理ネットワー クへの各種(L2/L3)通信がOverlayネットワーク越しで実現されることをICMPで確認できます。 .3 .3 .4 .4
  212. 212. 212 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 仮想ネットワークの動作確認
  213. 213. 213 Copyright © 2016 Juniper Networks, Inc. www.juniper.net アンダーレイ・ネットワークのデザイン Spine ESXi (Management) ESXi (Edge GW) ESXi ESXi 172.31.0.X/31 172.31.0.X/31 10.128.2.0/2410.128.3.0/24 10.255.0.1/32 10.255.0.2/32 10.255.0.3/32 Leaf Leaf 10.128.1.0/24 .254 .254 .3 .1 .2 .0 .254 NSX Controller NSX Controller NSX Controller EX3300 (Baremetal) #Logical View Physical Network 192.168.255.1 Physical Network 192.168.255.0/24 .254 NSX Edge SG NSX Edge SG Logical Switch 3 Logical Switch 4 martini VM3 martini VM4 calvin VM3 calvin VM4 192.168.3.0/24 192.168.3.0/24 .254 .254 .100 .100 また、VTEP配下の物理ネットワークから各種VMへの通信、ESGの先の物理ネットワーク先への物理 ネットワークへの各種(L2/L3)通信がOverlayネットワーク越しで実現されることも確認できます。 .3 .3 .4 .4
  214. 214. 214 Copyright © 2016 Juniper Networks, Inc. www.juniper.net 仮想ネットワークの動作確認
  215. 215. 215 Copyright © 2016 Juniper Networks, Inc. www.juniper.net HW VTEPとの連携:L3 GATEWAYの検討
  216. 216. 216 Copyright © 2016 Juniper Networks, Inc. www.juniper.net Hardware VTEPを利用したL3 Gatewayデザイン検討 VMware NSXを構成するにおいてはこれまで確認してきた、ESGやDLRをど のように配備するか、というデザイン検討を求められるのが一般的です。 一方で、ESGやDLRによる制限も各種存在します。 ESG Routing ・インターフェイスの数量(10) ・サブインターフェイスの数量(200 per ESG) ・Failoverタイム(A/S or ECMP) ・サーバーのパケットフォワーディングパフォーマンス ・ネットワーク帯域 DLR ・ルーティングテーブル(2000:12000 per NSX Manager) ・OVSDB-VXLANとの併用不可 ・L2 HW VTEP越しのARP返答不可 これらNSXにおける仕様上の制約もHW VTEPを併用したデザインを考えるこ とで、より柔軟なネットワークデザインが検討できることを確認してみます。 ※最新VersionにおけるNSXのScalabilityなど、詳しい情報はVMwareさまにお問い合わせください。

×