Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Multi Chassis LAG for Cloud builders

5.339 Aufrufe

Veröffentlicht am

ジュニパーネットワークス Multi Chassis LAGの概要、基本機能、設定方法についてご説明いたします。

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

Multi Chassis LAG for Cloud builders

  1. 1. Multi Chassis LAG for Cloud builders Juniper Japan 2015年9月
  2. 2. Agenda • Muliti-chassis LAG 概要 • 導入のメリット • 類似技術 • 対応プラットフォーム • 基本機能 • 用語の整理と役割 • L3と組み合わせて使うには • 設定方法 • ベーシック設定 • L2設定 • L3設定(Option) • トラフィックの管理 • リファレンス
  3. 3. Multi-chassis LAG概要 Multi-chassis LAG (MC-LAG) とは • Multi-chassis LAGは2台のスイッチをまたいで LAGを構成する技術 • M-LAG, vPC等ベンダー毎にいろいろと呼び名はあるも のの、各社ほぼ同様の機能を提供 • JuniperはMulti-Chassis LAG(MC-LAG)と呼んでいます。 MC-LAG L3 L2 L3 L2 L2 L2 L2 LAG
  4. 4. MC-LAG導入のメリット 導入のメリット 従来のネットワーク L 3 L 2 L 3 L 2 L 2 L 2 L 2 MC-LAG L3 L2 L3 L2 L2 L2 L2 • Loopしない冗長構成 • スパツリをやめられる 耐障害性 の向上 • ブロッキングポートが無くなり、帯域が 2倍 • メンバーリンクの追加で更に帯域増 経済性の 向上 • LAG(LACP)なので異なるベンダーでも 接続しやすい • ベンダーロックインの排除 運用性の 向上
  5. 5. Juniperの提供する類似技術 スイッチまたぎのLAGが組める技術として、以下のアーキテクチャも提 供しています。 MC-LAG Virtual Chassis Virtual Chassis Fabric 仮想化基盤やHadoop基盤等、 Spine-Leafのファブリックト ポロジーを構成したい方に 管理の負荷を下げたい、 スイッチ間の10Gリンクを 節約したい方 スパツリ、ループの悩みを卒 業したい方に 10台まで、1 台として管理 32台まで、1 台として管理
  6. 6. アーキテクチャ選択 MC-LAG vs Virtual Chassis MC-LAG Virtual Chassis 1 2 1 10 MC-LAG Virtual Chassis コントロールプレーン Active-Active Active-Standby データプレーン Active-Active Active-Active 管理 2台別々 10台まで 1台として管理 設定同期 手動(※Roadmap) 自動 対向デバイスから見たL2ネイバー 1台に見える 1台に見える 対向デバイスから見たL3ネイバー 2台に見える 1台に見える バージョンアップ 1台ずつ(ISSU) NSSU/ISSU(※Roadmap) Active Active それぞれが独立 して動き、 MAC、I/Fの状 態を交換 Hot-stanby Configも常に 同期 スイッチ台数が 増えてくると、 管理面で差が 出てきます。
  7. 7. アーキテクチャ選択 Multi Tier MC-LAG vs Virtual Chassis Fabric Multi Tier MC-LAG Virtual Chassis Fabric トポロジーと広帯域化 ・LAG(渡りが必要) ・モジュラーシャーシ型へのアップグ レード ・Ethernet Fabric ・1Uスイッチでより広帯域・均一な遅 延を提供 管理台数 スイッチ台数分 32台まで1台として管理 マルチベンダーでのファブリック構成 他社とも混在可能 Juniperのみで構成 バージョンアップ 1台ごとに NSSU/ISSU(※Roadmap) Multi Tier MC-LAG Virtual Chassis Fabric Similar Technology with Non Juniper Devices 2台まで Spineも4台ま で可能 スイッチ台数が 増えてくると、管 理面で差が出 てきます。 より広帯域な ネットワークが 必要な場合
  8. 8. アーキテクチャ選択 Multi Tier MC-LAG vs Virtual Chassis Fabric • Upgrade方法 (1) (2) MC−LAGは1台ずつ、ISSUが可能 Virtual Chassis Fabricは2つのグループに分 けてアップグレード(NSSU) オレンジ→グリーンのグループ毎にバージョンアップされる。 コマンドは1行 隣接のデバイスからは常にLAGのどちらかがUpしている状態。 ISSUのパケットロスはSubSecond!! OS現行バージョン Junos VM (Backup) OS新バージョン x86 Hardware パケット転送部 Linux Kernel ルーティング フォワーディング ポート リセット無し!
  9. 9. QFX5100シリーズ Spine 1 Spine 2 Spine 3 Spine 4 スイッチ 32台まで Virtual Chassis FabricVirtual Chassis スイッチ10台まで スイッチ 128台まで QFabric L3 Fabric Layer 3 IP Fabric … MC-LAG 様々なトポロジーに柔軟に対応. サービスの成長に合わせてネットワークも成長できる.
  10. 10. • 資料まとめサイト http://www.juniper.net/jp/jp/dm/cloud-builder/docs.html 【コンテンツ】 • JUNOSはじめの一歩 DayOneブックレット • 技術説明資料 • Virtual Chassis for Cloud Builders • Juniper NetworkGuru Plugin ~EX/QFX Switch CloudStack Integration~ • vSRX on Your Laptop ~JUNOSをさわってみよう!~ • Virtual Chassis Fabric for Cloud Builders(準備中) • Qfabric for Cloud Builders(準備中) • 共同検証資料 • ホワイトペーパー • インフォグラフィクス • 素材集 • データシート Virtual Chassis、Virtual Chassis Fabricの 資料もこちらにございます。
  11. 11. 戻りまして、 MC-LAG対応プラットフォーム QFX 10000 QFX 5100 MX Series EX 9200 EX 4600 EX 4300
  12. 12. MC-LAG対応プラットフォーム MXシリーズ QFXシリーズ EX9200 EX4600シリーズ EX4300シリーズ その他のEXシ リーズ MC-LAG Active/Active構成 Active/Standby構 成 VRRPとの組合せ L2VPN(MPLS)との 組合せ VPLSとの組合せ 本ドキュメントではActive/Active構成とVRRPとの組合せについて解説していきます。
  13. 13. MC-LAG基本構成 MC-LAGを構成する上での基本 • Node1・2の間はMACアドレス やLinkのステータスを同期して います。 (ICCP) • MC-LAGにつながるLAG機器と はLACPでステータスを交換しま す。 Node1 Node2 LACP ICCP MC-LAGを構成するスイッチはどちらもActive (Master/Backup等の関係 では無い)ので、ここではNode1、Node2と呼びましょう。
  14. 14. MC-LAG基本構成 • スイッチTOR1から見るとMC-LAGは 単なるLAGにしか見えません。 • LACPで見ても、どちらのMACも同じ MACが見えます。 Node1 Node2 TOR1 LACP info: Role System System Port Port Port priority identifier priority number key et-0/0/48.0 Actor 127 54:1e:56:69:4e:00 127 1 3 et-0/0/48.0 Partner 127 00:00:ae:00:00:02 127 2 1002 et-0/0/49.0 Actor 127 54:1e:56:69:4e:00 127 2 3 et-0/0/49.0 Partner 127 00:00:ae:00:00:02 127 32770 1002 et-0/0/49.0et-0/0/48.0 TOR1のLACPのステータス出力例 (Node1) (Node2) LACP
  15. 15. 用語の整理 MC-LAGは各ベンダーで用語が異なるので、ここで一旦整理しましょう。 • ICCP(Inter-chassis control protocol)とい い、MACやLinkの状態をNode間で共有す る為の制御通信で、TCPセッションです。 • ICL(Inter-Chassis Link):スイッチ間の物 理Link。ICL-PLとも言います。帯域拡張、 冗長性が必要な為LAGにします。(次で詳述 します) • MC-AE(またはMC-links):スイッチまたぎ のLAGを指します。AEはAggregated Ethernetの略です。 • S-LINK(Single-homed Link):冗長されて ないLinkです。既存の収容、NW移行やメ ンテ等で一時的にこの構成になるかと思い ます。 MC-AE MC-links S-Link Node1 Node2 ICL ICCP
  16. 16. 用語の整理(つづき) ICLは結構重要です。 • ICLはS-link向けやMC-linksがダ ウンした際のBackup経路として 使われます。 • 上記を除くと、ユーザトラ フィックはICLを使わず、スイッ チ自身で折り返します。(これを Local Biasと呼びます) • ICL自体もLAGが組めますので、 Linkを増やして帯域を増やすこ とができます。 MC-AE MC-links S-Link Node1 Node2 ICL ICCP
  17. 17. 用語の整理(つづき) 念のため、管理セグメントも使いましょう。 • ICCPが切れてしまう状況は、Sprit Brainという絶対に避けたい状況です。 • ICLのバックアップとして、管理セグ メントを使ったICCPのやりとりができま す。(backup-liveness-detection) • ただし、ユーザパケットは転送しま せん。あくまでSprit状態を避ける為 のラストリゾートです。 MC-AE MC-links S-Link Node1 Node2 ICL ICCP 管理用セグメント ICL故障発生時の動作の詳細は以下で確認できます。 https://www.juniper.net/techpubs/en_US/junos15.1/topics /concept/lag-multichassis-feature-summary.html#jd0e106
  18. 18. L3の冗長構成は? ではデフォルトGWはどうやって冗長するの? • 方式は2つあります。 • VRRP over IRB方式 • Node同士でVRRPを構成 • MAC Sync方式 • Node同士で同じIP、MACを構成 TOR1 別セグメント 別セグメント 実IP 192.168.1.253/24 仮想IP(Active) 192.168.1.254 実IP 192.168.1.252/24 仮想IP(Backup) 192.168.1.254 Default GW 192.168.1.254 VRRP方式の構成例 irb.1 irb.1 irb.2 irb.2
  19. 19. L3の冗長構成は? Juniperでは以下の理由からVRRP方式を推奨しています。 1. TOR1からみると結局Uplinkは LAGなので、トラフィックは分 散できる。 2. VRRP Backup側でも受け取っ たユーザトラフィックは転送で きる実装の為、ICLを通ったり、 Uplinkが偏ったりしない。 3. MAC Sync方式では、Routing Protocolが話せない。(あくまで Node間で同期しているのはMC- LAG関連情報だけなのです) TOR1 別セグメント 別セグメント 実IP 192.168.1.253/24 仮想IP 192.168.1.254 実IP 192.168.1.252/24 Default GW 192.168.1.254 VRRP方式の構成例 (1)LAGなので 分散されます。 (2)VRRP Backupでも転 送Irb.1 Irb.1 Irb.2 Irb.2
  20. 20. 設定方法解説 少し前置きが長くなりましたが、ここから設定解説です。 基礎となる 設定 MC−Linksの 設定(L2) L3設定の追 加(Option)
  21. 21. 設定方法解説 基礎となる設定 設定項目 Node1 Node2 備考 Device-count 10 10 必要なMC-LAG数+1を設定 switch-options service-id 16384 16384 2台とも同じ値 ネットワーク内ではユニークな値 に設定してください。 ICCP用I/F irb.4000 irb.4000 irb + unit 番号 (とりあえずVlan-idと一緒がおす すめ) ICCP用Vlan 4000 4000 渡りのLAGにもこのVlanを所属さ せる ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 ICCPだけで使いますので/30とか でも可 et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 Node1 Node2 ICCP set chassis aggregated-devices ethernet device-count 10 set switch-options service-id 16384 set interfaces irb unit 4000 family inet address 192.168.254.26/24 set vlans VLAN4000 vlan-id 4000 set vlans VLAN4000 l3-interface irb.4000 例はNode1だけですが、値を入れ替えれば、動作します。 どちらか一方にだけ投入する設定はありません。 Node1設定コマンド
  22. 22. 基礎設定その2 設定項目 Node1 Node2 備考 ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 VLAN4000だけで使いますので /30とかでも可 ICL InterceのID ae0 ae0 aeはaggregated-ethernetの略で、 LAG用仮想I/F名 ae0に所属させる 物理I/F et-0/0/22 et-0/0/23 et-0/0/22 et-0/0/23 その他 LACP Fastモード Vlan4000 LACP Fastモード Vlan4000 LACPとVlan4000をae0に設定 et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 ae0 Node1 Node2 ICCP set multi-chassis multi-chassis-protection 192.168.254.27 interface ae0 Node2のアドレスを設定 set interfaces et-0/0/22 ether-options 802.3ad ae0 set interfaces et-0/0/23 ether-options 802.3ad ae0 set interfaces ae0 aggregated-ether-options lacp active periodic fast set interfaces ae0 unit 0 family ethernet-switching interface-mode trunk set interfaces ae0 unit 0 family ethernet-switching vlan members VLAN4000 Node1設定コマンド
  23. 23. 基礎設定その3 設定項目 Node1 Node2 備考 ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 VLAN4000だけで使いますので /30とかでも可 session- establishment- hold-time 100 100 ICCPセッション確立までの時間 (秒) BFD minimum- interval 1000 1000 お互いのICCP間で行うBFD死活 監視の間隔(msec) 1000以上に してください BFD multiplier 3 3 回数 minimum-interval x multiplier = ダウンまでの時間 backup-liveness- detection 172.27.113.26 172.27.113.27 管理I/Fに付与したIPアドレスを 指定 et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 ae0 Node1 Node2ICCP set protocols iccp local-ip-addr 192.168.254.26 set protocols iccp peer 192.168.254.27 session-establishment-hold-time 100 set protocols iccp peer 192.168.254.27 liveness-detection minimum-interval 1000 set protocols iccp peer 192.168.254.27 liveness-detection multiplier 3 set protocols iccp peer 192.168.254.27 backup-liveness-detection backup-peer-ip 172.27.113.27 管理用セグメント Node1設定コマンド
  24. 24. • 接続が間違えていなければ次のようにみえるはずです。 • よくあるうっかりミス:そもそもLAG(ae0)がUpしていない。 ▶最初にLAGの数を登録する必要があります。 10とするとae0~ae9までI/Fが作られます。 基本設定の確認 et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 ae0 Node1 Node2ICCP lab@node1# run show iccp Redundancy Group Information for peer 192.168.254.27 TCP Connection : Established Liveliness Detection : Up Backup liveness peer status: Up Client Application: MCSNOOPD Client Application: l2ald_iccpd_client Client Application: lacpd set chassis aggregated-devices ethernet device-count 10
  25. 25. • 次にTORスイッチを収容す るLAGを設定します。 MC-Linksの設定 et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 Node1 Node2 ae1 設定項目 Node1 Node2 備考 LAG I/F名 ae1 ae1 LACP system-id 00:00:ae:00:00:01 00:00:ae:00:00:01 同じ値を設定します。LAG毎に変更し ます。 LACP admin-key 1001 1001 同じ値を設定します。 LAG毎に変更します。 mc-ae mc-ae-id 1001 1001 同じ値を設定します。 LAG毎に変更します。 mc-ae chassis-id 0 1 Node毎に変えます。 mc-ae status-control Active standby mc-ae init-delay-time 60 60 I/FがUpとなってからLACPが distributingになるまでの時間です。 電源投入時など、ProtocolがUpする までの時間待たせることができます。 set interfaces et-0/0/0 ether-options 802.3ad ae1 set interfaces ae1 aggregated-ether-options lacp active periodic fast set interfaces ae1 aggregated-ether-options lacp system-id 00:00:ae:00:00:01 set interfaces ae1 aggregated-ether-options lacp admin-key 1001 set interfaces ae1 aggregated-ether-options mc-ae mc-ae-id 1001 set interfaces ae1 aggregated-ether-options mc-ae chassis-id 0 set interfaces ae1 aggregated-ether-options mc-ae mode active-active set interfaces ae1 aggregated-ether-options mc-ae status-control active set interfaces ae1 aggregated-ether-options mc-ae init-delay-time 60 Node1設定コマンド
  26. 26. MC-Linksの確認 lab@node1# run show interfaces mc-ae id 1001 Member Link : ae1 Current State Machine's State: mcae active state Local Status : active Local State : up Peer Status : active Peer State : up Logical Interface : ae1.0 Topology Type : bridge Local State : up Peer State : up Peer Ip/MCP/State : 192.168.254.27 ae0.0 up et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 Node1 Node2 ae1 対向との設定が合っていて、正しく接続されていれば、次の様に表示されます。
  27. 27. MC-Linksの確認(つづき) {master:0}[edit] lab@node1# run show lacp interfaces ae1 Aggregated interface: ae1 LACP state: Role Exp Def Dist Col Syn Aggr Timeout Activity et-0/0/0 Actor No No Yes Yes Yes Yes Fast Active et-0/0/0 Partner No No Yes Yes Yes Yes Fast Active LACP protocol: Receive State Transmit State Mux State et-0/0/0 Current Fast periodic Collecting distributing {master:0}[edit] lab@node1# run show interfaces ae1 detail Physical interface: ae1 (MC-AE-1001, active), Enabled, Physical link is Up Interface index: 651, SNMP ifIndex: 537, Generation: 202 Link-level type: Ethernet, MTU: 1514, Speed: 40Gbps, BPDU Error: None, : : (中略) LACP info: Role System System Port Port Port priority identifier priority number key et-0/0/0.0 Actor 127 00:00:ae:00:00:01 127 1 1001 et-0/0/0.0 Partner 127 54:1e:56:65:a7:00 127 1 2 LACP Statistics: LACP Rx LACP Tx Unknown Rx Illegal Rx et-0/0/0.0 1288831 1345056 0 0 Marker Statistics: Marker Rx Resp Tx Unknown Rx Illegal Rx et-0/0/0.0 0 0 0 0 Protocol eth-switch, MTU: 1514, Generation: 231, Route table: 4 Flags: Trunk-Mode
  28. 28. • VLAN1001をae1に追加します。ICL(ae0)にも追加するのを忘れないでくださ い。 Mc-linksへのVlanの組み込み et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 Node1 Node2 ae1 set vlans v1001 vlan-id 1001 set interfaces ae1 unit 0 family ethernet-switching interface-mode trunk set interfaces ae1 unit 0 family ethernet-switching vlan members v1001 set interfaces ae1 unit 0 family ethernet-switching storm-control default set interfaces ae0 unit 0 family ethernet-switching vlan members v1001 設定項目 Node1 Node2 備考 Vlan名 V1001 V1001 Vlan-id 1001 1001 ae0 Node1設定コマンド
  29. 29. • Vlan1001にサーバのデフォルトゲートウェイとなるアドレスを設定します。 [Option]L3 Routing(Default Gateway)の設定 et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 Node1 Node2 ae1 実IP 192.168.1.253/24 仮想IP 192.168.1.254 実IP 192.168.1.252/24 設定項目 Node1 Node2 備考 I/F名 irb unit 1001 irb unit 1001 実IP 192.168.1.253/24 192.168.1.252/24 仮想IP 192.168.1.254 192.168.1.254 Priority 200 100 Accept-data 設定する 設定する set vlans v1001 l3-interface irb.1001 set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 virtual-address 192.168.1.254 set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 priority 100 set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 accept-data Node1設定コマンド
  30. 30. • Default Gatewayアドレスが冗長されているか確認します。 • 下記の様になっていない場合 • ICL(ae0)にVLAN1001が設定されているか確認して下さい。 L3 Routing(Default Gateway)の確認 {master:0}[edit] lab@node1# run show vrrp Interface State Group VR state VR Mode Timer Type Address irb.1001 up 1 master Active A 0.359 lcl 192.168.1.253 vip 192.168.1.254 et-0/0/0 et-0/0/0 et-0/0/22 et-0/0/23 Node1 Node2 ae1 実IP 192.168.1.253/24 仮想IP 192.168.1.254 実IP 192.168.1.252/24 lab@node2# run show vrrp Interface State Group VR state VR Mode Timer Type Address irb.1001 up 1 backup Active D 2.718 lcl 192.168.1.252 vip 192.168.1.254 mas 192.168.1.253 Node1 Node2 ae0
  31. 31. トラフィックの管理 • MC-LAGのトラフィックを確認するポイントは2つあります。 1. 物理Interfaceの流量を確認する。 2. MACアドレスをどちらのNodeで学習しているか確認する。
  32. 32. 1. 物理Interfaceで流量を確認する トラフィックの確認 east-qfx Seconds: 6 Time: 12:38:24 Interface Link Input packets (pps) Output packets (pps) et-0/0/0 Up 13455148 (1312) 13117094 (1314) gr-0/0/0 Up 0 (0) 0 (0) pfh-0/0/0 Up 0 0 et-0/0/1 Up 80669711 (1000) 80687764 (1001) et-0/0/22 Up 44992 (0) 0 (0) et-0/0/23 Up 69248151 (3) 69488086 (3) ae0 Up 69248151 (3) 69488086 (3) ae1 Up 13455148 (1312) 13117094 (1314) ae2 Up 80669711 (1000) 80687764 (1001) west-qfx Seconds: 4 Time: 12:39:34 Interface Link Input packets (pps) Output packets (pps) et-0/0/0 Up 68907326 (1) 132087817 (2) gr-0/0/0 Up 0 (0) 0 (0) pfh-0/0/0 Up 0 0 et-0/0/1 Up 65331861 (0) 2037920 (1) et-0/0/22 Up 0 (0) 58487 (0) et-0/0/23 Up 70013141 (3) 132811136 (2) ae0 Up 70013141 (3) 132811136 (2) ae1 Up 68907326 (1) 132087817 (2) ae2 Up 65331861 (0) 2037920 (1) Node1 Node2 コマンド lab@east-qfx> monitor interface traffic Node1側のet-0/0/0でトラフィックが送受信されていることがわかります。
  33. 33. 2. MACアドレスの学習を確認する トラフィックの確認 Node1 Node2 コマンド lab@east-qfx> show ethernet-switching table DLが動的なMACで自身が学習したことを示しています。 lab@node2> show ethernet-switching table MAC flags (S - static MAC, D - dynamic MAC, L - locally learned, P - Persistent static SE - statistics enabled, NM - non configured MAC, R - remote PE MAC, O - ovsdb MAC) Ethernet switching table : 1 entries, 1 learned Routing instance : default-switch Vlan MAC MAC Age Logical name address flags interface v1001 00:00:1b:f9:b6:ae DR - ae1.0 lab@node1> show ethernet-switching table MAC flags (S - static MAC, D - dynamic MAC, L - locally learned, P - Persistent static SE - statistics enabled, NM - non configured MAC, R - remote PE MAC, O - ovsdb MAC) Ethernet switching table : 1 entries, 1 learned Routing instance : default-switch Vlan MAC MAC Age Logical name address flags interface v1001 00:00:1b:f9:b6:ae DL - ae1.0 DRが動的なMACでICCPでNode1から学習したことを示しています。
  34. 34. リファレンス • 設定方法 https://www.juniper.net/techpubs/en_US/junos15.1/information- products/pathway-pages/mc-lag/multichassis-link-aggregation-groups.html • IP Multicast設定(IGMP Snooping) https://www.juniper.net/techpubs/en_US/junos15.1/topics/task/configuration/ig mp-snooping-mc-lag-active-active-mx.html • スイッチのOSをUpgradeする時の手順 https://www.juniper.net/techpubs/en_US/junos15.1/topics/concept/lag- multichassis--guidelines.html#jd0e265
  35. 35. Thanks!

×