Weitere ähnliche Inhalte Ähnlich wie 動的ネットワークパス構築と連携したエッジオーバレイ帯域制御 (20) Mehr von Ryousei Takano (20) Kürzlich hochgeladen (11) 動的ネットワークパス構築と連携したエッジオーバレイ帯域制御2. 背景
• クラウド(IT)とネットワークシステムの連携
• OpenFlowに代表されるSoftware Defined
Network(SDN)技術への注⽬目
– ソフトウェアから統⼀一的な管理理、⾃自動制御
• ITサービスと連携した帯域制御
– データセンタネットワークにおけるテナント間隔離離
例例:NEC ProgrammableFlow, Nicira NVP, MidoNet,
Stratophere SDN Platform
– 広域網の効率率率的な利利⽤用
例例:Google G-‐‑‒Scale, Open transport switch
2
3. SDNにおける帯域制御の課題
• ホップ・バイ・ホップ⽅方式
– 〇 柔軟で細やかなQoS制御が可能
– × 段階的な移⾏行行が困難
• エッジオーバレイ⽅方式
– 〇 既存のネットワーク機器を利利⽤用可能
– × QoS制御を実現するには、オーバサブスクライブ
しないネットワークが必須
• データセンタネットワーク:イーサネットファブリック技術
• 広域網:帯域保証技術(or 専⽤用線)
3
5. 本研究の貢献
• エッジオーバレイSDNにおいて、動的ネット
ワークパス構築とエッジ帯域制御の連携を提案
– データセンタ間を帯域の保証されたネットワークで
接続した上で、エッジ仮想スイッチにて精密な帯域
制御を実施
• PSPacerをOpen vSwitchに統合
• 10ギガビットイーサネット環境で実験
– HTBとPSPacerの⽐比較
5
8. PSPacer
• 通信帯域を効率率率的に利利⽤用するためのソフトウェア
• ギガビットイーサネットにおける精密なペーシングを
ソフトウェアだけで実現
– 利利⽤用可能帯域にあわせてバースト送信を平滑滑化することで、
安定した⾼高い通信性能を実現
Switch/Router
Buffer
Overflow
バースト性の⾼高いトラフィックはパケット PSPacerはパケット間隔を調整し、平滑滑化
ロスを引き起こし、通信性能の低下を招く され安定したトラフィックを⽣生成する
8
9. PSPacer:動作原理理と実装
• パケットペーシング=パケット送信間隔制御
– (パケットサイズ)=(ギャップサイズ)の場合:
送信帯域は、物理理帯域の1/2
、
• PSPacerの動作原理理 き れば ノ秒の
送 信で 0.8ナ 能
– ギャップをダミーパケットで埋めて、 レー トで ークで 制 御可
ヤ トワ 信間隔を
– パケットを隙間なく送信する ワイ psネッ 送
1 0Gb パケット
• ギャップパケット 精度度
で
– ダミーパケットとして、PAUSEフレームを利利⽤用
– スイッチの⼊入⼒力力ポートで破棄され、実パケットのみが、
元の送信間隔を保ちつつ送出される
ギャップ
パケット
9
10. Linux TBFとPSPacerの違い
Token Bucket Filter PSPacer
平均レートはボトルネックリン
ク帯域の半分以下だが、ピーク
は物理理送信レートに達しており、
バッファあふれが発⽣生
(Bottleneck BW 500Mbps, RTT 200ms, FIFO 1MB)
10
11. Open vSwitch
• Linux上で動作する仮想スイッチソフトウェア
– OpenFlow
– VLAN(アクセスポート、トランクポート)
– トンネル (GRE、IPSec、VXLAN、LISP)
– NetFlow、sFlow
– QoS
VM
1
VM
2
VM
3
• データパス
Open
vSwitch
– Linux kernel 3.3にマージ user
kernel
– ハードウェア化を考慮
• Pica8 Prontoスイッチに採⽤用 Physical
Switch
11
12. Open vSwitchのQoS機能
• ingress policing
• egress shaping VM1 VM2
– 内部的にLinuxカーネルの
eth0 eth0
tc(qdisc)機能を利利⽤用
• HTB、HFSC、PSPacer VMM
tap0 tap1
ingress policing
• OpenFlow 1.0のenqueue
Open vSwitch
アクション※を利利⽤用して、
egress shaping
フローをqdiscのキューに振分
eth0
※) OpenFlow 1.3ではset-‐‑‒queueに相当
12
13. Open vSwitchの構成
VM
1
VM
2
VM
3
VIF
Open
vSwitch
ovs-‐vswitchd
ovsdb-‐server
user
kernel
openvswitch
PIF
Physical
Switch
13
14. PSPacerの統合
data control
enqueue
PSPacer
Classifier
Compute
Server
Packet
Interface
scheduler
queues
VM
1
VM
2
VM
3
Real
packet
VIF
dequeue
Gap
packet
Open
vSwitch
ovs-‐vswitchd
ovsdb-‐server
user
PSPacer
openvswitch
kernel
PIF
Physical
Switch
※ HTB利利⽤用時も同じ仕組みで動作
14
15. 設定例例
ovs-vsctl -- set port eth0 qos=@newqos
-- --id=@newqos create qos type=linux-psp queues=0=@q0,1=@q1
-- --id=@q0 create queue other-config:rate=1000000000
-- --id=@q1 create queue other-config:rate=2000000000
ovs-ofctl add-flow br0 "in_port=2
マッチングルールin_̲portをtap
idle_timeout=0 actions=enqueue:1:1”
デバイスの接続ポートに設定する
ovs-ofctl add-flow br0 "in_port=3 ことで、VMごとに帯域制御
idle_timeout=0 actions=enqueue:1:2"
# 送信レートの変更更
ovs-vsctl set queue [QUEUE UUID] other-config:rate=3000000000
# キューの追加
ovs-vsctl add qos [QOS UUID] queues 2=@q2
-- --id=@q2 create queue other-config:rate=1000000000
15
17. 実験環境
• 計算サーバ2台を直結 Hardware
Spec.
• 各VMの送信帯域を2 G
CPU 6-‐core
Intel
Xeon
E5-‐2430L/
2
GHz
dual
sockets
bpsに設定し、6組のVM Memory PC3-‐12800
48
GB
間でTCP通信性能を測定 Ethernet Intel
X520-‐LR1
(MTU
16KB)
So-ware
Spec.
• 帯域測定にはGtrcNET-‐‑‒ OS CentOS
Linux
6.3
10p3を使⽤用 Open
vSwitch 1.7.1
VM VM VM VM VM VM VM VM VM VM VM VM
0 1 2 3 4 5 0 1 2 3 4 5
Open vSwitch Open vSwitch
GtrcNET-‐‑‒10
10G Ethernet
17
18. GtrcNET
• ⼤大規模FPGAを搭載したハードウェアネットワークテストベッド
• ワイヤレートでさまざまな機能をプログラム可能
• GtrcNET-‐‑‒1: GbE (GBIC) x 4ports + 16MBytes Memory/port
• GtrcNET-‐‑‒10: 10GbE (XENPAK) x 3ports + 1GBytes Memory /port
• 実装機能例例
• 帯域測定(ポート単位、ストリーム単位、VLAN単位)
• 遅延の模擬
• パケットキャプチャ
• テストパケット⽣生成
• 送信レート制御(ペーシング、
シェーピング、ポリシング)
http://projects.itri.aist.go.jp/gnet/
18
19. 10000
実験結果(1)
HTB
8000
Bandwidth (Mbps)
Throughput (Mbps)
6000
QoS制御なし
4000
10000
2000
8000
Bandwidth (Mbps)
0
Throughput (Mbps)
0 10 20 30 40 50 60
6000 Time (Second)
VM1 VM2 VM3 VM4 VM5 VM6
4000 10000
PSPacer
2000 8000
Bandwidth (Mbps)
Throughput (Mbps)
0 6000
0 10 20 30 40 50 60
Time (Second)
VM1 VM2 VM3 VM4 VM5 VM6 4000
10秒毎に通信ペアを追加
2000
0
0 10 20 30 40 50 60
Time (Second)
19
VM1 VM2 VM3 VM4 VM5 VM6
20. 実験結果(2)
PSPacer (OpenFlow) PSPacer (tc)
10000 10000
8000 8000
Bandwidth (Mbps)
Throughput (Mbps)
Throughput (Mbps)
6000 6000
4000 4000
2000 2000
0 0
0 10 20 30 40 50 60 0 10 20 30 40 50 60
Time (Second) Time (Second)
VM1 VM2 VM3 VM4 VM5 VM6 VM1 VM2 VM3 VM4 VM5 VM6
OpenFlowルールの代わりに、
tc u32 filterを使って、送信元IP
アドレス毎に振分
20
21. 考察
• PSPacer(ギャップパケット)のパケット
スケジューリング⽅方式の問題が顕在化
– システムがワイヤレート性能を出せることが必要
• 注意:今回の実験環境では要件を満たしていない
– tcのフィルタ機能と⽐比較して、OpenFlowのフロー
制御はCPU負荷が⾼高いと推測
– さらなる問題解析が必要
21
23. まとめ
• エッジオーバレイSDNにおいて、動的ネット
ワークパス構築とエッジ帯域制御の連携を提案
• PSPacerをOpen vSwitchに統合し、10ギガ
ビットイーサネット環境で実験
– PSPacerのスケジューリング⽅方式の問題が顕在化
– さらなる問題解析が必要
PSPacer 3.1 (Open vSwitch対応パッチ含)は
オープンソースソフトウェアとして公開
https://www.gridmpi.org/pspacer.jsp
23
24. 今後の予定
• ネットワークの消費電⼒力力削減とサービスの利利便便
性の両⽴立立を⽬目指したネットワークモデルの提案
– 本提案⽅方式と「トラフィックの性質情報に基づいた
経路路選択」⽅方式の統合し、省省電⼒力力効果を検証
なお、本研究の成果の⼀一部は、独⽴立立⾏行行政法⼈人新エネルギー・
産業技術総合開発機構(NEDO)の委託業務「グリーンネット
ワーク・システム技術研究開発プロジェクト(グリーンITプロ
ジェクト)」の成果を活⽤用している。
24