What about latency?

1. Piotr Jabłoński
PLNOG15
Rzecz o opóźnieniach
Cisco Systems

2. Elementy opóźnienia
Internet/
WAN
Data
CenterOddział
Kolejkowani
e
Przetwarzanie
Serializacja
i Propagacja
Serializacja
Kolejkowani
e
Przetwarzanie Serializacja
Propagacja Propagacja
Opóźnienie end-to-end

3. • Oddział do DC oddalonego o 220 km. 4 x ASR9k w sieci MPLS.
• Propagacja: > 1167 us, Routery: ~200 us. Ratio 6:1.
Co wprowadza największe opóźnienia?
Data
CenterOddział
Opóźnienie end-to-end
220 km
PE P PEP

4. • Dwa Data Center oddalone o 20 km. 4 x Nexus 9300.
• Propagacja > 55 us, Przełączniki < 4 us. Ratio 11:1.
Co wprowadza największe opóźnienia?
Data
Center 2
Opóźnienie end-to-end
Data
Center 1
20 km

5. Propagacja [us] = * 1000
Transmisja sygnału
Odległość [km]
299 792 [km/s] * 0,6

6. RTT Fiber Mwave
(ms) 14ms 10ms
Przykład:
Transmisja sygnału
Krótsza trasa mikrofalowa
Dłuższa trasa mikrofalowa
Trasa optyczna

7. Relacje między opóźnieniami
Opóźnienie nie
większe, niż20 us
Serializacja
Jumbo Frame
na 1GE
Światło
na 1 km
5,5 us
Max. dla
VoIP
150 ms
Max. vSphere
6.0 vMotion
75 ms
LTE
20 ms
Link
WAW-POZ
1 ms
Nexus 3548
WARP SPAN
50 ns
Nexus 9300
1-2 us 15 us
ASA
5585X-20
OTV
72 us
VM-VM
ESX 5.0
40 us
Światło
na 10 km
55 us
ASA
Clustering
290 us
Odczyt 1MB
SSD
3,5 ms100 us
IPSec na
ASR1k

8. Piramida opóźnienia
Aplikacje
55-80%
System-System
15-30%
Który obszar najłatwiej
zoptymalizować?
Sieć
5-15%

9. Walka o opóźnienie
https://www.igvita.com/2012/07/19/latency-the-new-web-performance-bottleneck/
$400M za 5 ms opóźnienia

10. 10
1 G 10 G 40 G
Przepustowość interfejsów

11. 11
1 GE 10 GE 40 GE 100 GE
64 byte 0.512 us 0.051us 0.013us 0.005us
128 bytes 1.024 us 0.102us 0.026us 0.010us
256 bytes 2.048 us 0.205us 0.051us 0.021us
512 bytes 4.096 us 0.410us 0.102us 0.041us
Redukcja serializacji

12. Design Consideration #3 – Switching mode
0,00
0,50
1,00
1,50
2,00
2,50
64 128 256 512 768 1024 1280 1518 4096 9216
Opóźnienie[us]
0
0,5
1
1,5
2
2,5
64 128 256 512 768 1024 1280 1518 4096 9216
Opóźnienie[us]
Cut-through Store and Forward
Deterministyczne opóźnienie
Dane
marketingowe
Dane
marketingowe
12
Sposób przełączania

13. Design Consideration #3 – Switching mode
13
Ethernet vs. MPLS
Opóźnienie ramki Eth 100B = Opóźnieniu pakietu MPLS 100B + 10%
Opóźnienie ramki Eth 110B = Opóźnieniu pakietu MPLS 100B

14. 100%
0%
Odchylenia
Spiętrzenia
24 godz.
Po co kolejkowanie/QoS?
http://media.denog.de/meetings/denog1/013-Telkamp-How_Full_is_Full.pdf
20ms+
40us
40us

15. Opóźnienie kolejkowania
http://media.denog.de/meetings/denog1/013-Telkamp-How_Full_is_Full.pdf

16. Wpływ QoS na opóźnienia i jitter

17. Typical SLA Requirements
Typ Ruchu
Maksymalna Strata
Pakietów
Maksymalne
Opóźnienie
Jednokierunkowe
Maksymalny Jitter
VoIP 1 % 120 ms 30 ms
Konferencje Video 1 % 200 ms 50 ms
Streaming Video
(jeden kierunek)
2 % 5 s N/A
(Wystarczy duży bufor)
17
Wymagania aplikacji

18. Wymagania aplikacji
Aplikacje Wpływ
Opóźnienia
Wpływ
Jitter
Wpływ
Strat
Wymagania
na pasmo
Kontrola sieci Średni Niski Wysoki Niskie
DLSW Średni Średni Wysoki Niskie
Citrix Średni Niski Średni Rożne
Oracle Średni Niski Średni Rożne
FTP Niski Niski Niski Rożne
HTTP Niski Niski Niski Rożne
SSH/SFTP/Telnet Niski Niski Niski Niskie
VDI Średni Niski Średni Rożne
18

19. Oracle
0–64
Bytes
1024–1518
Bytes
512–1023
Bytes
253–511
Bytes
128–252
Bytes 65–127
Bytes
1024–1518
Bytes
512–1023
Bytes
253–511
Bytes
128–252 Bytes
65–127 Bytes
0–64 Bytes
SAP R/3
19
Różnice między aplikacjami

20. Wpływ opóźnienia na strony WWW
20
http://blog.iweb.com/en/2014/02/understanding-analyzing-reducing-latency/13176.html
According to Akamai, 47 percent of consumers expect a
website to load in two seconds or less, ..., suggesting that
2 seconds is the benchmark.
In a 2012 analysis of Google Analytics data, Google
found that the web’s median page load speed is 2.7
seconds (4.8 seconds for mobile).

21. Przepustowość czy opóźnienia?
21
https://www.igvita.com/2012/07/19/latency-the-new-web-performance-bottleneck/
2 sekundy ładowania się strony (Page Load Time) odpowiada 100 ms RTT.

22. Przepustowość czy opóźnienia?
22
http://hub.dyn.com/h/i/40134695-what-s-worse-for-your-website-high-latency-or-low-bandwidth

23. Jak poprawić sytuację?
23
• Tuning TCP:
http://googlecode.blogspot.nl/2012/01/lets-make-tcp-faster.html
• Zwiększenie okna TCP:
http://www.networkworld.com/article/2230157/cisco-
subnet/latency-in-the-data-center-matters.html
Przykład 1:
Intf. Bandwidth = 10Gbps
TCP Windows Size = 64K (65,536)
MTU = 1500
Delay = 100 ms RTT
TCP Download = 5,25 Mbps
Przykład 2:
Intf. Bandwidth = 10Gbps
TCP Windows Size = 262K
MTU = 1500
Delay = 100 ms RTT
TCP Download = 21 Mbps

24. Nie trzeba walczyć o każdą mikrosekundę, czy milisekundę.
Rekomendacje:
• Dla sieci LAN/WAN opóźnienie < 150 ms one way.
• Usługa WWW opóźnienie < 100 ms RTT.
• W Data Center opóźnienie < 10 ms one way.
• Poznaj aplikacje działające w Twojej sieci!
Podsumowanie