The bandwidth consuming “Journey through time” mapping application, running
on top of the the IaaS powered Federal Spatial Geodata Infrastructure
(FSDI), has been successfully launched on January 17th 2013 in the scope of
swisstopo’s 175th anniversary. It is allowing a journey through time between
1938 and today and can be used to answer questions like: What did Bern look
like in 1950, or how far did the Aletsch glacier reach 20 years ago? This brandnew
application generated an outgoing internet traffic of more than 1.3TB,
served 40 million map tiles to 30’000 visitors in half a day and was perfectly
running even during the emission of the ”Tagesschau” from January 18th
covering this topic. The talk explains how the cloud service Load Impact has
been used to optimally prepare the application for the expected big rush
during the official go-live.
Load Testing in der Cloud − am Beispiel der «swisstopo Zeitreise»
1.
2. 2
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Agenda
• Das Bundesamt für Landestopografie swisstopo
• Die «swisstopo Zeitreise» zum Start der 175-Jahr-
Jubiläums-Feierlichkeiten von swisstopo
• Load Testing im Vorfeld des Go-Live der «swisstopo
Zeitreise» vom 17.01.2013
• Fazit
3. 3
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
4. 4
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
5. 5
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
6. 6
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
7. 7
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
8. 8
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
9. 9
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
10. 10
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
11. 11
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
12. 12
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
13. 13
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
14. 14
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Motivation für die Durchführung von Load-Tests im
Vorfeld des Go-Live der «swisstopo Zeitreise»
• Erfolgreichen Go-Live der «swisstopo Zeitreise»
sicherstellen − kein Ausfall und stets gute Performance
auch während Zugriffspeak
• Komplexes Gesamtsystem besser verstehen
• System optimal dimensionieren (auch betr. Kosten)
• Cloud Computing macht es möglich, auch sehr grosse
Load-Tests kostengünstig zu realisieren
15. 15
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Dimensionierung der Load-Tests
Kennzahlen Go-Live «geo.admin.ch» vom 19. August 2010
1 Varnish-Proxy m1.xlarge
400 Mbit/s Internet-Bandbreite während Lastspitze
1300 Map Tiles/s während Lastspitze
Dimensionierung der Infrastruktur für Go-Live «swisstopo
Zeitreise» vom 17. Januar 2013
4 Varnish-Proxies m1.xlarge
1.6 Gbit/s Internet-Bandbreite
5200 Map Tiles/s
16. Load-Test-Setup im Vorfeld des Go-Live
− ein Sytem lauter «black boxes»…
service for
load testing
(SaaS)
Amazon Elastic
Load Balancing
service
Amazon
Elastic
Compute
instances
m1.xlarge
19. 19
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Test vom 11.01.2013, Varnish-Cluster 4*m1.xlarge,
«cold» ELB
600 Mbit/s
2’500 req/s
User load time steigt linear
20. Test vom 16.01.2013, Varnish-Cluster 4*m1.xlarge
«pre-warmed» ELB
1.7 Gbit/s 7’000 req/s
User load time stabil
21. 21
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Test vom 06.05.2013, Varnish-Cluster 4*m1.xlarge
«pre-warmed» ELB
User load time steigt linear
400 Mbit/s 2’000 req/s
22. 22
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
23. 23
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Unberechenbare Performance-Variationen?
…insb. bei «gesharten» Ressourcen wie Disk I/O oder Netzwerk
Quelle: http://hekafs.org/index.php/2013/05/performance-variation-in-the-cloud/
IOPS DistributionSYNC 4KB writes
Samples >= IOPStotal seconds
IOPS
IOPS
EC2 h1.xlarge
Host Virtual VR1
EC2 h1.xlarge
Rackspace 30GB
24. 24
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Test vom 06.05.2013, Varnish-Cluster 4*m1.xlarge
«pre-warmed» ELB
25. 25
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Architektur von «geo.admin.ch» und der
«swisstopo Zeitreise» (vereinfacht)
Infrastruktur
horizontal skalierbar
in < 1h
Kennzahlen des
Go-Live «Zeitreise»
(während Tagesschau vom 17. Januar 2013)
30‘000 Besucher in 1/2 Tag
1 Gbit/s Bandbreite
2’600 ausgelieferte Map
Tiles pro Sekunde
Verfügbarkeit > 99.95% 7*24
(seit Go-Live geo.admin.ch im Autust 2010)
26. 26
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Fazit
• viele «black boxes» machen die Interpretation der
Messergebnisse von Load Tests in der Cloud zu einem
anspruchsvollen Unterfangen
• «eine Messung ist keine Messung» (alte Vermesserweisheit)
• Plausibilitätsprüfungen mit weiteren Metriken, z.B. iotop,
collectd, etc. sind notwendig
• Gesamtsystem in überblickbare Einzelteile zerlegen ist
unumgänglich
• der Support von LoadImpact und Amazon war stets
vorbildlich
• offene Clouds (mehr «white boxes») würden das Load
Testing in der Cloud erheblich vereinfachen
27.
28. 28
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
ANHANG
29. 29
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
«geo.admin.ch: das Geoportal des Bundes»
in Zahlen
30. 30
Hanspeter Christ, KOGIS
Bundesamt für Landestopografie swisstopo
Load Testing in der Cloud – am Beispiel der «swisstopo Zeitreise»
Open Cloud Day, 11. Juni 2013, ZHAW, Winterthur
Hanspeter Christ
Hanspeter Christ
Bundesamt für Landestopografie swisstopo
Seftigenstrasse 264
Postfach
3084 Wabern
Tel: +41 31 963 23 83
E-Mail: hanspeter.christ@swisstopo.ch
Web: www.swisstopo.admin.ch
www.geo.admin.ch
Twitter: http://twitter.com/#!/hpchrist
Hanspeter Christ studierte an der ETH Zürich und trat im Oktober 2000 als dipl.
Kulturingenieur ETH ins Bundesamt für Landestopografie swisstopo ein. Während vier
Jahren arbeitete er im Bereich Forschung und Entwicklung des Fachbereichs Geodäsie und
war dort als Softwareentwickler für das Design und die Implementierung von java- und
webbasierten Spezialanwendungen für die Schweizerische Landesvermessung und die
amtliche Vermessung verantwortlich. 2004 übernahm er den technischen Lead für den Aufbau
und die Weiterentwicklung der gesamten auf Linux und Open Source Software gehosteten
Webinfrastruktur von swisstopo und der Bundes Geodaten-Infrastruktur (BGDI). Seit 2008
befasst er sich intensiv mit verteilten Cloud Computing Architekturen und IT Service Delivery
Management und verantwortete als IT-Projektleiter die Migration der gesamten Bundes
Geodaten-Infrastruktur in die Amazon Public Cloud.