Der Vortrag von Sascha Vogt beschreibt den Weg zur Implementierung von OpenStack bei Seeburger AG, beginnend mit der Motivation und den anfänglichen Herausforderungen. Es werden verschiedene Phasen des Setups und der Hardwareplanung sowie Erfahrungen aus Updates und Performance-Tuning diskutiert. Insgesamt werden die positiven Ergebnisse und der Wunsch nach weiterer Optimierung und Skalierung betont.

1. FRANKENSTACK
UNSER WEG ZUM

2. INTRO
SASCHA VOGT
▸ Software Entwickler @ SEEBURGER AG
▸ Part-Time Operator Entwicklungsinfrastruktur
▸ Twitter @maybebuggy
▸ E-Mail: sascha@vogt-neuenbuerg.de

3. FRANKENSTACK
UNSER WEG ZUM

4. INTRO
UMFRAGE
▸ OpenStack Install-Guide angeschaut?
▸ Eigenes OpenStack Deployment?
0
10
20
30
40
YES NO
?

5. Do’s
Dont’s

6. INTRO
UNSER OPENSTACK
▸ Wo haben wir angefangen?
▸ Wo sind wir jetzt?
▸ Wo wollen wir hin?
▸ Q&A gerne am Ende und bei Pizza & Bier

7. IT’S LIKE A SAUNA IN HERE
Cosmo Kramer - Seinfeld
DER ANFANG
WARUM ÜBERHAUPT OPENSTACK

8. DER ANFANG
DIE BÜRO SERVERFARM
▸ 1 Büro
▸ 4 Personen
▸ 8 Monitore
▸ 12 Rechner
▸ 34 Grad trotz Klimaanlage

9. DER ANFANG
PROTOTYP
▸ 3 Desktops
▸ Openstack Havana
▸ ein Netzwerkinterface ;)

10. DER ANFANG
INTERNE IT
▸ IPs
▸ Routen
▸ DNS
▸ etc.

11. DER ANFANG
GRÜNDE FÜR OPENSTACK
▸ All things cloud
▸ Erfahrungen sammeln
▸ IT sucht ebenfalls “günstige” Alternative zu VMWare

12. PLANUNG
HARDWARE
▸ I/O-lastige Anwendung
▸ SAN “out of budget”
▸ Ceph ➔ 10 GbE

13. PLANUNG
HARDWARE
▸ Compute / Storage geshared
▸ 3,5” HDDs
▸ Dell 730xd
▸ 2x 10 GbE NIC
▸ angedacht: 5 Nodes + Controller

14. PLANUNG
HARDWARE
▸ 4 Compute / Storage Nodes
▸ 5 HDDs 7200rpm, 4 TB, pro Node für Storage ==> 7 slots frei
▸ keine SSDs fürs Ceph journal ==> Geld in Reserve falls nötig
▸ 2 HDDs 15k rpm, 300 GB als Boot Platten im Raid-1
▸ 256 GB RAM
▸ 2x 14 Core Xeon CPU E5-2695 v3 @ 2.30GHz
▸ 1 Controller
▸ 1 TB Disk für apt / yum repo Mirrors
▸ 64 GB RAM
▸ 1x 8 Core Xeon CPU E5-2630 v3 @ 2.40GHz

15. PLANUNG
HARDWARE
▸ Dell Force10 48 port 10 GbE Switch
▸ Geld in Reserve für 1 zusätzlichen Knoten wie oben
▸ Externe Hilfe (B1 systems) (3x3 Tage)
▸ Fallback ➔ Hardware für VMWare

16. SETUP
VORBEREITUNGEN
▸ Hardware im Keller
▸ BIOS / EFI Updates
▸ Firmware Patches
▸ SELFTESTS !
▸ defekter RAID-Controller getauscht

17. SETUP
JUNO
▸ Netzwerk: Openvswitch + GRE
▸ Storage zunächst LVM + lokale 15k Disks
▸ Es läuft - “Everbody” is happy

18. SETUP

19. SETUP

20. SETUP

21. SETUP
CEPH
▸ ceph-deploy
▸ Hauptsächlich “defaults”
▸ Kämpfe mit
▸ qcow vs sparse
▸ Snapshots
▸ Boot from ISO

22. SETUP
KILO
▸ Unser erste Update *zitter*
▸ Holzhammer Methode
▸ 5x apt-get upgrade && reboot

23. SETUP
FAIL 1: CEPH
▸ Ceph maintenance mode
▸ “ceph osd set noout”

24. SETUP
KILO
▸ Konfigurationsänderungen nachziehen
▸ Fehler im Log fixen
▸ Updatedauer ca. 5h

25. STORAGE
CEPH - MR. SLOW HAND
▸ hohe Latenz
▸ Automatisierte Tests
▸ 1x, 2x, 4x, 8x
▸ Latenz bleibt gleich, IOPS skalieren

26. STORAGE
TUNING
▸ Journal disks
▸ 15k RPM Disks + NVRAM Cache
▸ Replication size
▸ min_size=1, size=1

27. STORAGE
NVME
▸ freie PCIe slots
▸ keine spezielle Backplane
▸ schnell, schneller, NVMe
▸ Intel DC P3700, 400 GB

28. STORAGE
SSD CACHE
▸ 4x 130 GB auf NVMe
▸ I/O Performance vergleichbar
▸ solange Cache nicht voll
▸ “großer” Cache mit mehr OSDs?

29. STORAGE
FAIL 2: TARGET_MAX_BYTES - DIE ERSTE
▸ Ceph defaults mal wieder
▸ Cache läuft voll
▸ trotz cache_target_full_ratio
▸ Recovery dank LVM

30. STORAGE
FAIL 3: TARGET_MAX_BYTES - DIE ZWEITE
▸ Cache läuft wieder voll
▸ size=2 ein kalkulieren

31. UPGRADE
LIBERTY
▸ Liberty Upgrade mit B1
▸ “HA-Reihenfolge”
▸ ebenfalls ca. 1 Tag

32. DIE ZUKUNFT
NEUE HARDWARE
▸ NVMe Cache pool (1,2 TB)
▸ Compute / Storage trennen

33. DIE ZUKUNFT
NEUE HARDWARE
▸ Bereits bestellt, 2x:
▸ 2x 18 Core XEON
▸ 512 GB RAM
▸ 300 GB Boot-HDDs
▸ 8x NVMe SSDs für reinen Cache Pool

34. DIE ZUKUNFT
AUSFALLSICHERHEIT / MAINTAINABILITY
▸ 2ter Controller
▸ evtl. 2ter Switch
▸ Dienste in VMs

35. ZUSAMMENFASSUNG
WAS HABEN WIR GELERNT?
▸ Ausprobieren
▸ keine Angst vorm Umbau
▸ Dont’s auch mal ignorieren ;)

36. ZUSAMMENFASSUNG
ANDERS MACHEN?
▸ Controller Dienste in VMs
▸ Ceph Journal SSDs direkt einkalkulieren
▸ Evtl. Storage auf SSD only?
▸ Geringere Ansprüche an uns
▸ wir sind keine Vollzeit-Ops
▸ Flache Netzwerk Konfiguration

37. ZUSAMMENFASSUNG
CEPH
▸ expect the unexpected
▸ mehr verstehen
▸ weniger trial ’n error
▸ weiter optimieren

38. ZUSAMMENFASSUNG
ALLGEMEIN
▸ Aktuell 120 VMs, 400 vCPUs, 800 GB RAM
▸ vgl. Amazon AWS ca. 16k USD / Monat
▸ Ceph im Schnitt > 2000 IOPS
▸ Bisher alles sehr positiv!
▸ Ausbauen und lernen
▸ jetzt kommt der Betrieb

39. ZUSAMMENFASSUNG
Q & A
▸ Fragen?

40. ZUSAMMENFASSUNG
VIELEN DANK
▸ Wo bleibt das Bier und die Pizza?!?

41. LICENSES
▸ https://creativecommons.org/licenses/by/2.0/
▸ David Goehring - It Looks Insoluble https://www.flickr.com/photos/carbonnyc/