OpenStack User Story

1. FRANKENSTACK
UNSER WEG ZUM

2. INTRO
SASCHA VOGT
▸ Software Entwickler @ SEEBURGER AG
▸ Part-Time Operator Entwicklungsinfrastruktur
▸ Twitter @maybebuggy
▸ E-Mail: sascha@vogt-neuenbuerg.de

3. FRANKENSTACK
UNSER WEG ZUM

4. INTRO
UMFRAGE
▸ OpenStack Install-Guide angeschaut?
▸ Eigenes OpenStack Deployment?
0
10
20
30
40
YES NO
?

5. Do’s
Dont’s

6. INTRO
UNSER OPENSTACK
▸ Wo haben wir angefangen?
▸ Wo sind wir jetzt?
▸ Wo wollen wir hin?
▸ Q&A gerne am Ende und bei Pizza & Bier

7. IT’S LIKE A SAUNA IN HERE
Cosmo Kramer - Seinfeld
DER ANFANG
WARUM ÜBERHAUPT OPENSTACK

8. DER ANFANG
DIE BÜRO SERVERFARM
▸ 1 Büro
▸ 4 Personen
▸ 8 Monitore
▸ 12 Rechner
▸ 34 Grad trotz Klimaanlage

9. DER ANFANG
PROTOTYP
▸ 3 Desktops
▸ Openstack Havana
▸ ein Netzwerkinterface ;)

10. DER ANFANG
INTERNE IT
▸ IPs
▸ Routen
▸ DNS
▸ etc.

11. DER ANFANG
GRÜNDE FÜR OPENSTACK
▸ All things cloud
▸ Erfahrungen sammeln
▸ IT sucht ebenfalls “günstige” Alternative zu VMWare

12. PLANUNG
HARDWARE
▸ I/O-lastige Anwendung
▸ SAN “out of budget”
▸ Ceph ➔ 10 GbE

13. PLANUNG
HARDWARE
▸ Compute / Storage geshared
▸ 3,5” HDDs
▸ Dell 730xd
▸ 2x 10 GbE NIC
▸ angedacht: 5 Nodes + Controller

14. PLANUNG
HARDWARE
▸ 4 Compute / Storage Nodes
▸ 5 HDDs 7200rpm, 4 TB, pro Node für Storage ==> 7 slots frei
▸ keine SSDs fürs Ceph journal ==> Geld in Reserve falls nötig
▸ 2 HDDs 15k rpm, 300 GB als Boot Platten im Raid-1
▸ 256 GB RAM
▸ 2x 14 Core Xeon CPU E5-2695 v3 @ 2.30GHz
▸ 1 Controller
▸ 1 TB Disk für apt / yum repo Mirrors
▸ 64 GB RAM
▸ 1x 8 Core Xeon CPU E5-2630 v3 @ 2.40GHz

15. PLANUNG
HARDWARE
▸ Dell Force10 48 port 10 GbE Switch
▸ Geld in Reserve für 1 zusätzlichen Knoten wie oben
▸ Externe Hilfe (B1 systems) (3x3 Tage)
▸ Fallback ➔ Hardware für VMWare

16. SETUP
VORBEREITUNGEN
▸ Hardware im Keller
▸ BIOS / EFI Updates
▸ Firmware Patches
▸ SELFTESTS !
▸ defekter RAID-Controller getauscht

17. SETUP
JUNO
▸ Netzwerk: Openvswitch + GRE
▸ Storage zunächst LVM + lokale 15k Disks
▸ Es läuft - “Everbody” is happy

18. SETUP

19. SETUP

20. SETUP

21. SETUP
CEPH
▸ ceph-deploy
▸ Hauptsächlich “defaults”
▸ Kämpfe mit
▸ qcow vs sparse
▸ Snapshots
▸ Boot from ISO

22. SETUP
KILO
▸ Unser erste Update *zitter*
▸ Holzhammer Methode
▸ 5x apt-get upgrade && reboot

23. SETUP
FAIL 1: CEPH
▸ Ceph maintenance mode
▸ “ceph osd set noout”

24. SETUP
KILO
▸ Konfigurationsänderungen nachziehen
▸ Fehler im Log fixen
▸ Updatedauer ca. 5h

25. STORAGE
CEPH - MR. SLOW HAND
▸ hohe Latenz
▸ Automatisierte Tests
▸ 1x, 2x, 4x, 8x
▸ Latenz bleibt gleich, IOPS skalieren

26. STORAGE
TUNING
▸ Journal disks
▸ 15k RPM Disks + NVRAM Cache
▸ Replication size
▸ min_size=1, size=1

27. STORAGE
NVME
▸ freie PCIe slots
▸ keine spezielle Backplane
▸ schnell, schneller, NVMe
▸ Intel DC P3700, 400 GB

28. STORAGE
SSD CACHE
▸ 4x 130 GB auf NVMe
▸ I/O Performance vergleichbar
▸ solange Cache nicht voll
▸ “großer” Cache mit mehr OSDs?

29. STORAGE
FAIL 2: TARGET_MAX_BYTES - DIE ERSTE
▸ Ceph defaults mal wieder
▸ Cache läuft voll
▸ trotz cache_target_full_ratio
▸ Recovery dank LVM

30. STORAGE
FAIL 3: TARGET_MAX_BYTES - DIE ZWEITE
▸ Cache läuft wieder voll
▸ size=2 ein kalkulieren

31. UPGRADE
LIBERTY
▸ Liberty Upgrade mit B1
▸ “HA-Reihenfolge”
▸ ebenfalls ca. 1 Tag

32. DIE ZUKUNFT
NEUE HARDWARE
▸ NVMe Cache pool (1,2 TB)
▸ Compute / Storage trennen

33. DIE ZUKUNFT
NEUE HARDWARE
▸ Bereits bestellt, 2x:
▸ 2x 18 Core XEON
▸ 512 GB RAM
▸ 300 GB Boot-HDDs
▸ 8x NVMe SSDs für reinen Cache Pool

34. DIE ZUKUNFT
AUSFALLSICHERHEIT / MAINTAINABILITY
▸ 2ter Controller
▸ evtl. 2ter Switch
▸ Dienste in VMs

35. ZUSAMMENFASSUNG
WAS HABEN WIR GELERNT?
▸ Ausprobieren
▸ keine Angst vorm Umbau
▸ Dont’s auch mal ignorieren ;)

36. ZUSAMMENFASSUNG
ANDERS MACHEN?
▸ Controller Dienste in VMs
▸ Ceph Journal SSDs direkt einkalkulieren
▸ Evtl. Storage auf SSD only?
▸ Geringere Ansprüche an uns
▸ wir sind keine Vollzeit-Ops
▸ Flache Netzwerk Konfiguration

37. ZUSAMMENFASSUNG
CEPH
▸ expect the unexpected
▸ mehr verstehen
▸ weniger trial ’n error
▸ weiter optimieren

38. ZUSAMMENFASSUNG
ALLGEMEIN
▸ Aktuell 120 VMs, 400 vCPUs, 800 GB RAM
▸ vgl. Amazon AWS ca. 16k USD / Monat
▸ Ceph im Schnitt > 2000 IOPS
▸ Bisher alles sehr positiv!
▸ Ausbauen und lernen
▸ jetzt kommt der Betrieb

39. ZUSAMMENFASSUNG
Q & A
▸ Fragen?

40. ZUSAMMENFASSUNG
VIELEN DANK
▸ Wo bleibt das Bier und die Pizza?!?

41. LICENSES
▸ https://creativecommons.org/licenses/by/2.0/
▸ David Goehring - It Looks Insoluble https://www.flickr.com/photos/carbonnyc/