SlideShare ist ein Scribd-Unternehmen logo
FRANKENSTACK
UNSER WEG ZUM
INTRO
SASCHA VOGT
▸ Software Entwickler @ SEEBURGER AG
▸ Part-Time Operator Entwicklungsinfrastruktur
▸ Twitter @maybebuggy
▸ E-Mail: sascha@vogt-neuenbuerg.de
FRANKENSTACK
UNSER WEG ZUM
INTRO
UMFRAGE
▸ OpenStack Install-Guide angeschaut?
▸ Eigenes OpenStack Deployment?
0
10
20
30
40
YES NO
?
Do’s
Dont’s
INTRO
UNSER OPENSTACK
▸ Wo haben wir angefangen?
▸ Wo sind wir jetzt?
▸ Wo wollen wir hin?
▸ Q&A gerne am Ende und bei Pizza & Bier
IT’S LIKE A SAUNA IN HERE
Cosmo Kramer - Seinfeld
DER ANFANG
WARUM ÜBERHAUPT OPENSTACK
DER ANFANG
DIE BÜRO SERVERFARM
▸ 1 Büro
▸ 4 Personen
▸ 8 Monitore
▸ 12 Rechner
▸ 34 Grad trotz Klimaanlage
DER ANFANG
PROTOTYP
▸ 3 Desktops
▸ Openstack Havana
▸ ein Netzwerkinterface ;)
DER ANFANG
INTERNE IT
▸ IPs
▸ Routen
▸ DNS
▸ etc.
DER ANFANG
GRÜNDE FÜR OPENSTACK
▸ All things cloud
▸ Erfahrungen sammeln
▸ IT sucht ebenfalls “günstige” Alternative zu VMWare
PLANUNG
HARDWARE
▸ I/O-lastige Anwendung
▸ SAN “out of budget”
▸ Ceph ➔ 10 GbE
PLANUNG
HARDWARE
▸ Compute / Storage geshared
▸ 3,5” HDDs
▸ Dell 730xd
▸ 2x 10 GbE NIC
▸ angedacht: 5 Nodes + Controller
PLANUNG
HARDWARE
▸ 4 Compute / Storage Nodes
▸ 5 HDDs 7200rpm, 4 TB, pro Node für Storage ==> 7 slots frei
▸ keine SSDs fürs Ceph journal ==> Geld in Reserve falls nötig
▸ 2 HDDs 15k rpm, 300 GB als Boot Platten im Raid-1
▸ 256 GB RAM
▸ 2x 14 Core Xeon CPU E5-2695 v3 @ 2.30GHz
▸ 1 Controller
▸ 1 TB Disk für apt / yum repo Mirrors
▸ 64 GB RAM
▸ 1x 8 Core Xeon CPU E5-2630 v3 @ 2.40GHz
PLANUNG
HARDWARE
▸ Dell Force10 48 port 10 GbE Switch
▸ Geld in Reserve für 1 zusätzlichen Knoten wie oben
▸ Externe Hilfe (B1 systems) (3x3 Tage)
▸ Fallback ➔ Hardware für VMWare
SETUP
VORBEREITUNGEN
▸ Hardware im Keller
▸ BIOS / EFI Updates
▸ Firmware Patches
▸ SELFTESTS !
▸ defekter RAID-Controller getauscht
SETUP
JUNO
▸ Netzwerk: Openvswitch + GRE
▸ Storage zunächst LVM + lokale 15k Disks
▸ Es läuft - “Everbody” is happy
SETUP
SETUP
SETUP
SETUP
CEPH
▸ ceph-deploy
▸ Hauptsächlich “defaults”
▸ Kämpfe mit
▸ qcow vs sparse
▸ Snapshots
▸ Boot from ISO
SETUP
KILO
▸ Unser erste Update *zitter*
▸ Holzhammer Methode
▸ 5x apt-get upgrade && reboot
SETUP
FAIL 1: CEPH
▸ Ceph maintenance mode
▸ “ceph osd set noout”
SETUP
KILO
▸ Konfigurationsänderungen nachziehen
▸ Fehler im Log fixen
▸ Updatedauer ca. 5h
STORAGE
CEPH - MR. SLOW HAND
▸ hohe Latenz
▸ Automatisierte Tests
▸ 1x, 2x, 4x, 8x
▸ Latenz bleibt gleich, IOPS skalieren
STORAGE
TUNING
▸ Journal disks
▸ 15k RPM Disks + NVRAM Cache
▸ Replication size
▸ min_size=1, size=1
STORAGE
NVME
▸ freie PCIe slots
▸ keine spezielle Backplane
▸ schnell, schneller, NVMe
▸ Intel DC P3700, 400 GB
STORAGE
SSD CACHE
▸ 4x 130 GB auf NVMe
▸ I/O Performance vergleichbar
▸ solange Cache nicht voll
▸ “großer” Cache mit mehr OSDs?
STORAGE
FAIL 2: TARGET_MAX_BYTES - DIE ERSTE
▸ Ceph defaults mal wieder
▸ Cache läuft voll
▸ trotz cache_target_full_ratio
▸ Recovery dank LVM
STORAGE
FAIL 3: TARGET_MAX_BYTES - DIE ZWEITE
▸ Cache läuft wieder voll
▸ size=2 ein kalkulieren
UPGRADE
LIBERTY
▸ Liberty Upgrade mit B1
▸ “HA-Reihenfolge”
▸ ebenfalls ca. 1 Tag
DIE ZUKUNFT
NEUE HARDWARE
▸ NVMe Cache pool (1,2 TB)
▸ Compute / Storage trennen
DIE ZUKUNFT
NEUE HARDWARE
▸ Bereits bestellt, 2x:
▸ 2x 18 Core XEON
▸ 512 GB RAM
▸ 300 GB Boot-HDDs
▸ 8x NVMe SSDs für reinen Cache Pool
DIE ZUKUNFT
AUSFALLSICHERHEIT / MAINTAINABILITY
▸ 2ter Controller
▸ evtl. 2ter Switch
▸ Dienste in VMs
ZUSAMMENFASSUNG
WAS HABEN WIR GELERNT?
▸ Ausprobieren
▸ keine Angst vorm Umbau
▸ Dont’s auch mal ignorieren ;)
ZUSAMMENFASSUNG
ANDERS MACHEN?
▸ Controller Dienste in VMs
▸ Ceph Journal SSDs direkt einkalkulieren
▸ Evtl. Storage auf SSD only?
▸ Geringere Ansprüche an uns
▸ wir sind keine Vollzeit-Ops
▸ Flache Netzwerk Konfiguration
ZUSAMMENFASSUNG
CEPH
▸ expect the unexpected
▸ mehr verstehen
▸ weniger trial ’n error
▸ weiter optimieren
ZUSAMMENFASSUNG
ALLGEMEIN
▸ Aktuell 120 VMs, 400 vCPUs, 800 GB RAM
▸ vgl. Amazon AWS ca. 16k USD / Monat
▸ Ceph im Schnitt > 2000 IOPS
▸ Bisher alles sehr positiv!
▸ Ausbauen und lernen
▸ jetzt kommt der Betrieb
ZUSAMMENFASSUNG
Q & A
▸ Fragen?
ZUSAMMENFASSUNG
VIELEN DANK
▸ Wo bleibt das Bier und die Pizza?!?
LICENSES
▸ https://creativecommons.org/licenses/by/2.0/
▸ David Goehring - It Looks Insoluble https://www.flickr.com/photos/carbonnyc/

Weitere ähnliche Inhalte

Was ist angesagt?

Automatisierte infrastruktur mit ansible
Automatisierte infrastruktur mit ansibleAutomatisierte infrastruktur mit ansible
Automatisierte infrastruktur mit ansible
Stephan Hochhaus
 
Einführung in Laravel und GulpJS
Einführung in Laravel und GulpJSEinführung in Laravel und GulpJS
Einführung in Laravel und GulpJS
thespazecookie
 
Synology Workshop07 06
Synology Workshop07 06Synology Workshop07 06
Synology Workshop07 06
Jens-Christian Fischer
 
Ceph Introduction @GPN15
Ceph Introduction @GPN15Ceph Introduction @GPN15
Ceph Introduction @GPN15
m1no
 
Readme g
Readme gReadme g
Readme g
anonidj
 
Offline Arbeiten
Offline ArbeitenOffline Arbeiten
Offline Arbeiten
Jens-Christian Fischer
 
Varnish PHP Unconference Hamburg 2012
Varnish PHP Unconference Hamburg 2012Varnish PHP Unconference Hamburg 2012
Varnish PHP Unconference Hamburg 2012
Florian Holzhauer
 
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFSDOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
JomaSoft
 
Skalieren von WordPress & WooCommerce
Skalieren von WordPress & WooCommerceSkalieren von WordPress & WooCommerce
Skalieren von WordPress & WooCommerce
Robert Windisch
 
check_sap_health
check_sap_healthcheck_sap_health
check_sap_health
Gerhard Lausser
 
coshsh
coshshcoshsh
"git.net" gibt's nicht?
"git.net" gibt's nicht?"git.net" gibt's nicht?
"git.net" gibt's nicht?
inovex GmbH
 
OSMC 2008 | Monitoring Microsoft SQL Server by Michael Streb
OSMC 2008 | Monitoring Microsoft SQL Server by Michael StrebOSMC 2008 | Monitoring Microsoft SQL Server by Michael Streb
OSMC 2008 | Monitoring Microsoft SQL Server by Michael Streb
NETWAYS
 
mongoDB im Einsatz - Grundlagen
mongoDB im Einsatz - GrundlagenmongoDB im Einsatz - Grundlagen
mongoDB im Einsatz - Grundlagen
inovex GmbH
 
Apex NRW Meetup 10/2019 - Testing mit utPLSQL v3
Apex NRW Meetup 10/2019 - Testing mit utPLSQL v3Apex NRW Meetup 10/2019 - Testing mit utPLSQL v3
Apex NRW Meetup 10/2019 - Testing mit utPLSQL v3
Samuel Nitsche
 

Was ist angesagt? (17)

Java Servlets und AJAX
Java Servlets und AJAX Java Servlets und AJAX
Java Servlets und AJAX
 
Automatisierte infrastruktur mit ansible
Automatisierte infrastruktur mit ansibleAutomatisierte infrastruktur mit ansible
Automatisierte infrastruktur mit ansible
 
Nginx
NginxNginx
Nginx
 
Einführung in Laravel und GulpJS
Einführung in Laravel und GulpJSEinführung in Laravel und GulpJS
Einführung in Laravel und GulpJS
 
Synology Workshop07 06
Synology Workshop07 06Synology Workshop07 06
Synology Workshop07 06
 
Ceph Introduction @GPN15
Ceph Introduction @GPN15Ceph Introduction @GPN15
Ceph Introduction @GPN15
 
Readme g
Readme gReadme g
Readme g
 
Offline Arbeiten
Offline ArbeitenOffline Arbeiten
Offline Arbeiten
 
Varnish PHP Unconference Hamburg 2012
Varnish PHP Unconference Hamburg 2012Varnish PHP Unconference Hamburg 2012
Varnish PHP Unconference Hamburg 2012
 
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFSDOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
 
Skalieren von WordPress & WooCommerce
Skalieren von WordPress & WooCommerceSkalieren von WordPress & WooCommerce
Skalieren von WordPress & WooCommerce
 
check_sap_health
check_sap_healthcheck_sap_health
check_sap_health
 
coshsh
coshshcoshsh
coshsh
 
"git.net" gibt's nicht?
"git.net" gibt's nicht?"git.net" gibt's nicht?
"git.net" gibt's nicht?
 
OSMC 2008 | Monitoring Microsoft SQL Server by Michael Streb
OSMC 2008 | Monitoring Microsoft SQL Server by Michael StrebOSMC 2008 | Monitoring Microsoft SQL Server by Michael Streb
OSMC 2008 | Monitoring Microsoft SQL Server by Michael Streb
 
mongoDB im Einsatz - Grundlagen
mongoDB im Einsatz - GrundlagenmongoDB im Einsatz - Grundlagen
mongoDB im Einsatz - Grundlagen
 
Apex NRW Meetup 10/2019 - Testing mit utPLSQL v3
Apex NRW Meetup 10/2019 - Testing mit utPLSQL v3Apex NRW Meetup 10/2019 - Testing mit utPLSQL v3
Apex NRW Meetup 10/2019 - Testing mit utPLSQL v3
 

Ähnlich wie Unser Weg zum Frankenstack

Einführung in Elasticsearch - August 2014
Einführung in Elasticsearch - August 2014Einführung in Elasticsearch - August 2014
Einführung in Elasticsearch - August 2014
inovex GmbH
 
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
NETWAYS
 
Wordpress Security
Wordpress SecurityWordpress Security
Wordpress Security
Daniel Potthast
 
Integrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXIntegrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAX
MAX2014DACH
 
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratorenIcsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
ICS User Group
 
FROSCON 2011: MySQL Performance Tuning
FROSCON 2011: MySQL Performance TuningFROSCON 2011: MySQL Performance Tuning
FROSCON 2011: MySQL Performance Tuning
FromDual GmbH
 
Nagios Conference 2006 | NagiosOnCD – eine linux-basierte Live-CD mit Nagios ...
Nagios Conference 2006 | NagiosOnCD – eine linux-basierte Live-CD mit Nagios ...Nagios Conference 2006 | NagiosOnCD – eine linux-basierte Live-CD mit Nagios ...
Nagios Conference 2006 | NagiosOnCD – eine linux-basierte Live-CD mit Nagios ...
NETWAYS
 
SLAC 2007 Secure Disaster Recovery
SLAC 2007 Secure Disaster RecoverySLAC 2007 Secure Disaster Recovery
SLAC 2007 Secure Disaster Recovery
Schlomo Schapiro
 

Ähnlich wie Unser Weg zum Frankenstack (8)

Einführung in Elasticsearch - August 2014
Einführung in Elasticsearch - August 2014Einführung in Elasticsearch - August 2014
Einführung in Elasticsearch - August 2014
 
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
 
Wordpress Security
Wordpress SecurityWordpress Security
Wordpress Security
 
Integrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXIntegrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAX
 
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratorenIcsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
 
FROSCON 2011: MySQL Performance Tuning
FROSCON 2011: MySQL Performance TuningFROSCON 2011: MySQL Performance Tuning
FROSCON 2011: MySQL Performance Tuning
 
Nagios Conference 2006 | NagiosOnCD – eine linux-basierte Live-CD mit Nagios ...
Nagios Conference 2006 | NagiosOnCD – eine linux-basierte Live-CD mit Nagios ...Nagios Conference 2006 | NagiosOnCD – eine linux-basierte Live-CD mit Nagios ...
Nagios Conference 2006 | NagiosOnCD – eine linux-basierte Live-CD mit Nagios ...
 
SLAC 2007 Secure Disaster Recovery
SLAC 2007 Secure Disaster RecoverySLAC 2007 Secure Disaster Recovery
SLAC 2007 Secure Disaster Recovery
 

Unser Weg zum Frankenstack