SlideShare ist ein Scribd-Unternehmen logo
1 von 67
Downloaden Sie, um offline zu lesen
Private Cloud mit Ceph
und OpenStack
Daniel Schneller
daniel.schneller@centerdevice.de
@dschneller
Lukas Pustina
lukas.pustina@centerdevice.de
@drivebytesting
Aus dem täglichen Wahnsinn des Cloud Betriebs
Wer sind wir?
@dschneller
@drivebytesting
Was machen wir?
Wo kamen wir her?
Warum wollten wir
davon weg?
Wohin wollten wir?
Private Cloud
Hardwareabstraktion
Bare Metal Hardware
Virtual Environment
Application
Virtualization
Storage NetworkCompute
Bare Metal Hardware
Baseline Benchmarks
Erwartungen definieren
Storage
Disk I/O pro Node
Netzwerk
IEEE 802.3ad != IEEE 802.3ad
> cat /etc/network/interfaces
...
auto bond2
iface bond2 inet manual
bond-slaves p2p3 p2p4 # interfaces to bond
bond-mode 802.3ad # activate LACP
bond-miimon 100 # monitor link health
bond-xmit_hash_policy layer3+4 # use Layer 3+4 for link selection
pre-up ip link set dev bond2 mtu 9000 # set Jumbo Frames
auto vlan-ceph-clust
iface vlan-ceph-clust inet static
pre-up ip link add link bond2 name vlan-ceph-clust type vlan id 105
pre-up ip link set dev vlan-ceph-clust mtu 9000 # Jumbo Frames
post-down ip link delete vlan-ceph-clust
address ...
netmask ...
network ...
broadcast ...
...
[node01] > iperf -s -B node01.ceph-cluster
[node02] > iperf -c node01.ceph-cluster
[node03] > iperf -c node01.ceph-cluster
Storage
“Unified, distributed storage system designed for
excellent performance, reliability and scalability”
Hoch skalierbar
Commodity Hardware
Kein Single Point of Failure
Ceph Komponenten
OSD Daemons
Object Storage Device Daemons
Ceph Benchmark
Virtualisierung
OpenStack Komponenten
CenterDevice
Gesamtarchitektur
Bare Metal
Ceph
Node 1 Node 2 Node 3 Node 4
OSD 1
…
…
…
…
…
…
…
…
…
OSD 48
…
Node 5
Node 1 Node 2 Node 3 Node 4
CD-VM1
VMs
Bare Metal
Ceph
Node 6
CD-VM2
Node 7
CD-VM3
Node 8
CD-VM4
ES Mo
CD CD
ES Mo
CD CD
ES Mo
CD CD
ES Mo
CD CD
Node …
VM …
VM …
Gesamtarchitektur
OSD 1
…
…
…
…
…
…
…
…
…
OSD 48
…
Node 5
Node 3Node 1
Rados GW
Node 2
Rados GW Rados GW
Node 4
Rados GW
CD-VM1
VMs
Bare Metal
Ceph
Node 6
CD-VM2
Node 7
CD-VM3
Node 8
CD-VM4
ES Mo
CD CD
ES Mo
CD CD
ES Mo
CD CD
ES Mo
CD CD
Node …
VM …
VM …
Gesamtarchitektur
OSD 1
…
…
…
…
…
…
…
…
…
OSD 48
…
Node 5
Node 1
Rados GW
Node 2
Rados GW
Node 3
Rados GW
Node 4
Rados GW
CD-VM1
HAProxyVMs
Bare Metal
Ceph
Node 6
CD-VM2
Node 7
CD-VM3
Node 8
CD-VM4
HAProxy HAProxyHAProxy
ES Mo
CD CD
ES Mo
CD CD
ES Mo
CD CD
ES Mo
CD CD
Node …
VM …
VM …
Gesamtarchitektur
OSD 1
…
…
…
…
…
…
…
…
…
OSD 48
…
Node 5
Node 1
Rados GW
Node 2
Rados GW
Node 3
Rados GW
Node 4
Rados GW
CD-VM1
HAProxyVMs
Bare Metal
Ceph
Node 6
CD-VM2
Node 7
CD-VM3
Node 8
CD-VM4
HAProxy HAProxyHAProxy
ES Mo
CD CD
ES Mo
CD CD
ES Mo
CD CD
ES Mo
CD CD
Node …
VM …
VM …
Gesamtarchitektur
OSD 1
…
…
…
…
…
…
…
…
…
OSD 48
…
Vorteile
Nachteile
Hardware Caveats
Bonding Modes
Halbe Kraft voraus!
[node01] > iperf -s -B node01.ceph-cluster
[…]
[ 4] local 10.102.5.11 port 5001 connected with 10.102.5.12 port 49412
[ 5] local 10.102.5.11 port 5001 connected with 10.102.5.12 port 49413
[ 6] local 10.102.5.11 port 5001 connected with 10.102.5.13 port 59947
[ 7] local 10.102.5.11 port 5001 connected with 10.102.5.13 port 59946
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 342 MBytes 286 Mbits/sec
[ 5] 0.0-10.0 sec 271 MBytes 227 Mbits/sec
[SUM] 0.0-10.0 sec 613 MBytes 513 Mbits/sec
[ 6] 0.0-10.0 sec 293 MBytes 246 Mbits/sec
[ 7] 0.0-10.0 sec 338 MBytes 283 Mbits/sec
[SUM] 0.0-10.0 sec 631 MBytes 529 Mbits/sec ???
Bonding Modes
Halbe Kraft voraus!
CAUTION
TRUST

NOTHING!
CAUTION
MEASURE

EVERYTHING!
Bonding und VLANs
Ein Switch als Weihnachtsbaum
Bonding und VLANs
Ein Switch als Weihnachtsbaum
01: Handle up event of interface Po4
02: VPC Po4(VPC ID: 4) UP on self. Inform peer to program peer-link to BLOCK traffic
03: Received control message of type MLAG_INTERFACE_DOWN, for VPC ID 4
04: Handle down event of interface Po2
05: VPC Po2(VPC ID: 2) DOWN on self. Inform peer to program peer-link to ALLOW traffic
06: Handle up event of interface Po2
07: VPC Po2(VPC ID: 2) UP on self. Inform peer to program peer-link to BLOCK traffic
08: Handle down event of interface Po42
09: VPC Po42(VPC ID: 42) DOWN on self. Inform peer to program peer-link to ALLOW traffic
10: Handle up event of interface Po42
11: VPC Po42(VPC ID: 42) UP on self. Inform peer to program peer-link to BLOCK traffic
12: Received control message of type MLAG_INTERFACE_DOWN, for VPC ID 42
13: Received control message of type MLAG_INTERFACE_UP, for VPC ID 14
14: Handle down event of interface Po16
15: VPC Po16(VPC ID: 16) DOWN on self. Inform peer to program peer-link to ALLOW traffic
16: Received control message of type MLAG_INTERFACE_DOWN, for VPC ID 39
17: Received control message of type MLAG_INTERFACE_UP, for VPC ID 42
[…]
Bonding und VLANs
Ein Switch als Weihnachtsbaum
CAUTION
TRUST

NOTHING!
CAUTION
FIRMWARE
FAILS, TOO!
BIOS Updates
3 Betriebssysteme und diverse Gigabytes
BIOS Updates
3 Betriebssysteme und diverse Gigabytes
CAUTION
KNOW THE

TOOLCHAIN!
Ceph Caveats
Scrubbing
Integrität hat ihren Preis.
CAUTION
DISK I/O

INTENSIVE!
CAUTION
SCHEDULE

MANUALLY!
RADOS Gateway
Use as recommended for maximum happiness
CAUTION
OBEY USER

LIMITS!
CAUTION
KNOW THE
CONFIG
CAUTION
NO SNAPS

ALLOWED!
OpenStack Caveats
Netzwerk – Total trivial
Node 5
CD-VM1
Node 6
CD-VM2
Node 7
LB1
HAProxy
…
Node 8
LB2
HAProxy
…
Der Wolf im Netzpelz
Netzwerk – Total trivial
Der Wolf im Netzpelz
https://openstack.redhat.com/Networking_in_too_much_detail
Netzwerk – Total trivial
Der Wolf im Netzpelz
VHOST_NET_ENABLED=0
# To load the vhost_net module, which in some cases can speed up
# network performance, set VHOST_NET_ENABLED to 1.
$ cat /etc/default/qemu-kvm
Netzwerk – Total trivial
Der Wolf im Netzpelz
# To load the vhost_net module, which in some cases can speed up
# network performance, set VHOST_NET_ENABLED to 1.
VHOST_NET_ENABLED=1
$ cat /etc/default/qemu-kvm
Netzwerk – Total trivial
Der Wolf im Netzpelz
# To load the vhost_net module, which in some cases can speed up
# network performance, set VHOST_NET_ENABLED to 1.
VHOST_NET_ENABLED=1
$ cat /etc/default/qemu-kvm
CAUTION
VIRTUAL

NETWORKS!
Live Migration
“Der sich den Wolf patcht”
CAUTION
CHECK BUG

TRACKERS!
CAUTION
YOU’RE NOT

DEFAULT!
Heat Stacks
Ein Wolf kommt selten allein
CAUTION
CHECK BUG

TRACKERS!
CAUTION
YOU’RE NOT

THE DEFAULT!
Fazit
Fazit
http://bit.ly/1FktZok #AllesKaputt
Aber OpenSource ermöglicht Selbsthilfe.
Zum Schluss
Folien bei Slideshare
http://www.slideshare.net/dschneller
http://www.cloudfibel.de
codecentricCloudFibel1.2015
PRAXIS AUS DEM NÄHKÄSTCHENÜBERBLICK
6 OPENSTACK - PRIVATSACHE
18 DOCKER - DIENSTE IN CONTAINERN
29 CEPH - MÄCHTIG FLEXIBEL
42 ANSIBLE - EINFACH LEISTUNGSFÄHIG
58 DOCKER TOOLS
68 CEPH BENCHMARKS
74 HARDWARE FÄLLT AUS
78 NEVER CHANGE A RUNNING SYSTEM
80 PROVISIONIERUNG VON IAAS CLOUDS
86 JINJA2 FÜR BESSERE ANSIBLE TEMPLATES
93 SSH ZWEIFAKTOR-AUTHENTIFIZIERUNG
100 EIN OPENSTACK-KRIMI
Blog Posts
• https://blog.codecentric.de/en/2015/03/true-kvm-live-migration-openstack-
icehouse-ceph-based-vm-storage/
• https://blog.codecentric.de/en/2014/06/provisioning-iaas-clouds-dynamic-ansible-
inventories-openstack-metadata/
• https://blog.codecentric.de/en/2014/08/jinja2-better-ansible-playbooks-templates/
• https://blog.codecentric.de/en/2014/06/ansible-simple-yet-powerful-automation/
• https://blog.codecentric.de/en/2014/09/openstack-crime-story-solved-tcpdump-
sysdig-iostat-episode-1/
• https://blog.codecentric.de/en/2014/12/haproxy-http-header-rate-limiting/
• https://blog.codecentric.de/en/2014/12/centerdevice-cloud-architecture-revisited/
• https://blog.codecentric.de/en/2013/12/never-change-running-system-wrong/
• https://blog.codecentric.de/en/2013/11/hardware-will-fail-just-way-expect/
Vielen Dank.
Daniel Schneller
daniel.schneller@centerdevice.de
@dschneller
Dr. Lukas Pustina
lukas.pustina@centerdevice.de
@drivebytesting

Weitere ähnliche Inhalte

Was ist angesagt?

Open Patterns for Day 2 Ops [Gluecon 2017]
Open Patterns for Day 2 Ops [Gluecon 2017]Open Patterns for Day 2 Ops [Gluecon 2017]
Open Patterns for Day 2 Ops [Gluecon 2017]rhirschfeld
 
Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)hastexo
 
Twisted Eventloop Short Presentation
Twisted Eventloop Short PresentationTwisted Eventloop Short Presentation
Twisted Eventloop Short Presentationfrog32
 
ANEO | Automatisierung mit RedHat Ansible
ANEO | Automatisierung mit RedHat AnsibleANEO | Automatisierung mit RedHat Ansible
ANEO | Automatisierung mit RedHat AnsibleCarolineAuerMarcher
 
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 ServerDOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 ServerJomaSoft
 
German Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als CodeGerman Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als CodeJan Gehring
 
Domain name system security extension
Domain name system security extensionDomain name system security extension
Domain name system security extensionF789GH
 
Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex Jan Gehring
 
Oracle12c für Entwickler
Oracle12c für EntwicklerOracle12c für Entwickler
Oracle12c für EntwicklerCarsten Czarski
 
Keepalived & HA-Proxy as an alternative to commercial loadbalancer - August 2014
Keepalived & HA-Proxy as an alternative to commercial loadbalancer - August 2014Keepalived & HA-Proxy as an alternative to commercial loadbalancer - August 2014
Keepalived & HA-Proxy as an alternative to commercial loadbalancer - August 2014inovex GmbH
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als CodeJan Gehring
 
IT Automatisierung mit Salt Stack | Thorsten Kramm @ FrosCon 2014
IT Automatisierung mit Salt Stack | Thorsten Kramm @ FrosCon 2014IT Automatisierung mit Salt Stack | Thorsten Kramm @ FrosCon 2014
IT Automatisierung mit Salt Stack | Thorsten Kramm @ FrosCon 2014thorstenkramm
 
docker.io @ CentOS 7 - Secure And Portable Containers Made Easy
docker.io @ CentOS 7 - Secure And Portable Containers Made Easydocker.io @ CentOS 7 - Secure And Portable Containers Made Easy
docker.io @ CentOS 7 - Secure And Portable Containers Made Easyinovex GmbH
 
IPv6 bei PostFinance AG - Erste Erkenntnisse aus der Vorstudie
IPv6 bei PostFinance AG - Erste Erkenntnisse aus der VorstudieIPv6 bei PostFinance AG - Erste Erkenntnisse aus der Vorstudie
IPv6 bei PostFinance AG - Erste Erkenntnisse aus der VorstudieSwiss IPv6 Council
 
LinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
LinuxTag 2008 - Virtuelle Cold-Standby Server mit LinuxLinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
LinuxTag 2008 - Virtuelle Cold-Standby Server mit LinuxSchlomo Schapiro
 
Integrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXIntegrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXMAX2014DACH
 
IPv6 Integration im Datacenter - wie komplex ist es wirklich?
IPv6 Integration im Datacenter - wie komplex ist es wirklich?IPv6 Integration im Datacenter - wie komplex ist es wirklich?
IPv6 Integration im Datacenter - wie komplex ist es wirklich?Swiss IPv6 Council
 

Was ist angesagt? (18)

Open Patterns for Day 2 Ops [Gluecon 2017]
Open Patterns for Day 2 Ops [Gluecon 2017]Open Patterns for Day 2 Ops [Gluecon 2017]
Open Patterns for Day 2 Ops [Gluecon 2017]
 
Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)
 
Twisted Eventloop Short Presentation
Twisted Eventloop Short PresentationTwisted Eventloop Short Presentation
Twisted Eventloop Short Presentation
 
ANEO | Automatisierung mit RedHat Ansible
ANEO | Automatisierung mit RedHat AnsibleANEO | Automatisierung mit RedHat Ansible
ANEO | Automatisierung mit RedHat Ansible
 
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 ServerDOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
 
German Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als CodeGerman Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als Code
 
Domain name system security extension
Domain name system security extensionDomain name system security extension
Domain name system security extension
 
Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex
 
Oracle12c für Entwickler
Oracle12c für EntwicklerOracle12c für Entwickler
Oracle12c für Entwickler
 
Keepalived & HA-Proxy as an alternative to commercial loadbalancer - August 2014
Keepalived & HA-Proxy as an alternative to commercial loadbalancer - August 2014Keepalived & HA-Proxy as an alternative to commercial loadbalancer - August 2014
Keepalived & HA-Proxy as an alternative to commercial loadbalancer - August 2014
 
Storage Spaces Direct - Introduction
Storage Spaces Direct - IntroductionStorage Spaces Direct - Introduction
Storage Spaces Direct - Introduction
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als Code
 
IT Automatisierung mit Salt Stack | Thorsten Kramm @ FrosCon 2014
IT Automatisierung mit Salt Stack | Thorsten Kramm @ FrosCon 2014IT Automatisierung mit Salt Stack | Thorsten Kramm @ FrosCon 2014
IT Automatisierung mit Salt Stack | Thorsten Kramm @ FrosCon 2014
 
docker.io @ CentOS 7 - Secure And Portable Containers Made Easy
docker.io @ CentOS 7 - Secure And Portable Containers Made Easydocker.io @ CentOS 7 - Secure And Portable Containers Made Easy
docker.io @ CentOS 7 - Secure And Portable Containers Made Easy
 
IPv6 bei PostFinance AG - Erste Erkenntnisse aus der Vorstudie
IPv6 bei PostFinance AG - Erste Erkenntnisse aus der VorstudieIPv6 bei PostFinance AG - Erste Erkenntnisse aus der Vorstudie
IPv6 bei PostFinance AG - Erste Erkenntnisse aus der Vorstudie
 
LinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
LinuxTag 2008 - Virtuelle Cold-Standby Server mit LinuxLinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
LinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
 
Integrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXIntegrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAX
 
IPv6 Integration im Datacenter - wie komplex ist es wirklich?
IPv6 Integration im Datacenter - wie komplex ist es wirklich?IPv6 Integration im Datacenter - wie komplex ist es wirklich?
IPv6 Integration im Datacenter - wie komplex ist es wirklich?
 

Ähnlich wie Private Cloud mit Ceph und OpenStack

Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud StackInfracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud StackEdmund Siegfried Haselwanter
 
Software Defined Freifunk Backbones
Software Defined Freifunk BackbonesSoftware Defined Freifunk Backbones
Software Defined Freifunk BackbonesMaximilian Wilhelm
 
Software Defined Freifunk Backbones
Software Defined Freifunk BackbonesSoftware Defined Freifunk Backbones
Software Defined Freifunk BackbonesMaximilan Wilhelm
 
Docker Security - Architektur und Sicherheitsfunktionen von Containervirtuali...
Docker Security - Architektur und Sicherheitsfunktionen von Containervirtuali...Docker Security - Architektur und Sicherheitsfunktionen von Containervirtuali...
Docker Security - Architektur und Sicherheitsfunktionen von Containervirtuali...inovex GmbH
 
Rapid Deploy von OS, Virtualsierung und Applikation
Rapid Deploy von OS, Virtualsierung und ApplikationRapid Deploy von OS, Virtualsierung und Applikation
Rapid Deploy von OS, Virtualsierung und ApplikationJomaSoft
 
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 ServernPraktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 ServernJomaSoft
 
Salt-Orchtestrated Software Defined (Freifunk) Networks - Service-Provider-Ne...
Salt-Orchtestrated Software Defined (Freifunk) Networks - Service-Provider-Ne...Salt-Orchtestrated Software Defined (Freifunk) Networks - Service-Provider-Ne...
Salt-Orchtestrated Software Defined (Freifunk) Networks - Service-Provider-Ne...Maximilian Wilhelm
 
Grundlagen der IP Kommunikation
Grundlagen der IP KommunikationGrundlagen der IP Kommunikation
Grundlagen der IP KommunikationKay Schönewerk
 
Effizienter Hardware LifeCycle auf Oracle SPARC M7 Server
Effizienter Hardware LifeCycle auf Oracle SPARC M7 ServerEffizienter Hardware LifeCycle auf Oracle SPARC M7 Server
Effizienter Hardware LifeCycle auf Oracle SPARC M7 ServerJomaSoft
 
WebLogic Server auf ODA: Erfahrungen aus einem Kundenprojekt
WebLogic Server auf ODA: Erfahrungen aus einem KundenprojektWebLogic Server auf ODA: Erfahrungen aus einem Kundenprojekt
WebLogic Server auf ODA: Erfahrungen aus einem KundenprojektOPITZ CONSULTING Deutschland
 
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHDocker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHagilemethoden
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickKarin Patenge
 
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13OPITZ CONSULTING Deutschland
 
Domino Security Present and Future ConnectED Review - ICS.UG 2016
Domino Security Present and Future ConnectED Review - ICS.UG 2016Domino Security Present and Future ConnectED Review - ICS.UG 2016
Domino Security Present and Future ConnectED Review - ICS.UG 2016ICS User Group
 
Rapid Deployment mit JomaSoft VDCF
Rapid Deployment mit JomaSoft VDCFRapid Deployment mit JomaSoft VDCF
Rapid Deployment mit JomaSoft VDCFJomaSoft
 
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...BOSTON Server & Storage Solutions GmbH
 
Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!OPEN KNOWLEDGE GmbH
 

Ähnlich wie Private Cloud mit Ceph und OpenStack (20)

Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud StackInfracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
 
Software Defined Freifunk Backbones
Software Defined Freifunk BackbonesSoftware Defined Freifunk Backbones
Software Defined Freifunk Backbones
 
Software Defined Freifunk Backbones
Software Defined Freifunk BackbonesSoftware Defined Freifunk Backbones
Software Defined Freifunk Backbones
 
Docker Security - Architektur und Sicherheitsfunktionen von Containervirtuali...
Docker Security - Architektur und Sicherheitsfunktionen von Containervirtuali...Docker Security - Architektur und Sicherheitsfunktionen von Containervirtuali...
Docker Security - Architektur und Sicherheitsfunktionen von Containervirtuali...
 
Rapid Deploy von OS, Virtualsierung und Applikation
Rapid Deploy von OS, Virtualsierung und ApplikationRapid Deploy von OS, Virtualsierung und Applikation
Rapid Deploy von OS, Virtualsierung und Applikation
 
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 ServernPraktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
 
Salt-Orchtestrated Software Defined (Freifunk) Networks - Service-Provider-Ne...
Salt-Orchtestrated Software Defined (Freifunk) Networks - Service-Provider-Ne...Salt-Orchtestrated Software Defined (Freifunk) Networks - Service-Provider-Ne...
Salt-Orchtestrated Software Defined (Freifunk) Networks - Service-Provider-Ne...
 
Grundlagen der IP Kommunikation
Grundlagen der IP KommunikationGrundlagen der IP Kommunikation
Grundlagen der IP Kommunikation
 
Effizienter Hardware LifeCycle auf Oracle SPARC M7 Server
Effizienter Hardware LifeCycle auf Oracle SPARC M7 ServerEffizienter Hardware LifeCycle auf Oracle SPARC M7 Server
Effizienter Hardware LifeCycle auf Oracle SPARC M7 Server
 
Port Security - Industrieller Cyber Security
Port Security - Industrieller Cyber SecurityPort Security - Industrieller Cyber Security
Port Security - Industrieller Cyber Security
 
WebLogic Server auf ODA: Erfahrungen aus einem Kundenprojekt
WebLogic Server auf ODA: Erfahrungen aus einem KundenprojektWebLogic Server auf ODA: Erfahrungen aus einem Kundenprojekt
WebLogic Server auf ODA: Erfahrungen aus einem Kundenprojekt
 
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHDocker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
 
E Security
E SecurityE Security
E Security
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
 
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
 
Domino Security Present and Future ConnectED Review - ICS.UG 2016
Domino Security Present and Future ConnectED Review - ICS.UG 2016Domino Security Present and Future ConnectED Review - ICS.UG 2016
Domino Security Present and Future ConnectED Review - ICS.UG 2016
 
Die beliebtesten kvm switches
Die beliebtesten kvm switchesDie beliebtesten kvm switches
Die beliebtesten kvm switches
 
Rapid Deployment mit JomaSoft VDCF
Rapid Deployment mit JomaSoft VDCFRapid Deployment mit JomaSoft VDCF
Rapid Deployment mit JomaSoft VDCF
 
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
 
Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!
 

Private Cloud mit Ceph und OpenStack

  • 1. Private Cloud mit Ceph und OpenStack Daniel Schneller daniel.schneller@centerdevice.de @dschneller Lukas Pustina lukas.pustina@centerdevice.de @drivebytesting
  • 2. Aus dem täglichen Wahnsinn des Cloud Betriebs
  • 6.
  • 10.
  • 13. Bare Metal Hardware Virtual Environment Application Virtualization Storage NetworkCompute
  • 15.
  • 16.
  • 19.
  • 20.
  • 22. IEEE 802.3ad != IEEE 802.3ad > cat /etc/network/interfaces ... auto bond2 iface bond2 inet manual bond-slaves p2p3 p2p4 # interfaces to bond bond-mode 802.3ad # activate LACP bond-miimon 100 # monitor link health bond-xmit_hash_policy layer3+4 # use Layer 3+4 for link selection pre-up ip link set dev bond2 mtu 9000 # set Jumbo Frames auto vlan-ceph-clust iface vlan-ceph-clust inet static pre-up ip link add link bond2 name vlan-ceph-clust type vlan id 105 pre-up ip link set dev vlan-ceph-clust mtu 9000 # Jumbo Frames post-down ip link delete vlan-ceph-clust address ... netmask ... network ... broadcast ... ...
  • 23. [node01] > iperf -s -B node01.ceph-cluster [node02] > iperf -c node01.ceph-cluster [node03] > iperf -c node01.ceph-cluster
  • 25. “Unified, distributed storage system designed for excellent performance, reliability and scalability”
  • 26. Hoch skalierbar Commodity Hardware Kein Single Point of Failure
  • 28. OSD Daemons Object Storage Device Daemons
  • 31.
  • 32.
  • 35. Gesamtarchitektur Bare Metal Ceph Node 1 Node 2 Node 3 Node 4 OSD 1 … … … … … … … … … OSD 48 …
  • 36. Node 5 Node 1 Node 2 Node 3 Node 4 CD-VM1 VMs Bare Metal Ceph Node 6 CD-VM2 Node 7 CD-VM3 Node 8 CD-VM4 ES Mo CD CD ES Mo CD CD ES Mo CD CD ES Mo CD CD Node … VM … VM … Gesamtarchitektur OSD 1 … … … … … … … … … OSD 48 …
  • 37. Node 5 Node 3Node 1 Rados GW Node 2 Rados GW Rados GW Node 4 Rados GW CD-VM1 VMs Bare Metal Ceph Node 6 CD-VM2 Node 7 CD-VM3 Node 8 CD-VM4 ES Mo CD CD ES Mo CD CD ES Mo CD CD ES Mo CD CD Node … VM … VM … Gesamtarchitektur OSD 1 … … … … … … … … … OSD 48 …
  • 38. Node 5 Node 1 Rados GW Node 2 Rados GW Node 3 Rados GW Node 4 Rados GW CD-VM1 HAProxyVMs Bare Metal Ceph Node 6 CD-VM2 Node 7 CD-VM3 Node 8 CD-VM4 HAProxy HAProxyHAProxy ES Mo CD CD ES Mo CD CD ES Mo CD CD ES Mo CD CD Node … VM … VM … Gesamtarchitektur OSD 1 … … … … … … … … … OSD 48 …
  • 39. Node 5 Node 1 Rados GW Node 2 Rados GW Node 3 Rados GW Node 4 Rados GW CD-VM1 HAProxyVMs Bare Metal Ceph Node 6 CD-VM2 Node 7 CD-VM3 Node 8 CD-VM4 HAProxy HAProxyHAProxy ES Mo CD CD ES Mo CD CD ES Mo CD CD ES Mo CD CD Node … VM … VM … Gesamtarchitektur OSD 1 … … … … … … … … … OSD 48 …
  • 43. Bonding Modes Halbe Kraft voraus! [node01] > iperf -s -B node01.ceph-cluster […] [ 4] local 10.102.5.11 port 5001 connected with 10.102.5.12 port 49412 [ 5] local 10.102.5.11 port 5001 connected with 10.102.5.12 port 49413 [ 6] local 10.102.5.11 port 5001 connected with 10.102.5.13 port 59947 [ 7] local 10.102.5.11 port 5001 connected with 10.102.5.13 port 59946 [ ID] Interval Transfer Bandwidth [ 4] 0.0-10.0 sec 342 MBytes 286 Mbits/sec [ 5] 0.0-10.0 sec 271 MBytes 227 Mbits/sec [SUM] 0.0-10.0 sec 613 MBytes 513 Mbits/sec [ 6] 0.0-10.0 sec 293 MBytes 246 Mbits/sec [ 7] 0.0-10.0 sec 338 MBytes 283 Mbits/sec [SUM] 0.0-10.0 sec 631 MBytes 529 Mbits/sec ???
  • 44. Bonding Modes Halbe Kraft voraus! CAUTION TRUST
 NOTHING! CAUTION MEASURE
 EVERYTHING!
  • 45. Bonding und VLANs Ein Switch als Weihnachtsbaum
  • 46. Bonding und VLANs Ein Switch als Weihnachtsbaum 01: Handle up event of interface Po4 02: VPC Po4(VPC ID: 4) UP on self. Inform peer to program peer-link to BLOCK traffic 03: Received control message of type MLAG_INTERFACE_DOWN, for VPC ID 4 04: Handle down event of interface Po2 05: VPC Po2(VPC ID: 2) DOWN on self. Inform peer to program peer-link to ALLOW traffic 06: Handle up event of interface Po2 07: VPC Po2(VPC ID: 2) UP on self. Inform peer to program peer-link to BLOCK traffic 08: Handle down event of interface Po42 09: VPC Po42(VPC ID: 42) DOWN on self. Inform peer to program peer-link to ALLOW traffic 10: Handle up event of interface Po42 11: VPC Po42(VPC ID: 42) UP on self. Inform peer to program peer-link to BLOCK traffic 12: Received control message of type MLAG_INTERFACE_DOWN, for VPC ID 42 13: Received control message of type MLAG_INTERFACE_UP, for VPC ID 14 14: Handle down event of interface Po16 15: VPC Po16(VPC ID: 16) DOWN on self. Inform peer to program peer-link to ALLOW traffic 16: Received control message of type MLAG_INTERFACE_DOWN, for VPC ID 39 17: Received control message of type MLAG_INTERFACE_UP, for VPC ID 42 […]
  • 47. Bonding und VLANs Ein Switch als Weihnachtsbaum CAUTION TRUST
 NOTHING! CAUTION FIRMWARE FAILS, TOO!
  • 48. BIOS Updates 3 Betriebssysteme und diverse Gigabytes
  • 49. BIOS Updates 3 Betriebssysteme und diverse Gigabytes CAUTION KNOW THE
 TOOLCHAIN!
  • 51. Scrubbing Integrität hat ihren Preis. CAUTION DISK I/O
 INTENSIVE! CAUTION SCHEDULE
 MANUALLY!
  • 52. RADOS Gateway Use as recommended for maximum happiness CAUTION OBEY USER
 LIMITS! CAUTION KNOW THE CONFIG CAUTION NO SNAPS
 ALLOWED!
  • 54. Netzwerk – Total trivial Node 5 CD-VM1 Node 6 CD-VM2 Node 7 LB1 HAProxy … Node 8 LB2 HAProxy … Der Wolf im Netzpelz
  • 55. Netzwerk – Total trivial Der Wolf im Netzpelz https://openstack.redhat.com/Networking_in_too_much_detail
  • 56. Netzwerk – Total trivial Der Wolf im Netzpelz VHOST_NET_ENABLED=0 # To load the vhost_net module, which in some cases can speed up # network performance, set VHOST_NET_ENABLED to 1. $ cat /etc/default/qemu-kvm
  • 57. Netzwerk – Total trivial Der Wolf im Netzpelz # To load the vhost_net module, which in some cases can speed up # network performance, set VHOST_NET_ENABLED to 1. VHOST_NET_ENABLED=1 $ cat /etc/default/qemu-kvm
  • 58. Netzwerk – Total trivial Der Wolf im Netzpelz # To load the vhost_net module, which in some cases can speed up # network performance, set VHOST_NET_ENABLED to 1. VHOST_NET_ENABLED=1 $ cat /etc/default/qemu-kvm CAUTION VIRTUAL
 NETWORKS!
  • 59. Live Migration “Der sich den Wolf patcht” CAUTION CHECK BUG
 TRACKERS! CAUTION YOU’RE NOT
 DEFAULT!
  • 60. Heat Stacks Ein Wolf kommt selten allein CAUTION CHECK BUG
 TRACKERS! CAUTION YOU’RE NOT
 THE DEFAULT!
  • 61. Fazit
  • 65. http://www.cloudfibel.de codecentricCloudFibel1.2015 PRAXIS AUS DEM NÄHKÄSTCHENÜBERBLICK 6 OPENSTACK - PRIVATSACHE 18 DOCKER - DIENSTE IN CONTAINERN 29 CEPH - MÄCHTIG FLEXIBEL 42 ANSIBLE - EINFACH LEISTUNGSFÄHIG 58 DOCKER TOOLS 68 CEPH BENCHMARKS 74 HARDWARE FÄLLT AUS 78 NEVER CHANGE A RUNNING SYSTEM 80 PROVISIONIERUNG VON IAAS CLOUDS 86 JINJA2 FÜR BESSERE ANSIBLE TEMPLATES 93 SSH ZWEIFAKTOR-AUTHENTIFIZIERUNG 100 EIN OPENSTACK-KRIMI
  • 66. Blog Posts • https://blog.codecentric.de/en/2015/03/true-kvm-live-migration-openstack- icehouse-ceph-based-vm-storage/ • https://blog.codecentric.de/en/2014/06/provisioning-iaas-clouds-dynamic-ansible- inventories-openstack-metadata/ • https://blog.codecentric.de/en/2014/08/jinja2-better-ansible-playbooks-templates/ • https://blog.codecentric.de/en/2014/06/ansible-simple-yet-powerful-automation/ • https://blog.codecentric.de/en/2014/09/openstack-crime-story-solved-tcpdump- sysdig-iostat-episode-1/ • https://blog.codecentric.de/en/2014/12/haproxy-http-header-rate-limiting/ • https://blog.codecentric.de/en/2014/12/centerdevice-cloud-architecture-revisited/ • https://blog.codecentric.de/en/2013/12/never-change-running-system-wrong/ • https://blog.codecentric.de/en/2013/11/hardware-will-fail-just-way-expect/
  • 67. Vielen Dank. Daniel Schneller daniel.schneller@centerdevice.de @dschneller Dr. Lukas Pustina lukas.pustina@centerdevice.de @drivebytesting