SlideShare ist ein Scribd-Unternehmen logo
TechTalkThursday 27.10.2016: Ceph im NVME Cluster
2
Ceph - Was ist das?
verteilter Object Store (RADOS)
Daten werden in Objekten verteilt auf mehreren Servern
gespeichert
Block Storage (RADOS Block Device)
POSIX Filesystem (CephFS)
Block Storage und Filesystem legen Daten auch als Objekte ab
Zugriff auf Block Storage via Kernel Treiber (rbd) oder
Library (librbd)
Ceph/oeffentlich Sebastian Nickel 1.0
Ceph - Architecture
4
Ceph - Features
kein ’single point of failure’
ausgelegt auf commodity Hardware
Daten werden in Pools abgelegt
Cache Tiering (SSDs als Cache Pool)
replicated Pools und erasure coded Pools
Snapshots
schnelles Klonen
copy-on-write images von Snapshots
wichtig f¨ur ’cloud’ Images
Scrubbing
Ceph/oeffentlich Sebastian Nickel 1.0
5
Ceph - Komponenten
Ceph/oeffentlich Sebastian Nickel 1.0
6
Ceph - Komponenten
Monitore (MONs)
stellen
”
Master“ Maps des Clusterzustandes zur Verf¨ugung
werden als erstes von einem neuen Client kontaktiert
¨ubernehmen Authentifizierung
ungerade Anzahl im Cluster
¨uberpr¨ufen in regelm¨assigen Abst¨anden die OSDs
Ceph/oeffentlich Sebastian Nickel 1.0
7
Ceph - Komponenten
OSDs
zust¨andig f¨ur Objektspeicherung
ist mit Journal- und Datenspeicher verkn¨upft
haben noch double write penalty
verschwindet mit ’BlueStore’
normalerweise 1 Daemon pro Festplatte
’pingen’ andere OSDs und melden an Mons
f¨uhren scrubbing aus
Ceph/oeffentlich Sebastian Nickel 1.0
8
Ceph - Komponenten
MDS
Meta-Daten Daemon f¨ur CephFS
Eigenschaften:
def explainMDS:
raise NoKnowledgeException ("not in use")
Ceph/oeffentlich Sebastian Nickel 1.0
9
Ceph - Komponenten
RGW (Ceph Object Gateway)
bietet S3/SWIFT kompatible REST API f¨ur Ceph
umgesetzt mittels apache und mod proxy (ab apache 2.4)
besitzt eigene Userverwaltung
Daten werden in ’buckets’ organisiert
Update von Hammer oder Infernalis auf Jewel → ¨uber Umwege
Ceph/oeffentlich Sebastian Nickel 1.0
10
Ceph - Crush Design
Crush Map
wird von Mons verteilt
beschreibt hierarchischen Aufbau des Clusters
beinhaltet Regeln wo Daten f¨ur Pools abgelegt werden sollen
besitzt ’tuneables’, welche Verteilung beeinflussen
Ceph/oeffentlich Sebastian Nickel 1.0
11
Ceph - Placement Groups
Placement Groups
Abstraktionsschicht zwischen OSD und Objekten
Ceph/oeffentlich Sebastian Nickel 1.0
12
Ceph bei der Nine
damals 2 Ceph Cluster im Einsatz
1 x Rados Block Device Cluster
f¨ur virtuelle Maschinen
Standard Aufbau (HDD + SSD Journals)
1 x RGW Cluster
genutzt als Backup Cluster
Ceph/oeffentlich Sebastian Nickel 1.0
13
Neuer Ceph Cluster bei der Nine
Ausgangspunkt?
Wir wollten einen neuen Ceph Cluster (in anderem DC)
unser prim¨arer Ceph Cluster zeigte Performance Probleme
(HDD/SSD)
deep scrubs beeinflussen performance
Festplattenausfall bedeutet kurzes Performance Problem
’recovery op priority’, ’max backfills’, etc bereits gesetzt
hatten Bedenken ¨uber Performance Probleme w¨ahrend
Erweiterung
Ceph/oeffentlich Sebastian Nickel 1.0
14
Neuer Ceph Cluster bei der Nine
erster L¨osungsansatz: Cache Tiering
Vorteil: transparente Aktivierung/Deaktivierung
Tests im Staging Bereich durchgef¨uhrt
2 Hosts mit SSDs als Cache Pool konfiguriert
Crush Rules f¨ur SSD Pool erstellt
10 virtuellen Maschinen als Clients vorbereitet
Ceph/oeffentlich Sebastian Nickel 1.0
15
Neuer Ceph Cluster bei der Nine
Ablauf:
Maschinen generieren 4K IO mit fio
Aktivieren des SSD Cache Pools inmitten des Tests
Messen der Ergebnisse
Ceph/oeffentlich Sebastian Nickel 1.0
16
Neuer Ceph Cluster bei der Nine
Ergebnis nach erstem Test:
Client Berechtigungen des neuen Pools vergessen
bedeutet aber auch das alle Maschinen migriert werden
m¨ussten
Ceph/oeffentlich Sebastian Nickel 1.0
17
Neuer Ceph Cluster bei der Nine
Ergebnis nach zweitem Test:
Ceph/oeffentlich Sebastian Nickel 1.0
18
Neuer Ceph Cluster bei der Nine
Generelles Ergebnis:
Cache Tiering nur f¨ur bestimmte Einsatzzwecke
Probleme beim ’hot-pull’ einer SSD
Red Hat Ceph Storage 2.0: ’Cache tiering is now deprecated’
Wir wollen einen SSD Ceph Cluster!
Ceph/oeffentlich Sebastian Nickel 1.0
19
Neuer Ceph Cluster bei der Nine - SSD
mehrere Varianten standen zur Auswahl (SATA SSD +
NVME; nur NVME; nur SATA SSD)
gewonnen hat: only NVME Cluster
Hardware:
2 x 10 Core Intel CPU
64GB RAM
2 x Intel SSD DC 3510 f¨ur OS
4x Intel SSD DC P3600 NVME Disks
4 x 10G NIC
Ceph/oeffentlich Sebastian Nickel 1.0
20
Neuer Ceph Cluster bei der Nine - Benchmark
jede Komponente des Clusters mit fio benchmarken
immer gleiche Testbedingungen
mehrere Testl¨aufe durchf¨uhren und Ergebnis mitteln
Ceph/oeffentlich Sebastian Nickel 1.0
21
Neuer Ceph Cluster bei der Nine - Benchmark
fio auf purem NVME device (psync, iodepth=1):
Test/Blocksize 4K 8K 16K 2048K 4096K
Serial Write 81692 / 319.11 66387 / 518.65 47982 / 749.72 820 / 1641.7 418 / 1672.2
Serial Read 84176 / 328 77399 / 604.68 59642 / 931.91 968 / 1936.1 540 / 2163.3
Rand. Write 82331 / 321 66796 / 521.84 49617 / 775.26 820 / 1640.7 416 / 1667.7
Rand. Read 10746 / 41 8753 / 68.38 6758 / 105.6 966 / 1933.6 544 / 2179.7
Einheit: IOPS / MB per s
fio auf purem NVME device (libaio, iodepth=64):
Test/Blocksize 4K 8K 16K 2048K 4096K
Serial Write 406189 / 1586.7 218887 / 1710.7 111092 / 1735.9 892 / 1789.2 446 / 1791.2
Serial Read 317558 / 1240.5 249434 / 1948.8 157287 / 2457.7 1283 / 2571.6 657 / 2638.3
Rand. Write 314276 / 1227.7 192417 / 1503.3 104569 / 1633.1 892 / 1787.3 445 / 1788.1
Rand. Read 351525 / 1373.2 246589 / 1926.6 138682 / 2166.1 1248 / 2501.5 648 / 2605.5
Einheit: IOPS / MB per s
Ceph/oeffentlich Sebastian Nickel 1.0
22
Neuer Ceph Cluster bei der Nine - Benchmark
weitere Tests welche man ausf¨uhren kann
ceph tell osd.<number> bench
rados bench -p <pool> <dauer> write
iperf
fio mit rbd engine
Ceph/oeffentlich Sebastian Nickel 1.0
23
Neuer Ceph Cluster bei der Nine - iperf
iperf Tests auf gebondetem Interface mit VLAN tags
maximal 2.8 Gbps zwischen Compute Node und Ceph Node
MTU variiert → 4.8 Gbps
nur bonding ohne VLAN oder kein bonding mit VLAN → 9.x
Gbps
bonding + VLAN ohne Switch → 9.x Gbps
Ergebnis: kein VLAN
Ceph/oeffentlich Sebastian Nickel 1.0
24
Neuer Ceph Cluster bei der Nine - tunings
CPUs immer auf 100% der max. Taktfrequenz laufen lassen
OSDs auf CPUs pinnen
rq affinity der NVME devices setzen
2 OSDs pro NVME device
Ceph/oeffentlich Sebastian Nickel 1.0
25
Neuer Ceph Cluster bei der Nine - fio mit rbd
fio mit rbd engine auf Image
Test/Blocksize 4K 8K 16K 2048K 4096K
Serial Write 26791 IOPS 24232 IOPS 28086 IOPS 283 IOPS / 566.39 MB/s 142 IOPS / 571.36 MB/s
Serial Read 2147 IOPS 2108 IOPS 1960 IOPS 281 IOPS / 563.46 MB/s 176 IOPS / 705.55 MBs
Rand. Write 12408 IOPS 12369 IOPS 13370 IOPS 523 IOPS / 1047.2 MB/s 255 IOPS / 1020.1 MB/s
Rand. Read 1512 IOPS 1442 IOPS 1451 IOPS 272 IOPS / 544.88 MB/s 175 IOPS / 703.5 MB/s
fio innerhalb einer VM (psync, iodepth=1)
Test/Blocksize 4K 8K 16K 2048K 4096K
Serial Write 14686 IOPS 14038 IOPS 12407 IOPS 318 IOPS / 636.95 MB/s 128 IOPS / 515.33 MB/s
Serial Read 1719 IOPS 1645 IOPS 1546 IOPS 220 IOPS / 440.58 MB/s 104 IOPS / 416.01 MB/s
Rand. Write 9377 IOPS 9111 IOPS 8900 IOPS 323 IOPS / 646.10 MB/s 122 IOPS / 488.29 MB/s
Rand. Read 1401 IOPS 1375 IOPS 1323 IOPS 222 IOPS / 444.64 MB/s 106 IOPS / 427.72 MB/s
Ceph/oeffentlich Sebastian Nickel 1.0
26
Neuer Ceph Cluster bei der Nine - RedHat Cluster Check
RedHat Cluster Check durchf¨uhren lassen
interessante Ergebnisse:
es gibt noch keine Recommendations f¨ur NVME Cluster
alle NVMEs sind via PCIe Bus auf CPU1 verbunden, alle NICs
auf CPU0
Crush tunables nicht optimal
RBD client cache size hatte unit extensions (MB)
Ceph/oeffentlich Sebastian Nickel 1.0
27
Neuer Ceph Cluster bei der Nine - Fazit
eine VM kann den Speed der NVME devices nicht voll nutzen
Parallelisierung bei NVME ist wichtig
es gibt noch keine grossen Erfahrungen damit
Cluster Check durch externe Firma sinnvoll
Ceph/oeffentlich Sebastian Nickel 1.0
28
Fragen?
Ceph/oeffentlich Sebastian Nickel 1.0
29
Danke?
Ceph/oeffentlich Sebastian Nickel 1.0

Weitere ähnliche Inhalte

Was ist angesagt?

Minenfeld IPv6
Minenfeld IPv6Minenfeld IPv6
Minenfeld IPv6
Digicomp Academy AG
 
Containerized End-2-End Testing - JUG Saxony Day
Containerized End-2-End Testing - JUG Saxony DayContainerized End-2-End Testing - JUG Saxony Day
Containerized End-2-End Testing - JUG Saxony Day
Tobias Schneck
 
Java EE hochverfügbar
Java EE hochverfügbarJava EE hochverfügbar
Java EE hochverfügbar
gedoplan
 
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 ServerDOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
JomaSoft
 
FUM VMware Business Continuity und Disaster Recovery Lösungen
FUM VMware Business Continuity und Disaster Recovery LösungenFUM VMware Business Continuity und Disaster Recovery Lösungen
FUM VMware Business Continuity und Disaster Recovery Lösungen
Schlomo Schapiro
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als Code
Jan Gehring
 
Innobit.storage spaces.
Innobit.storage spaces. Innobit.storage spaces.
Innobit.storage spaces.
innobit
 
Storage Spaces Direct - Introduction
Storage Spaces Direct - IntroductionStorage Spaces Direct - Introduction
Storage Spaces Direct - Introduction
[MVP] Florian Klaffenbach
 
Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex
Jan Gehring
 
Von Test nach Live mit Rex
Von Test nach Live mit RexVon Test nach Live mit Rex
Von Test nach Live mit Rex
Jan Gehring
 
Integrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXIntegrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAX
MAX2014DACH
 
Automation with Ansible
Automation with AnsibleAutomation with Ansible
Automation with Ansible
SusannSgorzaly
 
German Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als CodeGerman Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als Code
Jan Gehring
 
JSUG - Bazaar by Florian Motlik
JSUG - Bazaar by Florian MotlikJSUG - Bazaar by Florian Motlik
JSUG - Bazaar by Florian Motlik
Christoph Pickl
 
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 ServernPraktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
JomaSoft
 
Robustes Testen mit Selenium
Robustes Testen mit SeleniumRobustes Testen mit Selenium
Robustes Testen mit Selenium
x-celerate
 
oVirt 3.5 - Einführung und Evaluierungsergebnisse
oVirt 3.5 - Einführung und EvaluierungsergebnisseoVirt 3.5 - Einführung und Evaluierungsergebnisse
oVirt 3.5 - Einführung und Evaluierungsergebnisse
inovex GmbH
 

Was ist angesagt? (17)

Minenfeld IPv6
Minenfeld IPv6Minenfeld IPv6
Minenfeld IPv6
 
Containerized End-2-End Testing - JUG Saxony Day
Containerized End-2-End Testing - JUG Saxony DayContainerized End-2-End Testing - JUG Saxony Day
Containerized End-2-End Testing - JUG Saxony Day
 
Java EE hochverfügbar
Java EE hochverfügbarJava EE hochverfügbar
Java EE hochverfügbar
 
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 ServerDOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
 
FUM VMware Business Continuity und Disaster Recovery Lösungen
FUM VMware Business Continuity und Disaster Recovery LösungenFUM VMware Business Continuity und Disaster Recovery Lösungen
FUM VMware Business Continuity und Disaster Recovery Lösungen
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als Code
 
Innobit.storage spaces.
Innobit.storage spaces. Innobit.storage spaces.
Innobit.storage spaces.
 
Storage Spaces Direct - Introduction
Storage Spaces Direct - IntroductionStorage Spaces Direct - Introduction
Storage Spaces Direct - Introduction
 
Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex
 
Von Test nach Live mit Rex
Von Test nach Live mit RexVon Test nach Live mit Rex
Von Test nach Live mit Rex
 
Integrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXIntegrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAX
 
Automation with Ansible
Automation with AnsibleAutomation with Ansible
Automation with Ansible
 
German Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als CodeGerman Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als Code
 
JSUG - Bazaar by Florian Motlik
JSUG - Bazaar by Florian MotlikJSUG - Bazaar by Florian Motlik
JSUG - Bazaar by Florian Motlik
 
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 ServernPraktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
 
Robustes Testen mit Selenium
Robustes Testen mit SeleniumRobustes Testen mit Selenium
Robustes Testen mit Selenium
 
oVirt 3.5 - Einführung und Evaluierungsergebnisse
oVirt 3.5 - Einführung und EvaluierungsergebnisseoVirt 3.5 - Einführung und Evaluierungsergebnisse
oVirt 3.5 - Einführung und Evaluierungsergebnisse
 

Andere mochten auch

TechTalkThursday 02.03.2017: Container-Orchestrierung mit OpenShift - Unser W...
TechTalkThursday 02.03.2017: Container-Orchestrierung mit OpenShift - Unser W...TechTalkThursday 02.03.2017: Container-Orchestrierung mit OpenShift - Unser W...
TechTalkThursday 02.03.2017: Container-Orchestrierung mit OpenShift - Unser W...
nine
 
Buzzwords for Lunch: Content Marketing
Buzzwords for Lunch: Content MarketingBuzzwords for Lunch: Content Marketing
Buzzwords for Lunch: Content Marketing
Christian Leitz
 
MOOCs: Stand, Perspektiven und Potenziale
MOOCs: Stand, Perspektiven und PotenzialeMOOCs: Stand, Perspektiven und Potenziale
MOOCs: Stand, Perspektiven und Potenziale
Jochen Robes
 
Testpräsi
TestpräsiTestpräsi
Testpräsi
Ingrid Reip
 
Medienbildung und Schule | Blinde Flecken und Spannungsfelder
Medienbildung und Schule | Blinde Flecken und SpannungsfelderMedienbildung und Schule | Blinde Flecken und Spannungsfelder
Medienbildung und Schule | Blinde Flecken und Spannungsfelder
Mandy Rohs
 
Beispiele für die Evaluation von Lehr-/Lernsettings, in denen Social Softwar...
Beispiele für die Evaluation von Lehr-/Lernsettings, in denen Social Softwar...Beispiele für die Evaluation von Lehr-/Lernsettings, in denen Social Softwar...
Beispiele für die Evaluation von Lehr-/Lernsettings, in denen Social Softwar...
Lindner Martin
 
Alphabetische wörterliste
Alphabetische wörterlisteAlphabetische wörterliste
Alphabetische wörterliste
angelica kirana sandra dewi
 
Doktorandenausbildung zwischen Selbstorganisation und Vernetzung: zur Bedeutu...
Doktorandenausbildung zwischen Selbstorganisation und Vernetzung: zur Bedeutu...Doktorandenausbildung zwischen Selbstorganisation und Vernetzung: zur Bedeutu...
Doktorandenausbildung zwischen Selbstorganisation und Vernetzung: zur Bedeutu...
Mandy Rohs
 
Wissmuth hilfe blog1_final
Wissmuth hilfe blog1_finalWissmuth hilfe blog1_final
Wissmuth hilfe blog1_final
Lindner Martin
 
Investitionsstrategien für B-Städte und B-Lagen
Investitionsstrategien für B-Städte und B-LagenInvestitionsstrategien für B-Städte und B-Lagen
Investitionsstrategien für B-Städte und B-Lagen
schwatlomanagement
 
Kandinsky
KandinskyKandinsky
Winter
WinterWinter
Winter
Ximenavc1
 
Tamer C.V Attachements .
Tamer C.V Attachements .Tamer C.V Attachements .
Tamer C.V Attachements .
Tamer Sheta
 
Evaluation digitaler Lernsysteme? Qualität durch Evaluation
Evaluation digitaler Lernsysteme? Qualität durch EvaluationEvaluation digitaler Lernsysteme? Qualität durch Evaluation
Evaluation digitaler Lernsysteme? Qualität durch Evaluation
Lindner Martin
 
Zeugnis Diplomprüfung
Zeugnis DiplomprüfungZeugnis Diplomprüfung
Zeugnis Diplomprüfung
Dirk Engelen
 
Allwin Vergütungssystem
Allwin VergütungssystemAllwin Vergütungssystem
Allwin Vergütungssystem
allwin Vergütungssysteme
 

Andere mochten auch (18)

TechTalkThursday 02.03.2017: Container-Orchestrierung mit OpenShift - Unser W...
TechTalkThursday 02.03.2017: Container-Orchestrierung mit OpenShift - Unser W...TechTalkThursday 02.03.2017: Container-Orchestrierung mit OpenShift - Unser W...
TechTalkThursday 02.03.2017: Container-Orchestrierung mit OpenShift - Unser W...
 
Buzzwords for Lunch: Content Marketing
Buzzwords for Lunch: Content MarketingBuzzwords for Lunch: Content Marketing
Buzzwords for Lunch: Content Marketing
 
MOOCs: Stand, Perspektiven und Potenziale
MOOCs: Stand, Perspektiven und PotenzialeMOOCs: Stand, Perspektiven und Potenziale
MOOCs: Stand, Perspektiven und Potenziale
 
Testpräsi
TestpräsiTestpräsi
Testpräsi
 
Medienbildung und Schule | Blinde Flecken und Spannungsfelder
Medienbildung und Schule | Blinde Flecken und SpannungsfelderMedienbildung und Schule | Blinde Flecken und Spannungsfelder
Medienbildung und Schule | Blinde Flecken und Spannungsfelder
 
Beispiele für die Evaluation von Lehr-/Lernsettings, in denen Social Softwar...
Beispiele für die Evaluation von Lehr-/Lernsettings, in denen Social Softwar...Beispiele für die Evaluation von Lehr-/Lernsettings, in denen Social Softwar...
Beispiele für die Evaluation von Lehr-/Lernsettings, in denen Social Softwar...
 
Alphabetische wörterliste
Alphabetische wörterlisteAlphabetische wörterliste
Alphabetische wörterliste
 
Doktorandenausbildung zwischen Selbstorganisation und Vernetzung: zur Bedeutu...
Doktorandenausbildung zwischen Selbstorganisation und Vernetzung: zur Bedeutu...Doktorandenausbildung zwischen Selbstorganisation und Vernetzung: zur Bedeutu...
Doktorandenausbildung zwischen Selbstorganisation und Vernetzung: zur Bedeutu...
 
Wissmuth hilfe blog1_final
Wissmuth hilfe blog1_finalWissmuth hilfe blog1_final
Wissmuth hilfe blog1_final
 
Investitionsstrategien für B-Städte und B-Lagen
Investitionsstrategien für B-Städte und B-LagenInvestitionsstrategien für B-Städte und B-Lagen
Investitionsstrategien für B-Städte und B-Lagen
 
Kandinsky
KandinskyKandinsky
Kandinsky
 
Winter
WinterWinter
Winter
 
Wmf
WmfWmf
Wmf
 
Tamer C.V Attachements .
Tamer C.V Attachements .Tamer C.V Attachements .
Tamer C.V Attachements .
 
Evaluation digitaler Lernsysteme? Qualität durch Evaluation
Evaluation digitaler Lernsysteme? Qualität durch EvaluationEvaluation digitaler Lernsysteme? Qualität durch Evaluation
Evaluation digitaler Lernsysteme? Qualität durch Evaluation
 
Zeugnis Diplomprüfung
Zeugnis DiplomprüfungZeugnis Diplomprüfung
Zeugnis Diplomprüfung
 
Allwin Vergütungssystem
Allwin VergütungssystemAllwin Vergütungssystem
Allwin Vergütungssystem
 
Binder3
Binder3Binder3
Binder3
 

Ähnlich wie TechTalkThursday 27.10.2016: Ceph im NVME Cluster

Nagios Conference 2007 | Vmware Monitoring by Ingo Latschner
Nagios Conference 2007 | Vmware Monitoring by Ingo LatschnerNagios Conference 2007 | Vmware Monitoring by Ingo Latschner
Nagios Conference 2007 | Vmware Monitoring by Ingo Latschner
NETWAYS
 
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-ComputingTipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Jörn Dinkla
 
CPU Update Juni 2017
CPU Update Juni 2017CPU Update Juni 2017
Spezialitäten der Oracle Lizenzierung - DOAG Konferenz 2010 - OPITZ CONSULTI...
Spezialitäten der Oracle Lizenzierung -  DOAG Konferenz 2010 - OPITZ CONSULTI...Spezialitäten der Oracle Lizenzierung -  DOAG Konferenz 2010 - OPITZ CONSULTI...
Spezialitäten der Oracle Lizenzierung - DOAG Konferenz 2010 - OPITZ CONSULTI...
OPITZ CONSULTING Deutschland
 
GPU-Computing mit CUDA und OpenCL in der Praxis
GPU-Computing mit CUDA und OpenCL in der PraxisGPU-Computing mit CUDA und OpenCL in der Praxis
GPU-Computing mit CUDA und OpenCL in der Praxis
Jörn Dinkla
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Karin Patenge
 
Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...
Daniele Massimi
 
Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!
OPEN KNOWLEDGE GmbH
 
Supersonic Java für die Cloud: Quarkus
Supersonic Java für die Cloud: QuarkusSupersonic Java für die Cloud: Quarkus
Supersonic Java für die Cloud: Quarkus
OPEN KNOWLEDGE GmbH
 
Daos
DaosDaos
Docker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-PatternsDocker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-Patterns
Josef Adersberger
 
Docker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-PatternsDocker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-Patterns
QAware GmbH
 
Microservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OSMicroservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OS
Ralf Ernst
 
20111006 roadshow-sandy-bridge
20111006 roadshow-sandy-bridge20111006 roadshow-sandy-bridge
20111006 roadshow-sandy-bridge
Werner Fischer
 
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDASchulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Jörn Dinkla
 
Synology Workshop07 06
Synology Workshop07 06Synology Workshop07 06
Synology Workshop07 06
Jens-Christian Fischer
 
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHDocker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
agilemethoden
 
Josua Braun, Senior Marketing Manager Storage @ Netgear
Josua Braun, Senior Marketing Manager Storage @ NetgearJosua Braun, Senior Marketing Manager Storage @ Netgear
Josua Braun, Senior Marketing Manager Storage @ Netgear
Netgear_Business_DE
 
FROSCON 2011: MySQL Performance Tuning
FROSCON 2011: MySQL Performance TuningFROSCON 2011: MySQL Performance Tuning
FROSCON 2011: MySQL Performance Tuning
FromDual GmbH
 
Renderscript in Android 3.x
Renderscript in Android 3.xRenderscript in Android 3.x
Renderscript in Android 3.x
Dominik Helleberg
 

Ähnlich wie TechTalkThursday 27.10.2016: Ceph im NVME Cluster (20)

Nagios Conference 2007 | Vmware Monitoring by Ingo Latschner
Nagios Conference 2007 | Vmware Monitoring by Ingo LatschnerNagios Conference 2007 | Vmware Monitoring by Ingo Latschner
Nagios Conference 2007 | Vmware Monitoring by Ingo Latschner
 
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-ComputingTipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
 
CPU Update Juni 2017
CPU Update Juni 2017CPU Update Juni 2017
CPU Update Juni 2017
 
Spezialitäten der Oracle Lizenzierung - DOAG Konferenz 2010 - OPITZ CONSULTI...
Spezialitäten der Oracle Lizenzierung -  DOAG Konferenz 2010 - OPITZ CONSULTI...Spezialitäten der Oracle Lizenzierung -  DOAG Konferenz 2010 - OPITZ CONSULTI...
Spezialitäten der Oracle Lizenzierung - DOAG Konferenz 2010 - OPITZ CONSULTI...
 
GPU-Computing mit CUDA und OpenCL in der Praxis
GPU-Computing mit CUDA und OpenCL in der PraxisGPU-Computing mit CUDA und OpenCL in der Praxis
GPU-Computing mit CUDA und OpenCL in der Praxis
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
 
Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...
 
Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!Cloud-native and Enterprise Java? Hold my beer!
Cloud-native and Enterprise Java? Hold my beer!
 
Supersonic Java für die Cloud: Quarkus
Supersonic Java für die Cloud: QuarkusSupersonic Java für die Cloud: Quarkus
Supersonic Java für die Cloud: Quarkus
 
Daos
DaosDaos
Daos
 
Docker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-PatternsDocker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-Patterns
 
Docker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-PatternsDocker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-Patterns
 
Microservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OSMicroservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OS
 
20111006 roadshow-sandy-bridge
20111006 roadshow-sandy-bridge20111006 roadshow-sandy-bridge
20111006 roadshow-sandy-bridge
 
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDASchulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDA
 
Synology Workshop07 06
Synology Workshop07 06Synology Workshop07 06
Synology Workshop07 06
 
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHDocker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
 
Josua Braun, Senior Marketing Manager Storage @ Netgear
Josua Braun, Senior Marketing Manager Storage @ NetgearJosua Braun, Senior Marketing Manager Storage @ Netgear
Josua Braun, Senior Marketing Manager Storage @ Netgear
 
FROSCON 2011: MySQL Performance Tuning
FROSCON 2011: MySQL Performance TuningFROSCON 2011: MySQL Performance Tuning
FROSCON 2011: MySQL Performance Tuning
 
Renderscript in Android 3.x
Renderscript in Android 3.xRenderscript in Android 3.x
Renderscript in Android 3.x
 

Mehr von nine

Challenges behind the scenes of the large Swiss e-Commerce shop apfelkiste.ch...
Challenges behind the scenes of the large Swiss e-Commerce shop apfelkiste.ch...Challenges behind the scenes of the large Swiss e-Commerce shop apfelkiste.ch...
Challenges behind the scenes of the large Swiss e-Commerce shop apfelkiste.ch...
nine
 
Delivering real-time video globally at Internet scale - Stefan Birrer, Co-Fou...
Delivering real-time video globally at Internet scale - Stefan Birrer, Co-Fou...Delivering real-time video globally at Internet scale - Stefan Birrer, Co-Fou...
Delivering real-time video globally at Internet scale - Stefan Birrer, Co-Fou...
nine
 
How a titan empowers our cloud monitoring infrastructure
How a titan empowers our cloud monitoring infrastructureHow a titan empowers our cloud monitoring infrastructure
How a titan empowers our cloud monitoring infrastructure
nine
 
GitOps and security by Reto Bollinger, CSIO nine.ch
GitOps and security by Reto Bollinger, CSIO nine.chGitOps and security by Reto Bollinger, CSIO nine.ch
GitOps and security by Reto Bollinger, CSIO nine.ch
nine
 
GCP Meetup #3 - Approaches to Cloud Native Architectures
GCP Meetup #3 - Approaches to Cloud Native ArchitecturesGCP Meetup #3 - Approaches to Cloud Native Architectures
GCP Meetup #3 - Approaches to Cloud Native Architectures
nine
 
Security In The Public Cloud
Security In The Public CloudSecurity In The Public Cloud
Security In The Public Cloud
nine
 
TechTalkThursday: Microservices
TechTalkThursday: MicroservicesTechTalkThursday: Microservices
TechTalkThursday: Microservices
nine
 
Automating OpenShift Deployments
Automating OpenShift DeploymentsAutomating OpenShift Deployments
Automating OpenShift Deployments
nine
 
Docker for Developers
Docker for DevelopersDocker for Developers
Docker for Developers
nine
 
Das Web im Geschwindigkeitsrausch
Das Web im GeschwindigkeitsrauschDas Web im Geschwindigkeitsrausch
Das Web im Geschwindigkeitsrausch
nine
 
TechTalkThursday 29.06.2017: Wie verhält sich DDoS in der Realität?
TechTalkThursday 29.06.2017: Wie verhält sich DDoS in der Realität?TechTalkThursday 29.06.2017: Wie verhält sich DDoS in der Realität?
TechTalkThursday 29.06.2017: Wie verhält sich DDoS in der Realität?
nine
 
TechTalkThursday 27.10.2016: Redundante Linux Failover Cluster
TechTalkThursday 27.10.2016: Redundante Linux Failover ClusterTechTalkThursday 27.10.2016: Redundante Linux Failover Cluster
TechTalkThursday 27.10.2016: Redundante Linux Failover Cluster
nine
 
TechTalkThursday 27.10.2016: upd89.org - Orchestrierung von Security-Updates ...
TechTalkThursday 27.10.2016: upd89.org - Orchestrierung von Security-Updates ...TechTalkThursday 27.10.2016: upd89.org - Orchestrierung von Security-Updates ...
TechTalkThursday 27.10.2016: upd89.org - Orchestrierung von Security-Updates ...
nine
 
TechTalkThursday 14.04.2016: Load tests of web applications as a service
TechTalkThursday 14.04.2016: Load tests of web applications as a serviceTechTalkThursday 14.04.2016: Load tests of web applications as a service
TechTalkThursday 14.04.2016: Load tests of web applications as a service
nine
 
TechTalkThursday 14.04.2016: Service Oriented Architecture @nine.ch
TechTalkThursday 14.04.2016: Service Oriented Architecture @nine.chTechTalkThursday 14.04.2016: Service Oriented Architecture @nine.ch
TechTalkThursday 14.04.2016: Service Oriented Architecture @nine.ch
nine
 
TechTalkThursday 26.11.2015: Zentrales Metriken-System - ist der Flügelschlag...
TechTalkThursday 26.11.2015: Zentrales Metriken-System - ist der Flügelschlag...TechTalkThursday 26.11.2015: Zentrales Metriken-System - ist der Flügelschlag...
TechTalkThursday 26.11.2015: Zentrales Metriken-System - ist der Flügelschlag...
nine
 
TechTalkThursday 26.11.2015: Manage the minions - Docker Container mit Kubern...
TechTalkThursday 26.11.2015: Manage the minions - Docker Container mit Kubern...TechTalkThursday 26.11.2015: Manage the minions - Docker Container mit Kubern...
TechTalkThursday 26.11.2015: Manage the minions - Docker Container mit Kubern...
nine
 

Mehr von nine (17)

Challenges behind the scenes of the large Swiss e-Commerce shop apfelkiste.ch...
Challenges behind the scenes of the large Swiss e-Commerce shop apfelkiste.ch...Challenges behind the scenes of the large Swiss e-Commerce shop apfelkiste.ch...
Challenges behind the scenes of the large Swiss e-Commerce shop apfelkiste.ch...
 
Delivering real-time video globally at Internet scale - Stefan Birrer, Co-Fou...
Delivering real-time video globally at Internet scale - Stefan Birrer, Co-Fou...Delivering real-time video globally at Internet scale - Stefan Birrer, Co-Fou...
Delivering real-time video globally at Internet scale - Stefan Birrer, Co-Fou...
 
How a titan empowers our cloud monitoring infrastructure
How a titan empowers our cloud monitoring infrastructureHow a titan empowers our cloud monitoring infrastructure
How a titan empowers our cloud monitoring infrastructure
 
GitOps and security by Reto Bollinger, CSIO nine.ch
GitOps and security by Reto Bollinger, CSIO nine.chGitOps and security by Reto Bollinger, CSIO nine.ch
GitOps and security by Reto Bollinger, CSIO nine.ch
 
GCP Meetup #3 - Approaches to Cloud Native Architectures
GCP Meetup #3 - Approaches to Cloud Native ArchitecturesGCP Meetup #3 - Approaches to Cloud Native Architectures
GCP Meetup #3 - Approaches to Cloud Native Architectures
 
Security In The Public Cloud
Security In The Public CloudSecurity In The Public Cloud
Security In The Public Cloud
 
TechTalkThursday: Microservices
TechTalkThursday: MicroservicesTechTalkThursday: Microservices
TechTalkThursday: Microservices
 
Automating OpenShift Deployments
Automating OpenShift DeploymentsAutomating OpenShift Deployments
Automating OpenShift Deployments
 
Docker for Developers
Docker for DevelopersDocker for Developers
Docker for Developers
 
Das Web im Geschwindigkeitsrausch
Das Web im GeschwindigkeitsrauschDas Web im Geschwindigkeitsrausch
Das Web im Geschwindigkeitsrausch
 
TechTalkThursday 29.06.2017: Wie verhält sich DDoS in der Realität?
TechTalkThursday 29.06.2017: Wie verhält sich DDoS in der Realität?TechTalkThursday 29.06.2017: Wie verhält sich DDoS in der Realität?
TechTalkThursday 29.06.2017: Wie verhält sich DDoS in der Realität?
 
TechTalkThursday 27.10.2016: Redundante Linux Failover Cluster
TechTalkThursday 27.10.2016: Redundante Linux Failover ClusterTechTalkThursday 27.10.2016: Redundante Linux Failover Cluster
TechTalkThursday 27.10.2016: Redundante Linux Failover Cluster
 
TechTalkThursday 27.10.2016: upd89.org - Orchestrierung von Security-Updates ...
TechTalkThursday 27.10.2016: upd89.org - Orchestrierung von Security-Updates ...TechTalkThursday 27.10.2016: upd89.org - Orchestrierung von Security-Updates ...
TechTalkThursday 27.10.2016: upd89.org - Orchestrierung von Security-Updates ...
 
TechTalkThursday 14.04.2016: Load tests of web applications as a service
TechTalkThursday 14.04.2016: Load tests of web applications as a serviceTechTalkThursday 14.04.2016: Load tests of web applications as a service
TechTalkThursday 14.04.2016: Load tests of web applications as a service
 
TechTalkThursday 14.04.2016: Service Oriented Architecture @nine.ch
TechTalkThursday 14.04.2016: Service Oriented Architecture @nine.chTechTalkThursday 14.04.2016: Service Oriented Architecture @nine.ch
TechTalkThursday 14.04.2016: Service Oriented Architecture @nine.ch
 
TechTalkThursday 26.11.2015: Zentrales Metriken-System - ist der Flügelschlag...
TechTalkThursday 26.11.2015: Zentrales Metriken-System - ist der Flügelschlag...TechTalkThursday 26.11.2015: Zentrales Metriken-System - ist der Flügelschlag...
TechTalkThursday 26.11.2015: Zentrales Metriken-System - ist der Flügelschlag...
 
TechTalkThursday 26.11.2015: Manage the minions - Docker Container mit Kubern...
TechTalkThursday 26.11.2015: Manage the minions - Docker Container mit Kubern...TechTalkThursday 26.11.2015: Manage the minions - Docker Container mit Kubern...
TechTalkThursday 26.11.2015: Manage the minions - Docker Container mit Kubern...
 

TechTalkThursday 27.10.2016: Ceph im NVME Cluster

  • 2. 2 Ceph - Was ist das? verteilter Object Store (RADOS) Daten werden in Objekten verteilt auf mehreren Servern gespeichert Block Storage (RADOS Block Device) POSIX Filesystem (CephFS) Block Storage und Filesystem legen Daten auch als Objekte ab Zugriff auf Block Storage via Kernel Treiber (rbd) oder Library (librbd) Ceph/oeffentlich Sebastian Nickel 1.0
  • 4. 4 Ceph - Features kein ’single point of failure’ ausgelegt auf commodity Hardware Daten werden in Pools abgelegt Cache Tiering (SSDs als Cache Pool) replicated Pools und erasure coded Pools Snapshots schnelles Klonen copy-on-write images von Snapshots wichtig f¨ur ’cloud’ Images Scrubbing Ceph/oeffentlich Sebastian Nickel 1.0
  • 6. 6 Ceph - Komponenten Monitore (MONs) stellen ” Master“ Maps des Clusterzustandes zur Verf¨ugung werden als erstes von einem neuen Client kontaktiert ¨ubernehmen Authentifizierung ungerade Anzahl im Cluster ¨uberpr¨ufen in regelm¨assigen Abst¨anden die OSDs Ceph/oeffentlich Sebastian Nickel 1.0
  • 7. 7 Ceph - Komponenten OSDs zust¨andig f¨ur Objektspeicherung ist mit Journal- und Datenspeicher verkn¨upft haben noch double write penalty verschwindet mit ’BlueStore’ normalerweise 1 Daemon pro Festplatte ’pingen’ andere OSDs und melden an Mons f¨uhren scrubbing aus Ceph/oeffentlich Sebastian Nickel 1.0
  • 8. 8 Ceph - Komponenten MDS Meta-Daten Daemon f¨ur CephFS Eigenschaften: def explainMDS: raise NoKnowledgeException ("not in use") Ceph/oeffentlich Sebastian Nickel 1.0
  • 9. 9 Ceph - Komponenten RGW (Ceph Object Gateway) bietet S3/SWIFT kompatible REST API f¨ur Ceph umgesetzt mittels apache und mod proxy (ab apache 2.4) besitzt eigene Userverwaltung Daten werden in ’buckets’ organisiert Update von Hammer oder Infernalis auf Jewel → ¨uber Umwege Ceph/oeffentlich Sebastian Nickel 1.0
  • 10. 10 Ceph - Crush Design Crush Map wird von Mons verteilt beschreibt hierarchischen Aufbau des Clusters beinhaltet Regeln wo Daten f¨ur Pools abgelegt werden sollen besitzt ’tuneables’, welche Verteilung beeinflussen Ceph/oeffentlich Sebastian Nickel 1.0
  • 11. 11 Ceph - Placement Groups Placement Groups Abstraktionsschicht zwischen OSD und Objekten Ceph/oeffentlich Sebastian Nickel 1.0
  • 12. 12 Ceph bei der Nine damals 2 Ceph Cluster im Einsatz 1 x Rados Block Device Cluster f¨ur virtuelle Maschinen Standard Aufbau (HDD + SSD Journals) 1 x RGW Cluster genutzt als Backup Cluster Ceph/oeffentlich Sebastian Nickel 1.0
  • 13. 13 Neuer Ceph Cluster bei der Nine Ausgangspunkt? Wir wollten einen neuen Ceph Cluster (in anderem DC) unser prim¨arer Ceph Cluster zeigte Performance Probleme (HDD/SSD) deep scrubs beeinflussen performance Festplattenausfall bedeutet kurzes Performance Problem ’recovery op priority’, ’max backfills’, etc bereits gesetzt hatten Bedenken ¨uber Performance Probleme w¨ahrend Erweiterung Ceph/oeffentlich Sebastian Nickel 1.0
  • 14. 14 Neuer Ceph Cluster bei der Nine erster L¨osungsansatz: Cache Tiering Vorteil: transparente Aktivierung/Deaktivierung Tests im Staging Bereich durchgef¨uhrt 2 Hosts mit SSDs als Cache Pool konfiguriert Crush Rules f¨ur SSD Pool erstellt 10 virtuellen Maschinen als Clients vorbereitet Ceph/oeffentlich Sebastian Nickel 1.0
  • 15. 15 Neuer Ceph Cluster bei der Nine Ablauf: Maschinen generieren 4K IO mit fio Aktivieren des SSD Cache Pools inmitten des Tests Messen der Ergebnisse Ceph/oeffentlich Sebastian Nickel 1.0
  • 16. 16 Neuer Ceph Cluster bei der Nine Ergebnis nach erstem Test: Client Berechtigungen des neuen Pools vergessen bedeutet aber auch das alle Maschinen migriert werden m¨ussten Ceph/oeffentlich Sebastian Nickel 1.0
  • 17. 17 Neuer Ceph Cluster bei der Nine Ergebnis nach zweitem Test: Ceph/oeffentlich Sebastian Nickel 1.0
  • 18. 18 Neuer Ceph Cluster bei der Nine Generelles Ergebnis: Cache Tiering nur f¨ur bestimmte Einsatzzwecke Probleme beim ’hot-pull’ einer SSD Red Hat Ceph Storage 2.0: ’Cache tiering is now deprecated’ Wir wollen einen SSD Ceph Cluster! Ceph/oeffentlich Sebastian Nickel 1.0
  • 19. 19 Neuer Ceph Cluster bei der Nine - SSD mehrere Varianten standen zur Auswahl (SATA SSD + NVME; nur NVME; nur SATA SSD) gewonnen hat: only NVME Cluster Hardware: 2 x 10 Core Intel CPU 64GB RAM 2 x Intel SSD DC 3510 f¨ur OS 4x Intel SSD DC P3600 NVME Disks 4 x 10G NIC Ceph/oeffentlich Sebastian Nickel 1.0
  • 20. 20 Neuer Ceph Cluster bei der Nine - Benchmark jede Komponente des Clusters mit fio benchmarken immer gleiche Testbedingungen mehrere Testl¨aufe durchf¨uhren und Ergebnis mitteln Ceph/oeffentlich Sebastian Nickel 1.0
  • 21. 21 Neuer Ceph Cluster bei der Nine - Benchmark fio auf purem NVME device (psync, iodepth=1): Test/Blocksize 4K 8K 16K 2048K 4096K Serial Write 81692 / 319.11 66387 / 518.65 47982 / 749.72 820 / 1641.7 418 / 1672.2 Serial Read 84176 / 328 77399 / 604.68 59642 / 931.91 968 / 1936.1 540 / 2163.3 Rand. Write 82331 / 321 66796 / 521.84 49617 / 775.26 820 / 1640.7 416 / 1667.7 Rand. Read 10746 / 41 8753 / 68.38 6758 / 105.6 966 / 1933.6 544 / 2179.7 Einheit: IOPS / MB per s fio auf purem NVME device (libaio, iodepth=64): Test/Blocksize 4K 8K 16K 2048K 4096K Serial Write 406189 / 1586.7 218887 / 1710.7 111092 / 1735.9 892 / 1789.2 446 / 1791.2 Serial Read 317558 / 1240.5 249434 / 1948.8 157287 / 2457.7 1283 / 2571.6 657 / 2638.3 Rand. Write 314276 / 1227.7 192417 / 1503.3 104569 / 1633.1 892 / 1787.3 445 / 1788.1 Rand. Read 351525 / 1373.2 246589 / 1926.6 138682 / 2166.1 1248 / 2501.5 648 / 2605.5 Einheit: IOPS / MB per s Ceph/oeffentlich Sebastian Nickel 1.0
  • 22. 22 Neuer Ceph Cluster bei der Nine - Benchmark weitere Tests welche man ausf¨uhren kann ceph tell osd.<number> bench rados bench -p <pool> <dauer> write iperf fio mit rbd engine Ceph/oeffentlich Sebastian Nickel 1.0
  • 23. 23 Neuer Ceph Cluster bei der Nine - iperf iperf Tests auf gebondetem Interface mit VLAN tags maximal 2.8 Gbps zwischen Compute Node und Ceph Node MTU variiert → 4.8 Gbps nur bonding ohne VLAN oder kein bonding mit VLAN → 9.x Gbps bonding + VLAN ohne Switch → 9.x Gbps Ergebnis: kein VLAN Ceph/oeffentlich Sebastian Nickel 1.0
  • 24. 24 Neuer Ceph Cluster bei der Nine - tunings CPUs immer auf 100% der max. Taktfrequenz laufen lassen OSDs auf CPUs pinnen rq affinity der NVME devices setzen 2 OSDs pro NVME device Ceph/oeffentlich Sebastian Nickel 1.0
  • 25. 25 Neuer Ceph Cluster bei der Nine - fio mit rbd fio mit rbd engine auf Image Test/Blocksize 4K 8K 16K 2048K 4096K Serial Write 26791 IOPS 24232 IOPS 28086 IOPS 283 IOPS / 566.39 MB/s 142 IOPS / 571.36 MB/s Serial Read 2147 IOPS 2108 IOPS 1960 IOPS 281 IOPS / 563.46 MB/s 176 IOPS / 705.55 MBs Rand. Write 12408 IOPS 12369 IOPS 13370 IOPS 523 IOPS / 1047.2 MB/s 255 IOPS / 1020.1 MB/s Rand. Read 1512 IOPS 1442 IOPS 1451 IOPS 272 IOPS / 544.88 MB/s 175 IOPS / 703.5 MB/s fio innerhalb einer VM (psync, iodepth=1) Test/Blocksize 4K 8K 16K 2048K 4096K Serial Write 14686 IOPS 14038 IOPS 12407 IOPS 318 IOPS / 636.95 MB/s 128 IOPS / 515.33 MB/s Serial Read 1719 IOPS 1645 IOPS 1546 IOPS 220 IOPS / 440.58 MB/s 104 IOPS / 416.01 MB/s Rand. Write 9377 IOPS 9111 IOPS 8900 IOPS 323 IOPS / 646.10 MB/s 122 IOPS / 488.29 MB/s Rand. Read 1401 IOPS 1375 IOPS 1323 IOPS 222 IOPS / 444.64 MB/s 106 IOPS / 427.72 MB/s Ceph/oeffentlich Sebastian Nickel 1.0
  • 26. 26 Neuer Ceph Cluster bei der Nine - RedHat Cluster Check RedHat Cluster Check durchf¨uhren lassen interessante Ergebnisse: es gibt noch keine Recommendations f¨ur NVME Cluster alle NVMEs sind via PCIe Bus auf CPU1 verbunden, alle NICs auf CPU0 Crush tunables nicht optimal RBD client cache size hatte unit extensions (MB) Ceph/oeffentlich Sebastian Nickel 1.0
  • 27. 27 Neuer Ceph Cluster bei der Nine - Fazit eine VM kann den Speed der NVME devices nicht voll nutzen Parallelisierung bei NVME ist wichtig es gibt noch keine grossen Erfahrungen damit Cluster Check durch externe Firma sinnvoll Ceph/oeffentlich Sebastian Nickel 1.0