SlideShare ist ein Scribd-Unternehmen logo
Hochleistungsspeichersysteme für
Datenanalyse an der TU Dresden
Slide 2
Michael Kluge
Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH)
Kompetenzzentrum für
— Paralleles Rechnen
— Datenintensives Rechnen
— Software-Werkzeuge
— Big Data Forschung (ScaDS Dresden/Leipzig)
© Robert Gommlich
Slide 3
Michael Kluge
Nationales Big Data Kompetenzzentrum
Focal point for new research activities
Specialists from computer & domain sciences
Collaborative big data research
Slide 4
Michael Kluge
Fokus auf datenintensives Rechnen seit mehr als 15 Jahren
HPC System-Design Expertise:
Hochleistungsrechner-Speicherkomplex
HRSK-I (2007)
 Zwei Rechner: Hochleistung+Hochdurchsatz
 Knapp 2 GB/s Bandbreite zu Bandlaufwerken
HRSK-II (2015)
 Inselkonzept für HPC und Durchsatz
 Hohe I/O-Bandbreite
 HDD+SSD Dateisysteme
 100 GB/s zu drehenden Platten und 1 Mio IOPS
in paralleles Dateisystem
Datenintensives Rechnen am ZIH
Slide 5
Michael Kluge
— > 40.000 Intel Kerne
— > 20.000 AMD Kerne
— 1408 Power9 Kerne
— 192 GPUs NVidia V100
— 2 PB SSD-Speicher
— 5 PB Scratch Dateisystem
— 10 PB S3-Archiv
— 32 Sockel 48 TB
Hauptspeicher-Maschine
(ausgeschrieben)
Aktuelle HPC Ressourcen
©RobertGemlich2015
Slide 6
Michael Kluge
Designkriterien (Benchmarks)
HPC Data Analytics
Anzahl Rechnungen pro
Hauptspeicherzugriff
Möglichst groß, HPC gern
durch Speicherbandbreite
begrenzt
Nicht der entscheidende
Faktor
Zugriffe auf Permanent-
Speicher pro Rechnung
Wird selten detailliert
betrachtet
Wichtig
I/O-Metriken
Typischerweise Bandbreiten,
IOPS auch immer wichtiger
Latenz
Data Management Sinnvoll/nötig Unbedingt nötig
Speicher-Hierarchie Burst Buffer, Kapazität Alles notwendig bis Archiv
Slide 7
Michael Kluge
Umgestaltung vom reinen Hochleistungsrechner …
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
Netz
werk
Storage
Slide 8
Michael Kluge
… zum Inselkonzept …
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
Netz
werk
StorageC C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
Netz
werk
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
Netz
werk
Netz
werk
Slide 9
Michael Kluge
… zur Fusion aus HPC und Data Analytics (HPC-DA)
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
Login
Staging
Netz
werk
Netz
werk
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
C C C
Netz
werk
Large Archive
NVME
Netz
werk Weltweiter
Zugriff
Slide 10
Michael Kluge
HPC-DA Infiniband Fabric
SATA Lustre HTC (929)
SATA Lustre
SSD Lustre
HPC (612)
Archive
EDRswitchlayer
18switches
216 ports FDR
216 ports FDR
Blade
Blade
Blade
Blade
Blade
Blade
HPC (612)
Machine learning
I/O with extreme
high bandwidth,
low latency
Login
Login
Export
Export
2x10GE 10GE
Slide 11
Michael Kluge
Hardware
— 90 NVMe Knoten
 8x Intel NVMe Datacenter SSD P4610, 3.2 TB,
3,2 GB/s (8x 3.2 =25.6 GB/s)
 2x Infiniband EDR, Mellanox MT27800,
ConnectX-5, PCIe x16, 100 Gbit/s
 2 Sockel Intel Xeon E5-2620 v4 (16 cores, 2.10GHz)
 64 GB RAM
— Bandbreite NVMe = Bandbreite IB
HPC-DA NVMe Knoten
2x EDR IB: 25 GB/s
8x PCIe v3.1 x4
2x PCIe v3.1 x16
8x 3.2 GB/s
2 PB
90 NVME
Knoten
in Summe
2 TB/s
Bandbreite
Slide 12
Michael Kluge
Node
Deployment-Szenario 1:1 lokal
C C C
C C C
NVME NVME
NodeNVME NVME
NodeNVME NVME
Jedes Device wird lokal benutzt
Lokales Filesystem der Wahl
Bei Ausfall eines Knotens kann es an einem anderen Knoten wiederverwendet werden
z.B. für On-Demand Hadoop-Cluster von relativ beliebiger Größe
Extreme Metadaten-Skalierbarkeit, da lokale Dateisystem da typischerweise unübertroffen sind
C C C
Slide 13
Michael Kluge
Node
Deployment-Szenario Raid:1 lokal
C C C
C C C
NVME NVME
NodeNVME NVME
NodeNVME NVME
Mehrere SSDs werden remote zu einem virtuellen Device zusammengebaut
Bei Ausfall eines Knotens kann es an einem anderen Knoten wiederverwendet warden
Lokales Filesystem der Wahl
Redundanz bei Ausfall von NVMe
C C C
Raid Raid
Slide 14
Michael Kluge
Node
Deployment-Szenario (Raid oder 1):1 paralleles Dateiystem
C C C
C C C
NVME NVME
NodeNVME NVME
NodeNVME NVME
Jedes Device (Raid oder direkt) wird lokal auf einem Compute-Knoten gemountet
Auf den Knoten wird ein paralleles Dateisystem gebaut, z.B. BeeGFS, Lustre oder GeckoFS
Gemeinsamer Datenzugriff aller Knoten
Dateisystem nach Crash eines Compute-Knotens wiederherstellbar
C C C
Paralleles FS
Slide 15
Michael Kluge
Paralleles FS
Node
Deployment-Szenario (Raid oder 1):1 paralleles Dateiystem
C C C
C C C
NVME NVME
NodeNVME NVME
NodeNVME NVME
Mehrere SSDs werden remote zu einem virtuellen Device zusammengebaut
Darüber baut man (remote) ein paralleles Dateisystem
Bei Ausfall eines Knotens kann es an einem anderen Knoten wiederverwendet werden
Redundanz bei Ausfall von NVMe
C C C
Raid Raid
Slide 16
Michael Kluge
Vision für den Betrieb
©RobertGemlich2015
Nutzer SLURM NVMe S3
Anfrage NVMe Allokation Konfiguration
StageIn
Compute
Compute
Compute
Compute
StageIn fertig
Timeout
StageOut
Freigabe
Kopieren
Kopieren
Freigabe
Slide 17
Michael Kluge
Danke für Ihre Aufmerksamkeit!

Weitere ähnliche Inhalte

Was ist angesagt?

Storage mit ceph (glt 2013)
Storage mit ceph (glt 2013)Storage mit ceph (glt 2013)
Storage mit ceph (glt 2013)
hastexo
 
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GISGeoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Peter Löwe
 
Storage Trends für KMU
Storage Trends für KMUStorage Trends für KMU
Storage Trends für KMU
A. Baggenstos & Co. AG
 
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDASchulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Jörn Dinkla
 
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
inovex GmbH
 
Fujitsu Storage Days 2017 - Rudolf Klassen - "Erfahrungsbericht ETERNUS DX200...
Fujitsu Storage Days 2017 - Rudolf Klassen - "Erfahrungsbericht ETERNUS DX200...Fujitsu Storage Days 2017 - Rudolf Klassen - "Erfahrungsbericht ETERNUS DX200...
Fujitsu Storage Days 2017 - Rudolf Klassen - "Erfahrungsbericht ETERNUS DX200...
Fujitsu Central Europe
 

Was ist angesagt? (6)

Storage mit ceph (glt 2013)
Storage mit ceph (glt 2013)Storage mit ceph (glt 2013)
Storage mit ceph (glt 2013)
 
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GISGeoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
 
Storage Trends für KMU
Storage Trends für KMUStorage Trends für KMU
Storage Trends für KMU
 
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDASchulung: Einführung in das GPU-Computing mit NVIDIA CUDA
Schulung: Einführung in das GPU-Computing mit NVIDIA CUDA
 
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
 
Fujitsu Storage Days 2017 - Rudolf Klassen - "Erfahrungsbericht ETERNUS DX200...
Fujitsu Storage Days 2017 - Rudolf Klassen - "Erfahrungsbericht ETERNUS DX200...Fujitsu Storage Days 2017 - Rudolf Klassen - "Erfahrungsbericht ETERNUS DX200...
Fujitsu Storage Days 2017 - Rudolf Klassen - "Erfahrungsbericht ETERNUS DX200...
 

Ähnlich wie Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)

Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
QAware GmbH
 
How to use Big Data
How to use Big DataHow to use Big Data
How to use Big Data
Digicomp Academy AG
 
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
BOSTON Server & Storage Solutions GmbH
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performance
glembotzky
 
OpenStack und Heat - Standardisierte Test- und Entwicklungsumgebungen
OpenStack und Heat - Standardisierte Test- und EntwicklungsumgebungenOpenStack und Heat - Standardisierte Test- und Entwicklungsumgebungen
OpenStack und Heat - Standardisierte Test- und Entwicklungsumgebungen
B1 Systems GmbH
 
OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers ...
OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers ...OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers ...
OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers ...
NETWAYS
 
Archivistavm OpenTuesday Digicomp
Archivistavm OpenTuesday DigicompArchivistavm OpenTuesday Digicomp
Archivistavm OpenTuesday Digicomp
Digicomp Academy AG
 
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
OPITZ CONSULTING Deutschland
 
Data Virtualization - Supernova
Data Virtualization - SupernovaData Virtualization - Supernova
Data Virtualization - Supernova
Torsten Glunde
 
Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?
Werner Fischer
 
Continuous Delivery für Cloud-native Anwendungen auf Cloud-nativer Infrastruktur
Continuous Delivery für Cloud-native Anwendungen auf Cloud-nativer InfrastrukturContinuous Delivery für Cloud-native Anwendungen auf Cloud-nativer Infrastruktur
Continuous Delivery für Cloud-native Anwendungen auf Cloud-nativer Infrastruktur
QAware GmbH
 
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Agenda Europe 2035
 
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHDocker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
agilemethoden
 
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-ComputingTipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Jörn Dinkla
 
Nimble Storage - Die neue Storage-Generation
Nimble Storage - Die neue Storage-GenerationNimble Storage - Die neue Storage-Generation
Nimble Storage - Die neue Storage-Generation
Digicomp Academy AG
 
Logical Data Warehouse - SQL mit Oracle DB und Hadoop
Logical Data Warehouse - SQL mit Oracle DB und HadoopLogical Data Warehouse - SQL mit Oracle DB und Hadoop
Logical Data Warehouse - SQL mit Oracle DB und Hadoop
OPITZ CONSULTING Deutschland
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
OPEN KNOWLEDGE GmbH
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
QAware GmbH
 
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden SpeicherSuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
BOSTON Server & Storage Solutions GmbH
 
Orchestrierung einer Private Cloud mit OpenStack Heat
Orchestrierung einer Private Cloud mit OpenStack Heat Orchestrierung einer Private Cloud mit OpenStack Heat
Orchestrierung einer Private Cloud mit OpenStack Heat
B1 Systems GmbH
 

Ähnlich wie Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge) (20)

Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
 
How to use Big Data
How to use Big DataHow to use Big Data
How to use Big Data
 
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performance
 
OpenStack und Heat - Standardisierte Test- und Entwicklungsumgebungen
OpenStack und Heat - Standardisierte Test- und EntwicklungsumgebungenOpenStack und Heat - Standardisierte Test- und Entwicklungsumgebungen
OpenStack und Heat - Standardisierte Test- und Entwicklungsumgebungen
 
OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers ...
OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers ...OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers ...
OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers ...
 
Archivistavm OpenTuesday Digicomp
Archivistavm OpenTuesday DigicompArchivistavm OpenTuesday Digicomp
Archivistavm OpenTuesday Digicomp
 
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
 
Data Virtualization - Supernova
Data Virtualization - SupernovaData Virtualization - Supernova
Data Virtualization - Supernova
 
Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?
 
Continuous Delivery für Cloud-native Anwendungen auf Cloud-nativer Infrastruktur
Continuous Delivery für Cloud-native Anwendungen auf Cloud-nativer InfrastrukturContinuous Delivery für Cloud-native Anwendungen auf Cloud-nativer Infrastruktur
Continuous Delivery für Cloud-native Anwendungen auf Cloud-nativer Infrastruktur
 
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
 
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHDocker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
 
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-ComputingTipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
 
Nimble Storage - Die neue Storage-Generation
Nimble Storage - Die neue Storage-GenerationNimble Storage - Die neue Storage-Generation
Nimble Storage - Die neue Storage-Generation
 
Logical Data Warehouse - SQL mit Oracle DB und Hadoop
Logical Data Warehouse - SQL mit Oracle DB und HadoopLogical Data Warehouse - SQL mit Oracle DB und Hadoop
Logical Data Warehouse - SQL mit Oracle DB und Hadoop
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
 
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden SpeicherSuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
 
Orchestrierung einer Private Cloud mit OpenStack Heat
Orchestrierung einer Private Cloud mit OpenStack Heat Orchestrierung einer Private Cloud mit OpenStack Heat
Orchestrierung einer Private Cloud mit OpenStack Heat
 

Mehr von data://disrupted®

Benchmarking your cloud performance with top 4 global public clouds
Benchmarking your cloud performance with top 4 global public cloudsBenchmarking your cloud performance with top 4 global public clouds
Benchmarking your cloud performance with top 4 global public clouds
data://disrupted®
 
Achieving the Ultimate Performance with KVM
Achieving the Ultimate Performance with KVMAchieving the Ultimate Performance with KVM
Achieving the Ultimate Performance with KVM
data://disrupted®
 
​Muss es wirklich wieder Tape sein?
​Muss es wirklich wieder Tape sein? ​Muss es wirklich wieder Tape sein?
​Muss es wirklich wieder Tape sein?
data://disrupted®
 
​Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung
​Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung​Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung
​Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung
data://disrupted®
 
Rook: Storage for Containers in Containers – data://disrupted® 2020
Rook: Storage for Containers in Containers  – data://disrupted® 2020Rook: Storage for Containers in Containers  – data://disrupted® 2020
Rook: Storage for Containers in Containers – data://disrupted® 2020
data://disrupted®
 
Storage Benchmarks - Voodoo oder Wissenschaft? – data://disrupted® 2020
Storage Benchmarks - Voodoo oder Wissenschaft? – data://disrupted® 2020Storage Benchmarks - Voodoo oder Wissenschaft? – data://disrupted® 2020
Storage Benchmarks - Voodoo oder Wissenschaft? – data://disrupted® 2020
data://disrupted®
 
Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...
Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...
Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...
data://disrupted®
 
Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020
Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020
Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020
data://disrupted®
 
Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020
Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020
Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020
data://disrupted®
 
HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...
HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...
HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...
data://disrupted®
 
Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...
Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...
Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...
data://disrupted®
 
Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)
Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)
Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)
data://disrupted®
 
Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)
Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)
Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)
data://disrupted®
 
CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.
CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.
CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.
data://disrupted®
 
Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...
Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...
Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...
data://disrupted®
 
Buzzword Bingo Storage Edition 2019 (Wolfgang Stief)
Buzzword Bingo Storage Edition 2019 (Wolfgang Stief)Buzzword Bingo Storage Edition 2019 (Wolfgang Stief)
Buzzword Bingo Storage Edition 2019 (Wolfgang Stief)
data://disrupted®
 
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
data://disrupted®
 

Mehr von data://disrupted® (17)

Benchmarking your cloud performance with top 4 global public clouds
Benchmarking your cloud performance with top 4 global public cloudsBenchmarking your cloud performance with top 4 global public clouds
Benchmarking your cloud performance with top 4 global public clouds
 
Achieving the Ultimate Performance with KVM
Achieving the Ultimate Performance with KVMAchieving the Ultimate Performance with KVM
Achieving the Ultimate Performance with KVM
 
​Muss es wirklich wieder Tape sein?
​Muss es wirklich wieder Tape sein? ​Muss es wirklich wieder Tape sein?
​Muss es wirklich wieder Tape sein?
 
​Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung
​Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung​Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung
​Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung
 
Rook: Storage for Containers in Containers – data://disrupted® 2020
Rook: Storage for Containers in Containers  – data://disrupted® 2020Rook: Storage for Containers in Containers  – data://disrupted® 2020
Rook: Storage for Containers in Containers – data://disrupted® 2020
 
Storage Benchmarks - Voodoo oder Wissenschaft? – data://disrupted® 2020
Storage Benchmarks - Voodoo oder Wissenschaft? – data://disrupted® 2020Storage Benchmarks - Voodoo oder Wissenschaft? – data://disrupted® 2020
Storage Benchmarks - Voodoo oder Wissenschaft? – data://disrupted® 2020
 
Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...
Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...
Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...
 
Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020
Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020
Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020
 
Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020
Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020
Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020
 
HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...
HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...
HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...
 
Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...
Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...
Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...
 
Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)
Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)
Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)
 
Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)
Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)
Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)
 
CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.
CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.
CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.
 
Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...
Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...
Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...
 
Buzzword Bingo Storage Edition 2019 (Wolfgang Stief)
Buzzword Bingo Storage Edition 2019 (Wolfgang Stief)Buzzword Bingo Storage Edition 2019 (Wolfgang Stief)
Buzzword Bingo Storage Edition 2019 (Wolfgang Stief)
 
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
Intelligent Edge - breaking the storage hype (Michael Beeck, mibeeck GmbH)
 

Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)

  • 2. Slide 2 Michael Kluge Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Kompetenzzentrum für — Paralleles Rechnen — Datenintensives Rechnen — Software-Werkzeuge — Big Data Forschung (ScaDS Dresden/Leipzig) © Robert Gommlich
  • 3. Slide 3 Michael Kluge Nationales Big Data Kompetenzzentrum Focal point for new research activities Specialists from computer & domain sciences Collaborative big data research
  • 4. Slide 4 Michael Kluge Fokus auf datenintensives Rechnen seit mehr als 15 Jahren HPC System-Design Expertise: Hochleistungsrechner-Speicherkomplex HRSK-I (2007)  Zwei Rechner: Hochleistung+Hochdurchsatz  Knapp 2 GB/s Bandbreite zu Bandlaufwerken HRSK-II (2015)  Inselkonzept für HPC und Durchsatz  Hohe I/O-Bandbreite  HDD+SSD Dateisysteme  100 GB/s zu drehenden Platten und 1 Mio IOPS in paralleles Dateisystem Datenintensives Rechnen am ZIH
  • 5. Slide 5 Michael Kluge — > 40.000 Intel Kerne — > 20.000 AMD Kerne — 1408 Power9 Kerne — 192 GPUs NVidia V100 — 2 PB SSD-Speicher — 5 PB Scratch Dateisystem — 10 PB S3-Archiv — 32 Sockel 48 TB Hauptspeicher-Maschine (ausgeschrieben) Aktuelle HPC Ressourcen ©RobertGemlich2015
  • 6. Slide 6 Michael Kluge Designkriterien (Benchmarks) HPC Data Analytics Anzahl Rechnungen pro Hauptspeicherzugriff Möglichst groß, HPC gern durch Speicherbandbreite begrenzt Nicht der entscheidende Faktor Zugriffe auf Permanent- Speicher pro Rechnung Wird selten detailliert betrachtet Wichtig I/O-Metriken Typischerweise Bandbreiten, IOPS auch immer wichtiger Latenz Data Management Sinnvoll/nötig Unbedingt nötig Speicher-Hierarchie Burst Buffer, Kapazität Alles notwendig bis Archiv
  • 7. Slide 7 Michael Kluge Umgestaltung vom reinen Hochleistungsrechner … C C C C C C C C C C C C C C C C C C C C C C C C Netz werk Storage
  • 8. Slide 8 Michael Kluge … zum Inselkonzept … C C C C C C C C C C C C C C C C C C C C C C C C Netz werk StorageC C C C C C C C C C C C C C C C C C C C C C C C Netz werk C C C C C C C C C C C C C C C C C C C C C C C C Netz werk Netz werk
  • 9. Slide 9 Michael Kluge … zur Fusion aus HPC und Data Analytics (HPC-DA) C C C C C C C C C C C C C C C C C C C C C C C C Login Staging Netz werk Netz werk C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C C Netz werk Large Archive NVME Netz werk Weltweiter Zugriff
  • 10. Slide 10 Michael Kluge HPC-DA Infiniband Fabric SATA Lustre HTC (929) SATA Lustre SSD Lustre HPC (612) Archive EDRswitchlayer 18switches 216 ports FDR 216 ports FDR Blade Blade Blade Blade Blade Blade HPC (612) Machine learning I/O with extreme high bandwidth, low latency Login Login Export Export 2x10GE 10GE
  • 11. Slide 11 Michael Kluge Hardware — 90 NVMe Knoten  8x Intel NVMe Datacenter SSD P4610, 3.2 TB, 3,2 GB/s (8x 3.2 =25.6 GB/s)  2x Infiniband EDR, Mellanox MT27800, ConnectX-5, PCIe x16, 100 Gbit/s  2 Sockel Intel Xeon E5-2620 v4 (16 cores, 2.10GHz)  64 GB RAM — Bandbreite NVMe = Bandbreite IB HPC-DA NVMe Knoten 2x EDR IB: 25 GB/s 8x PCIe v3.1 x4 2x PCIe v3.1 x16 8x 3.2 GB/s 2 PB 90 NVME Knoten in Summe 2 TB/s Bandbreite
  • 12. Slide 12 Michael Kluge Node Deployment-Szenario 1:1 lokal C C C C C C NVME NVME NodeNVME NVME NodeNVME NVME Jedes Device wird lokal benutzt Lokales Filesystem der Wahl Bei Ausfall eines Knotens kann es an einem anderen Knoten wiederverwendet werden z.B. für On-Demand Hadoop-Cluster von relativ beliebiger Größe Extreme Metadaten-Skalierbarkeit, da lokale Dateisystem da typischerweise unübertroffen sind C C C
  • 13. Slide 13 Michael Kluge Node Deployment-Szenario Raid:1 lokal C C C C C C NVME NVME NodeNVME NVME NodeNVME NVME Mehrere SSDs werden remote zu einem virtuellen Device zusammengebaut Bei Ausfall eines Knotens kann es an einem anderen Knoten wiederverwendet warden Lokales Filesystem der Wahl Redundanz bei Ausfall von NVMe C C C Raid Raid
  • 14. Slide 14 Michael Kluge Node Deployment-Szenario (Raid oder 1):1 paralleles Dateiystem C C C C C C NVME NVME NodeNVME NVME NodeNVME NVME Jedes Device (Raid oder direkt) wird lokal auf einem Compute-Knoten gemountet Auf den Knoten wird ein paralleles Dateisystem gebaut, z.B. BeeGFS, Lustre oder GeckoFS Gemeinsamer Datenzugriff aller Knoten Dateisystem nach Crash eines Compute-Knotens wiederherstellbar C C C Paralleles FS
  • 15. Slide 15 Michael Kluge Paralleles FS Node Deployment-Szenario (Raid oder 1):1 paralleles Dateiystem C C C C C C NVME NVME NodeNVME NVME NodeNVME NVME Mehrere SSDs werden remote zu einem virtuellen Device zusammengebaut Darüber baut man (remote) ein paralleles Dateisystem Bei Ausfall eines Knotens kann es an einem anderen Knoten wiederverwendet werden Redundanz bei Ausfall von NVMe C C C Raid Raid
  • 16. Slide 16 Michael Kluge Vision für den Betrieb ©RobertGemlich2015 Nutzer SLURM NVMe S3 Anfrage NVMe Allokation Konfiguration StageIn Compute Compute Compute Compute StageIn fertig Timeout StageOut Freigabe Kopieren Kopieren Freigabe
  • 17. Slide 17 Michael Kluge Danke für Ihre Aufmerksamkeit!