SlideShare ist ein Scribd-Unternehmen logo
1 von 28
Downloaden Sie, um offline zu lesen
I/O Performance
optimieren
Werner Fischer, Technology Specialist Thomas-Krenn.AG

Thomas Krenn Herbstworkshop & Roadshow 2011

23.09. in Freyung
06.10. in Wien (A)
10.10. in Frankfurt
11.10. in Düsseldorf
12.10. in Hamburg
13.10. in Berlin
19.10. in München
20.10. in Zürich (CH)
25.10. in Prag (CZ)
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 2/28
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 3/28
1) Speichermedien

     • Festplatte
          – gute sequential Performance
          – limitierte random Perfomance
          – random access time:

         HDD                    RPM          seek time*   latency      contr.overh.**   mittl.Zugriffsz.
WD 500 GB                          7.200         8,9 ms    4,2 ms             0,2 ms                 13,3 ms
WD5002ABYS 3,5“

Seagate 400 GB                   10.000          4,2 ms    3,0 ms             0,2 ms                  7,4 ms
ST3400755SS 3,5“

Fujitsu 300 GB                   15.000          3,6 ms    2,0 ms             0,2 ms                  5,8 ms
MBA3300RC 3,5“

*) write seek time, Angabe laut Hersteller
**) Beispielannahme




Weitere Informationen: Präsentationen der Thomas Krenn Roadshow 2009
                                                                                        slide 4/28
1) Speichermedien

    • Solid-State Drive (SSD)
         – Aufbau:
               • Cells / Pages / Blocks
               • Planes / Dies / TSOPs / SSD
         – Spare Area
         – Wear Leveling
         – Write Amplification /
           Garbage Collection
         – ATA Trim


                                                                  Quelle: http://www.intel.com/pressroom/archive/releases/20100201comp.htm




Weitere Informationen: Präsentationen der Thomas Krenn Roadshow 2010
                                                                                                                       slide 5/28
1) Speichermedien




Quelle: Intel Developer Forum 2011
                                     slide 6/28
1) Speichermedien




Quelle: Intel Developer Forum 2011
                                     slide 7/28
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 8/28
2) Zugriffsmuster (Access Patterns)

  • read / write
    – read: Backup
    – mixed read/write: Datenbank Daten-Volume
    – write: Datenbank Transaction-Log, Restore
  • random / sequential
    – random: Datenbank Daten-Volume
    – sequential: Datenbank Transaction-Log, Disk-Images, Backup
  • request size
    – 4 KiB: Ext4/NTFS Blockgröße
    – 8 KiB: Exchange 2007
    – 256 KiB: Backup/Restore

                                                       slide 9/28
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 10/28
3) Schnittstellen (Interfaces)

  • DAS (direct attached storage, block-based)
    – SATA:
        • SATA 1,5 Gb/s
        • SATA 3 Gb/s
        • SATA 6 Gb/s
    – SAS:
        • 3 Gb/s SAS
        • 6 Gb/s SAS
    – PCIe, Zukunft: NVM Express   Quelle: http://www.scsita.org/sas_library/2011/06/serial-attached-scsi-master-roadmap.html




  • SAN (storage area network, block-based)
    – iSCSI / FC
  • NAS (network attached storage, file-based)
    – NFS / CIFS                                                                                        slide 11/28
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 12/28
4) I/O Stack (Beispiel Linux)




                                slide 13/28
4) I/O Stack (Beispiel Linux)




                                slide 14/28
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 15/28
5) Verbund mehrerer Speichermedien (RAID)

  • Beispiel: RAID 0 / RAID 1 / RAID 5




                                         slide 16/28
5) Verbund mehrerer Speichermedien (RAID)

  • RAID Typen
    – Software RAID
    – Firmware/Driver RAID
    – Hardware RAID
       • Caches von HW-RAID Controller
         (gut für write / unnötig für read)
       • Cache-Protection
           – BBUs
           – Adaptec ZMCP
           – LSI CacheVault




                                              slide 17/28
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 18/28
6) I/O Anforderungen

  • Transferrate / Datendurchsatz
    – MB/s
    – Vergleich: Personen/h
      auf einer Strecke
  • Anzahl I/O Operationen
    pro Sekunde
    – IOPS
    – Vergleich: Anzahl mögl.
      individueller Fahrten
  • dazu kommt: Latenz!
    – Queue Depth
    – Vergleich: ab wie vielen
      Fahrzeugen fährt die Fähre los?
                                        slide 19/28
6) I/O Anforderungen

  • Latenz wird durch Länge der Warte-
    schlange (Queue) beeinflusst




                                         slide 20/28
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 21/28
7) I/O Performance optimieren

  • verstehen
    – Anforderungen
    – Aufbau Gesamtsystem
  • messen
    – read/write
    – random/sequential
    – request size
  • optimieren




                                slide 22/28
Agenda

 1) Speichermedien

 2) Zugriffsmuster (Access Patterns)

 3) Schnittstellen (Interfaces)

 4) I/O Stack (Beispiel Linux)

 5) Verbund mehrerer Speichermedien (RAID)

 6) I/O Anforderungen

 7) I/O Performance optimieren

 8) Tips                                     slide 23/28
8) Tips

  • Alignment beachten, Bsp. SSD mit falschem Alignment:




  • noatime / relatime
  • SSDs:
    – Over-Provisioning
    – Queue Depth – Abwägung IOPS/Latenz
    – SSD Sessions des Intel Developer Forum 2011:
      http://intel.com/go/idfsessions
  • Lastspitzen einplanen

                                                     slide 24/28
8) Tips (cont')

  • (Storage) Fehler einplanen, Auswirkungen durch
    –   RAID-Rebuild nach HDD-Ausfall
    –   Ausfall eines Storage-Controllers
    –   Ausfall eines Storage-Pfades bei Multi-Pathing
    –   Leere Caches (Page Cache, DB Cache im RAM) nach Reboot
  • bei Neuplanung:
    – Zugriffsmuster am Alt-System messen
    – Neues System anhand dieser Werte auslegen
    – Neues System vor Inbetriebnahme tunen (Zugriffsmuster mit
      IOmeter/fio simulieren)




                                                      slide 25/28
8) Tips (cont')

  • Toolsammlung
    – Lastgenerierung + Messung
       • IOmeter (Windows,
         Linux mit Windows-Client)
       • fio (Linux)
       • iozone (Linux)
    – Lastmessung
       • iostat
       • vmstat
       • Windows Performance Monitor




                                       slide 26/28
8) Tips (cont')

  • Thomas Krenn Wiki Artikel:
    –   RAID
    –   RAID Controller Grundlagen
    –   Linux Software RAID
    –   Cache Einstellungen von RAID Controllern und Festplatten
    –   Wartung der Battery Backup Unit (BBU/BBM) bei RAID-
        Controllern
    –   Adaptec RAID Maintenance Best Practices
    –   SSD Performance optimieren
    –   SSD Over-Provisioning mit hdparm
    –   ATA Trim
    –   Ext4
    –   ...
                                                         slide 27/28
Optimale I/O Performance ist
     keine einmalige
      Konfiguration,
sondern ein kontinuierlicher
         Prozess.

Weitere ähnliche Inhalte

Andere mochten auch

Tipos de imagen
Tipos de imagenTipos de imagen
Tipos de imagenpyfed
 
Intorrogantes educativos bartolome_grane
Intorrogantes educativos bartolome_graneIntorrogantes educativos bartolome_grane
Intorrogantes educativos bartolome_graneSito Hernández Dávila
 
Matrimonios gays
Matrimonios gaysMatrimonios gays
Matrimonios gaysMau Gomez
 
Crowd-Journalismus: Geschichten von unten
Crowd-Journalismus: Geschichten von untenCrowd-Journalismus: Geschichten von unten
Crowd-Journalismus: Geschichten von untenJakob Steinschaden
 
Lions2009 10vertikal
Lions2009 10vertikalLions2009 10vertikal
Lions2009 10vertikalPKaras
 
OPAR Vortrag auf der CeBIT 2011
OPAR Vortrag auf der CeBIT 2011OPAR Vortrag auf der CeBIT 2011
OPAR Vortrag auf der CeBIT 2011Renee Baecker
 
2. klasse eso nicolás estévez
2. klasse eso nicolás estévez2. klasse eso nicolás estévez
2. klasse eso nicolás estévezalemangarachico
 
6. Breitband-Regionalkonferenz Harz
6. Breitband-Regionalkonferenz Harz6. Breitband-Regionalkonferenz Harz
6. Breitband-Regionalkonferenz HarzHans-Martin Schulze
 
Tarea 4: Causas de las úlceras de los pies y el modo de diagnosticarlas en a...
Tarea 4:  Causas de las úlceras de los pies y el modo de diagnosticarlas en a...Tarea 4:  Causas de las úlceras de los pies y el modo de diagnosticarlas en a...
Tarea 4: Causas de las úlceras de los pies y el modo de diagnosticarlas en a...DanteNferno
 
Explora mercados tus_potenciales
Explora mercados tus_potencialesExplora mercados tus_potenciales
Explora mercados tus_potencialesHector Rincon
 
Karen .. manu rosi y lupi expo de sistema
Karen .. manu rosi y lupi expo de sistemaKaren .. manu rosi y lupi expo de sistema
Karen .. manu rosi y lupi expo de sistemakarendgarcia1995
 
pecezuelos
pecezuelospecezuelos
pecezuelosmiwdred
 
Tarea 6: Utilización de la acupuntura, el masaje y técnicas de relajación en ...
Tarea 6: Utilización de la acupuntura, el masaje y técnicas de relajación en ...Tarea 6: Utilización de la acupuntura, el masaje y técnicas de relajación en ...
Tarea 6: Utilización de la acupuntura, el masaje y técnicas de relajación en ...DanteNferno
 

Andere mochten auch (20)

Tipos de imagen
Tipos de imagenTipos de imagen
Tipos de imagen
 
Indus-kultur
Indus-kulturIndus-kultur
Indus-kultur
 
Intorrogantes educativos bartolome_grane
Intorrogantes educativos bartolome_graneIntorrogantes educativos bartolome_grane
Intorrogantes educativos bartolome_grane
 
Matrimonios gays
Matrimonios gaysMatrimonios gays
Matrimonios gays
 
Crowd-Journalismus: Geschichten von unten
Crowd-Journalismus: Geschichten von untenCrowd-Journalismus: Geschichten von unten
Crowd-Journalismus: Geschichten von unten
 
Lions2009 10vertikal
Lions2009 10vertikalLions2009 10vertikal
Lions2009 10vertikal
 
OPAR Vortrag auf der CeBIT 2011
OPAR Vortrag auf der CeBIT 2011OPAR Vortrag auf der CeBIT 2011
OPAR Vortrag auf der CeBIT 2011
 
Fat1
Fat1Fat1
Fat1
 
2. klasse eso nicolás estévez
2. klasse eso nicolás estévez2. klasse eso nicolás estévez
2. klasse eso nicolás estévez
 
La rueda
La ruedaLa rueda
La rueda
 
Ritas Familie
Ritas FamilieRitas Familie
Ritas Familie
 
6. Breitband-Regionalkonferenz Harz
6. Breitband-Regionalkonferenz Harz6. Breitband-Regionalkonferenz Harz
6. Breitband-Regionalkonferenz Harz
 
Tarea 4: Causas de las úlceras de los pies y el modo de diagnosticarlas en a...
Tarea 4:  Causas de las úlceras de los pies y el modo de diagnosticarlas en a...Tarea 4:  Causas de las úlceras de los pies y el modo de diagnosticarlas en a...
Tarea 4: Causas de las úlceras de los pies y el modo de diagnosticarlas en a...
 
Hereandnow
HereandnowHereandnow
Hereandnow
 
Explora mercados tus_potenciales
Explora mercados tus_potencialesExplora mercados tus_potenciales
Explora mercados tus_potenciales
 
Ahv rapport 04
Ahv rapport 04Ahv rapport 04
Ahv rapport 04
 
Karen .. manu rosi y lupi expo de sistema
Karen .. manu rosi y lupi expo de sistemaKaren .. manu rosi y lupi expo de sistema
Karen .. manu rosi y lupi expo de sistema
 
Rutina Omar 3. Klasse
Rutina Omar 3. KlasseRutina Omar 3. Klasse
Rutina Omar 3. Klasse
 
pecezuelos
pecezuelospecezuelos
pecezuelos
 
Tarea 6: Utilización de la acupuntura, el masaje y técnicas de relajación en ...
Tarea 6: Utilización de la acupuntura, el masaje y técnicas de relajación en ...Tarea 6: Utilización de la acupuntura, el masaje y técnicas de relajación en ...
Tarea 6: Utilización de la acupuntura, el masaje y técnicas de relajación en ...
 

Ähnlich wie 20111006 roadshow-io-performance

20111006 roadshow-sandy-bridge
20111006 roadshow-sandy-bridge20111006 roadshow-sandy-bridge
20111006 roadshow-sandy-bridgeWerner Fischer
 
Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?Werner Fischer
 
Microservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OSMicroservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OSRalf Ernst
 
Sql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint AdministratorenSql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint AdministratorenCommunardo GmbH
 
Sql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSharepointUGDD
 
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 ServerDOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 ServerJomaSoft
 
SQL Server Transaction Log Deep Dive Session - PASS Hamburg
SQL Server Transaction Log Deep Dive Session - PASS HamburgSQL Server Transaction Log Deep Dive Session - PASS Hamburg
SQL Server Transaction Log Deep Dive Session - PASS HamburgSascha Lorenz
 
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 ServernPraktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 ServernJomaSoft
 
20121008 io-performance
20121008 io-performance20121008 io-performance
20121008 io-performanceWerner Fischer
 
Exchange Server 2019 MetaCache Database und BigFunnel
Exchange Server 2019 MetaCache Database und BigFunnelExchange Server 2019 MetaCache Database und BigFunnel
Exchange Server 2019 MetaCache Database und BigFunnelThomas Stensitzki
 
X$Tabellen und SgaScanner, DOAG 2009
X$Tabellen und SgaScanner, DOAG 2009X$Tabellen und SgaScanner, DOAG 2009
X$Tabellen und SgaScanner, DOAG 2009Frank
 
Datenbankkonsolidierung
DatenbankkonsolidierungDatenbankkonsolidierung
DatenbankkonsolidierungDierk Lenz
 
SLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauenSLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauenSchlomo Schapiro
 
SSD vs HDD: Risiken und Nebenwirkungen der Flash-Technologie - Webinar
SSD vs HDD: Risiken und Nebenwirkungen der Flash-Technologie - WebinarSSD vs HDD: Risiken und Nebenwirkungen der Flash-Technologie - Webinar
SSD vs HDD: Risiken und Nebenwirkungen der Flash-Technologie - WebinarKroll Ontrack GmbH
 
SSD vs. HDD, Risiken und Nebenwirkungen der Flash Technologie
SSD vs. HDD, Risiken und Nebenwirkungen der Flash TechnologieSSD vs. HDD, Risiken und Nebenwirkungen der Flash Technologie
SSD vs. HDD, Risiken und Nebenwirkungen der Flash TechnologieKroll Ontrack GmbH
 
Innobit.storage spaces.
Innobit.storage spaces. Innobit.storage spaces.
Innobit.storage spaces. innobit
 

Ähnlich wie 20111006 roadshow-io-performance (20)

20111006 roadshow-sandy-bridge
20111006 roadshow-sandy-bridge20111006 roadshow-sandy-bridge
20111006 roadshow-sandy-bridge
 
Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?
 
Microservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OSMicroservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OS
 
Sql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint AdministratorenSql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint Administratoren
 
Sql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point Admins
 
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 ServerDOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
DOAG 2018 / Praktische Erfahrungen mit SPARC S7-2 Server
 
SQL Server Transaction Log Deep Dive Session - PASS Hamburg
SQL Server Transaction Log Deep Dive Session - PASS HamburgSQL Server Transaction Log Deep Dive Session - PASS Hamburg
SQL Server Transaction Log Deep Dive Session - PASS Hamburg
 
Synology Workshop07 06
Synology Workshop07 06Synology Workshop07 06
Synology Workshop07 06
 
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 ServernPraktische Erfahrungen mit den kleinen SPARC S7-2 Servern
Praktische Erfahrungen mit den kleinen SPARC S7-2 Servern
 
20121008 io-performance
20121008 io-performance20121008 io-performance
20121008 io-performance
 
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden SpeicherSuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
 
Boston webcast nv_me_2016-09
Boston webcast nv_me_2016-09Boston webcast nv_me_2016-09
Boston webcast nv_me_2016-09
 
Exchange Server 2019 MetaCache Database und BigFunnel
Exchange Server 2019 MetaCache Database und BigFunnelExchange Server 2019 MetaCache Database und BigFunnel
Exchange Server 2019 MetaCache Database und BigFunnel
 
in memory datenbanken
in memory datenbankenin memory datenbanken
in memory datenbanken
 
X$Tabellen und SgaScanner, DOAG 2009
X$Tabellen und SgaScanner, DOAG 2009X$Tabellen und SgaScanner, DOAG 2009
X$Tabellen und SgaScanner, DOAG 2009
 
Datenbankkonsolidierung
DatenbankkonsolidierungDatenbankkonsolidierung
Datenbankkonsolidierung
 
SLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauenSLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauen
 
SSD vs HDD: Risiken und Nebenwirkungen der Flash-Technologie - Webinar
SSD vs HDD: Risiken und Nebenwirkungen der Flash-Technologie - WebinarSSD vs HDD: Risiken und Nebenwirkungen der Flash-Technologie - Webinar
SSD vs HDD: Risiken und Nebenwirkungen der Flash-Technologie - Webinar
 
SSD vs. HDD, Risiken und Nebenwirkungen der Flash Technologie
SSD vs. HDD, Risiken und Nebenwirkungen der Flash TechnologieSSD vs. HDD, Risiken und Nebenwirkungen der Flash Technologie
SSD vs. HDD, Risiken und Nebenwirkungen der Flash Technologie
 
Innobit.storage spaces.
Innobit.storage spaces. Innobit.storage spaces.
Innobit.storage spaces.
 

20111006 roadshow-io-performance

  • 1. I/O Performance optimieren Werner Fischer, Technology Specialist Thomas-Krenn.AG Thomas Krenn Herbstworkshop & Roadshow 2011 23.09. in Freyung 06.10. in Wien (A) 10.10. in Frankfurt 11.10. in Düsseldorf 12.10. in Hamburg 13.10. in Berlin 19.10. in München 20.10. in Zürich (CH) 25.10. in Prag (CZ)
  • 2. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 2/28
  • 3. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 3/28
  • 4. 1) Speichermedien • Festplatte – gute sequential Performance – limitierte random Perfomance – random access time: HDD RPM seek time* latency contr.overh.** mittl.Zugriffsz. WD 500 GB 7.200 8,9 ms 4,2 ms 0,2 ms 13,3 ms WD5002ABYS 3,5“ Seagate 400 GB 10.000 4,2 ms 3,0 ms 0,2 ms 7,4 ms ST3400755SS 3,5“ Fujitsu 300 GB 15.000 3,6 ms 2,0 ms 0,2 ms 5,8 ms MBA3300RC 3,5“ *) write seek time, Angabe laut Hersteller **) Beispielannahme Weitere Informationen: Präsentationen der Thomas Krenn Roadshow 2009 slide 4/28
  • 5. 1) Speichermedien • Solid-State Drive (SSD) – Aufbau: • Cells / Pages / Blocks • Planes / Dies / TSOPs / SSD – Spare Area – Wear Leveling – Write Amplification / Garbage Collection – ATA Trim Quelle: http://www.intel.com/pressroom/archive/releases/20100201comp.htm Weitere Informationen: Präsentationen der Thomas Krenn Roadshow 2010 slide 5/28
  • 6. 1) Speichermedien Quelle: Intel Developer Forum 2011 slide 6/28
  • 7. 1) Speichermedien Quelle: Intel Developer Forum 2011 slide 7/28
  • 8. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 8/28
  • 9. 2) Zugriffsmuster (Access Patterns) • read / write – read: Backup – mixed read/write: Datenbank Daten-Volume – write: Datenbank Transaction-Log, Restore • random / sequential – random: Datenbank Daten-Volume – sequential: Datenbank Transaction-Log, Disk-Images, Backup • request size – 4 KiB: Ext4/NTFS Blockgröße – 8 KiB: Exchange 2007 – 256 KiB: Backup/Restore slide 9/28
  • 10. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 10/28
  • 11. 3) Schnittstellen (Interfaces) • DAS (direct attached storage, block-based) – SATA: • SATA 1,5 Gb/s • SATA 3 Gb/s • SATA 6 Gb/s – SAS: • 3 Gb/s SAS • 6 Gb/s SAS – PCIe, Zukunft: NVM Express Quelle: http://www.scsita.org/sas_library/2011/06/serial-attached-scsi-master-roadmap.html • SAN (storage area network, block-based) – iSCSI / FC • NAS (network attached storage, file-based) – NFS / CIFS slide 11/28
  • 12. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 12/28
  • 13. 4) I/O Stack (Beispiel Linux) slide 13/28
  • 14. 4) I/O Stack (Beispiel Linux) slide 14/28
  • 15. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 15/28
  • 16. 5) Verbund mehrerer Speichermedien (RAID) • Beispiel: RAID 0 / RAID 1 / RAID 5 slide 16/28
  • 17. 5) Verbund mehrerer Speichermedien (RAID) • RAID Typen – Software RAID – Firmware/Driver RAID – Hardware RAID • Caches von HW-RAID Controller (gut für write / unnötig für read) • Cache-Protection – BBUs – Adaptec ZMCP – LSI CacheVault slide 17/28
  • 18. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 18/28
  • 19. 6) I/O Anforderungen • Transferrate / Datendurchsatz – MB/s – Vergleich: Personen/h auf einer Strecke • Anzahl I/O Operationen pro Sekunde – IOPS – Vergleich: Anzahl mögl. individueller Fahrten • dazu kommt: Latenz! – Queue Depth – Vergleich: ab wie vielen Fahrzeugen fährt die Fähre los? slide 19/28
  • 20. 6) I/O Anforderungen • Latenz wird durch Länge der Warte- schlange (Queue) beeinflusst slide 20/28
  • 21. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 21/28
  • 22. 7) I/O Performance optimieren • verstehen – Anforderungen – Aufbau Gesamtsystem • messen – read/write – random/sequential – request size • optimieren slide 22/28
  • 23. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 23/28
  • 24. 8) Tips • Alignment beachten, Bsp. SSD mit falschem Alignment: • noatime / relatime • SSDs: – Over-Provisioning – Queue Depth – Abwägung IOPS/Latenz – SSD Sessions des Intel Developer Forum 2011: http://intel.com/go/idfsessions • Lastspitzen einplanen slide 24/28
  • 25. 8) Tips (cont') • (Storage) Fehler einplanen, Auswirkungen durch – RAID-Rebuild nach HDD-Ausfall – Ausfall eines Storage-Controllers – Ausfall eines Storage-Pfades bei Multi-Pathing – Leere Caches (Page Cache, DB Cache im RAM) nach Reboot • bei Neuplanung: – Zugriffsmuster am Alt-System messen – Neues System anhand dieser Werte auslegen – Neues System vor Inbetriebnahme tunen (Zugriffsmuster mit IOmeter/fio simulieren) slide 25/28
  • 26. 8) Tips (cont') • Toolsammlung – Lastgenerierung + Messung • IOmeter (Windows, Linux mit Windows-Client) • fio (Linux) • iozone (Linux) – Lastmessung • iostat • vmstat • Windows Performance Monitor slide 26/28
  • 27. 8) Tips (cont') • Thomas Krenn Wiki Artikel: – RAID – RAID Controller Grundlagen – Linux Software RAID – Cache Einstellungen von RAID Controllern und Festplatten – Wartung der Battery Backup Unit (BBU/BBM) bei RAID- Controllern – Adaptec RAID Maintenance Best Practices – SSD Performance optimieren – SSD Over-Provisioning mit hdparm – ATA Trim – Ext4 – ... slide 27/28
  • 28. Optimale I/O Performance ist keine einmalige Konfiguration, sondern ein kontinuierlicher Prozess.