I/O PerformanceoptimierenWerner Fischer, Technology Specialist Thomas-Krenn.AGThomas Krenn Herbstworkshop & Roadshow 20112...
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
1) Speichermedien     • Festplatte          – gute sequential Performance          – limitierte random Perfomance         ...
1) Speichermedien    • Solid-State Drive (SSD)         – Aufbau:               • Cells / Pages / Blocks               • Pl...
1) SpeichermedienQuelle: Intel Developer Forum 2011                                     slide 6/28
1) SpeichermedienQuelle: Intel Developer Forum 2011                                     slide 7/28
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
2) Zugriffsmuster (Access Patterns)  • read / write    – read: Backup    – mixed read/write: Datenbank Daten-Volume    – w...
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
3) Schnittstellen (Interfaces)  • DAS (direct attached storage, block-based)    – SATA:        • SATA 1,5 Gb/s        • SA...
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
4) I/O Stack (Beispiel Linux)                                slide 13/28
4) I/O Stack (Beispiel Linux)                                slide 14/28
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
5) Verbund mehrerer Speichermedien (RAID)  • Beispiel: RAID 0 / RAID 1 / RAID 5                                         sl...
5) Verbund mehrerer Speichermedien (RAID)  • RAID Typen    – Software RAID    – Firmware/Driver RAID    – Hardware RAID   ...
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
6) I/O Anforderungen  • Transferrate / Datendurchsatz    – MB/s    – Vergleich: Personen/h      auf einer Strecke  • Anzah...
6) I/O Anforderungen  • Latenz wird durch Länge der Warte-    schlange (Queue) beeinflusst                                ...
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
7) I/O Performance optimieren  • verstehen    – Anforderungen    – Aufbau Gesamtsystem  • messen    – read/write    – rand...
Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) ...
8) Tips  • Alignment beachten, Bsp. SSD mit falschem Alignment:  • noatime / relatime  • SSDs:    – Over-Provisioning    –...
8) Tips (cont)  • (Storage) Fehler einplanen, Auswirkungen durch    –   RAID-Rebuild nach HDD-Ausfall    –   Ausfall eines...
8) Tips (cont)  • Toolsammlung    – Lastgenerierung + Messung       • IOmeter (Windows,         Linux mit Windows-Client) ...
8) Tips (cont)  • Thomas Krenn Wiki Artikel:    –   RAID    –   RAID Controller Grundlagen    –   Linux Software RAID    –...
Optimale I/O Performance ist     keine einmalige      Konfiguration,sondern ein kontinuierlicher         Prozess.
Nächste SlideShare
Wird geladen in …5
×

20111006 roadshow-io-performance

705 Aufrufe

Veröffentlicht am

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
705
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
199
Aktionen
Geteilt
0
Downloads
2
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

20111006 roadshow-io-performance

  1. 1. I/O PerformanceoptimierenWerner Fischer, Technology Specialist Thomas-Krenn.AGThomas Krenn Herbstworkshop & Roadshow 201123.09. in Freyung06.10. in Wien (A)10.10. in Frankfurt11.10. in Düsseldorf12.10. in Hamburg13.10. in Berlin19.10. in München20.10. in Zürich (CH)25.10. in Prag (CZ)
  2. 2. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 2/28
  3. 3. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 3/28
  4. 4. 1) Speichermedien • Festplatte – gute sequential Performance – limitierte random Perfomance – random access time: HDD RPM seek time* latency contr.overh.** mittl.Zugriffsz.WD 500 GB 7.200 8,9 ms 4,2 ms 0,2 ms 13,3 msWD5002ABYS 3,5“Seagate 400 GB 10.000 4,2 ms 3,0 ms 0,2 ms 7,4 msST3400755SS 3,5“Fujitsu 300 GB 15.000 3,6 ms 2,0 ms 0,2 ms 5,8 msMBA3300RC 3,5“*) write seek time, Angabe laut Hersteller**) BeispielannahmeWeitere Informationen: Präsentationen der Thomas Krenn Roadshow 2009 slide 4/28
  5. 5. 1) Speichermedien • Solid-State Drive (SSD) – Aufbau: • Cells / Pages / Blocks • Planes / Dies / TSOPs / SSD – Spare Area – Wear Leveling – Write Amplification / Garbage Collection – ATA Trim Quelle: http://www.intel.com/pressroom/archive/releases/20100201comp.htmWeitere Informationen: Präsentationen der Thomas Krenn Roadshow 2010 slide 5/28
  6. 6. 1) SpeichermedienQuelle: Intel Developer Forum 2011 slide 6/28
  7. 7. 1) SpeichermedienQuelle: Intel Developer Forum 2011 slide 7/28
  8. 8. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 8/28
  9. 9. 2) Zugriffsmuster (Access Patterns) • read / write – read: Backup – mixed read/write: Datenbank Daten-Volume – write: Datenbank Transaction-Log, Restore • random / sequential – random: Datenbank Daten-Volume – sequential: Datenbank Transaction-Log, Disk-Images, Backup • request size – 4 KiB: Ext4/NTFS Blockgröße – 8 KiB: Exchange 2007 – 256 KiB: Backup/Restore slide 9/28
  10. 10. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 10/28
  11. 11. 3) Schnittstellen (Interfaces) • DAS (direct attached storage, block-based) – SATA: • SATA 1,5 Gb/s • SATA 3 Gb/s • SATA 6 Gb/s – SAS: • 3 Gb/s SAS • 6 Gb/s SAS – PCIe, Zukunft: NVM Express Quelle: http://www.scsita.org/sas_library/2011/06/serial-attached-scsi-master-roadmap.html • SAN (storage area network, block-based) – iSCSI / FC • NAS (network attached storage, file-based) – NFS / CIFS slide 11/28
  12. 12. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 12/28
  13. 13. 4) I/O Stack (Beispiel Linux) slide 13/28
  14. 14. 4) I/O Stack (Beispiel Linux) slide 14/28
  15. 15. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 15/28
  16. 16. 5) Verbund mehrerer Speichermedien (RAID) • Beispiel: RAID 0 / RAID 1 / RAID 5 slide 16/28
  17. 17. 5) Verbund mehrerer Speichermedien (RAID) • RAID Typen – Software RAID – Firmware/Driver RAID – Hardware RAID • Caches von HW-RAID Controller (gut für write / unnötig für read) • Cache-Protection – BBUs – Adaptec ZMCP – LSI CacheVault slide 17/28
  18. 18. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 18/28
  19. 19. 6) I/O Anforderungen • Transferrate / Datendurchsatz – MB/s – Vergleich: Personen/h auf einer Strecke • Anzahl I/O Operationen pro Sekunde – IOPS – Vergleich: Anzahl mögl. individueller Fahrten • dazu kommt: Latenz! – Queue Depth – Vergleich: ab wie vielen Fahrzeugen fährt die Fähre los? slide 19/28
  20. 20. 6) I/O Anforderungen • Latenz wird durch Länge der Warte- schlange (Queue) beeinflusst slide 20/28
  21. 21. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 21/28
  22. 22. 7) I/O Performance optimieren • verstehen – Anforderungen – Aufbau Gesamtsystem • messen – read/write – random/sequential – request size • optimieren slide 22/28
  23. 23. Agenda 1) Speichermedien 2) Zugriffsmuster (Access Patterns) 3) Schnittstellen (Interfaces) 4) I/O Stack (Beispiel Linux) 5) Verbund mehrerer Speichermedien (RAID) 6) I/O Anforderungen 7) I/O Performance optimieren 8) Tips slide 23/28
  24. 24. 8) Tips • Alignment beachten, Bsp. SSD mit falschem Alignment: • noatime / relatime • SSDs: – Over-Provisioning – Queue Depth – Abwägung IOPS/Latenz – SSD Sessions des Intel Developer Forum 2011: http://intel.com/go/idfsessions • Lastspitzen einplanen slide 24/28
  25. 25. 8) Tips (cont) • (Storage) Fehler einplanen, Auswirkungen durch – RAID-Rebuild nach HDD-Ausfall – Ausfall eines Storage-Controllers – Ausfall eines Storage-Pfades bei Multi-Pathing – Leere Caches (Page Cache, DB Cache im RAM) nach Reboot • bei Neuplanung: – Zugriffsmuster am Alt-System messen – Neues System anhand dieser Werte auslegen – Neues System vor Inbetriebnahme tunen (Zugriffsmuster mit IOmeter/fio simulieren) slide 25/28
  26. 26. 8) Tips (cont) • Toolsammlung – Lastgenerierung + Messung • IOmeter (Windows, Linux mit Windows-Client) • fio (Linux) • iozone (Linux) – Lastmessung • iostat • vmstat • Windows Performance Monitor slide 26/28
  27. 27. 8) Tips (cont) • Thomas Krenn Wiki Artikel: – RAID – RAID Controller Grundlagen – Linux Software RAID – Cache Einstellungen von RAID Controllern und Festplatten – Wartung der Battery Backup Unit (BBU/BBM) bei RAID- Controllern – Adaptec RAID Maintenance Best Practices – SSD Performance optimieren – SSD Over-Provisioning mit hdparm – ATA Trim – Ext4 – ... slide 27/28
  28. 28. Optimale I/O Performance ist keine einmalige Konfiguration,sondern ein kontinuierlicher Prozess.

×