Teradata Warehouse <ul><li>Speicherort für Unternehmensrelevante Daten </li></ul><ul><ul><li>Verkaufzahlen </li></ul></ul>...
<ul><li>Architektur </li></ul><ul><ul><li>Anforderungen </li></ul></ul><ul><ul><li>Hardware Infrastruktur </li></ul></ul><...
Architektur
Architektur <ul><li>minimaler Administrationsaufwand </li></ul><ul><li>Hohe Verfügbarkeit und Stabilität </li></ul><ul><li...
Architektur
Architektur Access Module Processor PE AMP <ul><li>Console Utilities </li></ul><ul><ul><li>Systemkonfiguration </li></ul><...
Architektur Parsing Engine PE <ul><li>Dispatcher </li></ul><ul><ul><li>Versenden der Querys </li></ul></ul><ul><ul><li>Kon...
Architektur Nodes  (Knoten) PE PE AMP AMP AMP AMP VNET P arsing   E ngines A ccess  M odule  P rocessors V irtual   NET work
Architektur Cliquenbildung Nodes Disk Array 4 Nodes bilden in der Regel eine Clique !
Architektur Teradata BYNET  (Banyan Network) BYNET Nodes Disk Array
Architektur Verfügbarkeit Nodes Disk Array BYNET
Architektur Verfügbarkeit Alle Daten der Disks werden auf Bändern aufgezeichnet !
Architektur Verfügbarkeit <ul><li>zweifache Redundanz (BYNET) </li></ul><ul><li>Migration der VPROCs (PE & AMP) </li></ul>...
Funktionen
Funktionen <ul><li>Gleichmäßige Verteilung über die Hardware </li></ul><ul><li>Gleichmäßigkeit 99,95 %  </li></ul><ul><li>...
Funktionen „ Hardware load balancing“ AMP 16 AMP 17 AMP 18 AMP 19 AM 5 User Kunde Billing Usage ... Alle Daten / Tabellen ...
Funktionen SELECT, JOIN Traditionelle, „Parallele“ Datenbank
Funktionen Teradata Datenbank SELECT, JOIN
Funktionen Die Funktion „Sync- Scan“   101896  Muster, Max 546.97 08/21/97 297362  Murks, Müller 34.65  07/16/97 000893  S...
Zusatz
Zusatz <ul><li>Bedingungslose Parallelität </li></ul><ul><ul><li>Parallel- funktionierende Arbeitseinheiten (PE & AMP) </l...
Zusatz Hardware am Beispiel Vodafone <ul><li>176  Knoten (Nodes) </li></ul><ul><li>609  CPUs (700MHz - 3,8 GHz) </li></ul>...
Teradata Warehouse Vielen Dank für die Aufmerksamkeit !!
 
Performance Bedingungslose Parallelität
Performance Bedingungslose Parallelität <ul><li>kostensparender Optimizer </li></ul><ul><li>Parallelität ist automatisch <...
Teradata Warehouse Der Hash- Algorithmus   f(x) Row Hash 32 bit Hash Bucket 16 bit Reminder 16 bit 1 2 3 4 5 6 7 8 9 10 1 ...
Teradata Warehouse Der Hash- Algorithmus   <ul><li>Primär-Index 004711 </li></ul><ul><li>Hash-Algorithmus 0000001011111110...
Architektur Hardware Infrastruktur Bandsicherung Server LAN Lade Rechner (UNIX) Administratoren Admin LAN MVS Mainframe En...
Nächste SlideShare
Wird geladen in …5
×

NCR Teradata Datawarehouse - Technical Overview

1.369 Aufrufe

Veröffentlicht am

Technical Overview about Datawarehousing with Teradata (german)

Veröffentlicht in: Technologie
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.369
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
16
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • Hier kommt die Geschichte SMP  MMP hin!! SMP = Symmetric Multiprocessing (eine einzige Node, die Softwareseitig dann ein BYNET simuliert) MMP = Multiple Parallel Processing (mehrere Nodes / Cliques in einem System)
  • Hier kommt die Geschichte SMP  MMP hin!! SMP = (eine einzige Node, die Softwareseitig dann ein BYNET simuliert) MMP = Multiple Parallel Processing (mehrere Nodes / Cliques in einem System)
  • Optimale Skalierbarkeit der Hardware: Neue Cliquen werden automatisch vom System erkannt und eingebunden
  • Ausfälle: Ausfall eines BYNET Stranges Ausfall einzelner VPROCS Ausfall einer Node Ausfall eines Diskarrays Ausfall einer Clique
  • „ Und zu guter letzt noch ein paar Zahlen um den Vortrag abzurunden“
  • NCR Teradata Datawarehouse - Technical Overview

    1. 2. Teradata Warehouse <ul><li>Speicherort für Unternehmensrelevante Daten </li></ul><ul><ul><li>Verkaufzahlen </li></ul></ul><ul><ul><li>Usagezahlen </li></ul></ul><ul><ul><li>etc. </li></ul></ul><ul><li>Analytisches DWH </li></ul><ul><ul><li>Statistiken für Marketingzwecke </li></ul></ul><ul><ul><li>passiv = Daten werden nur übernommen </li></ul></ul><ul><li>Operatives DWH </li></ul><ul><ul><li>Gutschriftenverteilung (Frei- SMS) </li></ul></ul><ul><ul><li>aktiv = Daten werden erzeugt </li></ul></ul>
    2. 3. <ul><li>Architektur </li></ul><ul><ul><li>Anforderungen </li></ul></ul><ul><ul><li>Hardware Infrastruktur </li></ul></ul><ul><li>Performance </li></ul><ul><li>Zusatz </li></ul><ul><ul><li>Zusammenfassung </li></ul></ul><ul><ul><li>Hardware (bsp. Vodafone) </li></ul></ul>Agenda
    3. 4. Architektur
    4. 5. Architektur <ul><li>minimaler Administrationsaufwand </li></ul><ul><li>Hohe Verfügbarkeit und Stabilität </li></ul><ul><li>Optimale Skalierbarkeit der Hardware </li></ul><ul><li>Hohe Performance </li></ul><ul><li>Unbedingte Parallelität ! </li></ul>Anforderungen
    5. 6. Architektur
    6. 7. Architektur Access Module Processor PE AMP <ul><li>Console Utilities </li></ul><ul><ul><li>Systemkonfiguration </li></ul></ul><ul><ul><li>Tabellenwiederherstellung </li></ul></ul><ul><li>File System </li></ul><ul><ul><li>Verwaltung der Virtual Discs </li></ul></ul><ul><li>AMP Worker Task Functions </li></ul><ul><ul><li>Session starten & beenden </li></ul></ul><ul><ul><li>select, join, insert, etc. </li></ul></ul>
    7. 8. Architektur Parsing Engine PE <ul><li>Dispatcher </li></ul><ul><ul><li>Versenden der Querys </li></ul></ul><ul><ul><li>Kontrolle </li></ul></ul><ul><ul><li>Rückmeldung an den User </li></ul></ul><ul><li>Parser / Optimizer </li></ul><ul><ul><li>Syntax überprüfen </li></ul></ul><ul><ul><li>aufteilen der Querys </li></ul></ul><ul><li>Session Control </li></ul><ul><ul><li>Session starten </li></ul></ul>
    8. 9. Architektur Nodes (Knoten) PE PE AMP AMP AMP AMP VNET P arsing E ngines A ccess M odule P rocessors V irtual NET work
    9. 10. Architektur Cliquenbildung Nodes Disk Array 4 Nodes bilden in der Regel eine Clique !
    10. 11. Architektur Teradata BYNET (Banyan Network) BYNET Nodes Disk Array
    11. 12. Architektur Verfügbarkeit Nodes Disk Array BYNET
    12. 13. Architektur Verfügbarkeit Alle Daten der Disks werden auf Bändern aufgezeichnet !
    13. 14. Architektur Verfügbarkeit <ul><li>zweifache Redundanz (BYNET) </li></ul><ul><li>Migration der VPROCs (PE & AMP) </li></ul><ul><li>Fallback- Optionen (Bandsicherung) </li></ul>
    14. 15. Funktionen
    15. 16. Funktionen <ul><li>Gleichmäßige Verteilung über die Hardware </li></ul><ul><li>Gleichmäßigkeit 99,95 % </li></ul><ul><li>Verteilung nicht Zufällig </li></ul><ul><li>Records mit gleichem PK auf dem selben AMP </li></ul><ul><li>Hash- Tabelle speichert Positionen </li></ul>Der Hash- Algorithmus
    16. 17. Funktionen „ Hardware load balancing“ AMP 16 AMP 17 AMP 18 AMP 19 AM 5 User Kunde Billing Usage ... Alle Daten / Tabellen wurden gleichmäßig über die gesamte Hardware verteilt !
    17. 18. Funktionen SELECT, JOIN Traditionelle, „Parallele“ Datenbank
    18. 19. Funktionen Teradata Datenbank SELECT, JOIN
    19. 20. Funktionen Die Funktion „Sync- Scan“ 101896 Muster, Max 546.97 08/21/97 297362 Murks, Müller 34.65 07/16/97 000893 Smith, John 254.01 05/08/97 919975 Xxxxx, Hal 320.12 09/10/97 401864 Xxxxx, Loui 12.15 03/19/97 Query1 Query2 Query3
    20. 21. Zusatz
    21. 22. Zusatz <ul><li>Bedingungslose Parallelität </li></ul><ul><ul><li>Parallel- funktionierende Arbeitseinheiten (PE & AMP) </li></ul></ul><ul><li>Dynamische Skalierung </li></ul><ul><ul><li>Cliquenbildung </li></ul></ul><ul><li>Hohe Stabilität </li></ul><ul><ul><li>Zweifach redundantes, bidirektionales BYNET </li></ul></ul><ul><ul><li>VPROC Migration & Bandsicherung </li></ul></ul><ul><li>„ Selbstverwaltendes System“ </li></ul>Zusammenfassung
    22. 23. Zusatz Hardware am Beispiel Vodafone <ul><li>176 Knoten (Nodes) </li></ul><ul><li>609 CPUs (700MHz - 3,8 GHz) </li></ul><ul><li>692 GB RAM </li></ul><ul><li>156,2 TB HDD (5880 Stück) </li></ul><ul><li>100 t Gesamtgewicht </li></ul><ul><li>110 m² Stellfläche </li></ul><ul><li>250 kWh/Monat Stromverbrauch </li></ul>
    23. 24. Teradata Warehouse Vielen Dank für die Aufmerksamkeit !!
    24. 26. Performance Bedingungslose Parallelität
    25. 27. Performance Bedingungslose Parallelität <ul><li>kostensparender Optimizer </li></ul><ul><li>Parallelität ist automatisch </li></ul><ul><li>Parallelität ist „bedingungslos“ </li></ul><ul><ul><li>für jeden Query - Step </li></ul></ul><ul><li>keine seriellen Operationen </li></ul>
    26. 28. Teradata Warehouse Der Hash- Algorithmus f(x) Row Hash 32 bit Hash Bucket 16 bit Reminder 16 bit 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10 1 3 4 5 6 7 8 9 10 1 2 3 5 6 00 01 02 03 04 05 06 07 09 0A FE FF 1 2 3 4 5 6 7 8 9 1 2 00 01 02 FF ... ... AMP 4 AMP 5 AMP 6 AMP 7 AMP 3 AMP 2 AMP 1 0000001011111110 = 02FE 004711 Row Hash 32 bit Uniqueness 32 bit Row ID 64 bit
    27. 29. Teradata Warehouse Der Hash- Algorithmus <ul><li>Primär-Index 004711 </li></ul><ul><li>Hash-Algorithmus 0000001011111110 </li></ul><ul><li>Umwandlung 02FE </li></ul><ul><li>Hash-Tabelle AMP 5 </li></ul>
    28. 30. Architektur Hardware Infrastruktur Bandsicherung Server LAN Lade Rechner (UNIX) Administratoren Admin LAN MVS Mainframe End-Anwender Office LAN

    ×