BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENEVA
HAMBURG COPENHAGEN LAUSANNE MUNICH STUTTGART VIENNA ZURIC...
Dani Schnider
2
Principal Consultant, Trainer
und DWH/BI Lead Architect
bei Trivadis in Zürich
  Co-Autor des Buches «Data...
Unser Unternehmen.
Modellierung agiler Data Warehouses mit Data Vault3 19.11.2015
Trivadis ist führend bei der IT-Beratung...
KOPENHAGEN
MÜNCHEN
LAUSANNE
BERN
ZÜRICH
BRUGG
GENF
HAMBURG
DÜSSELDORF
FRANKFURT
STUTTGART
FREIBURG
BASEL
WIEN
Mit über 600...
Modellierung agiler Data Warehouses mit Data Vault5 19.11.2015
Einleitung
Was ist Data Vault?
Modellierung agiler Data Warehouses mit Data Vault6 19.11.2015
  Datenmodellierungsmethode für
Data Wa...
Motivation und Vorteile
Modellierung agiler Data Warehouses mit Data Vault7 19.11.2015
Agilität
•  Einfache Erweiterbar-
k...
Grundidee von Data Vault
Modellierung agiler Data Warehouses mit Data Vault8 19.11.2015
  Aufteilung der Daten in
verschie...
Argumente für und gegen Data Vault
Modellierung agiler Data Warehouses mit Data Vault9 19.11.2015
Agiler Ansatz Hohe
Kompl...
Modellierung agiler Data Warehouses mit Data Vault10 19.11.2015
Elemente von Data Vault
Hub
Modellierung agiler Data Warehouses mit Data Vault11 19.11.2015
Identifikation von fachlicher Entität
  Fachlicher Sch...
Link
Modellierung agiler Data Warehouses mit Data Vault12 19.11.2015
Beziehung zwischen zwei oder mehr Hubs
  Fremdschlüss...
Satellite
Modellierung agiler Data Warehouses mit Data Vault13 19.11.2015
Kontextinformationen für Hubs oder Links
  Fremd...
Beispiel
Modellierung agiler Data Warehouses mit Data Vault14 19.11.2015
Hubs
Links
Satellites
Modellierung agiler Data Warehouses mit Data Vault15 19.11.2015
Design eines Data Vault Modells
Modellierungsprozess
Modellierung agiler Data Warehouses mit Data Vault16 19.11.2015
1.  Fachliche Entitäten definieren:
2...
Erweiterung des Data Vault Modells
Modellierung agiler Data Warehouses mit Data Vault17 19.11.2015
Herausforderung bei Dat...
Erweiterung des Data Vault Modells – Beispiel
Modellierung agiler Data Warehouses mit Data Vault18 19.11.2015
Zusätzliche ...
Integration mehrerer Quellsysteme
19 19.11.2015
Customer
Database
(A)
Web Shop
Database
(B)
Source Systems
Customer
Online...
Historisierung
Modellierung agiler Data Warehouses mit Data Vault20 19.11.2015
Nachvollziehbarkeit von Datenänderungen
  V...
Historisierung – Beispiel
Modellierung agiler Data Warehouses mit Data Vault21 19.11.2015
SID TS City
77 t1 ZUERICH
77 t2 ...
Point In Time (PIT) Table
Modellierung agiler Data Warehouses mit Data Vault22 19.11.2015
SID TS City
77 t1 ZUERICH
77 t2 ...
Modellierung agiler Data Warehouses mit Data Vault23 19.11.2015
ETL-Prozesse
für Data Vault
Laden von Data Vault Tabellen
Modellierung agiler Data Warehouses mit Data Vault24 19.11.2015
  Hubs:
–  Einfügen neuer Bu...
Laden von dimensionalen Data Marts aus Data Vault
Modellierung agiler Data Warehouses mit Data Vault25 19.11.2015
  Data V...
Ladeschritte
Modellierung agiler Data Warehouses mit Data Vault26 19.11.2015
1.  Paralleles Laden aller Stage-Tabellen
2. ...
Point In Time (PIT) Table – Beispiel
Modellierung agiler Data Warehouses mit Data Vault27 19.11.2015
Ausführliches Beispie...
Modellierung agiler Data Warehouses mit Data Vault28 19.11.2015
Data Vault
&
DWH Architektur
ETL Pipeline
Modellierung agiler Data Warehouses mit Data Vault29 19.11.2015
  Verschiedene Arten von Transformationen zwi...
Data Warehouse
MartsCleansing Area CoreStaging Area
Metadata
Data Vault
Auswirkungen auf DWH-Architektur
Modellierung agil...
Transform
Load
D/TStamp
ETL Pipeline für erweiterte Data Vault Architektur
Modellierung agiler Data Warehouses mit Data Va...
Modellierung agiler Data Warehouses mit Data Vault32 19.11.2015
Fazit
Data Vault – Chancen und Herausforderungen
Modellierung agiler Data Warehouses mit Data Vault33 19.11.2015
+  Einfache und...
Data Vault – Einsatzgebiete
Modellierung agiler Data Warehouses mit Data Vault34 19.11.2015
  Projekte mit hoher Agilität
...
Modellierung agiler Data Warehouses mit Data Vault35 19.11.2015
Trivadis an der DOAG 2015

Ebene 3 - gleich neben der Roll...
Nächste SlideShare
Wird geladen in …5
×

Modellierung agiler Data Warehouses mit Data Vault Dani Schnider

151 Aufrufe

Veröffentlicht am

Modellierung agiler Data Warehouses mit Data Vault Dani Schnider

Veröffentlicht in: Präsentationen & Vorträge
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
151
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
4
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Modellierung agiler Data Warehouses mit Data Vault Dani Schnider

  1. 1. BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENEVA HAMBURG COPENHAGEN LAUSANNE MUNICH STUTTGART VIENNA ZURICH Modellierung agiler Data Warehouses mit Data Vault Dani Schnider, Trivadis AG DOAG Konferenz 2015
  2. 2. Dani Schnider 2 Principal Consultant, Trainer und DWH/BI Lead Architect bei Trivadis in Zürich   Co-Autor des Buches «Data Warehousing mit Oracle – Business Intelligence in der Praxis»   Certified Data Vault Data Modeler 19.11.2015 Modellierung agiler Data Warehouses mit Data Vault
  3. 3. Unser Unternehmen. Modellierung agiler Data Warehouses mit Data Vault3 19.11.2015 Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. B E T R I E B
  4. 4. KOPENHAGEN MÜNCHEN LAUSANNE BERN ZÜRICH BRUGG GENF HAMBURG DÜSSELDORF FRANKFURT STUTTGART FREIBURG BASEL WIEN Mit über 600 IT- und Fachexperten bei Ihnen vor Ort. Modellierung agiler Data Warehouses mit Data Vault4 19.11.2015 14 Trivadis Niederlassungen mit über 600 Mitarbeitenden. Über 200 Service Level Agreements. Mehr als 4'000 Trainingsteilnehmer. Forschungs- und Entwicklungsbudget: CHF 5.0 Mio. Finanziell unabhängig und nachhaltig profitabel. Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden.
  5. 5. Modellierung agiler Data Warehouses mit Data Vault5 19.11.2015 Einleitung
  6. 6. Was ist Data Vault? Modellierung agiler Data Warehouses mit Data Vault6 19.11.2015   Datenmodellierungsmethode für Data Warehouses in agilen Projektumgebungen   Entwickelt von Dan Linstedt   Geeignet für DWH Core Layer bzw. Enterprise DWH   Optimiert für Agilität, Integration und Historisierung 3NF Model Dimensional Model Dimensional Model 3NF Model Data Vault Model 3NF Model OLTP Systeme EDWH / Core Data Marts
  7. 7. Motivation und Vorteile Modellierung agiler Data Warehouses mit Data Vault7 19.11.2015 Agilität •  Einfache Erweiterbar- keit des Data Vault Modells •  Kein Redesign bestehender Elemente Integration •  Integration von Daten aus unterschiedlichen Quellsystemen •  Verwendung von gemeinsamen fachlichen Schlüsseln Historisierung •  Nachvollziehbarkeit von Datenänderungen •  Vollständige Histori- sierung von Daten aus der Vergangenheit
  8. 8. Grundidee von Data Vault Modellierung agiler Data Warehouses mit Data Vault8 19.11.2015   Aufteilung der Daten in verschiedene Elemente Hubs Links Satellites
  9. 9. Argumente für und gegen Data Vault Modellierung agiler Data Warehouses mit Data Vault9 19.11.2015 Agiler Ansatz Hohe Komplexität Einfache Erweiterbarkeit Vollständige Historisierung Schwer verständlich Nur ein Hype- Thema Hohe Flexibilität Gute Integration Zu viele Tabellen Komplexe ETL- Prozesse
  10. 10. Modellierung agiler Data Warehouses mit Data Vault10 19.11.2015 Elemente von Data Vault
  11. 11. Hub Modellierung agiler Data Warehouses mit Data Vault11 19.11.2015 Identifikation von fachlicher Entität   Fachlicher Schlüssel Keine beschreibenden Attribute Keine Fremdschlüssel zu anderen Hubs   Künstlicher Schlüssel als Primary Key   Audit-Attribute (Ladezeitpunkt, Quellsystem) Surrogate Key (PK) Business Key(s) (UK) Load Timestamp Record Source HUB
  12. 12. Link Modellierung agiler Data Warehouses mit Data Vault12 19.11.2015 Beziehung zwischen zwei oder mehr Hubs   Fremdschlüssel zu Hubs Keine beschreibenden Attribute   Erlaubt n-zu-n Beziehungen zwischen Hubs   Nur Verbindungen zu Hubs erlaubt   Künstlicher Schlüssel als Primary Key   Audit-Attribute (Ladezeitpunkt, Quellsystem) Surrogate Key (PK) Foreign Key Hub 1 Foreign Key Hub 2 ... Load Timestamp Record Source LINK
  13. 13. Satellite Modellierung agiler Data Warehouses mit Data Vault13 19.11.2015 Kontextinformationen für Hubs oder Links   Fremdschlüssel zu genau einem Hub oder Link   Primary Key: Fremdschlüssel + Ladezeitpunkt   Beschreibende Attribute Keine Fremdschlüssel zu anderen Hubs/Satellites   Audit-Attribut (Quellsystem)   Mehrere Satellites pro Hub/Link erlaubt Foreign Key to Hub (PK) Load Timestamp (PK) Context Attribute 1 Context Attribute 2 ... Context Attribute n Record Source SATELLITE
  14. 14. Beispiel Modellierung agiler Data Warehouses mit Data Vault14 19.11.2015 Hubs Links Satellites
  15. 15. Modellierung agiler Data Warehouses mit Data Vault15 19.11.2015 Design eines Data Vault Modells
  16. 16. Modellierungsprozess Modellierung agiler Data Warehouses mit Data Vault16 19.11.2015 1.  Fachliche Entitäten definieren: 2.  Beziehungen modellieren: 3.  Beschreibende Attribute festlegen: Hubs Links Satellites
  17. 17. Erweiterung des Data Vault Modells Modellierung agiler Data Warehouses mit Data Vault17 19.11.2015 Herausforderung bei Datenmodellerweiterungen:   Strukturänderungen bestehender Tabellen   Migration historischer Daten Data Vault Ansatz:   Bestehende Tabellen nicht verändern   Nur neue Tabellen hinzufügen   Keine Datenmigration notwendig
  18. 18. Erweiterung des Data Vault Modells – Beispiel Modellierung agiler Data Warehouses mit Data Vault18 19.11.2015 Zusätzliche Attribute für Online-Shop:   Login-Name   E-Mail-Addresse
  19. 19. Integration mehrerer Quellsysteme 19 19.11.2015 Customer Database (A) Web Shop Database (B) Source Systems Customer Online User ✗ ✔ Customer_BK Customer_Name A-123 Claus Jordan A-456 Dani Schnider B-0815 Dani Schnider B-4711 Peter Welker A-789 Joachim Wehner B-9876 Claus Jordan ✗ Customer_BK Customer_Name 23489724 Claus Jordan 90346262 Dani Schnider 98437098 Joachim Wehner 82365405 Peter Welker ✔ Modellierung agiler Data Warehouses mit Data Vault
  20. 20. Historisierung Modellierung agiler Data Warehouses mit Data Vault20 19.11.2015 Nachvollziehbarkeit von Datenänderungen   Versionierung der Daten in Satellites   Ladezeitpunkt ist Bestandteil des Satellite PKs SID TS First_Name Last_Name 77 t1 ANNA BIERI 77 t2 Anna Bieri 77 t6 Anna Hartmann-Bieri 77 t7 Anna Bieri Hartmann
  21. 21. Historisierung – Beispiel Modellierung agiler Data Warehouses mit Data Vault21 19.11.2015 SID TS City 77 t1 ZUERICH 77 t2 Zuerich 77 t4 Zürich 77 t6 Hamburg 77 t8 Basel SID TS E-Mail 77 t3 abieri@greenmail.ch 77 t5 anna.bieri@yellow.ch 77 t6 a_l_hartmann@web.de 77 t7 anna.bieri@web.de 77 t8 anna@hartmann-bieri.ch SID Customer_No 77 1234-91415 SID TS First_Name Last_Name 77 t1 ANNA BIERI 77 t2 Anna Bieri 77 t6 Anna Hartmann-Bieri 77 t7 Anna Bieri Hartmann t1 ANNA BIERI, ZUERICH t2 Anna Bieri, Zuerich t3 Anna Bieri, Zuerich abieri@greenmail.ch t4 Anna Bieri, Zürich abieri@greenmail.ch t5 Anna Bieri, Zürich anna.bieri@yellow.ch t6 Anna Hartmann-Bieri, Hamburg a_l_hartmann@web.de t7 Anna Bieri Hartmann, Hamburg anna.bieri@web.de t8 Anna Bieri Hartmann, Basel anna@hartmann-bieri.ch
  22. 22. Point In Time (PIT) Table Modellierung agiler Data Warehouses mit Data Vault22 19.11.2015 SID TS City 77 t1 ZUERICH 77 t2 Zuerich 77 t4 Zürich 77 t6 Hamburg 77 t8 Basel SID TS E-Mail 77 t3 abieri@greenmail.ch 77 t5 anna.bieri@yellow.ch 77 t6 a_l_hartmann@web.de 77 t7 anna.bieri@web.de 77 t8 anna@hartmann-bieri.ch SID Customer_No 77 1234-91415 SID TS First_Name Last_Name 77 t1 ANNA BIERI 77 t2 Anna Bieri 77 t6 Anna Hartmann-Bieri 77 t7 Anna Bieri Hartmann SID TS S1 S2 S3 77 t1 t1 t1 - 77 t2 t2 t2 - 77 t3 t2 t2 t3 77 t4 t2 t4 t3 77 t5 t2 t4 t5 77 t6 t6 t6 t6 77 t7 t7 t6 t7 77 t8 t7 t8 t8 PIT Table
  23. 23. Modellierung agiler Data Warehouses mit Data Vault23 19.11.2015 ETL-Prozesse für Data Vault
  24. 24. Laden von Data Vault Tabellen Modellierung agiler Data Warehouses mit Data Vault24 19.11.2015   Hubs: –  Einfügen neuer Business Keys   Links: –  Key Lookups auf Hubs –  Einfügen neuer Beziehungen   Satellites: –  Key Lookup auf Hub –  Deltaermittlung neue Daten / aktuelle Version –  Einfügen von neuer Version INSERT INSERT INSERT
  25. 25. Laden von dimensionalen Data Marts aus Data Vault Modellierung agiler Data Warehouses mit Data Vault25 19.11.2015   Data Vault unterscheidet nicht zwischen Stammdaten (Dimensionen) und Ereignisdaten (Fakten)   Fakten und Dimensionen können Daten aus mehreren Entitäten enthalten   Join aller benötigten Hubs, Links und Satellites   SCD1 Dimensionen: –  Aktuelle Version aller Satellites   SCD2 Dimensionen: –  Point In Time (PIT) Tables –  ev. History View Layer
  26. 26. Ladeschritte Modellierung agiler Data Warehouses mit Data Vault26 19.11.2015 1.  Paralleles Laden aller Stage-Tabellen 2.  Paralleles Laden aller Hubs 3.  Paralleles Laden –  aller Links –  aller Hub Satellites 4.  Paralleles Laden aller Link Satellites 5.  Paralleles Laden aller Dimensionen 6.  Paralleles Laden aller Faktentabellen
  27. 27. Point In Time (PIT) Table – Beispiel Modellierung agiler Data Warehouses mit Data Vault27 19.11.2015 Ausführliches Beispiel dazu siehe Blog danischnider.wordpress.com
  28. 28. Modellierung agiler Data Warehouses mit Data Vault28 19.11.2015 Data Vault & DWH Architektur
  29. 29. ETL Pipeline Modellierung agiler Data Warehouses mit Data Vault29 19.11.2015   Verschiedene Arten von Transformationen zwischen Extraktion und Laden Load Record Calculate D/TStamp Transform Cleanse Validate Integrate Extract   Was wird in welcher DWH-Schicht ausgeführt? Source: Hans Hultgren, Modeling the Agile Data Warehouse with Data Vault, page 172
  30. 30. Data Warehouse MartsCleansing Area CoreStaging Area Metadata Data Vault Auswirkungen auf DWH-Architektur Modellierung agiler Data Warehouses mit Data Vault30 19.11.2015 Source Systems ETL BI Plattform Data Warehouse Cleansing AreaStaging Area Metadata Data Vault Core Marts Data Warehouse Staging Area Metadata Raw Data Vault Core Marts Business Data Vault
  31. 31. Transform Load D/TStamp ETL Pipeline für erweiterte Data Vault Architektur Modellierung agiler Data Warehouses mit Data Vault31 19.11.2015 Load Calculate Cleanse Validate Integrate Extract Source: Hans Hultgren, Modeling the Agile Data Warehouse with Data Vault, page 173 Integrate Transform Calculate Cleanse Validate Extract Staging Area Data MartsRaw Data Vault Business Data Vault Common Business Rules Mart Specific Rules
  32. 32. Modellierung agiler Data Warehouses mit Data Vault32 19.11.2015 Fazit
  33. 33. Data Vault – Chancen und Herausforderungen Modellierung agiler Data Warehouses mit Data Vault33 19.11.2015 +  Einfache und einheitliche ETL-Regeln +  Leichte Erweiterbarkeit +  Integration mehrerer Quellsysteme +  Vollständige Historisierung -  Hohe Anzahl Tabellen in Data Vault -  Konsequente Einhaltung der Regeln -  Korrekte Wahl der Business Keys
  34. 34. Data Vault – Einsatzgebiete Modellierung agiler Data Warehouses mit Data Vault34 19.11.2015   Projekte mit hoher Agilität –  Häufige Modellerweiterungen –  Laufend ändernde Anforderungen   Data Warehouses mit mehreren Quellen –  Wichtig: Fachliche Schlüssel zwingend Grosse DWH-Projekte –  Keine manuelle ETL-Entwicklung –  Einsatz von DWH-Generatoren
  35. 35. Modellierung agiler Data Warehouses mit Data Vault35 19.11.2015 Trivadis an der DOAG 2015 Ebene 3 - gleich neben der Rolltreppe Wir freuen uns auf Ihren Besuch. Denn mit Trivadis gewinnen Sie immer.

×