Wie modelliere ich mein Core DWH?

1.797 Aufrufe

Veröffentlicht am

Dani Schnider, Principal Consultant und DWH/BI Lead Architect bei Trivadis in Zürich, an der DOAG Konferenz in Nürnberg. 19. November 2013.

Veröffentlicht in: Präsentationen & Vorträge
  • Als Erste(r) kommentieren

Wie modelliere ich mein Core DWH?

  1. 1. Wie modelliere ich mein Core DWH? DOAG Konferenz 2013, Nürnberg Dani Schnider, Trivadis AG BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 1
  2. 2. Dani Schnider  Principal Consultant und DWH/BI Lead Architect bei Trivadis in Zürich  Kursleiter verschiedener Trivadis-Kurse  Co-Autor des Buches «Data Warehousing mit Oracle – Business Intelligence in der Praxis» 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 2
  3. 3. Unser Unternehmen Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution-Engineering und der Erbringung von IT-Services mit Fokussierung auf und Technologien im D-A-CH-Raum. Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern: Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 B E T R I E B 3
  4. 4. Mit über 600 IT- und Fachexperten bei Ihnen vor Ort Hamburg Stuttgart Brugg 2013 © Trivadis 4 12 Trivadis Niederlassungen mit über 600 Mitarbeitenden 200 Service Level Agreements Mehr als 4'000 Trainingsteilnehmer Forschungs- und Entwicklungs-budget: CHF 5.0 / EUR 4 Mio. Finanziell unabhängig und nachhaltig profitabel Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden Stand 12/2012 4 DOAG - Modellierung Core DWH 19. November 2013 Düsseldorf Frankfurt Freiburg München Wien Basel Bern Zürich Lausanne 4
  5. 5. Ausgangslage 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 Data Warehouse Quellsysteme Staging Area Cleansing Area Core Marts ETL Metadaten BI-Plattform 5 Source driven Business driven
  6. 6. Vorgehensweise für Datenmodellierung im DWH  Anforderungsgetriebene Datenmodellierung  Business-driven (Top-down)  Core-Modell wird aus fachlichen Anforderungen an Data Marts abgeleitet  Resultat: Dimensionales Core-Datenmodell 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 6 Data Warehouse Data Mart 1 Quell-system A Core Cleansing Area Staging Area BI-Plattform Data Mart 2 Data Mart 3 Quell-system B Top-down Data Warehouse Data Mart 1 Quell-system A Core Cleansing Area Staging Area BI-Plattform Data Mart 2 Data Mart 3 Quell-system B Bottom-up  Quellsystemgetriebene Datenmodellierung  Source-driven (Bottom-up)  Core-Modell wird aus verfügbaren Daten der Quellsysteme abgeleitet  Resultat: „Relationales“ Core-Datenmodell
  7. 7. Anforderungsgetriebene 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 Datenmodellierung 7
  8. 8. Dimensionales Core-Datenmodell  Core ist „Gesamtmenge aller Data Marts“  Dimensionen und Fakten aller Data Marts auf feinster Granularitätsstufe  Implementierung als Star oder Snowflake Schema  Einsatzgebiet:  Struktur der Data Marts ist bekannt (Business Requirements!)  Conformed Dimensions zwischen den Data Marts 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 8  Empfehlungen:  Keine Aggregationen im Core  Im Core generell Slowly Changing Dimensions verwenden  Versionierung mit Head-/Versionstabellen  Data Marts nicht zwingend als physische Schicht, eventuell nur Views
  9. 9. 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 D D F D D D D F D Data Mart 1 Data Mart 2 Core D D F D D F D Cleansing Area Staging Area 9
  10. 10. 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 D D F D D F D D D D D D F F D D D D D D D D D D Data Mart 1 Data Mart 2 Core 10
  11. 11. Beispiel: DWH für Liegenschaftenverwaltung 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 11 Data Mart „Gebäudeunterhalt“ Data Mart „Mieterzahlungen“ Core
  12. 12. Beispiel: DWH für Liegenschaftenverwaltung 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 12 V1 V2 V1 V2 V1 V2
  13. 13. Head-/Versionstabellen  Head-Tabelle  Eindeutiger Schlüssel pro Objekt (PK)  Fachlicher Schlüssel (UK)  Statische Attribute  Versions-Tabelle  Eindeutiger Schlüssel pro Version (PK)  Fremdschlüssel auf Head-Tabelle  Gültigkeitsdauer (Gültig von – Gültig bis)  Dynamische Attribute 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 13 Head- Tabelle Versions- Tabelle
  14. 14. Beispiel: DWH für Liegenschaftenverwaltung 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 14 V1 V2 V H V H V H V H
  15. 15. 2013 © Trivadis F DOAG - Modellierung Core DWH 19. November 2013 D D F D D F D H H H H F D D H H H H H H Data Mart 1 Data Mart 2 Core V V V V V V V V V V D D D V V V 15
  16. 16. Quellsystemgetriebene Datenmodellierung 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 16
  17. 17. „Relationales“ Core-Datenmodell  Was bedeutet hier „relational“ und „3. Normalform“?  Star und Snowflake Schemas sind auch relational  Snowflake Schema ist in 3. Normalform (3NF)  Gemeint ist: Aus Quellsystem abgeleitetes Core-Datenmodell  Einsatzgebiet:  Unterschiedliche oder noch unbekannte Anforderungen der Data Marts  Historisierung und Integration von Daten aus verschiedenen Quellsystemen 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 17  Empfehlungen:  Nur fachlich relevante Daten in Core übernehmen  Code-Tabellen und Lookup-Tabellen denormalisieren  Stammdaten-Historisierung im Core mit Head- und Versionstabellen
  18. 18. Source System 1 2013 © Trivadis T DOAG - Modellierung Core DWH 19. November 2013 T T T T T T T T T T T Source System 2 Core H H F H V V V F H V H V H F V H V H V Staging Area / Cleansing Area 18
  19. 19. Beispiel: Datenmodell des Quellsystems 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 19
  20. 20. Beispiel: Core-Datenmodell (nicht historisiert) 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 20
  21. 21. Beispiel: Core-Datenmodell (historisiert) 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 21 H H H H H H H V V V V V V V
  22. 22. Data Vault Modeling 2013 © Trivadis  Hub:  Eindeutiger Schlüssel pro Objekt (PK)  Fachlicher Schlüssel (UK)  Audit-Informationen (Ladedatum, Quellsystem)  Satellite:  Fremdschlüssel auf Hub oder Link  Gültigkeitsdauer (Gültig von – Gültig bis)  Fachliche Attribute (statisch und dynamisch)  Audit-Informationen (Ladedatum, Quellsystem)  Link:  Künstlicher Schlüssel (Surrogate Key)  Fremdschlüssel auf zwei oder mehr Hubs  Audit-Informationen (Ladedatum, Quellsystem) DOAG - Modellierung Core DWH 19. November 2013 22 H S L
  23. 23. Source System 1 2013 © Trivadis T DOAG - Modellierung Core DWH 19. November 2013 T T T T T T Core (Data Vault) H S S S H H H H H H S S S S S S S S S S L L L L L S L 23
  24. 24. Data Vault Modeling  Einsatzgebiet:  Enterprise Data Warehouse mit vielen Quellsystemen  Agile DWH-Projekte mit vielen Erweiterungen und Change Requests 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 24  Empfehlungen:  Hubs enthalten ausschliesslich Schlüsselattribute (keine „statischen“ Daten)  Fachliche Attribute in Satellites (historisiert)  Alle Beziehungen über Links (n-zu-n Beziehungen) abbilden  Bei Bedarf auch Satellites für Links möglich
  25. 25. Beispiel: Core-Datenmodell als Data Vault S H 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 25 S S S H L L H H S S S S S L S L
  26. 26. Generische Datenmodelle  Einsatzgebiet:  Agile DWH-Projekte mit vielen Erweiterungen und Change Requests 2013 © Trivadis  Grundidee:  Erweiterungen ohne Modellanpassungen möglich  Datenmodell soll möglichst allgemein gehalten werden  Konfigurierbar über Metadaten (z.B. Rolle, Objekttyp, etc.) DOAG - Modellierung Core DWH 19. November 2013 26  Empfehlungen:  Nicht verwenden!
  27. 27. 2013 © Trivadis T DOAG - Modellierung Core DWH 19. November 2013 Generic Core Partner Type Role Object Source System 1 T T T T T T T T T T T Source System 2 Staging Area / Cleansing Area 27
  28. 28. Beispiel: Generisches Datenmodell 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 28 Person Firma Mieter Vermieter Besitzer G = Gebäude W = Wohnung Gebäude Wohnung
  29. 29. Wie modelliere ich mein Core DWH? 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013 29
  30. 30. Fragen und Antworten... Dani Schnider Principal Consultant Tel.: +41 58 459 50 81 dani.schnider@trivadis.com BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 2013 © Trivadis DOAG - Modellierung Core DWH 19. November 2013

×