Automatisiertes ETL mit Data Vault und ODI

149 Aufrufe

Veröffentlicht am

www.opitz-consulting.com

Unsere BI-Experten Marcel Aretz und Steven Sittner beschrieben am 15.11.2016 in ihrem Vortrag bei der DOAG Konferenz in Nürnberg die Umsetzung eines Tools, das ETL-Prozesse für eine Data Vault anhand eines definierten Metadatenmodells generiert. Genutzt wird dafür ein vom ODI geliefertes SDK, das die Steuerung von außen per Java möglich macht.

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
149
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
2
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Automatisiertes ETL mit Data Vault und ODI

  1. 1. © OPITZ CONSULTING 2016  überraschend mehr Möglichkeiten! © OPITZ CONSULTING 2016 Steven Sittner, Marcel Aretz Automatisiertes ETL mit Data Vault und ODI
  2. 2. © OPITZ CONSULTING 2016 Seite 2 Agenda 1 2 3 4 5 Motivation Rahmen und Voraussetzungen Anwendungsaufbau und ODI SDK Umsetzung und Arbeitsweise Fazit Automatisiertes ETL mit Data Vault und ODI
  3. 3. © OPITZ CONSULTING 2016 Seite 3 Motivation 1 Automatisiertes ETL mit Data Vault und ODI
  4. 4. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 4 Motivation  Nutzung von Automatisierungspotentialen durch Data Vault  Steigerung der Effizienz in der Entwicklung  Vermeidung von Fehlern  Stringentes Umsetzen von Architektur- und Entwicklungsrichtlinien  Möglichkeiten von Oracle Data Integrator eruieren
  5. 5. © OPITZ CONSULTING 2016 Seite 5 Rahmen und Voraussetzungen Data Vault  Hub-Tabellen  Link-Tabellen  Satellite-Tabellen Umgebung  Entwicklungsumgebung  Produktversionen 2 Automatisiertes ETL mit Data Vault und ODI
  6. 6. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 6 Hub-Tabellen  Jeder Business Key / Composite Key bildet eine Hub-Tabelle  Inhalt  Primärschlüssel (Hashwert des Business Keys)  Business Key / Composite Key der Quelltabelle  Ladedatum  Quellsystem
  7. 7. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 7 Link-Tabellen  Bilden Beziehungen zwischen Quelltabellen ab  Inhalt  Primärschlüssel (Hashwert der Business Keys aller in Beziehung stehenden Hubs)  Ladedatum  Quellsystem
  8. 8. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 8 Satellite-Tabellen  Enthalten Informationen zu einer Hub-/Link- Tabelle, die zur genaueren Beschreibung der Entität dienen  Inhalt  Primärschlüssel  Hashwert des zu beschreibenden Hubs/Links  Ladedatum  Beschreibende Attribute
  9. 9. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 9 Data Vault - Übersicht
  10. 10. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 10 Entwicklungsumgebung und Produktversionen  Eclipse Mars  Oracle DB 11g  Java 8u77  ODI 12.2.1
  11. 11. © OPITZ CONSULTING 2016 Seite 11 Anwendungsaufbau und ODI SDK  Aufbau der Applikation  Stand des ODI SDK  Umfang hinsichtlich der steuerbaren Funktionen 3 Automatisiertes ETL mit Data Vault und ODI
  12. 12. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 12 Aufbau der Applikation SAT DV  Analyse eines Quell- Schemas (in 3NF o.ä.)  Definition von  Business Keys  Foreign Keys  Attributen  usw.  Generierung des Datenmodelles als Data Vault Modell ODI Auto  Anlage der ODI Strukturelemente  Auslesen und Prüfen der Metainformationen  Generierung der ODI Mappings  Hubs  Links  Satellites ODI SDK  API Bibliothek ODI Server  Repository  Domain Metadatenmodell
  13. 13. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 13 ODI Software Development Kit SDK:  In aktueller Version 12c sind alle Funktionen steuerbar  Struktur- oder Mappingelemente per Java-Code ansprechbar  Reverse-Engineering ferngesteuert durchführen Funktionen:  Reverse-Engineering liefert Quell- /Zieltabellen und –schemata  Finderklassen für alle Arten von ODI- Elementen  Operatoren und Komponenten zum Erstellen eines Mappings per Code nutzbar  Datenflüsse mithilfe von InputConnectorPoints oder dem gewohnten Bauen von Expressions für jedes Attribut modellierbar
  14. 14. © OPITZ CONSULTING 2016 Seite 14 Umsetzung und Arbeitsweise  Metadatenmodell  Prozesse 4 Automatisiertes ETL mit Data Vault und ODI
  15. 15. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 15 Metadatenmodell
  16. 16. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 16 Übersicht der Anwendungsprozesse Foreign- Keys Attribute Business PK Hub-Mappings Link-Mappings Satellite- Mappings Metadaten- modell Generator
  17. 17. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 17 Prozesse Hub-Mappings Link-Mappings  1-n Datastore anhand Quelltabellen ermitteln  Bei mehreren Data Stores zusammenführen  Business Key filtern und weiterleiten  Hash Key bilden  Oracle Datenbank liefert Hashfunktionen in DBMS_Crypto  Identifizieren relevanter Beziehungen in den Quellen  JOIN aller Data Stores  Nachbilden der Hash Keys zum Referenzieren der Hub-Tabellen  Bilden des Hash Keys für den Link aus den Keys der Hub-Tabellen
  18. 18. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 18 Prozesse Satellite-Prozess  Quellschema/-system identifiziert einen Satellite  UNION/JOIN aller für den PK/FK nötigen Tabellen  Selektieren der beschreibenden Attributen aus der Tabelle des angesprochenen Schemas
  19. 19. © OPITZ CONSULTING 2016 Seite 19 Fazit 5 Automatisiertes ETL mit Data Vault und ODI
  20. 20. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 20 Verprobung im Projekt  Einfacher Form der Historisierung setzt nicht alle spezifischen fachlichen Anforderungen um  Fehlerhandling momentan rudimentär - nicht passende Sätze werden nicht verarbeitet  Klassische Mappings für Staging und RAW-Vault sind gut zu automatisieren, komplexe fachliche Ableitungen im Business Vault und Data Mart Aufbau eher schwierig.  Stringente Architekturvorgaben müssen eingehalten werden
  21. 21. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 21 Ausblick  Historisierung um spezifische Lösungen erweitern  Fehlerhandling um weitere Funktionen ergänzen  Erweitern der Anwendung um weiter durch das SDK bereitgestellte Fernsteuerungsmöglichkeiten  Integration in Data Vault Generator (SAT DV) und Deployment Werkzeug (OCSV)
  22. 22. © OPITZ CONSULTING 2016 Seite 22Automatisiertes ETL mit Data Vault und ODI Fragen / offene Diskussion
  23. 23. © OPITZ CONSULTING 2016  überraschend mehr Möglichkeiten! @OC_WIRE OPITZCONSULTING opitzconsultingWWW.OPITZ-CONSULTING.COM Seite 23 Steven Sittner Associate Developer Norsk-Data-Straße 3 61348 Bad Homburg vor der Höhe steven.sittner@opitz-consulting.com +49 151 5802 6138 Marcel Aretz Senior Consultant Landwehr 2 22087 Hamburg marcel.aretz@optiz-consulting.com +49 40 741122-1362 Automatisiertes ETL mit Data Vault und ODI

×