Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Automatisiertes ETL mit Data Vault und ODI

634 Aufrufe

Veröffentlicht am

www.opitz-consulting.com

Unsere BI-Experten Marcel Aretz und Steven Sittner beschrieben am 15.11.2016 in ihrem Vortrag bei der DOAG Konferenz in Nürnberg die Umsetzung eines Tools, das ETL-Prozesse für eine Data Vault anhand eines definierten Metadatenmodells generiert. Genutzt wird dafür ein vom ODI geliefertes SDK, das die Steuerung von außen per Java möglich macht.

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Automatisiertes ETL mit Data Vault und ODI

  1. 1. © OPITZ CONSULTING 2016  überraschend mehr Möglichkeiten! © OPITZ CONSULTING 2016 Steven Sittner, Marcel Aretz Automatisiertes ETL mit Data Vault und ODI
  2. 2. © OPITZ CONSULTING 2016 Seite 2 Agenda 1 2 3 4 5 Motivation Rahmen und Voraussetzungen Anwendungsaufbau und ODI SDK Umsetzung und Arbeitsweise Fazit Automatisiertes ETL mit Data Vault und ODI
  3. 3. © OPITZ CONSULTING 2016 Seite 3 Motivation 1 Automatisiertes ETL mit Data Vault und ODI
  4. 4. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 4 Motivation  Nutzung von Automatisierungspotentialen durch Data Vault  Steigerung der Effizienz in der Entwicklung  Vermeidung von Fehlern  Stringentes Umsetzen von Architektur- und Entwicklungsrichtlinien  Möglichkeiten von Oracle Data Integrator eruieren
  5. 5. © OPITZ CONSULTING 2016 Seite 5 Rahmen und Voraussetzungen Data Vault  Hub-Tabellen  Link-Tabellen  Satellite-Tabellen Umgebung  Entwicklungsumgebung  Produktversionen 2 Automatisiertes ETL mit Data Vault und ODI
  6. 6. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 6 Hub-Tabellen  Jeder Business Key / Composite Key bildet eine Hub-Tabelle  Inhalt  Primärschlüssel (Hashwert des Business Keys)  Business Key / Composite Key der Quelltabelle  Ladedatum  Quellsystem
  7. 7. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 7 Link-Tabellen  Bilden Beziehungen zwischen Quelltabellen ab  Inhalt  Primärschlüssel (Hashwert der Business Keys aller in Beziehung stehenden Hubs)  Ladedatum  Quellsystem
  8. 8. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 8 Satellite-Tabellen  Enthalten Informationen zu einer Hub-/Link- Tabelle, die zur genaueren Beschreibung der Entität dienen  Inhalt  Primärschlüssel  Hashwert des zu beschreibenden Hubs/Links  Ladedatum  Beschreibende Attribute
  9. 9. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 9 Data Vault - Übersicht
  10. 10. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 10 Entwicklungsumgebung und Produktversionen  Eclipse Mars  Oracle DB 11g  Java 8u77  ODI 12.2.1
  11. 11. © OPITZ CONSULTING 2016 Seite 11 Anwendungsaufbau und ODI SDK  Aufbau der Applikation  Stand des ODI SDK  Umfang hinsichtlich der steuerbaren Funktionen 3 Automatisiertes ETL mit Data Vault und ODI
  12. 12. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 12 Aufbau der Applikation SAT DV  Analyse eines Quell- Schemas (in 3NF o.ä.)  Definition von  Business Keys  Foreign Keys  Attributen  usw.  Generierung des Datenmodelles als Data Vault Modell ODI Auto  Anlage der ODI Strukturelemente  Auslesen und Prüfen der Metainformationen  Generierung der ODI Mappings  Hubs  Links  Satellites ODI SDK  API Bibliothek ODI Server  Repository  Domain Metadatenmodell
  13. 13. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 13 ODI Software Development Kit SDK:  In aktueller Version 12c sind alle Funktionen steuerbar  Struktur- oder Mappingelemente per Java-Code ansprechbar  Reverse-Engineering ferngesteuert durchführen Funktionen:  Reverse-Engineering liefert Quell- /Zieltabellen und –schemata  Finderklassen für alle Arten von ODI- Elementen  Operatoren und Komponenten zum Erstellen eines Mappings per Code nutzbar  Datenflüsse mithilfe von InputConnectorPoints oder dem gewohnten Bauen von Expressions für jedes Attribut modellierbar
  14. 14. © OPITZ CONSULTING 2016 Seite 14 Umsetzung und Arbeitsweise  Metadatenmodell  Prozesse 4 Automatisiertes ETL mit Data Vault und ODI
  15. 15. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 15 Metadatenmodell
  16. 16. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 16 Übersicht der Anwendungsprozesse Foreign- Keys Attribute Business PK Hub-Mappings Link-Mappings Satellite- Mappings Metadaten- modell Generator
  17. 17. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 17 Prozesse Hub-Mappings Link-Mappings  1-n Datastore anhand Quelltabellen ermitteln  Bei mehreren Data Stores zusammenführen  Business Key filtern und weiterleiten  Hash Key bilden  Oracle Datenbank liefert Hashfunktionen in DBMS_Crypto  Identifizieren relevanter Beziehungen in den Quellen  JOIN aller Data Stores  Nachbilden der Hash Keys zum Referenzieren der Hub-Tabellen  Bilden des Hash Keys für den Link aus den Keys der Hub-Tabellen
  18. 18. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 18 Prozesse Satellite-Prozess  Quellschema/-system identifiziert einen Satellite  UNION/JOIN aller für den PK/FK nötigen Tabellen  Selektieren der beschreibenden Attributen aus der Tabelle des angesprochenen Schemas
  19. 19. © OPITZ CONSULTING 2016 Seite 19 Fazit 5 Automatisiertes ETL mit Data Vault und ODI
  20. 20. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 20 Verprobung im Projekt  Einfacher Form der Historisierung setzt nicht alle spezifischen fachlichen Anforderungen um  Fehlerhandling momentan rudimentär - nicht passende Sätze werden nicht verarbeitet  Klassische Mappings für Staging und RAW-Vault sind gut zu automatisieren, komplexe fachliche Ableitungen im Business Vault und Data Mart Aufbau eher schwierig.  Stringente Architekturvorgaben müssen eingehalten werden
  21. 21. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 21 Ausblick  Historisierung um spezifische Lösungen erweitern  Fehlerhandling um weitere Funktionen ergänzen  Erweitern der Anwendung um weiter durch das SDK bereitgestellte Fernsteuerungsmöglichkeiten  Integration in Data Vault Generator (SAT DV) und Deployment Werkzeug (OCSV)
  22. 22. © OPITZ CONSULTING 2016 Seite 22Automatisiertes ETL mit Data Vault und ODI Fragen / offene Diskussion
  23. 23. © OPITZ CONSULTING 2016  überraschend mehr Möglichkeiten! @OC_WIRE OPITZCONSULTING opitzconsultingWWW.OPITZ-CONSULTING.COM Seite 23 Steven Sittner Associate Developer Norsk-Data-Straße 3 61348 Bad Homburg vor der Höhe steven.sittner@opitz-consulting.com +49 151 5802 6138 Marcel Aretz Senior Consultant Landwehr 2 22087 Hamburg marcel.aretz@optiz-consulting.com +49 40 741122-1362 Automatisiertes ETL mit Data Vault und ODI

×