http://www.opitz-consulting.com "Automatisierung im DWH" war das Thema unserer Experten Marian Strüby und Dr. Jens Bleiholder zusammen mit Ulf Jeffke, Manager Voice & Data Anlalyst - Vodafone Kabel Deutschland, bei der DOAG 2015 Konferenz und Ausstellung. Modularisierung, Standardisierung, Automatisierung. Mit diesen drei Stichworten kann man die Vorteile des ODI 12c als ETL-Tool im eigenen DWH-Projekt auf den Punkt bringen. Der ODI eröffnet hier eine ganze Reihe an Möglichkeiten, die Entwicklung eines DWH zu beschleunigen, dem Entwickler Arbeit abzunehmen und gleichzeitig die Entwicklung zuverlässiger und fehlerfreier zu machen. Dabei wird die Entwicklung noch wesentlich effizienter, wenn man auch bei Datenmodellierung und Architektur auf Modularisierung, Standardisierung und Automatisierung achtet und z.B. Data Vault verwendet. Anhand von Beispielen aus einem Kundenprojekt stellen wir unsere Erfahrungen auf diesem Gebiet vor und zeigen, wie der ODI 12c im Projekt dabei hilft und ein DWH größtmöglich automatisiert, aufzubauen: Generieren von Datenmodellen und zugehörigen Mappings, automatisches Deployment, Anpassung von Knowledge-Modulen etc. Den Kunden freut es, bekommt er nun mehr DWH für sein Geld. Den Entwickler freut es, muss er nun nicht mehr die langweiligen immer gleichen Arbeiten erledigen. Den Endanwender freut es, bleibt nun mehr Zeit übrig, um auf seine Probleme und Businesslogik einzugehen.

1. © OPITZ CONSULTING GmbH 2015 Seite 2Automatisierung im DWH
Marian Strüby Dr. Jens Bleiholder Ulf Jeffke
Senior Consultant Project Manager Manager Voice
& Data Analyst
OPITZ CONSULTING Deutschland GmbH Vodafone Kabel Deutschland
Standort Berlin Betastr. 6-8
Tempelhofer Weg 64 85774 Unterföhring
12347 Berlin
Sich das Leben erleichtern mit dem ODI
Nürnberg, 19.11.2015
Automatisierung im DWH

2. © OPITZ CONSULTING GmbH 2015 Seite 4Automatisierung im DWH
 Umsatz
 2012: 36,7 Mio. €
 2013: 38,8 Mio. €
 2014: 44,0 Mio. €
 Mitarbeiter
 2012: 382 Mitarbeiter
 2013: 385 Mitarbeiter
 2014: 400 Mitarbeiter
Wo stehen wir als Unternehmen?
Peter Dix (CFO):
„Solides Wirtschaften in Verbindung mit einer
langfristigen kundenorientierten Strategie
garantiert den wirtschaftlichen Erfolg.“
Standorte Unternehmensentwicklung

3. © OPITZ CONSULTING GmbH 2015 Seite 5Automatisierung im DWH
Was wir machen – unser Leistungsangebot
Rolf Scheuch (CSO):
„Mit diesem ganzheitlichen Lösungsangebot
sind wir ein langfristiger, strategischer Partner
für komplexe und einzigartige IT-Lösungen.“
Wir bieten ein umfassendes und
ganzheitliches Application Lifecycle
Management zur Sicherung des
Wertbeitrags der Anwendungssysteme
im gesamten Lebenszyklus an.
Wir stimmen die Modelle individuell auf
unsere Kunden ab und unterstützen somit
optimal alle Phasen des Lebenszyklus:
 Strategische Beratung,
 Planung/Design,
 Implementierung und
 Wartung/Betrieb.

4. © OPITZ CONSULTING GmbH 2015 Seite 8Automatisierung im DWH
Project Technical Data Warehouse
App-
Server
Exadata
Weblogic
Data Warehouse
Staging Area
WIFI
Operational
Data Store
Raw Data Vault
GoldenGate
1:1 Replikat,
Operationales BI möglich
1:1 Tabellenstrukur,
Deltadaten
Data Vault 2.0
Modellierung,
Raw und Business Layer
Dimensionale Modellierung
OBIEE Analysis and Dashboards
Oracle Data
Integrator
Business Data Vault
Data Marts

5. © OPITZ CONSULTING GmbH 2015 Seite 9Automatisierung im DWH
Agenda
1. Standardisierung
 Datenmodelle + Namensregelungen
2. Modularisierung
 Knowledge Module + Beladungsschemata
3. Automatisierung
 Datenmodelle
 ETL-Prozesse
 Tips + Tricks
4. Fazit

6. © OPITZ CONSULTING GmbH 2015 Seite 10Automatisierung im DWH
1 Standardisierung

7. © OPITZ CONSULTING GmbH 2015 Seite 11Automatisierung im DWH
Standardisierung…
 … vereinfacht Wissenstransfer
 … und Dokumentation
 … bringt Ordnung ins Chaos
 … ermöglicht Wiederverwendung
 Kurz: macht Vieles einfacher!

8. © OPITZ CONSULTING GmbH 2015 Seite 12Automatisierung im DWH
Standardisierungsmöglichkeiten im Datenmodell
 Namensregeln
 Präfixe, z.B. D_, F_,
 Konsistente Benennung von Tabellen, FK‘s, Indizes, …
 Abkürzungen
 …
 Prinzipien
 Bridgetabellen, Historientabellen, N:M-Beziehungen, …
 Stern vs. Snowflake
 ID‘s, NK‘s, FK‘s, Domänen, …
 …
 Oder auch: Data Vault
 Als standardisierte Datenmodellierungstechik

9. © OPITZ CONSULTING GmbH 2015 Seite 13Automatisierung im DWH
Standardisierungsmöglichkeiten im ETL
 Beladungstemplates
 Gleichartige Tabellen werden gleichartig beladen
 ETL-Jobs sind jederzeit wieder startbar
 UPDATE/MERGE vs. TRUNCATE/INSERT vs. DELETE
 Im ODI durch Knowledge Module realisiert
 Beladungsreihenfolge
 Zuerst Dimensionen, dann Fakten
 ETL Workflow im ODI durch Load Plans realisiert
 Gleiche Art der Historisierung
 Im ODI durch Knowledge Module realisiert

10. © OPITZ CONSULTING GmbH 2015 Seite 14Automatisierung im DWH
2 Modularisierung

11. © OPITZ CONSULTING GmbH 2015 Seite 15Automatisierung im DWH
Modularisierung im ODI

12. © OPITZ CONSULTING GmbH 2015 Seite 16Automatisierung im DWH
Beispiel Integration Knowledge Module
 Im ODI bilden IKM‘s Beladungstemplates ab
 TRUNCATE/INSERT vs. MERGE
 Historisierung nach SCD2
 DELETE statt INSERT (Rollback-Funktionalität)
 Reusable Mappings
 Best Practice: Ein Mapping pro Quelltabelle
 Folge: ETL wird (fast) beliebig
konfigurierbar

13. © OPITZ CONSULTING GmbH 2015 Seite 17Automatisierung im DWH
3 Automatisierung

14. © OPITZ CONSULTING GmbH 2015 Seite 18Automatisierung im DWH
Automatisierung mit ODI-SDK

15. © OPITZ CONSULTING GmbH 2015 Seite 19Automatisierung im DWH
Das ODI-SDK
 Technologie: Java
 Prinzipiell: alles fernsteuerbar
 Was auch über die Oberfläche erreichbar ist
 Ähnlich zu OMB+ im OWB
 Aber: andere Sprache
 Aufrufe
 Groovy-Skripte aus der GUI
 Methoden und Objekte direkt aus eigenen
Java-Klassen

16. © OPITZ CONSULTING GmbH 2015 Seite 21Automatisierung im DWH
Meta-Datenbank
T_HUB
T_LINK
T_SATELLITE
T_SOURCE_COLUMN
T_HUB_LINK
T_HUB_SATELLITE
T_LINK_SATELLITE
T_DV_META
T_SOURCE_TABLE

17. © OPITZ CONSULTING GmbH 2015 Seite 22Automatisierung im DWH
Data Vault Metadaten
DV_TYPE DV_NAME_PATTERN COL_DATA_TYPE
HUB_TBL HUB_{hub_name}
LNK_TBL LNK_{lnk_name}
SAT_TBL SAT_{sat_name}
HUB_HASH {hub_name}_HASH raw(32)
LNK_HASH {lnk_name}_HASH raw(32)
BK {hub_name}_BK varchar2(255)
TS LOAD_DTS timestamp
RS REC_SRC_ID varchar2(255)
LOAD_ID LOAD_INS_SID number
PK PK_{table_name}
FK FK##_{table_name}
Namensregeln
Einheitliche
Datentypen

18. © OPITZ CONSULTING GmbH 2015 Seite 23Automatisierung im DWH
Erstellen eines Hub-Mappings
1. Füge Quelltabelle(n) ein (aus T_SOURCE_TABLE)
2. Füge union all Komponente hinzu (bei mehreren
Quelltabellen)
3. Füge not null Filter auf Business Key Spalten ein
4. Füge Aggregate Komponente hinzu, um eine eindeutige
Liste zu erhalten
5. Füge Zieltabelle ein (Hub)

19. © OPITZ CONSULTING GmbH 2015 Seite 24Automatisierung im DWH
Blick in den Code…
Ein Mapping erzeugen
 Modularisierung
Quelltabelle einfügen
Filter einfügen

20. © OPITZ CONSULTING GmbH 2015 Seite 25Automatisierung im DWH
IKM zuordnen
Festgelegtes IKM
verwenden
 Standardisierung!

21. © OPITZ CONSULTING GmbH 2015 Seite 26Automatisierung im DWH
ODI Project Objekte erstellen
Wiederholbarer
(testbarer) Aufbau der
ODI Umgebung sichert
festgelegte Standards
und Richtlinien!

22. © OPITZ CONSULTING GmbH 2015 Seite 27Automatisierung im DWH
Models erstellen
Iterieren über
Schemas, die in ODI
Toplogy festegelegt
sind

23. © OPITZ CONSULTING GmbH 2015 Seite 28Automatisierung im DWH
Reverse Engineering eines Models
Verwenden von
externen ODI
Programmen, falls
SDK nicht ausreichend

24. © OPITZ CONSULTING GmbH 2015 Seite 29Automatisierung im DWH
Automatisches Deployment von Szenarien
Import der gezippten
Scenarios mit
festgelegtem Import Mode

25. © OPITZ CONSULTING GmbH 2015 Seite 30Automatisierung im DWH
Setzen von Attributeigenschaften mit Groovy

26. © OPITZ CONSULTING GmbH 2015 Seite 31Automatisierung im DWH
Blick in den Groovy-Code
Setzen alle Spalten auf
ADD_ROW_ON_CHANGE
Setzen alle HASH-Spalten
auf NATURAL_KEY
Implementieren der
Historisierung (SCD2) in
Data Vault Satellites!
 Standardisierung!

27. © OPITZ CONSULTING GmbH 2015 Seite 32Automatisierung im DWH
Weitere Ideen
 Metadaten erweitern
 Knowledge Module
 DWH-Layer
 Geschäftsregeln in Metadaten festhalten
 In Reusable Mappings implementieren
 Aufwand / Nutzen abschätzen!
 GUI für Verwaltung der Metadaten
 Testframework aufbauen
 Metadaten nutzen, um strukturgleiche Testumgebung aufzubauen
 Stetiges, automatisiertes Setup und Testen der Mappings mit Testdaten
 Ziel: vollständig getestetes DWH/BI-System
 Dokumentation aus Metadaten erstellen

28. © OPITZ CONSULTING GmbH 2015 Seite 33Automatisierung im DWH
4 Fazit

29. © OPITZ CONSULTING GmbH 2015 Seite 34Automatisierung im DWH
Take Home Message
 Ersparnis (Zeit + Geld)
 Zufriedenere Entwickler
 Mehr spannende Aufgaben
 Weniger Bugs
 Konzentration aufs Wesentliche
 Das Geschäft, die Analyse
 Metadaten ermöglichen weitere Ausbaustufen
 Fragen?

30. © OPITZ CONSULTING GmbH 2015 Seite 35Automatisierung im DWH
Kontakt
Marian Strüby
Senior Consultant
OPITZ CONSULTING Deutschland GmbH
marian.strueby@opitz-consulting.com
Telefon: +49 (0)30 6298889-1625
Mobil: +49 (0)173 7279144