© OPITZ CONSULTING GmbH 2015 Seite 2Automatisierung im DWH
Marian Strüby Dr. Jens Bleiholder Ulf Jeffke
Senior Consultant ...
© OPITZ CONSULTING GmbH 2015 Seite 4Automatisierung im DWH
 Umsatz
 2012: 36,7 Mio. €
 2013: 38,8 Mio. €
 2014: 44,0 M...
© OPITZ CONSULTING GmbH 2015 Seite 5Automatisierung im DWH
Was wir machen – unser Leistungsangebot
Rolf Scheuch (CSO):
„Mi...
© OPITZ CONSULTING GmbH 2015 Seite 8Automatisierung im DWH
Project Technical Data Warehouse
App-
Server
Exadata
Weblogic
D...
© OPITZ CONSULTING GmbH 2015 Seite 9Automatisierung im DWH
Agenda
1. Standardisierung
 Datenmodelle + Namensregelungen
2....
© OPITZ CONSULTING GmbH 2015 Seite 10Automatisierung im DWH
1 Standardisierung
© OPITZ CONSULTING GmbH 2015 Seite 11Automatisierung im DWH
Standardisierung…
 … vereinfacht Wissenstransfer
 … und Doku...
© OPITZ CONSULTING GmbH 2015 Seite 12Automatisierung im DWH
Standardisierungsmöglichkeiten im Datenmodell
 Namensregeln
...
© OPITZ CONSULTING GmbH 2015 Seite 13Automatisierung im DWH
Standardisierungsmöglichkeiten im ETL
 Beladungstemplates
 G...
© OPITZ CONSULTING GmbH 2015 Seite 14Automatisierung im DWH
2 Modularisierung
© OPITZ CONSULTING GmbH 2015 Seite 15Automatisierung im DWH
Modularisierung im ODI
© OPITZ CONSULTING GmbH 2015 Seite 16Automatisierung im DWH
Beispiel Integration Knowledge Module
 Im ODI bilden IKM‘s Be...
© OPITZ CONSULTING GmbH 2015 Seite 17Automatisierung im DWH
3 Automatisierung
© OPITZ CONSULTING GmbH 2015 Seite 18Automatisierung im DWH
Automatisierung mit ODI-SDK
© OPITZ CONSULTING GmbH 2015 Seite 19Automatisierung im DWH
Das ODI-SDK
 Technologie: Java
 Prinzipiell: alles fernsteue...
© OPITZ CONSULTING GmbH 2015 Seite 21Automatisierung im DWH
Meta-Datenbank
T_HUB
T_LINK
T_SATELLITE
T_SOURCE_COLUMN
T_HUB_...
© OPITZ CONSULTING GmbH 2015 Seite 22Automatisierung im DWH
Data Vault Metadaten
DV_TYPE DV_NAME_PATTERN COL_DATA_TYPE
HUB...
© OPITZ CONSULTING GmbH 2015 Seite 23Automatisierung im DWH
Erstellen eines Hub-Mappings
1. Füge Quelltabelle(n) ein (aus ...
© OPITZ CONSULTING GmbH 2015 Seite 24Automatisierung im DWH
Blick in den Code…
Ein Mapping erzeugen
 Modularisierung
Quel...
© OPITZ CONSULTING GmbH 2015 Seite 25Automatisierung im DWH
IKM zuordnen
Festgelegtes IKM
verwenden
 Standardisierung!
© OPITZ CONSULTING GmbH 2015 Seite 26Automatisierung im DWH
ODI Project Objekte erstellen
Wiederholbarer
(testbarer) Aufba...
© OPITZ CONSULTING GmbH 2015 Seite 27Automatisierung im DWH
Models erstellen
Iterieren über
Schemas, die in ODI
Toplogy fe...
© OPITZ CONSULTING GmbH 2015 Seite 28Automatisierung im DWH
Reverse Engineering eines Models
Verwenden von
externen ODI
Pr...
© OPITZ CONSULTING GmbH 2015 Seite 29Automatisierung im DWH
Automatisches Deployment von Szenarien
Import der gezippten
Sc...
© OPITZ CONSULTING GmbH 2015 Seite 30Automatisierung im DWH
Setzen von Attributeigenschaften mit Groovy
© OPITZ CONSULTING GmbH 2015 Seite 31Automatisierung im DWH
Blick in den Groovy-Code
Setzen alle Spalten auf
ADD_ROW_ON_CH...
© OPITZ CONSULTING GmbH 2015 Seite 32Automatisierung im DWH
Weitere Ideen
 Metadaten erweitern
 Knowledge Module
 DWH-L...
© OPITZ CONSULTING GmbH 2015 Seite 33Automatisierung im DWH
4 Fazit
© OPITZ CONSULTING GmbH 2015 Seite 34Automatisierung im DWH
Take Home Message
 Ersparnis (Zeit + Geld)
 Zufriedenere Ent...
© OPITZ CONSULTING GmbH 2015 Seite 35Automatisierung im DWH
Kontakt
Marian Strüby
Senior Consultant
OPITZ CONSULTING Deuts...
Nächste SlideShare
Wird geladen in …5
×

Automatisierung im DWH - Sich das Leben erleichern mit dem ODI

848 Aufrufe

Veröffentlicht am

http://www.opitz-consulting.com

"Automatisierung im DWH" war das Thema unserer Experten Marian Strüby und Dr. Jens Bleiholder zusammen mit Ulf Jeffke, Manager Voice & Data Anlalyst - Vodafone Kabel Deutschland, bei der DOAG 2015 Konferenz und Ausstellung.

Modularisierung, Standardisierung, Automatisierung. Mit diesen drei Stichworten kann man die Vorteile des ODI 12c als ETL-Tool im eigenen DWH-Projekt auf den Punkt bringen. Der ODI eröffnet hier eine ganze Reihe an Möglichkeiten, die Entwicklung eines DWH zu beschleunigen, dem Entwickler Arbeit abzunehmen und gleichzeitig die Entwicklung zuverlässiger und fehlerfreier zu machen. Dabei wird die Entwicklung noch wesentlich effizienter, wenn man auch bei Datenmodellierung und Architektur auf Modularisierung, Standardisierung und Automatisierung achtet und z.B. Data Vault verwendet. Anhand von Beispielen aus einem Kundenprojekt stellen wir unsere Erfahrungen auf diesem Gebiet vor und zeigen, wie der ODI 12c im Projekt dabei hilft und ein DWH größtmöglich automatisiert, aufzubauen: Generieren von Datenmodellen und zugehörigen Mappings, automatisches Deployment, Anpassung von Knowledge-Modulen etc. Den Kunden freut es, bekommt er nun mehr DWH für sein Geld. Den Entwickler freut es, muss er nun nicht mehr die langweiligen immer gleichen Arbeiten erledigen. Den Endanwender freut es, bleibt nun mehr Zeit übrig, um auf seine Probleme und Businesslogik einzugehen.

Veröffentlicht in: Technologie
0 Kommentare
2 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
848
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
8
Aktionen
Geteilt
0
Downloads
2
Kommentare
0
Gefällt mir
2
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie
  • Axel
  • Axel
  • Warum ist Standardisierung wichtig?
    Beispiel SCHUKO-Stecker, so dass man in jedem Land seine Geräte nutzen kann…
    Findet man hier noch bessere, weitere Dinge? Warum sollte man Dinge standardisieren, was wird dadurch einfacher?
  • Welche Möglichkeiten hat man bei den Datenmodellen im DWH, Dinge zu Standardisieren?
  • Wie kann man im ETL Standardisieren?
    Welche Regeln kann man aufstellen
    Auch im ETL hat man Möglichkeiten Dinge zu standardisieren, bzw. überall gleich zu machen: Historisierung, Wiederanstartbarkeit, Reihenfolge, …

    Im OWB z.B. durch Post-Skripte realisiert
  • Zentrale Komponente des ODIs sind die Knowledge Module (KM)
    Für jede Phase des ETL-Prozesses gibt es verschiedene KMs, die für die unterschiedlichen Technologien entwickelt wurden.
    Die Anpassung der KMs ist leicht zu erlernen, da man sich in der Sprache des dazugehörigen Systems bewegt (z.B. SQL + PL/SQL wenn mit einer Oracle-DB agiert wird)
    Über die KMs werden Prozesse automatisch standardisiert und einzelne Funktionen (z.B. Historisierung/SCD2) als Modul ausgelagert.
    Damit ist die Implementierung der eigentlichen Mappings deutlich weniger komplex  deklaratives Design in Perfektion!

    Reverse: Engineering Metadaten
    Journalize: Über CDC Delta abgrenzen
    Load: Aus Quellen in Staging
    Check: Constraints vor dem Laden prüfen
    Integrate: Transformieren und in Ziel integrieren
    Service: Daten- oder Transformationsservice

    Beispiel KMs (out-of-the-box):
    Oracle GoldenGate
    Oracle DB Link
    Oracle Hyperion Essbase
    Typ 2 SCD
    SAP R/3
  • Oder aber auch: temporäre, pluggable Mappings. Komponenten, die Funktionalität beliebig wiederverwertbar machen
  • Mit der Java-API hat man quasi alle Möglichkeiten, eine Automatisierung zu implementieren.
    Es können alle Funktionen des ODI gesteuert werden. Das ODI SDK ersetzt OMB*Plus im OWB, ist aber durch die Verwendung von Java statt tcl deutlich flexibler und besser einzusetzen.
    Durch die Automatisierung lassen sich Entwicklungsvorgaben großflächig anwenden. Änderungen an den Standards werden einmalig im Java Code geändert und dann schnell auf die betroffenen Bereiche ausgerollt. Das ist ein entscheidender Faktor bei der Steigerung der Entwicklungsgeschwindigkeit.
    In unseren Projekten setzen wir die Automatisierung z.B. bei der Generierung von Data Vault-Mappings und bei der Replikation von Daten aus den Quellen in die Stageebene ein.
  • OMB+ Skriptsprache im OWB
  • - T_SOURE_TABLE: Quelltabellen Weitere normalisierte Tabellen mit Informationen zu Schemas und Systemen werden nicht dargestellt
    - T_SOURCE_COLUMN: Spalten der Quelltabellen. Markieren der Spalten, ob Business Key (Hub-Verknüpfung) bzw. Attribut (Satellite-Verknüpfung)
    - T_HUB: Liste der Hubs
    - T_LINK: Liste der Links
    - T_SATELLITE: Liste der Satelliten
    - T_HUB_LINK: Beziehungen zwischen Hubs und Links
    - T_HUB_SATELLITE: Beziehungen zwischen Hubs und Satellites
    - T_LINK_SATELLITE: Beziehungen zwischen Links und Satellites
    - T_DV_META: Metadaten zu Data Vault Objekten, Namensschema, Name und Datentyp für die Spalten LOAD_DTS und RECORD_SOURCE
  • - Festlegen der grundlegenden Namensregeln und Definition globaler Spalten (Hash, BK, LOAD_DTS,…) und deren Datentypen
  • - Freiheit in Java: auch Schwächen des SDKs abfangen, um Entwicklungsstandardisierung über das SDK hinaus zu erweitern
  • Groovy_config.txt – 4 Spalten (Schema, Tabelle, Spalte, SCD Value)
    RDV,SAT_HOTSPOT,*,ADD_ROW_ON_CHANGE
    RDV,SAT_HOTSPOT,*_HASH,NATURAL_KEY
    RDV,SAT_HOTSPOT,LOAD_DTS,START_TIMESTAMP

    Der Algorithmus:
    Alle Rows auf den Wert "ADD_ROW_ON_CHANGE" zusetzen
    Das Attribut dass den Hash enthält wird auf "NATURAL_KEY" gesetzt (ACHTUNG: der * im Script ist keine echt Wildcard! Er wurde hardcoded in das Groovy Script geschrieben)
    Das Attribut dass den Start Timestamp enthält muss auf "START_TIMESTAMP" gesetzt werden
    Das Attribut dass den Ende Timestamp enthält muss auf "END_TIMESTAMP" gesetzt werden
    Das Attribut LOAD_INS_SID wird immer auf "OVERWRITE_ON_CHANGE" gesetzt
    Das Attribut LOAD_UPD_SID wird immer auf "OVERWRITE_ON_CHANGE" gesetzt
    Das Attribut REC_SRC_ID wird immer auf "OVERWRITE_ON_CHANGE" gesetzt

  • Skillset +Java
  • Axel, ich bin…
    Jens, ich bin… und wer sind sie? Fachbereich/Nutzer, IT/Umsetzer, Entscheider
  • Automatisierung im DWH - Sich das Leben erleichern mit dem ODI

    1. 1. © OPITZ CONSULTING GmbH 2015 Seite 2Automatisierung im DWH Marian Strüby Dr. Jens Bleiholder Ulf Jeffke Senior Consultant Project Manager Manager Voice & Data Analyst OPITZ CONSULTING Deutschland GmbH Vodafone Kabel Deutschland Standort Berlin Betastr. 6-8 Tempelhofer Weg 64 85774 Unterföhring 12347 Berlin Sich das Leben erleichtern mit dem ODI Nürnberg, 19.11.2015 Automatisierung im DWH
    2. 2. © OPITZ CONSULTING GmbH 2015 Seite 4Automatisierung im DWH  Umsatz  2012: 36,7 Mio. €  2013: 38,8 Mio. €  2014: 44,0 Mio. €  Mitarbeiter  2012: 382 Mitarbeiter  2013: 385 Mitarbeiter  2014: 400 Mitarbeiter Wo stehen wir als Unternehmen? Peter Dix (CFO): „Solides Wirtschaften in Verbindung mit einer langfristigen kundenorientierten Strategie garantiert den wirtschaftlichen Erfolg.“ Standorte Unternehmensentwicklung
    3. 3. © OPITZ CONSULTING GmbH 2015 Seite 5Automatisierung im DWH Was wir machen – unser Leistungsangebot Rolf Scheuch (CSO): „Mit diesem ganzheitlichen Lösungsangebot sind wir ein langfristiger, strategischer Partner für komplexe und einzigartige IT-Lösungen.“ Wir bieten ein umfassendes und ganzheitliches Application Lifecycle Management zur Sicherung des Wertbeitrags der Anwendungssysteme im gesamten Lebenszyklus an. Wir stimmen die Modelle individuell auf unsere Kunden ab und unterstützen somit optimal alle Phasen des Lebenszyklus:  Strategische Beratung,  Planung/Design,  Implementierung und  Wartung/Betrieb.
    4. 4. © OPITZ CONSULTING GmbH 2015 Seite 8Automatisierung im DWH Project Technical Data Warehouse App- Server Exadata Weblogic Data Warehouse Staging Area WIFI Operational Data Store Raw Data Vault GoldenGate 1:1 Replikat, Operationales BI möglich 1:1 Tabellenstrukur, Deltadaten Data Vault 2.0 Modellierung, Raw und Business Layer Dimensionale Modellierung OBIEE Analysis and Dashboards Oracle Data Integrator Business Data Vault Data Marts
    5. 5. © OPITZ CONSULTING GmbH 2015 Seite 9Automatisierung im DWH Agenda 1. Standardisierung  Datenmodelle + Namensregelungen 2. Modularisierung  Knowledge Module + Beladungsschemata 3. Automatisierung  Datenmodelle  ETL-Prozesse  Tips + Tricks 4. Fazit
    6. 6. © OPITZ CONSULTING GmbH 2015 Seite 10Automatisierung im DWH 1 Standardisierung
    7. 7. © OPITZ CONSULTING GmbH 2015 Seite 11Automatisierung im DWH Standardisierung…  … vereinfacht Wissenstransfer  … und Dokumentation  … bringt Ordnung ins Chaos  … ermöglicht Wiederverwendung  Kurz: macht Vieles einfacher!
    8. 8. © OPITZ CONSULTING GmbH 2015 Seite 12Automatisierung im DWH Standardisierungsmöglichkeiten im Datenmodell  Namensregeln  Präfixe, z.B. D_, F_,  Konsistente Benennung von Tabellen, FK‘s, Indizes, …  Abkürzungen  …  Prinzipien  Bridgetabellen, Historientabellen, N:M-Beziehungen, …  Stern vs. Snowflake  ID‘s, NK‘s, FK‘s, Domänen, …  …  Oder auch: Data Vault  Als standardisierte Datenmodellierungstechik
    9. 9. © OPITZ CONSULTING GmbH 2015 Seite 13Automatisierung im DWH Standardisierungsmöglichkeiten im ETL  Beladungstemplates  Gleichartige Tabellen werden gleichartig beladen  ETL-Jobs sind jederzeit wieder startbar  UPDATE/MERGE vs. TRUNCATE/INSERT vs. DELETE  Im ODI durch Knowledge Module realisiert  Beladungsreihenfolge  Zuerst Dimensionen, dann Fakten  ETL Workflow im ODI durch Load Plans realisiert  Gleiche Art der Historisierung  Im ODI durch Knowledge Module realisiert
    10. 10. © OPITZ CONSULTING GmbH 2015 Seite 14Automatisierung im DWH 2 Modularisierung
    11. 11. © OPITZ CONSULTING GmbH 2015 Seite 15Automatisierung im DWH Modularisierung im ODI
    12. 12. © OPITZ CONSULTING GmbH 2015 Seite 16Automatisierung im DWH Beispiel Integration Knowledge Module  Im ODI bilden IKM‘s Beladungstemplates ab  TRUNCATE/INSERT vs. MERGE  Historisierung nach SCD2  DELETE statt INSERT (Rollback-Funktionalität)  Reusable Mappings  Best Practice: Ein Mapping pro Quelltabelle  Folge: ETL wird (fast) beliebig konfigurierbar
    13. 13. © OPITZ CONSULTING GmbH 2015 Seite 17Automatisierung im DWH 3 Automatisierung
    14. 14. © OPITZ CONSULTING GmbH 2015 Seite 18Automatisierung im DWH Automatisierung mit ODI-SDK
    15. 15. © OPITZ CONSULTING GmbH 2015 Seite 19Automatisierung im DWH Das ODI-SDK  Technologie: Java  Prinzipiell: alles fernsteuerbar  Was auch über die Oberfläche erreichbar ist  Ähnlich zu OMB+ im OWB  Aber: andere Sprache  Aufrufe  Groovy-Skripte aus der GUI  Methoden und Objekte direkt aus eigenen Java-Klassen
    16. 16. © OPITZ CONSULTING GmbH 2015 Seite 21Automatisierung im DWH Meta-Datenbank T_HUB T_LINK T_SATELLITE T_SOURCE_COLUMN T_HUB_LINK T_HUB_SATELLITE T_LINK_SATELLITE T_DV_META T_SOURCE_TABLE
    17. 17. © OPITZ CONSULTING GmbH 2015 Seite 22Automatisierung im DWH Data Vault Metadaten DV_TYPE DV_NAME_PATTERN COL_DATA_TYPE HUB_TBL HUB_{hub_name} LNK_TBL LNK_{lnk_name} SAT_TBL SAT_{sat_name} HUB_HASH {hub_name}_HASH raw(32) LNK_HASH {lnk_name}_HASH raw(32) BK {hub_name}_BK varchar2(255) TS LOAD_DTS timestamp RS REC_SRC_ID varchar2(255) LOAD_ID LOAD_INS_SID number PK PK_{table_name} FK FK##_{table_name} Namensregeln Einheitliche Datentypen
    18. 18. © OPITZ CONSULTING GmbH 2015 Seite 23Automatisierung im DWH Erstellen eines Hub-Mappings 1. Füge Quelltabelle(n) ein (aus T_SOURCE_TABLE) 2. Füge union all Komponente hinzu (bei mehreren Quelltabellen) 3. Füge not null Filter auf Business Key Spalten ein 4. Füge Aggregate Komponente hinzu, um eine eindeutige Liste zu erhalten 5. Füge Zieltabelle ein (Hub)
    19. 19. © OPITZ CONSULTING GmbH 2015 Seite 24Automatisierung im DWH Blick in den Code… Ein Mapping erzeugen  Modularisierung Quelltabelle einfügen Filter einfügen
    20. 20. © OPITZ CONSULTING GmbH 2015 Seite 25Automatisierung im DWH IKM zuordnen Festgelegtes IKM verwenden  Standardisierung!
    21. 21. © OPITZ CONSULTING GmbH 2015 Seite 26Automatisierung im DWH ODI Project Objekte erstellen Wiederholbarer (testbarer) Aufbau der ODI Umgebung sichert festgelegte Standards und Richtlinien!
    22. 22. © OPITZ CONSULTING GmbH 2015 Seite 27Automatisierung im DWH Models erstellen Iterieren über Schemas, die in ODI Toplogy festegelegt sind
    23. 23. © OPITZ CONSULTING GmbH 2015 Seite 28Automatisierung im DWH Reverse Engineering eines Models Verwenden von externen ODI Programmen, falls SDK nicht ausreichend
    24. 24. © OPITZ CONSULTING GmbH 2015 Seite 29Automatisierung im DWH Automatisches Deployment von Szenarien Import der gezippten Scenarios mit festgelegtem Import Mode
    25. 25. © OPITZ CONSULTING GmbH 2015 Seite 30Automatisierung im DWH Setzen von Attributeigenschaften mit Groovy
    26. 26. © OPITZ CONSULTING GmbH 2015 Seite 31Automatisierung im DWH Blick in den Groovy-Code Setzen alle Spalten auf ADD_ROW_ON_CHANGE Setzen alle HASH-Spalten auf NATURAL_KEY Implementieren der Historisierung (SCD2) in Data Vault Satellites!  Standardisierung!
    27. 27. © OPITZ CONSULTING GmbH 2015 Seite 32Automatisierung im DWH Weitere Ideen  Metadaten erweitern  Knowledge Module  DWH-Layer  Geschäftsregeln in Metadaten festhalten  In Reusable Mappings implementieren  Aufwand / Nutzen abschätzen!  GUI für Verwaltung der Metadaten  Testframework aufbauen  Metadaten nutzen, um strukturgleiche Testumgebung aufzubauen  Stetiges, automatisiertes Setup und Testen der Mappings mit Testdaten  Ziel: vollständig getestetes DWH/BI-System  Dokumentation aus Metadaten erstellen
    28. 28. © OPITZ CONSULTING GmbH 2015 Seite 33Automatisierung im DWH 4 Fazit
    29. 29. © OPITZ CONSULTING GmbH 2015 Seite 34Automatisierung im DWH Take Home Message  Ersparnis (Zeit + Geld)  Zufriedenere Entwickler  Mehr spannende Aufgaben  Weniger Bugs  Konzentration aufs Wesentliche  Das Geschäft, die Analyse  Metadaten ermöglichen weitere Ausbaustufen  Fragen?
    30. 30. © OPITZ CONSULTING GmbH 2015 Seite 35Automatisierung im DWH Kontakt Marian Strüby Senior Consultant OPITZ CONSULTING Deutschland GmbH marian.strueby@opitz-consulting.com Telefon: +49 (0)30 6298889-1625 Mobil: +49 (0)173 7279144

    ×