Das Ende von OWB - was nun? Migrationspfade fuer OWB-Projekte Vortrag an der DOAG 2015 von Dani Schnider und Stanislav Lando

1. BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF
HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH
Das Ende von OWB – was nun?
Migrationspfade für OWB-Projekte
Dani Schnider
Stanislav Lando

2. Agenda
Das Ende von OWB – was nun?2 11.11.2015
1. Einleitung
2. ODI der offizieller Nachfolger von OWB
3. Migration nach PL/SQL
4. biGenius – DWH Generator
5. Kommerzielle ETL Tools (Informatica)
6. OpenSource ETL Tools (Talend)
7. Entscheidungskriterien

3. Das Ende von OWB – was nun?3 11.11.2015
1. Einleitung

4. Unser Unternehmen.
© Trivadis – Das Unternehmen4 11.11.2015
Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution
Engineering und der Erbringung von IT-Services mit Fokussierung auf -
und -Technologien in der Schweiz, Deutschland, Österreich und
Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern:
Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme.
B E T R I E B

5. KOPENHAGEN
MÜNCHEN
LAUSANNE
BERN
ZÜRICH
BRUGG
GENF
HAMBURG
DÜSSELDORF
FRANKFURT
STUTTGART
FREIBURG
BASEL
WIEN
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort.
© Trivadis – Das Unternehmen5 11.11.2015
14 Trivadis Niederlassungen mit
über 600 Mitarbeitenden.
Über 200 Service Level Agreements.
Mehr als 4'000 Trainingsteilnehmer.
Forschungs- und Entwicklungsbudget:
CHF 5.0 Mio.
Finanziell unabhängig und
nachhaltig profitabel.
Erfahrung aus mehr als 1'900 Projekten
pro Jahr bei über 800 Kunden.

6. Wer wir sind
© Trivadis – Das Unternehmen6 11.11.2015
Dani Schnider
Principal Consultant, Trainer und DWH
Lead Architect bei Trivadis Zürich
Stanislav Lando
Senior Consultant und DWH Location
Architect bei Trivadis Düsseldorf

7. Oracle Statement of Direction
Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1
erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt
Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt
Oracle Data Integrator ist offizieller Nachfolger vom OWB.
Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten.
Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur
Verfügung
OWB Support läuft aus
Das Ende von OWB – was nun?7 11.11.2015

8. Welche Migrationsszenarien sind möglich?
Das Ende von OWB – was nun?8 11.11.2015
Handlungsbedarf Oracle 12C
Nicht CDB-Architektur ist
DEPRECATED seit 12.1.0.2
„ Oracle Warehouse Builder on a
pluggable database operates the
same as a multi-instance or an
OWB_HOME configuration. ODI-
EE license is required to use this
functionality.”
Zeit zu handeln

9. Das Ende von OWB – was nun?9 11.11.2015
2. ODI

10. Oracle Data Integrator (ODI)
Das Ende von OWB – was nun?10 11.11.2015
• 2006 Übernahme durch Oracle
• Oracle Datenstrukturen/Modelle
• ETL Strecken mit DB-Mitteln
• Einbindung von PL/SQL
• Neu im Vergleich zu OWB
• Einbindung von heterogenen Umgebungen: DB, SOA, WebServices
• AGENT – Konzept mit zeitgesteuerter Jobverarbeitung
• Knowledge Module Konzept
• Version12c Übernahme der OWB Bedienkonzepte
• OWB Migration Utility

11. Textbasierte Verarbeitung mit Config-Dateien
Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3
ODI Migration Utility
Das Ende von OWB – was nun?11 11.11.2015
migrierbar nach ODI sind
• Module: Quelle und Ziel
• Locations
• Datenobjekte: Tabellen, Views, MViews
Dateien, Sequenzen, externe Tabellen
• Mappings: klassisch set-based, code
templates, pluggable
• Operatoren: fast alle
nicht migrierbar nach ODI sind
• Datenobjekte: Partitionen, Attribute Sets, Data Rules,
Locations für externe Tabellen
• Dimensionale, Discoverer und OBIEE Metadaten
• Eigene PL/SQL Prozeduren und Packages
• Queues, Streams, CDC Konfigurationen,
Benutzerdefinierte Datentypen
• Process Flows
• Data Quality, Data Profilies
• Mappings: row-based, mit o.g. Elementen
• OMB*Plus Skripte
OWB2ODI MIGRATION CHECK

12. ODI Migration Utility
Das Ende von OWB – was nun?12 11.11.2015
migration.config
ODI_MASTER_USER=SUPERVISOR
ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:orcl
..
OWB_WORKSPACE_OWNER=OWB_OWNER
OWB_URL=localhost:1521:orcl
..
MIGRATION_MODE=DRY #CHECK|DRY|RUN
..
>./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config
OdiStartOwbJob –WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.> ..

13. Das Ende von OWB – was nun?13 11.11.2015
3. PL/SQL

14. PL/SQL Migrationsoption 1
Das Ende von OWB – was nun?14 11.11.2015
IST OWB IM HINTERGRUND NICHT PL/SQL?
WB_RT_API_EXEC.RUN_TASK ( location IN VARCHAR2,
task_type IN VARCHAR2,
task_name IN VARCHAR2,
custom_params IN VARCHAR2 DEFAULT NULL,
system_params IN VARCHAR2 DEFAULT NULL,
oem_friendly IN NUMBER DEFAULT 0,
background IN NUMBER DEFAULT 0 )
RETURN NUMBER;

15. PL/SQL Migrationsoption 2
Das Ende von OWB – was nun?15 11.11.2015
Sollte RUN_TASK unter der nächster DB Version nicht
laufen?
WB_RT_API_EXEC.RUN_TASK (...);
OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten
Anpassung des Repository mit weiteren DB Versionen möglich
Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code
3000 – 4000 Zeilen Code pro Mapping
OWB – PL/SQL Code ohne grafische Oberfläche

16. PL/SQL Migrationsoption 3
Das Ende von OWB – was nun?16 11.11.2015
PL/SQL-Extraktion über Intermediate Results
Einfache Extraktion der Logik durch Intermediate Results (set-based)
Fehlerbehandlung wird unterstützt (LOG ERRORS INTO)
Row-based Extraktion mit
größerem Aufwand möglich
Protokollierung, Ablaufsteuerung
erweiterte Fehlerbehandlung
müssen neu umgesetzt werden

17. PL/SQL Migrationsoption 4
Das Ende von OWB – was nun?17 11.11.2015
PL/SQL-Extraktion mit PL/SQL Analyser
https://www.salvis.com/blog/downloads/tvdca-trivadis-plsql-sql-codeanalyzer/
Extraktion der Logik durch PL/SQL-Parser
Automatisierung für viele Mappings (>1000) möglich
Command Line Utility mit XML Parse-Tree Ausgabe
Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt
werden

18. Das Ende von OWB – was nun?18 11.11.2015
4. biGenius

19. biGenius Funktionsübersicht
Das Ende von OWB – was nun?19 11.11.2015
Business
Department
BRE
Business
Requirements
Engineering
BI ArchitectMGD
Modelling
Generation
Deployment
DWH Admin
LCM
Load Control Monitoring
DQT
Data Quality Testing
Data Steward
Business
Blueprints
Technical
Documentation
Staging Area
Cleansing Area
DWH Core
Data Mart
Source Source Source
Generated Objects:
- Tables
- Views
- ETL Processes

20. Standardisierte DWH-Architektur
Das Ende von OWB – was nun?20 11.11.2015
Beispiel:
10 Dimensionen
5 Faktentabellen
20 Entities
25 Quelltabellen
Generierte DWH-Objekte:
100 Tabellen
175 Views
100 ETL-Packages
Staging
Cleansing
DWH-Core
Data Mart
Source
Source Source

21. Migration eines standardisierten OWB-Projekts
Das Ende von OWB – was nun?21 11.11.2015
Import der Quell- und Zielstrukturen in biGenius Metadatenbank
Zuordnung Quell- und Zielattribute
– Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind
– Manuelle Zuordnung von Spezialfällen
Nachbearbeitung in biGenius Applikation
– Metadaten für Historisierung und Dimensionshierarchien
– Bei Bedarf Anpassungen von Templates
– Für Spezialfälle separate Templates aus „Intermediate Results“
Generierung von Tabellen, Views und Packages mittels PL/SQL Generator

22. ETL-Logik in Templates
Das Ende von OWB – was nun?22 11.11.2015

23. Das Ende von OWB – was nun?23 11.11.2015
5. Kommerzielle ETL Tools

24. Warum ein anderes ETL Tool als ODI?
Das Ende von OWB – was nun?24 11.11.2015
Mögliche Gründe
Strategisches Tool im Unternehmen
Bestehendes Knowhow vorhanden
Heterogene DWH-Systeme
Marktanteil des Herstellers
Verbreitete kommerzielle ETL Tools
Informatica PowerCenter
IBM InfoSphere DataStage
SAP Business Objects Data Services

25. Beispiel: Informatica PowerCenter
Das Ende von OWB – was nun?25 11.11.2015
Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014)
Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren
Ausführung der Transformationen im separaten ETL-Server
ETL-Steuerung durch Integration Services (ETL in Blackbox)
Datenzugriff durch ODBC, JDBC + native DB Treiber
Systemüberwachung der Nodes (Domains) durch Service Management Prozess
Lizenzierung pro Kern des Domain-Servers

26. Migration nach Informatica PowerCenter
Das Ende von OWB – was nun?26 11.11.2015
Die Migration ist mit manuellem Aufwand verbunden
Import der Quell- und Zielstrukturen in PowerCenter Repository
Manuelle Neuentwicklung der Mappings
– Ähnliche Transformationen
wie OWB-Operatoren
– Stored Procedures können
in Mappings eingebaut werden
Nachbau der Ladeläufe mit Workflow Manager

27. Migration nach Informatica PowerCenter (Alternative)
Das Ende von OWB – was nun?27 11.11.2015
Extraktion von SQL Statements in OWB
– Via Intermediate Results
– Nur für set-based Mappings
SQL Statements in PowerCenter Mapping
verwenden
– SQL Override
– SQL Transformation
Achtung
– Schlechte Wartbarkeit der Mappings
– Nur als Übergangslösung zu empfehlen!

28. Das Ende von OWB – was nun?28 11.11.2015
6. OpenSource ETL Tools

29. Warum OpenSource?
Das Ende von OWB – was nun?29 11.11.2015
Hauptgrund für OpenSource-Produkte
Geringere Lizenzkosten
Achtung: OpenSource ≠ Gratis
OpenSource ETL Tools
Talend Open Studio
Pentaho Kettle

30. Beispiel: Talend Open Studio
Das Ende von OWB – was nun?30 11.11.2015
Open Source ETL Studio für wenig Geld
Java Architektur
Über 500 Components
– Vergleichbar mit Operatoren für OWB
Row-based Verarbeitung
– Mengenbasierte Ausführung umständlich möglich
Lizenzkosten pro Entwickler
Talend Job Designer für die Ablaufsteuerung

31. Migration nach Talend
Das Ende von OWB – was nun?31 11.11.2015
Import der Quell und Zielstrukturen in die Metadatenbank
Automatische Migration nicht möglich
– Arbeitsweise unterscheidet sich von OWB
Mögliche Lösung
– Extraktion von SQL aus OWB (Intermediate Results)
– SQL in Talend Component „rOracleRow“ kopieren
– Gleiche Problematik wie SQL Override in Informatica
Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich

32. Das Ende von OWB – was nun?32 11.11.2015
7. Entscheidungskriterien

33. Funktionsumfang
Das Ende von OWB – was nun?33 11.11.2015
Arbeitsweise
Bedienbarkeit
Plattformunabhängigkeit
Arbeitsweise Bedienbarkeit Plattformunabhängigkeit
ODI
Grafisches ELT-Tool, Ausführung
in Zieldatenbank
Grafische Darstellung der
Datenflüsse
Knowledge Module für zahlreiche
Quell- und Zielplattformen
PL/SQL
Prozedureale Programmierung in
Datenbank
Programmierung in Datenbank-
Editor, z.B. SQL Developer
Oracle-spezifisch
biGenius
Metadatenbasierter PL/SQL-
Generator, Ausführung in Zielda-
tenbank
GUI zur Erfassung und Pflege
der Metadaten
Generatoren für Oracle und SQL
Server
Kommerziell
Grafisches ETL-Tool, Ausführung
durch ETL-Server
Grafische Darstellung der
Datenflüsse
Unterstützung zahlreicher Quell-
und Zielplattformen
OpenSource
Grafisches ETL-Tool, Ausführung
durch ETL-Server
Grafische Darstellung der
Datenflüsse
Unterstützung zahlreicher Quell-
und Zielplattformen

34. Migration von OWB Projekten
Das Ende von OWB – was nun?34 11.11.2015
Migrationsaufwand Zeitaufwand
Manuelle
Nachbearbeitung
Zusätzlicher
Betriebsaufwand
ODI
Automatisierte Migration
durch OWB Migration
Utility
gering
Nachbau von Workflows und
speziellen Operatoren
zusätzlich Server pro
Agent
PL/SQL
Generierter OWB-Code
kann übernommen werden
mittel, für große
Projekte
automatisierbar
Implementierung von
Fehlerbehandlung, Logging,
etc.
keiner
biGenius
Importieren von Quell- und
Zielstrukturen, Generierung
der ETL-Prozesse
für standardisierte
Projekte gering,
für Spezialfälle
groß
Für Speziallogik müssen
Templates erstellt oder
angepasst werden
keiner
Kommerziell
Manuelle Übernahme von
SQL-Statements in ETL-Tool
hoher manueller
Aufwand
Überführung von SQL-
Statements in Logik des ETL-
Tool
ETL-Server
OpenSource
Manuelle Übernahme von
SQL-Statements in ETL-Tool
hoher manueller
Aufwand
Überführung von SQL-
Statements in Logik des ETL-
Tool
ETL-Server

35. Zusätzliche Kosten
Das Ende von OWB – was nun?35 11.11.2015
Schulungsaufwand Lizenzkosten
ODI
notwendig, aber für OWB-Entwickler ge-
ring
pro CPU der Zieldatenbank
PL/SQL
PL/SQL-Knowhow bei OWB-Entwickler
meistens vorhanden
in Datenbanklizenz enthalten
biGenius notwendig abhängig von Projektgröße
Kommerziell notwendig pro CPU im Domain-server (Informatica)
OpenSource notwendig pro Arbeitsplatz (Talend)

36. Wartung und Weiterentwicklung
Das Ende von OWB – was nun?36 11.11.2015
Wartbarkeit Performance & Tuning
ODI Sehr gut
Mengenbasierte Ausführung in der
Zieldatenbank
PL/SQL Schlecht wartbar
Mengenbasierte Ausführung in der
Zieldatenbank
biGenius Sehr gut
Mengenbasierte Ausführung in der
Zieldatenbank
Kommerziell Sehr gut
datensatzbasierte Ausführung über ETL-
Server
OpenSource Sehr gut
datensatzbasierte Ausführung über ETL-
Server

37. Das Ende von OWB – was nun?37 11.11.2015
Trivadis White Paper:
Das Ende von OWB – was nun?
Migrationspfade für OWB-Projekte.
http://www.trivadis.com/sites/default/files/downloads/migrationspfade-fuer-owb-projekte.pdf

38. Vielen Dank
Dani Schnider
Stanislav Lando
dani.schnider@trivadis.com
stanislav.lando@trivadis.com
11.11.2015 Das Ende von OWB – was nun?38