BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF
HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH
D...
Agenda
Das Ende von OWB – was nun?2 11.11.2015
1. Einleitung
2. ODI der offizieller Nachfolger von OWB
3. Migration nach P...
Das Ende von OWB – was nun?3 11.11.2015
1. Einleitung
Unser Unternehmen.
© Trivadis – Das Unternehmen4 11.11.2015
Trivadis ist führend bei der IT-Beratung, der Systemintegratio...
KOPENHAGEN
MÜNCHEN
LAUSANNE
BERN
ZÜRICH
BRUGG
GENF
HAMBURG
DÜSSELDORF
FRANKFURT
STUTTGART
FREIBURG
BASEL
WIEN
Mit über 600...
Wer wir sind
© Trivadis – Das Unternehmen6 11.11.2015
Dani Schnider
Principal Consultant, Trainer und DWH
Lead Architect b...
Oracle Statement of Direction
Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1
erweiterte Fu...
Welche Migrationsszenarien sind möglich?
Das Ende von OWB – was nun?8 11.11.2015
Handlungsbedarf Oracle 12C
Nicht CDB-Arch...
Das Ende von OWB – was nun?9 11.11.2015
2. ODI
Oracle Data Integrator (ODI)
Das Ende von OWB – was nun?10 11.11.2015
• 2006 Übernahme durch Oracle
• Oracle Datenstruktur...
Textbasierte Verarbeitung mit Config-Dateien
Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3
ODI Migration Uti...
ODI Migration Utility
Das Ende von OWB – was nun?12 11.11.2015
migration.config
ODI_MASTER_USER=SUPERVISOR
ODI_MASTER_URL=...
Das Ende von OWB – was nun?13 11.11.2015
3. PL/SQL
PL/SQL Migrationsoption 1
Das Ende von OWB – was nun?14 11.11.2015
IST OWB IM HINTERGRUND NICHT PL/SQL?
WB_RT_API_EXEC.RUN...
PL/SQL Migrationsoption 2
Das Ende von OWB – was nun?15 11.11.2015
Sollte RUN_TASK unter der nächster DB Version nicht
lau...
PL/SQL Migrationsoption 3
Das Ende von OWB – was nun?16 11.11.2015
PL/SQL-Extraktion über Intermediate Results
Einfache Ex...
PL/SQL Migrationsoption 4
Das Ende von OWB – was nun?17 11.11.2015
PL/SQL-Extraktion mit PL/SQL Analyser
https://www.salvi...
Das Ende von OWB – was nun?18 11.11.2015
4. biGenius
biGenius Funktionsübersicht
Das Ende von OWB – was nun?19 11.11.2015
Business
Department
BRE
Business
Requirements
Enginee...
Standardisierte DWH-Architektur
Das Ende von OWB – was nun?20 11.11.2015
Beispiel:
10 Dimensionen
5 Faktentabellen
20 Enti...
Migration eines standardisierten OWB-Projekts
Das Ende von OWB – was nun?21 11.11.2015
Import der Quell- und Zielstrukture...
ETL-Logik in Templates
Das Ende von OWB – was nun?22 11.11.2015
Das Ende von OWB – was nun?23 11.11.2015
5. Kommerzielle ETL Tools
Warum ein anderes ETL Tool als ODI?
Das Ende von OWB – was nun?24 11.11.2015
Mögliche Gründe
Strategisches Tool im Unterne...
Beispiel: Informatica PowerCenter
Das Ende von OWB – was nun?25 11.11.2015
Nach Gartner das achte Jahr in Folge als Data I...
Migration nach Informatica PowerCenter
Das Ende von OWB – was nun?26 11.11.2015
Die Migration ist mit manuellem Aufwand ve...
Migration nach Informatica PowerCenter (Alternative)
Das Ende von OWB – was nun?27 11.11.2015
Extraktion von SQL Statement...
Das Ende von OWB – was nun?28 11.11.2015
6. OpenSource ETL Tools
Warum OpenSource?
Das Ende von OWB – was nun?29 11.11.2015
Hauptgrund für OpenSource-Produkte
Geringere Lizenzkosten
Achtu...
Beispiel: Talend Open Studio
Das Ende von OWB – was nun?30 11.11.2015
Open Source ETL Studio für wenig Geld
Java Architekt...
Migration nach Talend
Das Ende von OWB – was nun?31 11.11.2015
Import der Quell und Zielstrukturen in die Metadatenbank
Au...
Das Ende von OWB – was nun?32 11.11.2015
7. Entscheidungskriterien
Funktionsumfang
Das Ende von OWB – was nun?33 11.11.2015
Arbeitsweise
Bedienbarkeit
Plattformunabhängigkeit
Arbeitsweise B...
Migration von OWB Projekten
Das Ende von OWB – was nun?34 11.11.2015
Migrationsaufwand Zeitaufwand
Manuelle
Nachbearbeitun...
Zusätzliche Kosten
Das Ende von OWB – was nun?35 11.11.2015
Schulungsaufwand Lizenzkosten
ODI
notwendig, aber für OWB-Entw...
Wartung und Weiterentwicklung
Das Ende von OWB – was nun?36 11.11.2015
Wartbarkeit Performance & Tuning
ODI Sehr gut
Menge...
Das Ende von OWB – was nun?37 11.11.2015
Trivadis White Paper:
Das Ende von OWB – was nun?
Migrationspfade für OWB-Projekt...
Vielen Dank
Dani Schnider
Stanislav Lando
dani.schnider@trivadis.com
stanislav.lando@trivadis.com
11.11.2015 Das Ende von ...
Nächste SlideShare
Wird geladen in …5
×

Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stanislav lando

256 Aufrufe

Veröffentlicht am

Das Ende von OWB - was nun?
Migrationspfade fuer OWB-Projekte
Vortrag an der DOAG 2015 von Dani Schnider und Stanislav Lando

Veröffentlicht in: Präsentationen & Vorträge
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
256
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
7
Aktionen
Geteilt
0
Downloads
1
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stanislav lando

  1. 1. BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte Dani Schnider Stanislav Lando
  2. 2. Agenda Das Ende von OWB – was nun?2 11.11.2015 1. Einleitung 2. ODI der offizieller Nachfolger von OWB 3. Migration nach PL/SQL 4. biGenius – DWH Generator 5. Kommerzielle ETL Tools (Informatica) 6. OpenSource ETL Tools (Talend) 7. Entscheidungskriterien
  3. 3. Das Ende von OWB – was nun?3 11.11.2015 1. Einleitung
  4. 4. Unser Unternehmen. © Trivadis – Das Unternehmen4 11.11.2015 Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. B E T R I E B
  5. 5. KOPENHAGEN MÜNCHEN LAUSANNE BERN ZÜRICH BRUGG GENF HAMBURG DÜSSELDORF FRANKFURT STUTTGART FREIBURG BASEL WIEN Mit über 600 IT- und Fachexperten bei Ihnen vor Ort. © Trivadis – Das Unternehmen5 11.11.2015 14 Trivadis Niederlassungen mit über 600 Mitarbeitenden. Über 200 Service Level Agreements. Mehr als 4'000 Trainingsteilnehmer. Forschungs- und Entwicklungsbudget: CHF 5.0 Mio. Finanziell unabhängig und nachhaltig profitabel. Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden.
  6. 6. Wer wir sind © Trivadis – Das Unternehmen6 11.11.2015 Dani Schnider Principal Consultant, Trainer und DWH Lead Architect bei Trivadis Zürich Stanislav Lando Senior Consultant und DWH Location Architect bei Trivadis Düsseldorf
  7. 7. Oracle Statement of Direction Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1 erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt Oracle Data Integrator ist offizieller Nachfolger vom OWB. Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten. Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur Verfügung OWB Support läuft aus Das Ende von OWB – was nun?7 11.11.2015
  8. 8. Welche Migrationsszenarien sind möglich? Das Ende von OWB – was nun?8 11.11.2015 Handlungsbedarf Oracle 12C Nicht CDB-Architektur ist DEPRECATED seit 12.1.0.2 „ Oracle Warehouse Builder on a pluggable database operates the same as a multi-instance or an OWB_HOME configuration. ODI- EE license is required to use this functionality.” Zeit zu handeln
  9. 9. Das Ende von OWB – was nun?9 11.11.2015 2. ODI
  10. 10. Oracle Data Integrator (ODI) Das Ende von OWB – was nun?10 11.11.2015 • 2006 Übernahme durch Oracle • Oracle Datenstrukturen/Modelle • ETL Strecken mit DB-Mitteln • Einbindung von PL/SQL • Neu im Vergleich zu OWB • Einbindung von heterogenen Umgebungen: DB, SOA, WebServices • AGENT – Konzept mit zeitgesteuerter Jobverarbeitung • Knowledge Module Konzept • Version12c Übernahme der OWB Bedienkonzepte • OWB Migration Utility
  11. 11. Textbasierte Verarbeitung mit Config-Dateien Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3 ODI Migration Utility Das Ende von OWB – was nun?11 11.11.2015 migrierbar nach ODI sind • Module: Quelle und Ziel • Locations • Datenobjekte: Tabellen, Views, MViews Dateien, Sequenzen, externe Tabellen • Mappings: klassisch set-based, code templates, pluggable • Operatoren: fast alle nicht migrierbar nach ODI sind • Datenobjekte: Partitionen, Attribute Sets, Data Rules, Locations für externe Tabellen • Dimensionale, Discoverer und OBIEE Metadaten • Eigene PL/SQL Prozeduren und Packages • Queues, Streams, CDC Konfigurationen, Benutzerdefinierte Datentypen • Process Flows • Data Quality, Data Profilies • Mappings: row-based, mit o.g. Elementen • OMB*Plus Skripte OWB2ODI MIGRATION CHECK
  12. 12. ODI Migration Utility Das Ende von OWB – was nun?12 11.11.2015 migration.config ODI_MASTER_USER=SUPERVISOR ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:orcl .. OWB_WORKSPACE_OWNER=OWB_OWNER OWB_URL=localhost:1521:orcl .. MIGRATION_MODE=DRY #CHECK|DRY|RUN .. >./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config OdiStartOwbJob –WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.> ..
  13. 13. Das Ende von OWB – was nun?13 11.11.2015 3. PL/SQL
  14. 14. PL/SQL Migrationsoption 1 Das Ende von OWB – was nun?14 11.11.2015 IST OWB IM HINTERGRUND NICHT PL/SQL? WB_RT_API_EXEC.RUN_TASK ( location IN VARCHAR2, task_type IN VARCHAR2, task_name IN VARCHAR2, custom_params IN VARCHAR2 DEFAULT NULL, system_params IN VARCHAR2 DEFAULT NULL, oem_friendly IN NUMBER DEFAULT 0, background IN NUMBER DEFAULT 0 ) RETURN NUMBER;
  15. 15. PL/SQL Migrationsoption 2 Das Ende von OWB – was nun?15 11.11.2015 Sollte RUN_TASK unter der nächster DB Version nicht laufen? WB_RT_API_EXEC.RUN_TASK (...); OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten Anpassung des Repository mit weiteren DB Versionen möglich Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code 3000 – 4000 Zeilen Code pro Mapping OWB – PL/SQL Code ohne grafische Oberfläche
  16. 16. PL/SQL Migrationsoption 3 Das Ende von OWB – was nun?16 11.11.2015 PL/SQL-Extraktion über Intermediate Results Einfache Extraktion der Logik durch Intermediate Results (set-based) Fehlerbehandlung wird unterstützt (LOG ERRORS INTO) Row-based Extraktion mit größerem Aufwand möglich Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung müssen neu umgesetzt werden
  17. 17. PL/SQL Migrationsoption 4 Das Ende von OWB – was nun?17 11.11.2015 PL/SQL-Extraktion mit PL/SQL Analyser https://www.salvis.com/blog/downloads/tvdca-trivadis-plsql-sql-codeanalyzer/ Extraktion der Logik durch PL/SQL-Parser Automatisierung für viele Mappings (>1000) möglich Command Line Utility mit XML Parse-Tree Ausgabe Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt werden
  18. 18. Das Ende von OWB – was nun?18 11.11.2015 4. biGenius
  19. 19. biGenius Funktionsübersicht Das Ende von OWB – was nun?19 11.11.2015 Business Department BRE Business Requirements Engineering BI ArchitectMGD Modelling Generation Deployment DWH Admin LCM Load Control Monitoring DQT Data Quality Testing Data Steward Business Blueprints Technical Documentation Staging Area Cleansing Area DWH Core Data Mart Source Source Source Generated Objects: - Tables - Views - ETL Processes
  20. 20. Standardisierte DWH-Architektur Das Ende von OWB – was nun?20 11.11.2015 Beispiel: 10 Dimensionen 5 Faktentabellen 20 Entities 25 Quelltabellen Generierte DWH-Objekte: 100 Tabellen 175 Views 100 ETL-Packages Staging Cleansing DWH-Core Data Mart Source Source Source
  21. 21. Migration eines standardisierten OWB-Projekts Das Ende von OWB – was nun?21 11.11.2015 Import der Quell- und Zielstrukturen in biGenius Metadatenbank Zuordnung Quell- und Zielattribute – Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind – Manuelle Zuordnung von Spezialfällen Nachbearbeitung in biGenius Applikation – Metadaten für Historisierung und Dimensionshierarchien – Bei Bedarf Anpassungen von Templates – Für Spezialfälle separate Templates aus „Intermediate Results“ Generierung von Tabellen, Views und Packages mittels PL/SQL Generator
  22. 22. ETL-Logik in Templates Das Ende von OWB – was nun?22 11.11.2015
  23. 23. Das Ende von OWB – was nun?23 11.11.2015 5. Kommerzielle ETL Tools
  24. 24. Warum ein anderes ETL Tool als ODI? Das Ende von OWB – was nun?24 11.11.2015 Mögliche Gründe Strategisches Tool im Unternehmen Bestehendes Knowhow vorhanden Heterogene DWH-Systeme Marktanteil des Herstellers Verbreitete kommerzielle ETL Tools Informatica PowerCenter IBM InfoSphere DataStage SAP Business Objects Data Services
  25. 25. Beispiel: Informatica PowerCenter Das Ende von OWB – was nun?25 11.11.2015 Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014) Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren Ausführung der Transformationen im separaten ETL-Server ETL-Steuerung durch Integration Services (ETL in Blackbox) Datenzugriff durch ODBC, JDBC + native DB Treiber Systemüberwachung der Nodes (Domains) durch Service Management Prozess Lizenzierung pro Kern des Domain-Servers
  26. 26. Migration nach Informatica PowerCenter Das Ende von OWB – was nun?26 11.11.2015 Die Migration ist mit manuellem Aufwand verbunden Import der Quell- und Zielstrukturen in PowerCenter Repository Manuelle Neuentwicklung der Mappings – Ähnliche Transformationen wie OWB-Operatoren – Stored Procedures können in Mappings eingebaut werden Nachbau der Ladeläufe mit Workflow Manager
  27. 27. Migration nach Informatica PowerCenter (Alternative) Das Ende von OWB – was nun?27 11.11.2015 Extraktion von SQL Statements in OWB – Via Intermediate Results – Nur für set-based Mappings SQL Statements in PowerCenter Mapping verwenden – SQL Override – SQL Transformation Achtung – Schlechte Wartbarkeit der Mappings – Nur als Übergangslösung zu empfehlen!
  28. 28. Das Ende von OWB – was nun?28 11.11.2015 6. OpenSource ETL Tools
  29. 29. Warum OpenSource? Das Ende von OWB – was nun?29 11.11.2015 Hauptgrund für OpenSource-Produkte Geringere Lizenzkosten Achtung: OpenSource ≠ Gratis OpenSource ETL Tools Talend Open Studio Pentaho Kettle
  30. 30. Beispiel: Talend Open Studio Das Ende von OWB – was nun?30 11.11.2015 Open Source ETL Studio für wenig Geld Java Architektur Über 500 Components – Vergleichbar mit Operatoren für OWB Row-based Verarbeitung – Mengenbasierte Ausführung umständlich möglich Lizenzkosten pro Entwickler Talend Job Designer für die Ablaufsteuerung
  31. 31. Migration nach Talend Das Ende von OWB – was nun?31 11.11.2015 Import der Quell und Zielstrukturen in die Metadatenbank Automatische Migration nicht möglich – Arbeitsweise unterscheidet sich von OWB Mögliche Lösung – Extraktion von SQL aus OWB (Intermediate Results) – SQL in Talend Component „rOracleRow“ kopieren – Gleiche Problematik wie SQL Override in Informatica Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich
  32. 32. Das Ende von OWB – was nun?32 11.11.2015 7. Entscheidungskriterien
  33. 33. Funktionsumfang Das Ende von OWB – was nun?33 11.11.2015 Arbeitsweise Bedienbarkeit Plattformunabhängigkeit Arbeitsweise Bedienbarkeit Plattformunabhängigkeit ODI Grafisches ELT-Tool, Ausführung in Zieldatenbank Grafische Darstellung der Datenflüsse Knowledge Module für zahlreiche Quell- und Zielplattformen PL/SQL Prozedureale Programmierung in Datenbank Programmierung in Datenbank- Editor, z.B. SQL Developer Oracle-spezifisch biGenius Metadatenbasierter PL/SQL- Generator, Ausführung in Zielda- tenbank GUI zur Erfassung und Pflege der Metadaten Generatoren für Oracle und SQL Server Kommerziell Grafisches ETL-Tool, Ausführung durch ETL-Server Grafische Darstellung der Datenflüsse Unterstützung zahlreicher Quell- und Zielplattformen OpenSource Grafisches ETL-Tool, Ausführung durch ETL-Server Grafische Darstellung der Datenflüsse Unterstützung zahlreicher Quell- und Zielplattformen
  34. 34. Migration von OWB Projekten Das Ende von OWB – was nun?34 11.11.2015 Migrationsaufwand Zeitaufwand Manuelle Nachbearbeitung Zusätzlicher Betriebsaufwand ODI Automatisierte Migration durch OWB Migration Utility gering Nachbau von Workflows und speziellen Operatoren zusätzlich Server pro Agent PL/SQL Generierter OWB-Code kann übernommen werden mittel, für große Projekte automatisierbar Implementierung von Fehlerbehandlung, Logging, etc. keiner biGenius Importieren von Quell- und Zielstrukturen, Generierung der ETL-Prozesse für standardisierte Projekte gering, für Spezialfälle groß Für Speziallogik müssen Templates erstellt oder angepasst werden keiner Kommerziell Manuelle Übernahme von SQL-Statements in ETL-Tool hoher manueller Aufwand Überführung von SQL- Statements in Logik des ETL- Tool ETL-Server OpenSource Manuelle Übernahme von SQL-Statements in ETL-Tool hoher manueller Aufwand Überführung von SQL- Statements in Logik des ETL- Tool ETL-Server
  35. 35. Zusätzliche Kosten Das Ende von OWB – was nun?35 11.11.2015 Schulungsaufwand Lizenzkosten ODI notwendig, aber für OWB-Entwickler ge- ring pro CPU der Zieldatenbank PL/SQL PL/SQL-Knowhow bei OWB-Entwickler meistens vorhanden in Datenbanklizenz enthalten biGenius notwendig abhängig von Projektgröße Kommerziell notwendig pro CPU im Domain-server (Informatica) OpenSource notwendig pro Arbeitsplatz (Talend)
  36. 36. Wartung und Weiterentwicklung Das Ende von OWB – was nun?36 11.11.2015 Wartbarkeit Performance & Tuning ODI Sehr gut Mengenbasierte Ausführung in der Zieldatenbank PL/SQL Schlecht wartbar Mengenbasierte Ausführung in der Zieldatenbank biGenius Sehr gut Mengenbasierte Ausführung in der Zieldatenbank Kommerziell Sehr gut datensatzbasierte Ausführung über ETL- Server OpenSource Sehr gut datensatzbasierte Ausführung über ETL- Server
  37. 37. Das Ende von OWB – was nun?37 11.11.2015 Trivadis White Paper: Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte. http://www.trivadis.com/sites/default/files/downloads/migrationspfade-fuer-owb-projekte.pdf
  38. 38. Vielen Dank Dani Schnider Stanislav Lando dani.schnider@trivadis.com stanislav.lando@trivadis.com 11.11.2015 Das Ende von OWB – was nun?38

×