Datenintegration und Datenbewirtschaftung mit Oracle: In seinem Vortrag auf der 6. Oracle DWH-Konferenz im März 2011 vergleicht Till Sander (OPITZ CONSULTING) verschiedene Oracle Werkzeuge und Technologien unter dem Aspekt der Eignung bezüglich Datenintegration und -bewirtschaftung.

1. Datenintegration
Datenintegration und
Datenbewirtschaftung mit Oracle
Till Sander
Projektmanager
OPITZ CONSULTING Hamburg GmbH
Mainz, 30. März 2011
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 1

2. Agenda
1. Vorstellung OPITZ CONSULTING
2. Übersicht Datenintegration mit Oracle
3. Logische Datenintegration
4. Physische Datenintegration
I. Oracle Warehouse Builder
II. Oracle Data Integrator
III. Oracle Streams
IV. Oracle Golden Gate
5. Szenarien
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 2

3. Wo wir stehen – Standorte und Entwicklung
Standorte Unternehmensentwicklung
OPITZ CONSULTING Niederlassungen
 Mitarbeiter (FTE)
 2010: 352 Mitarbeiter
Hamburg
 2011: 405 Mitarbeiter (Prognose)
Berlin
 Umsatz
Essen
 2010: 35,4 Mill. €
 2011: 42,2 Mill. € (Prognose)
Gummersbach
Bad Homburg Kraków
Zürich
München
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 3

4. Was wir machen – Die Tätigkeitsfelder
Geschäftsziele effektiv verfolgen
 Die richtigen Projekte auswählen
Effiziente Methoden und Technologien
 Projekte richtig machen
Individuelle Wettbewerbsvorteile
 Projekte qualitativ hochwertig umsetzen
Sicherheit und Kostenvorteile
 Lösungen optimal betreiben
Nachhaltigkeit und Identifikation
 Know-how aufbauen und vertiefen
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 4

5. Übersicht Datenintegration mit Oracle
Physisch  ETL-/E-LT-Werkzeuge
WAREHOUSE BUILDER
DWH
d d
CSV
XML d
f d
DATA INTEGRATOR
Web Services
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 5

6. Übersicht Datenintegration mit Oracle
Logisch BI-Werkzeuge
CSV
XML
BI Suite Enterprise Edition
DWH
d d
d
f d
CSV BI Publisher
XML
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 6

7. Übersicht Datenintegration mit Oracle
Physisch und logisch
CSV
XML
BI Suite Enterprise Edition
WAREHOUSE BUILDER
DWH
d d
CSV
XML d
f d
DATA INTEGRATOR
CSV BI Publisher
XML
Web Services
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 7

8. Logische Datenintegration
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 8

9. Logische Datenintegration mit BI-Werkzeugen
 Mit der Oracle BI Suite Enterprise Edition und dem BI
Publisher können Daten logisch integriert werden.
Einkauf Produktion Vertrieb
Presentation Layer
BI Server
Business Model &
Mapping Layer
Physical Layer
(Beispiel: OBIEE)
CSV XML
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 9

10. Logische Datenintegration mit BI-Werkzeugen
 Gute Möglichkeit, schnell neue Daten einzubinden und zu
veröffentlichen
 z.B. Integration von Plandaten als Excel-Sheet "on-the-fly" über BI Server
 Später kann das Einlesen der Daten über einen geordneten ETL-Prozess
abgelöst werden.
 Vorsicht bei OLTP-Datenmodellen!
 Der BI Server setzt ab dem Mapping Layer ein Star Model voraus.
 Logisch abbildbar, aber komplizierter in der Implementierung des BI Server
Repositories
 Vorsicht bei der Integration großer Datenmengen!
 Kontinuierliche Belastung der Quellen
 Höhere Last auf BI Server durch logische Verknüpfung der Daten
 Trotz leistungsfähigem BI Server (native Abfragen, Cache, …) schlechteres
Laufzeitverhalten als bei physischem DWH.
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 10

11. Physische Datenintegration
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 11

12. Oracle ETL-Roadmap
Basisfunktionalitäten für ETL & DQ bleiben in der Oracle Database
10gR2
Oracle Database 12g
10gR1 11gR1
11gR2
ETL &
DQ
OWB
EETL
ODI EE
Unified Platform 12g
ODI
Basisfunktionalität ETL und
11gR2
DQ in der Oracle Datenbank
10gR3 11gR1
Enterprise ETL für Oracle
und non-Oracle in ODI-EE
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 12

13. ETL vs. E-LT
 Transformation in ETL-Server Konventionelle ETL-Architektur
 Proprietäre ETL-Engine
 Problematisch: Performance Extract Transform Load
 Höhere Kosten
 Transformation in RDBMS "Neue" ETL-Architektur
 Nutzung der bestehenden Infrastruktur
 Geringere Kosten E-LT
 Optimale Nutzung der Datenbank als
Transformation-Engine Transform
Extract Load
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 13

14. Physische Datenintegration
Oracle Warehouse Builder
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 14

15. Oracle Warehouse Builder 11gR2
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 15

16. Einfaches OWB-Mapping
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 16

17. USP: Dimensionale Modellierung
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 17

18. Physische Datenintegration
Oracle Data Integrator
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 18

19. Oracle Data Integrator 11g
Desktop WebLogic 11g / Application Server
FMW Konsole
JVM ODI Studio ODI Plug-in
Designer
Servlet Container WS Container
Java EE
Operator
Applikation Runtime WS Data
Java EE ODI Public
Applikation Ser-
Topology ODI SDK Konsole Java EE WS
vices
Agent
ODI SDK
Security
Data Sources Connection Pool
Repositories Quellen und Ziele JVM
Java EE
Applikation
ODI Master
Repository ODI SDK
ODI Work
Repository
Legacy Files/XML DBMS Applications DW/BI/EPM
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 19

20. ODI – Interfaces
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 20

21. ODI – Knowledge Module
Architektur der "Knowledge Module" (KM)
Reverse Journalize Load Check Integrate Service
Auslesen der CDC auf Quelle Laden aus Quelle Prüfen der Daten Transformation Bereitstellen von
Metadaten in Stage vor Integration und Laden in Ziel Web Services
Reverse WS
WS
Stage
Ziel
Integrate
Load Services
CDC Journalize Check
Fehler
Beispiele für vordefinierte KMs
SQL Server Oracle Check MS TPump/ Oracle Oracle Web
SAP/R3 Log Miner JMS Queue
Triggers DB-Link Excel Multiload Merge Services
DB2 DB2 Oracle Check Siebel EIM DB2 Web Golden
Siebel Type II SCD
Journals Exp/Imp SQLLoader Sybase Schema Services Gate
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 21

22. ODI – Knowledge Module
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 22

23. Verfügbare Knowledge Module
Generic SQL Oracle Enterprise Service Bus
Hypersonic SQL Oracle GoldenGate
IBM DB2/400, DB2 UDB Oracle Hyperion Essbase
Informix Oracle OLAP
JD Edwards Enterprise One Oracle PeopleSoft
JMS Oracle Siebel CRM
Microsoft Access Sales Force
Microsoft SQL SAP ERP & BW
Netezza SAS
Oracle Database Sybase ASE
Oracle Data Quality for Data Integrator Sybase IQ
Oracle E-Business Suite Terradata
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 23

24. Vergleich OWB & ODI
OWB ODI
+ ++
Architektur (E-LT, Deployment aus zentralem (E-LT, Deployment aus Masterrepository in
Repository in verschiedene Umgebungen verschiedene Workrepositories)
schwierig)
+ ++
Datenquellen (Fokus auf Oracle (++), Fremdanbieter (Durch Knowledge Module ist quasi jeder
über Gateway, in EE auch über JDBC) Zugriff realisierbar)
+ ++
Datenziele (siehe Datenquellen, zusätzlich (siehe Datenquellen)
BI-Metadaten)
Versionierung - ++
(Szenarien und Solutions)
++ +
Datenmodellierung (Gute Möglichkeiten der (Gute Möglichkeiten der
Datenmodellierung, alle Features und Datenmodellierung, individuell anpassbar
Objekte der Oracle-DBs unterstützt) durch Knowledge Module)
++ +
(Sehr gute Modellierungsmöglichkeiten, (Gute Modellierungsmöglichkeiten, Fokus
Datenflüsse Unterstützung aller Oracle-Features, auf Knowledge Module)
dimensionale Modellierung)
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 24

25. Change Data Capture
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 25

26. Change Data Capture mit Oracle
 Ermittlung der kompletten Änderungshistorie
 Wofür?
Ausrichtung
Strategisches BI Operatives BI
Aktualisierung
Jahr, Monat, Tag Untertägig
Auslöser
Scheduler Ereignisgesteuert
Historisierung
Intervallabhängig Vollständige Historisierung
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 26

27. Change Data Capture
Oracle Streams
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 27

28. Oracle Streams
 Protokolliert Datenänderungen auf Datenbanktabellen
 Stellt die Datenänderungen für die weitere Verarbeitung
als "Logical Change Records" (LCR) zur Verfügung
ID Name Value ID Name Value
UPDATE
1 Müller 1234 1 Müller 0815
2 Schmidt 4711 2 Schmidt 4711
LCR
UO 1 Müller 1234
UN 1 Müller 0815
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 28

29. Oracle Streams – Varianten
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 29

30. Streams – Asynchronous Auto Log (Archive)
Quelle Ziel
Transaktion Change Set &
Redo-Logs
Change Tables
Tabelle
Tabelle Tabelle
Tabelle
ARCn
Archivierung
LGWR Redo-Logs
Redo-Logs Streams
Downstream Sub-
Tabelle
scriber
Capture Views
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 30

31. Oracle Streams
 Synchronous
 Propagation der Daten über Trigger
 Bereitstellung der Änderungsinformationen ist Teil der Transaktion
 Daten werden in Echtzeit übertragen
 Transaktion wird erst mit Übertragung abgeschlossen
 Hohe Systembelastung
 Asynchronous HotLog
 Analyse der Änderungsinformationen in der Quelle, dann Übertragung auf
das Ziel
 Lastverteilung zwischen Quelle und Ziel
 Quell- und Zielplattformen können unterschiedlich sein (Betriebssystem und
Datenbankversion)
 Höhere Last auf Quelle
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 31

32. Oracle Streams
 Asynchronous AutoLog (online)
 Übertrag der Redo-Log-Informationen auf separate Staging-DB
 Mechanismus vergleichbar mit Standby-Datenbank
 Geringe Latenzzeit, da die Online Redo-Logs genutzt werden
 Quell- und Staging-DB müssen identisch sein (Major Version,
Betriebssystem und Datenbank)
 Asynchronous AutoLog (archive)
 Übertrag der archivierten Redo-Log-Informationen auf separate Staging-DB
 Mechanismus vergleichbar mit Standby-Datenbank
 Höhere Latenzzeit, da die archivierten Redo-Logs genutzt werden
 Quell- und Staging-DB müssen identisch sein (Major Version,
Betriebssystem und Datenbankversion)
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 32

33. Change Data Capture
Oracle Golden Gate
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 33

34. Oracle Golden Gate
 Ermittlung von Änderungen bei minimaler Belastung der
Quellen
 Routing und Transformationen
 Heterogene Systeme
 Echtzeit
LAN/WAN
Tabell Tabell
Capture Pump Capture
Quelle e
Trail e
Trail Ziel
Internet
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 34

35. Oracle Golden Gate – Topologien
Uni-Direktional Bi-Direktional Peer-to-Peer
Broadcast Integration/Konsolidierung Cascading
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 35

36. Vergleich Oracle Golden Gate und Streams
Golden Gate Streams
 Oracles strategische  Wird weiterhin als DB-
Replikationslösung Feature unterstützt
 Breite Unterstützung  Optimale Anpassung auf die
heterogener Datenquellen individuellen Projektanfor-
und -ziele derungen
 Vorgefertigte Standard-  Optimiert für Oracle-DBs
lösungen
Empfehlung:
 Einsatz von Golden Gate in neuen Projekten
 Verwendung von Streams, wo bereits im Einsatz
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 36

37. Szenarien
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 37

38. Szenario I: Datenhaltung Oracle
ETL  Batch
WAREHOUSE BUILDER
WAREHOUSE BUILDER
t t d d
d
f d
DATA INTEGRATOR
t t
DATA INTEGRATOR
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 38

39. Szenario II: Datenhaltung Oracle
ETL  CDC
WAREHOUSE BUILDER
Streams
t t d d
d
f d
Golden Gate
t t
DATA INTEGRATOR
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 39

40. Szenario III: Heterogene Quellen, DWH Oracle
ETL  Batch, CDC
WAREHOUSE BUILDER
DATA INTEGRATOR
t t d d
d
f d
Golden Gate
t t
DATA INTEGRATOR
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 40

41. Szenario IV: Heterogene Datenhaltung
ETL  Batch, CDC
DATA INTEGRATOR
DATA INTEGRATOR
t t d d
d
f d
Golden Gate
t t
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 41

42. Fragen und Antworten
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 42

43. Kontakt
Till Sander
Projektmanager
OPITZ CONSULTING Hamburg GmbH
E-Mail: Till.Sander@opitz-consulting.com
Telefon: +49 40 741122-0
Datenintegration und Datenbewirtschaftung mit Oracle © OPITZ CONSULTING GmbH 2011 Seite 43