Till Sander und Wolfgang Rütter (OPITZ CONSULTING) thematisieren Herausforderungen in Bezug auf ETL und gehen auf das Oracle Portfolio ein.

1. ETL Herausforderungen – Oracle Portfolio Bonn, 20.Dezember 2010 Oracle ETL Till SanderProject Manager, OPITZ CONSULTING Hamburg GmbH Wolfgang RütterBereichsleiter, OPITZ CONSULTING Gummersbach GmbH

3. Die BI-Projektspezialisten

4. ETL-Anforderungen

5. ETL-Anforderungen

6. ETL-Anforderungen: Daten

7. ETL-Anforderungen: Daten Datenquellen Anbindung heterogener Datenquellen Vorgaben seitens der IT-Architektur z.B. Nutzung von Web Services Applikations-Adapter z.B. SAP, PeopleSoft, eBusiness Suite Versorgung Steigende Datenvolumina unterbinden das "klassische" Kopieren von Daten ReplikationüberDirektzugriff auf die QuelleoderalsKomplettreplikation ("Schattendatenbank") scheiterthäufig an zulangenLaufzeiten Immer höhere Anforderungen an effiziente ETL-Prozesse und an die Aktualität der Daten erfordern intelligente Replikationsmechanismen Change Data Capture Web Services

8. ETL-Anforderungen: Daten Aktualität Das Data Warehouse wird zunehmend "operationalisiert" Herkömmliche Aktualisierungsintervalle reichen nicht mehr aus Die Belastung der Quellsysteme muss trotz kontinuierlicher Replikation der Änderungsinformationen gering gehalten werden ETL-Prozesse müssen in der Lage sein, die anfallende Datenmenge innerhalb der Aktualisierungszyklen verarbeiten zu können Qualität Data Profiling: die frühzeitige Analyse der zu replizierenden Daten Rules: Definition und Einbinden von Datenregeln z.B. Definition von Wertebereichen Ausschleusen von Datenanomalien Kontinuierliches Messen der Datenqualität Nachvollziehen des Erfolges von DQ-Maßnahmen Frühzeitiges Erkennen von DQ-Problemen

9. ETL-Anforderungen: Werkzeug

10. ETL-Anforderungen: Werkzeug Modellierung Vorteile des deklarativen Designs Die optimaleUmsetzungderDesignvorgabenerfolgtdurch das Werkzeug. Änderungen an derInfrastrukturmüssennichtimplementiert, sondernnuralsMetadatenbekanntgemachtwerden. Leichteres Einhalten von Standards, z.B. durch "Code Templates" Automatische Dokumentation Automatisierung von Standardaufgaben Skripting DimensionaleModellierung Slowly Changing Dimensions Scheduling/Prozesssteuerung Automatisierung der Abläufe Einbindung in globale Steuerung

11. ETL-Anforderungen: Werkzeug Konfigurationsmanagement Interne Versionierung Einbinden von externer Versionsverwaltung Unterstützung von Deployment in verschiedene Umgebungen Nachvollziehbarkeit der ausgeführten Deployments Data Lifecycle Management Unterstützung bei der hierarchischen Speicherung von Informationen je nach Abfrageanforderung

12. ETL-Anforderungen: Metadaten

13. ETL-Anforderungen: Metadaten Design Standardisiert, werkzeugübergreifend nutzbar Common Warehouse Model (CWM) Durchgängigkeit "Von derDatenquellebiszurKennzahlimBericht" Lineage und Impact-Analyse Dokumentation Monitoring Überwachung und Protokollierung der Ausführungen Benachrichtigung bei Fehlern im Ladeprozess Erstellung von Laufzeitstatistiken zu proaktiven Überwachung

14. Strategisches ETL: Vorteile Standardisierung Leichtere Übergabe von Aufgaben im Team, keine Wissensinseln Umsetzen der Entwicklungsrichtlinie Effizienz Schnellere Entwicklungszyklen Laufzeitoptimierung der Prozesse Optimierter Code RedundanzfreieReplikation Schonender Einsatz der Hardware-Ressourcen Kostenersparnis

15. ETL vs. E-LT Konventionelle ETL-Architektur Transformation in ETL-Server Proprieitäre ETL-Engine Problematisch: Performance Höhere Kosten Transformation in RDBMS Nutzung der bestehenden Infrastruktur Geringere Kosten Optimale Nutzung der Datenbank als Transformation-Engine Transform Extract Load "Neue" ETL-Architektur E-LT Transform Transform Load Extract

16. ETL-Szenario Quelle Nur geschlossene Aufträge Ziel Umsatz = Summe Positionen + Korrektur Aufträge Nur Aufträge mit Positionen Positionen Umsatz Fehler Produkt muss vorhanden sein Korrektur

17. Manuelle Umsetzung Quelle Ziel Aufträge Fachliche Regeln ODBC Positionen SQL Umsatz SQL Fehler Korrektur Datenregeln SQL CSV

18. Umsetzung mit ETL-Werkzeug ETL-Engine Quelle Ziel Aufträge Fachliche Regeln CSV Positionen SQL Umsatz SQL Fehler Korrektur Datenregeln SQL ODBC

19. Umsetzung mit ODI ETL-Engine Quelle Ziel Aufträge LKM Fachliche Regeln CSV Positionen SQL Umsatz IKM IKM SQL Fehler Korrektur CKM Datenregeln SQL LKM ODBC

21. Enterprise ETL for Oracle and non-Oracle in ODI-EE11gR2 11gR1 10gR3

22. Oracle Warehouse Builder

23. Oracle Warehouse Builder 11gR2

25. ETL

27. Flatfiles

28. Cobol Copybooks

29. XML

30. ApplikationenMOLAP OBI Standard Edition BI Beans Oracle BI Tools Oracle Datenbank

31. Modellierung: DB-Objekte

34. OWB Lineage Analyse

35. OWB Impact Analyse

37. Repository Browser Ausführungsdetails

38. Oracle Data Integrator 11g (ODI)

39. Oracle Data Integrator 11g

40. ODI 11g – Übersicht Architektur Desktop WebLogic 11g/Application Server FMW Konsole JVM ODI Studio ODI Plug-in Designer Servlet Container WS Container Java EE Applikation Operator ODI Konsole Runtime WS Public WS Data Servi-ces Java EE Applikation ODI SDK Java EE Agent Topology ODI SDK Security Data Sources Connection Pool Repositories Quellen und Ziele JVM Java EE Applikation ODI Master Repository ODI SDK ODI Work Repository Legacy Applications DW/BI/EPM Files/XML DBMS

41. ODI – Interfaces

44. ODI – Knowledge Module

45. ODI – Knowledge Module

46. Verfügbare Knowledge Module

48. Event-/zeitgesteuert

49. ODI-Scheduler

50. Kommandozeile

53. Oracle Golden Gate

56. Ansprechpartner bei OPITZ CONSULTING Till Sander, Project Manager OPITZ CONSULTING Hamburg GmbHtill.sander@opitz-consulting.deTelefon+49 40 741122-1346 Wolfgang Rütter, Bereichsleiter OPITZ CONSULTING Gummersbach GmbHwolfgang.ruetter@opitz-consulting.deTelefon +49 2261 6001-1116