ETL Herausforderungen – Oracle Portfolio<br />Bonn, 20.Dezember 2010<br />Oracle ETL<br />Till SanderProject Manager, OPIT...
Die BI-Projektspezialisten<br />
ETL-Anforderungen<br />
ETL-Anforderungen<br />
ETL-Anforderungen: Daten<br />
ETL-Anforderungen: Daten<br />Datenquellen<br />Anbindung heterogener Datenquellen<br />Vorgaben seitens der IT-Architektu...
ETL-Anforderungen: Daten<br />Aktualität<br />Das Data Warehouse wird zunehmend "operationalisiert"<br />Herkömmliche Aktu...
ETL-Anforderungen: Werkzeug<br />
ETL-Anforderungen: Werkzeug<br />Modellierung<br />Vorteile des deklarativen Designs<br />Die optimaleUmsetzungderDesignvo...
ETL-Anforderungen: Werkzeug<br />Konfigurationsmanagement<br />Interne Versionierung<br />Einbinden von externer Versionsv...
ETL-Anforderungen: Metadaten<br />
ETL-Anforderungen: Metadaten<br />Design<br />Standardisiert, werkzeugübergreifend nutzbar<br />Common Warehouse Model (CW...
Strategisches ETL: Vorteile<br />Standardisierung<br />Leichtere Übergabe von Aufgaben im Team, keine Wissensinseln<br />U...
ETL vs. E-LT<br />Konventionelle ETL-Architektur<br />Transformation in ETL-Server<br />Proprieitäre ETL-Engine<br />Probl...
ETL-Szenario<br />Quelle<br />Nur geschlossene Aufträge<br />Ziel<br />Umsatz = Summe Positionen + Korrektur<br />Aufträge...
Manuelle Umsetzung<br />Quelle<br />Ziel<br />Aufträge<br />Fachliche Regeln<br />ODBC<br />Positionen<br />SQL<br />Umsat...
Umsetzung mit ETL-Werkzeug<br />ETL-Engine<br />Quelle<br />Ziel<br />Aufträge<br />Fachliche Regeln<br />CSV<br />Positio...
Umsetzung mit ODI<br />ETL-Engine<br />Quelle<br />Ziel<br />Aufträge<br />LKM<br />Fachliche Regeln<br />CSV<br />Positio...
Oracle ETL-Roadmap<br />Oracle-centric ETL & DQ functionality continue in the Oracle Database<br />Oracle Database 12g<br ...
Enterprise ETL for Oracle and non-Oracle in ODI-EE</li></ul>11gR2<br />11gR1<br />10gR3<br />
Oracle Warehouse Builder<br />
Oracle Warehouse Builder 11gR2<br />
OWB 11gR2 – Übersicht Architektur<br /><ul><li>Modellierung
 ETL
Erstellenvon BI Tool Metadaten</li></ul>OWB<br />OBI Enterprise Edition<br />OWB<br />Repository<br />OBI Standard Edition...
Flatfiles
 Cobol Copybooks
 XML
Applikationen</li></ul>MOLAP<br />OBI Standard Edition<br />BI Beans<br />Oracle BI Tools<br />Oracle Datenbank<br />
Modellierung: DB-Objekte<br />
Datenquellen<br /><ul><li>Neu: Native DB Connection
 JDBC (Code Templates)</li></li></ul><li>Einfaches OWB-Mapping<br />
OWB Lineage Analyse<br />
OWB Impact Analyse<br />
Automatisierung: Oracle Workflow<br /><ul><li>Oracle Workflow wird weiterhin im OWB verwendet</li></li></ul><li>Monitoring...
Repository Browser Ausführungsdetails<br />
Oracle Data Integrator 11g (ODI)<br />
Oracle Data Integrator 11g<br />
ODI 11g – Übersicht Architektur<br />Desktop<br />WebLogic 11g/Application Server<br />FMW Konsole<br />JVM<br />ODI Studi...
ODI – Interfaces<br />
ODI – Topology<br /><ul><li>Trennung der logischen und physischen Architektur
Zusammenfassung in Kontexten (z.B. ENTW/TEST/PROD)</li></li></ul><li>ODI – Knowledge Module<br />
ODI – Knowledge Module<br />
ODI – Knowledge Module<br />
Verfügbare Knowledge Module<br />
Nächste SlideShare
Wird geladen in …5
×

Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter

2.083 Aufrufe

Veröffentlicht am

Till Sander und Wolfgang Rütter (OPITZ CONSULTING) thematisieren Herausforderungen in Bezug auf ETL und gehen auf das Oracle Portfolio ein.

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
2.083
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
4
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter

  1. 1. ETL Herausforderungen – Oracle Portfolio<br />Bonn, 20.Dezember 2010<br />Oracle ETL<br />Till SanderProject Manager, OPITZ CONSULTING Hamburg GmbH<br />Wolfgang RütterBereichsleiter, OPITZ CONSULTING Gummersbach GmbH<br />
  2. 2.
  3. 3. Die BI-Projektspezialisten<br />
  4. 4. ETL-Anforderungen<br />
  5. 5. ETL-Anforderungen<br />
  6. 6. ETL-Anforderungen: Daten<br />
  7. 7. ETL-Anforderungen: Daten<br />Datenquellen<br />Anbindung heterogener Datenquellen<br />Vorgaben seitens der IT-Architektur<br />z.B. Nutzung von Web Services<br />Applikations-Adapter <br />z.B. SAP, PeopleSoft, eBusiness Suite<br />Versorgung<br />Steigende Datenvolumina unterbinden das "klassische" Kopieren von Daten<br />ReplikationüberDirektzugriff auf die QuelleoderalsKomplettreplikation ("Schattendatenbank") scheiterthäufig an zulangenLaufzeiten<br />Immer höhere Anforderungen an effiziente ETL-Prozesse und an die Aktualität der Daten erfordern intelligente Replikationsmechanismen<br />Change Data Capture<br />Web Services<br />
  8. 8. ETL-Anforderungen: Daten<br />Aktualität<br />Das Data Warehouse wird zunehmend "operationalisiert"<br />Herkömmliche Aktualisierungsintervalle reichen nicht mehr aus<br />Die Belastung der Quellsysteme muss trotz kontinuierlicher Replikation der Änderungsinformationen gering gehalten werden<br />ETL-Prozesse müssen in der Lage sein, die anfallende Datenmenge innerhalb der Aktualisierungszyklen verarbeiten zu können<br />Qualität<br />Data Profiling: die frühzeitige Analyse der zu replizierenden Daten <br />Rules: Definition und Einbinden von Datenregeln<br />z.B. Definition von Wertebereichen<br />Ausschleusen von Datenanomalien<br />Kontinuierliches Messen der Datenqualität<br />Nachvollziehen des Erfolges von DQ-Maßnahmen<br />Frühzeitiges Erkennen von DQ-Problemen<br />
  9. 9. ETL-Anforderungen: Werkzeug<br />
  10. 10. ETL-Anforderungen: Werkzeug<br />Modellierung<br />Vorteile des deklarativen Designs<br />Die optimaleUmsetzungderDesignvorgabenerfolgtdurch das Werkzeug.<br />Änderungen an derInfrastrukturmüssennichtimplementiert, sondernnuralsMetadatenbekanntgemachtwerden.<br />Leichteres Einhalten von Standards, z.B. durch "Code Templates"<br />Automatische Dokumentation<br />Automatisierung von Standardaufgaben<br />Skripting<br />DimensionaleModellierung<br />Slowly Changing Dimensions<br />Scheduling/Prozesssteuerung<br />Automatisierung der Abläufe<br />Einbindung in globale Steuerung<br />
  11. 11. ETL-Anforderungen: Werkzeug<br />Konfigurationsmanagement<br />Interne Versionierung<br />Einbinden von externer Versionsverwaltung<br />Unterstützung von Deployment in verschiedene Umgebungen<br />Nachvollziehbarkeit der ausgeführten Deployments<br />Data Lifecycle Management<br />Unterstützung bei der hierarchischen Speicherung von Informationen je nach Abfrageanforderung<br />
  12. 12. ETL-Anforderungen: Metadaten<br />
  13. 13. ETL-Anforderungen: Metadaten<br />Design<br />Standardisiert, werkzeugübergreifend nutzbar<br />Common Warehouse Model (CWM)<br />Durchgängigkeit<br />"Von derDatenquellebiszurKennzahlimBericht"<br />Lineage und Impact-Analyse<br />Dokumentation<br />Monitoring<br />Überwachung und Protokollierung der Ausführungen<br />Benachrichtigung bei Fehlern im Ladeprozess<br />Erstellung von Laufzeitstatistiken zu proaktiven Überwachung<br />
  14. 14. Strategisches ETL: Vorteile<br />Standardisierung<br />Leichtere Übergabe von Aufgaben im Team, keine Wissensinseln<br />Umsetzen der Entwicklungsrichtlinie<br />Effizienz<br />Schnellere Entwicklungszyklen<br />Laufzeitoptimierung der Prozesse <br />Optimierter Code<br />RedundanzfreieReplikation<br />Schonender Einsatz der Hardware-Ressourcen<br />Kostenersparnis<br />
  15. 15. ETL vs. E-LT<br />Konventionelle ETL-Architektur<br />Transformation in ETL-Server<br />Proprieitäre ETL-Engine<br />Problematisch: Performance<br />Höhere Kosten<br />Transformation in RDBMS<br />Nutzung der bestehenden Infrastruktur<br />Geringere Kosten<br />Optimale Nutzung der Datenbank als Transformation-Engine<br />Transform<br />Extract<br />Load<br />"Neue" ETL-Architektur<br />E-LT<br />Transform<br />Transform<br />Load<br />Extract<br />
  16. 16. ETL-Szenario<br />Quelle<br />Nur geschlossene Aufträge<br />Ziel<br />Umsatz = Summe Positionen + Korrektur<br />Aufträge<br />Nur Aufträge mit Positionen<br />Positionen<br />Umsatz<br />Fehler<br />Produkt muss vorhanden sein<br />Korrektur<br />
  17. 17. Manuelle Umsetzung<br />Quelle<br />Ziel<br />Aufträge<br />Fachliche Regeln<br />ODBC<br />Positionen<br />SQL<br />Umsatz<br />SQL<br />Fehler<br />Korrektur<br />Datenregeln<br />SQL<br />CSV<br />
  18. 18. Umsetzung mit ETL-Werkzeug<br />ETL-Engine<br />Quelle<br />Ziel<br />Aufträge<br />Fachliche Regeln<br />CSV<br />Positionen<br />SQL<br />Umsatz<br />SQL<br />Fehler<br />Korrektur<br />Datenregeln<br />SQL<br />ODBC<br />
  19. 19. Umsetzung mit ODI<br />ETL-Engine<br />Quelle<br />Ziel<br />Aufträge<br />LKM<br />Fachliche Regeln<br />CSV<br />Positionen<br />SQL<br />Umsatz<br />IKM<br />IKM<br />SQL<br />Fehler<br />Korrektur<br />CKM<br />Datenregeln<br />SQL<br />LKM<br />ODBC<br />
  20. 20. Oracle ETL-Roadmap<br />Oracle-centric ETL & DQ functionality continue in the Oracle Database<br />Oracle Database 12g<br />10gR2<br />11gR1<br />10gR1<br />11gR2<br />ETL & DQ<br />OWB<br />EETL<br />ODI EE 12g<br />Unified Platform<br />ODI<br /><ul><li>Core ETL and DQ functionality in the Oracle Database
  21. 21. Enterprise ETL for Oracle and non-Oracle in ODI-EE</li></ul>11gR2<br />11gR1<br />10gR3<br />
  22. 22. Oracle Warehouse Builder<br />
  23. 23. Oracle Warehouse Builder 11gR2<br />
  24. 24. OWB 11gR2 – Übersicht Architektur<br /><ul><li>Modellierung
  25. 25. ETL
  26. 26. Erstellenvon BI Tool Metadaten</li></ul>OWB<br />OBI Enterprise Edition<br />OWB<br />Repository<br />OBI Standard Edition One<br />BI Publisher<br />ROLAP<br />Sources<br /><ul><li> RDBMS
  27. 27. Flatfiles
  28. 28. Cobol Copybooks
  29. 29. XML
  30. 30. Applikationen</li></ul>MOLAP<br />OBI Standard Edition<br />BI Beans<br />Oracle BI Tools<br />Oracle Datenbank<br />
  31. 31. Modellierung: DB-Objekte<br />
  32. 32. Datenquellen<br /><ul><li>Neu: Native DB Connection
  33. 33. JDBC (Code Templates)</li></li></ul><li>Einfaches OWB-Mapping<br />
  34. 34. OWB Lineage Analyse<br />
  35. 35. OWB Impact Analyse<br />
  36. 36. Automatisierung: Oracle Workflow<br /><ul><li>Oracle Workflow wird weiterhin im OWB verwendet</li></li></ul><li>Monitoring<br />Alle Mappings und Prozesse protokollieren automatisch<br />Umfang des Loggings kann konfiguriert werden<br />Audit-Daten werden im Laufzeit-Repository des OWBs (Control Center) abgelegt<br />Abfrage über Control Center Manager oder über den Repository Browser<br />Alternative: Eigene Abfragen auf das Repository<br />Benutzerdefinierte Berichte für SQL-Developer oder Views<br />Eigene Monitoring-Applikation, z.B. mit Oracle Application Express (APEX)<br />
  37. 37. Repository Browser Ausführungsdetails<br />
  38. 38. Oracle Data Integrator 11g (ODI)<br />
  39. 39. Oracle Data Integrator 11g<br />
  40. 40. ODI 11g – Übersicht Architektur<br />Desktop<br />WebLogic 11g/Application Server<br />FMW Konsole<br />JVM<br />ODI Studio<br />ODI Plug-in<br />Designer<br />Servlet Container<br />WS Container<br />Java EE Applikation<br />Operator<br />ODI Konsole<br />Runtime WS<br />Public WS<br />Data Servi-ces<br />Java EE Applikation<br />ODI SDK<br />Java EE Agent<br />Topology<br />ODI SDK<br />Security<br />Data Sources Connection Pool<br />Repositories<br />Quellen und Ziele<br />JVM<br />Java EE Applikation<br />ODI Master Repository<br />ODI SDK<br />ODI Work<br />Repository<br />Legacy<br />Applications<br />DW/BI/EPM<br />Files/XML<br />DBMS<br />
  41. 41. ODI – Interfaces<br />
  42. 42. ODI – Topology<br /><ul><li>Trennung der logischen und physischen Architektur
  43. 43. Zusammenfassung in Kontexten (z.B. ENTW/TEST/PROD)</li></li></ul><li>ODI – Knowledge Module<br />
  44. 44. ODI – Knowledge Module<br />
  45. 45. ODI – Knowledge Module<br />
  46. 46. Verfügbare Knowledge Module<br />
  47. 47. ODI – Scheduling<br /><ul><li>Interaktiv aus dem ODI
  48. 48. Event-/zeitgesteuert
  49. 49. ODI-Scheduler
  50. 50. Kommandozeile
  51. 51. Web Service</li></li></ul><li>ODI – Versionierung<br /><ul><li>Alle Objekte können in Szenarien versioniert werden.
  52. 52. Aus den Szenarien werden "Solutions" erstellt, die dann als Release eingespielt werden können.</li></li></ul><li>Stärken und Schwächen<br />
  53. 53. Oracle Golden Gate<br />
  54. 54. Oracle Golden Gate – Realtime BI<br />ODI<br />Oracle Golden Gate<br />Route<br />(LAN, WAN, Web)<br />Capture<br />Delivery<br />Staging<br />Transformation<br />DWH<br />Quelle<br />Ziel<br /><ul><li>Oracle Golden Gate ist in ODI integriert.
  55. 55. "Change Data Capture" über Golden Gate kann direkt aus dem ODI für die ETL-Prozesse genutzt werden.</li></li></ul><li>Fragen und Antworten<br />
  56. 56. Ansprechpartner bei OPITZ CONSULTING<br />Till Sander, Project Manager<br />OPITZ CONSULTING Hamburg GmbHtill.sander@opitz-consulting.deTelefon+49 40 741122-1346<br />Wolfgang Rütter, Bereichsleiter<br />OPITZ CONSULTING Gummersbach GmbHwolfgang.ruetter@opitz-consulting.deTelefon +49 2261 6001-1116<br />

×