Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
ETL Herausforderungen – Oracle Portfolio<br />Bonn, 20.Dezember 2010<br />Oracle ETL<br />Till SanderProject Manager, OPIT...
Die BI-Projektspezialisten<br />
ETL-Anforderungen<br />
ETL-Anforderungen<br />
ETL-Anforderungen: Daten<br />
ETL-Anforderungen: Daten<br />Datenquellen<br />Anbindung heterogener Datenquellen<br />Vorgaben seitens der IT-Architektu...
ETL-Anforderungen: Daten<br />Aktualität<br />Das Data Warehouse wird zunehmend "operationalisiert"<br />Herkömmliche Aktu...
ETL-Anforderungen: Werkzeug<br />
ETL-Anforderungen: Werkzeug<br />Modellierung<br />Vorteile des deklarativen Designs<br />Die optimaleUmsetzungderDesignvo...
ETL-Anforderungen: Werkzeug<br />Konfigurationsmanagement<br />Interne Versionierung<br />Einbinden von externer Versionsv...
ETL-Anforderungen: Metadaten<br />
ETL-Anforderungen: Metadaten<br />Design<br />Standardisiert, werkzeugübergreifend nutzbar<br />Common Warehouse Model (CW...
Strategisches ETL: Vorteile<br />Standardisierung<br />Leichtere Übergabe von Aufgaben im Team, keine Wissensinseln<br />U...
ETL vs. E-LT<br />Konventionelle ETL-Architektur<br />Transformation in ETL-Server<br />Proprieitäre ETL-Engine<br />Probl...
ETL-Szenario<br />Quelle<br />Nur geschlossene Aufträge<br />Ziel<br />Umsatz = Summe Positionen + Korrektur<br />Aufträge...
Manuelle Umsetzung<br />Quelle<br />Ziel<br />Aufträge<br />Fachliche Regeln<br />ODBC<br />Positionen<br />SQL<br />Umsat...
Umsetzung mit ETL-Werkzeug<br />ETL-Engine<br />Quelle<br />Ziel<br />Aufträge<br />Fachliche Regeln<br />CSV<br />Positio...
Umsetzung mit ODI<br />ETL-Engine<br />Quelle<br />Ziel<br />Aufträge<br />LKM<br />Fachliche Regeln<br />CSV<br />Positio...
Oracle ETL-Roadmap<br />Oracle-centric ETL & DQ functionality continue in the Oracle Database<br />Oracle Database 12g<br ...
Enterprise ETL for Oracle and non-Oracle in ODI-EE</li></ul>11gR2<br />11gR1<br />10gR3<br />
Oracle Warehouse Builder<br />
Oracle Warehouse Builder 11gR2<br />
OWB 11gR2 – Übersicht Architektur<br /><ul><li>Modellierung
 ETL
Erstellenvon BI Tool Metadaten</li></ul>OWB<br />OBI Enterprise Edition<br />OWB<br />Repository<br />OBI Standard Edition...
Flatfiles
 Cobol Copybooks
 XML
Applikationen</li></ul>MOLAP<br />OBI Standard Edition<br />BI Beans<br />Oracle BI Tools<br />Oracle Datenbank<br />
Modellierung: DB-Objekte<br />
Datenquellen<br /><ul><li>Neu: Native DB Connection
 JDBC (Code Templates)</li></li></ul><li>Einfaches OWB-Mapping<br />
OWB Lineage Analyse<br />
OWB Impact Analyse<br />
Automatisierung: Oracle Workflow<br /><ul><li>Oracle Workflow wird weiterhin im OWB verwendet</li></li></ul><li>Monitoring...
Repository Browser Ausführungsdetails<br />
Oracle Data Integrator 11g (ODI)<br />
Oracle Data Integrator 11g<br />
ODI 11g – Übersicht Architektur<br />Desktop<br />WebLogic 11g/Application Server<br />FMW Konsole<br />JVM<br />ODI Studi...
ODI – Interfaces<br />
ODI – Topology<br /><ul><li>Trennung der logischen und physischen Architektur
Zusammenfassung in Kontexten (z.B. ENTW/TEST/PROD)</li></li></ul><li>ODI – Knowledge Module<br />
ODI – Knowledge Module<br />
ODI – Knowledge Module<br />
Verfügbare Knowledge Module<br />
Nächste SlideShare
Wird geladen in …5
×

Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter

2.180 Aufrufe

Veröffentlicht am

Till Sander und Wolfgang Rütter (OPITZ CONSULTING) thematisieren Herausforderungen in Bezug auf ETL und gehen auf das Oracle Portfolio ein.

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter

  1. 1. ETL Herausforderungen – Oracle Portfolio<br />Bonn, 20.Dezember 2010<br />Oracle ETL<br />Till SanderProject Manager, OPITZ CONSULTING Hamburg GmbH<br />Wolfgang RütterBereichsleiter, OPITZ CONSULTING Gummersbach GmbH<br />
  2. 2.
  3. 3. Die BI-Projektspezialisten<br />
  4. 4. ETL-Anforderungen<br />
  5. 5. ETL-Anforderungen<br />
  6. 6. ETL-Anforderungen: Daten<br />
  7. 7. ETL-Anforderungen: Daten<br />Datenquellen<br />Anbindung heterogener Datenquellen<br />Vorgaben seitens der IT-Architektur<br />z.B. Nutzung von Web Services<br />Applikations-Adapter <br />z.B. SAP, PeopleSoft, eBusiness Suite<br />Versorgung<br />Steigende Datenvolumina unterbinden das "klassische" Kopieren von Daten<br />ReplikationüberDirektzugriff auf die QuelleoderalsKomplettreplikation ("Schattendatenbank") scheiterthäufig an zulangenLaufzeiten<br />Immer höhere Anforderungen an effiziente ETL-Prozesse und an die Aktualität der Daten erfordern intelligente Replikationsmechanismen<br />Change Data Capture<br />Web Services<br />
  8. 8. ETL-Anforderungen: Daten<br />Aktualität<br />Das Data Warehouse wird zunehmend "operationalisiert"<br />Herkömmliche Aktualisierungsintervalle reichen nicht mehr aus<br />Die Belastung der Quellsysteme muss trotz kontinuierlicher Replikation der Änderungsinformationen gering gehalten werden<br />ETL-Prozesse müssen in der Lage sein, die anfallende Datenmenge innerhalb der Aktualisierungszyklen verarbeiten zu können<br />Qualität<br />Data Profiling: die frühzeitige Analyse der zu replizierenden Daten <br />Rules: Definition und Einbinden von Datenregeln<br />z.B. Definition von Wertebereichen<br />Ausschleusen von Datenanomalien<br />Kontinuierliches Messen der Datenqualität<br />Nachvollziehen des Erfolges von DQ-Maßnahmen<br />Frühzeitiges Erkennen von DQ-Problemen<br />
  9. 9. ETL-Anforderungen: Werkzeug<br />
  10. 10. ETL-Anforderungen: Werkzeug<br />Modellierung<br />Vorteile des deklarativen Designs<br />Die optimaleUmsetzungderDesignvorgabenerfolgtdurch das Werkzeug.<br />Änderungen an derInfrastrukturmüssennichtimplementiert, sondernnuralsMetadatenbekanntgemachtwerden.<br />Leichteres Einhalten von Standards, z.B. durch "Code Templates"<br />Automatische Dokumentation<br />Automatisierung von Standardaufgaben<br />Skripting<br />DimensionaleModellierung<br />Slowly Changing Dimensions<br />Scheduling/Prozesssteuerung<br />Automatisierung der Abläufe<br />Einbindung in globale Steuerung<br />
  11. 11. ETL-Anforderungen: Werkzeug<br />Konfigurationsmanagement<br />Interne Versionierung<br />Einbinden von externer Versionsverwaltung<br />Unterstützung von Deployment in verschiedene Umgebungen<br />Nachvollziehbarkeit der ausgeführten Deployments<br />Data Lifecycle Management<br />Unterstützung bei der hierarchischen Speicherung von Informationen je nach Abfrageanforderung<br />
  12. 12. ETL-Anforderungen: Metadaten<br />
  13. 13. ETL-Anforderungen: Metadaten<br />Design<br />Standardisiert, werkzeugübergreifend nutzbar<br />Common Warehouse Model (CWM)<br />Durchgängigkeit<br />"Von derDatenquellebiszurKennzahlimBericht"<br />Lineage und Impact-Analyse<br />Dokumentation<br />Monitoring<br />Überwachung und Protokollierung der Ausführungen<br />Benachrichtigung bei Fehlern im Ladeprozess<br />Erstellung von Laufzeitstatistiken zu proaktiven Überwachung<br />
  14. 14. Strategisches ETL: Vorteile<br />Standardisierung<br />Leichtere Übergabe von Aufgaben im Team, keine Wissensinseln<br />Umsetzen der Entwicklungsrichtlinie<br />Effizienz<br />Schnellere Entwicklungszyklen<br />Laufzeitoptimierung der Prozesse <br />Optimierter Code<br />RedundanzfreieReplikation<br />Schonender Einsatz der Hardware-Ressourcen<br />Kostenersparnis<br />
  15. 15. ETL vs. E-LT<br />Konventionelle ETL-Architektur<br />Transformation in ETL-Server<br />Proprieitäre ETL-Engine<br />Problematisch: Performance<br />Höhere Kosten<br />Transformation in RDBMS<br />Nutzung der bestehenden Infrastruktur<br />Geringere Kosten<br />Optimale Nutzung der Datenbank als Transformation-Engine<br />Transform<br />Extract<br />Load<br />"Neue" ETL-Architektur<br />E-LT<br />Transform<br />Transform<br />Load<br />Extract<br />
  16. 16. ETL-Szenario<br />Quelle<br />Nur geschlossene Aufträge<br />Ziel<br />Umsatz = Summe Positionen + Korrektur<br />Aufträge<br />Nur Aufträge mit Positionen<br />Positionen<br />Umsatz<br />Fehler<br />Produkt muss vorhanden sein<br />Korrektur<br />
  17. 17. Manuelle Umsetzung<br />Quelle<br />Ziel<br />Aufträge<br />Fachliche Regeln<br />ODBC<br />Positionen<br />SQL<br />Umsatz<br />SQL<br />Fehler<br />Korrektur<br />Datenregeln<br />SQL<br />CSV<br />
  18. 18. Umsetzung mit ETL-Werkzeug<br />ETL-Engine<br />Quelle<br />Ziel<br />Aufträge<br />Fachliche Regeln<br />CSV<br />Positionen<br />SQL<br />Umsatz<br />SQL<br />Fehler<br />Korrektur<br />Datenregeln<br />SQL<br />ODBC<br />
  19. 19. Umsetzung mit ODI<br />ETL-Engine<br />Quelle<br />Ziel<br />Aufträge<br />LKM<br />Fachliche Regeln<br />CSV<br />Positionen<br />SQL<br />Umsatz<br />IKM<br />IKM<br />SQL<br />Fehler<br />Korrektur<br />CKM<br />Datenregeln<br />SQL<br />LKM<br />ODBC<br />
  20. 20. Oracle ETL-Roadmap<br />Oracle-centric ETL & DQ functionality continue in the Oracle Database<br />Oracle Database 12g<br />10gR2<br />11gR1<br />10gR1<br />11gR2<br />ETL & DQ<br />OWB<br />EETL<br />ODI EE 12g<br />Unified Platform<br />ODI<br /><ul><li>Core ETL and DQ functionality in the Oracle Database
  21. 21. Enterprise ETL for Oracle and non-Oracle in ODI-EE</li></ul>11gR2<br />11gR1<br />10gR3<br />
  22. 22. Oracle Warehouse Builder<br />
  23. 23. Oracle Warehouse Builder 11gR2<br />
  24. 24. OWB 11gR2 – Übersicht Architektur<br /><ul><li>Modellierung
  25. 25. ETL
  26. 26. Erstellenvon BI Tool Metadaten</li></ul>OWB<br />OBI Enterprise Edition<br />OWB<br />Repository<br />OBI Standard Edition One<br />BI Publisher<br />ROLAP<br />Sources<br /><ul><li> RDBMS
  27. 27. Flatfiles
  28. 28. Cobol Copybooks
  29. 29. XML
  30. 30. Applikationen</li></ul>MOLAP<br />OBI Standard Edition<br />BI Beans<br />Oracle BI Tools<br />Oracle Datenbank<br />
  31. 31. Modellierung: DB-Objekte<br />
  32. 32. Datenquellen<br /><ul><li>Neu: Native DB Connection
  33. 33. JDBC (Code Templates)</li></li></ul><li>Einfaches OWB-Mapping<br />
  34. 34. OWB Lineage Analyse<br />
  35. 35. OWB Impact Analyse<br />
  36. 36. Automatisierung: Oracle Workflow<br /><ul><li>Oracle Workflow wird weiterhin im OWB verwendet</li></li></ul><li>Monitoring<br />Alle Mappings und Prozesse protokollieren automatisch<br />Umfang des Loggings kann konfiguriert werden<br />Audit-Daten werden im Laufzeit-Repository des OWBs (Control Center) abgelegt<br />Abfrage über Control Center Manager oder über den Repository Browser<br />Alternative: Eigene Abfragen auf das Repository<br />Benutzerdefinierte Berichte für SQL-Developer oder Views<br />Eigene Monitoring-Applikation, z.B. mit Oracle Application Express (APEX)<br />
  37. 37. Repository Browser Ausführungsdetails<br />
  38. 38. Oracle Data Integrator 11g (ODI)<br />
  39. 39. Oracle Data Integrator 11g<br />
  40. 40. ODI 11g – Übersicht Architektur<br />Desktop<br />WebLogic 11g/Application Server<br />FMW Konsole<br />JVM<br />ODI Studio<br />ODI Plug-in<br />Designer<br />Servlet Container<br />WS Container<br />Java EE Applikation<br />Operator<br />ODI Konsole<br />Runtime WS<br />Public WS<br />Data Servi-ces<br />Java EE Applikation<br />ODI SDK<br />Java EE Agent<br />Topology<br />ODI SDK<br />Security<br />Data Sources Connection Pool<br />Repositories<br />Quellen und Ziele<br />JVM<br />Java EE Applikation<br />ODI Master Repository<br />ODI SDK<br />ODI Work<br />Repository<br />Legacy<br />Applications<br />DW/BI/EPM<br />Files/XML<br />DBMS<br />
  41. 41. ODI – Interfaces<br />
  42. 42. ODI – Topology<br /><ul><li>Trennung der logischen und physischen Architektur
  43. 43. Zusammenfassung in Kontexten (z.B. ENTW/TEST/PROD)</li></li></ul><li>ODI – Knowledge Module<br />
  44. 44. ODI – Knowledge Module<br />
  45. 45. ODI – Knowledge Module<br />
  46. 46. Verfügbare Knowledge Module<br />
  47. 47. ODI – Scheduling<br /><ul><li>Interaktiv aus dem ODI
  48. 48. Event-/zeitgesteuert
  49. 49. ODI-Scheduler
  50. 50. Kommandozeile
  51. 51. Web Service</li></li></ul><li>ODI – Versionierung<br /><ul><li>Alle Objekte können in Szenarien versioniert werden.
  52. 52. Aus den Szenarien werden "Solutions" erstellt, die dann als Release eingespielt werden können.</li></li></ul><li>Stärken und Schwächen<br />
  53. 53. Oracle Golden Gate<br />
  54. 54. Oracle Golden Gate – Realtime BI<br />ODI<br />Oracle Golden Gate<br />Route<br />(LAN, WAN, Web)<br />Capture<br />Delivery<br />Staging<br />Transformation<br />DWH<br />Quelle<br />Ziel<br /><ul><li>Oracle Golden Gate ist in ODI integriert.
  55. 55. "Change Data Capture" über Golden Gate kann direkt aus dem ODI für die ETL-Prozesse genutzt werden.</li></li></ul><li>Fragen und Antworten<br />
  56. 56. Ansprechpartner bei OPITZ CONSULTING<br />Till Sander, Project Manager<br />OPITZ CONSULTING Hamburg GmbHtill.sander@opitz-consulting.deTelefon+49 40 741122-1346<br />Wolfgang Rütter, Bereichsleiter<br />OPITZ CONSULTING Gummersbach GmbHwolfgang.ruetter@opitz-consulting.deTelefon +49 2261 6001-1116<br />

×