FEHLERTOLERANTE 
LADEPROZESSE 
IN ORACLE 
GEGEN SCHLAFLOSE NÄCHTE 
DOAG BI Konferenz 2012 
Dani Schnider 
Trivadis AG 
Mün...
Dani Schnider 
 Principal Consultant und 
DWH/BI Lead Architect 
bei Trivadis in Zürich 
 Kursleiter für Trivadis-Kurse ...
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort 
2014 © Trivadis 
11 Trivadis Niederlassungen mit 
über 600 Mitarbeite...
Einleitung 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
4 
Übermüdeter DWH-Entwickler Unzufriedener Ben...
Beispiele für Fehlerursachen 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
5
Fehlende Attribute 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
6
Fehlende Attribute – Variante „Abbruch“ 
 Beim ersten Fehler Abbruch der Verarbeitung 
2014 © Trivadis 
Fehlertolerante L...
Fehlende Attribute – Variante „Filter“ 
 Filtern von fehlerhaften und unvollständigen Datensätzen 
2014 © Trivadis 
Fehle...
Fehlende Attribute – Variante „Fehlertabelle“ 
 Fehlerhafte und unvollständige Datensätze in Fehlertabelle schreiben 
201...
Fehlende Attribute – Variante „Fehlertabelle“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
10
Fehlende Attribute – Variante „Originalwert“ 
 NULL-Werte in Zieltabelle erlauben 
2014 © Trivadis 
Fehlertolerante Ladep...
Fehlende Attribute – Variante „Singleton“ 
 Fehlende Attribute durch Default-Werte (Singletons) ersetzen 
2014 © Trivadis...
Unbekannte Codewerte 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
13
Unbekannte Codewerte – Variante „Filter“ 
 Filtern von fehlenden Codes durch Inner Join 
2014 © Trivadis 
Fehlertolerante...
Unbekannte Codewerte – Variante „Filter“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
15
Unbekannte Codewerte – Variante „Singleton“ 
 Singleton-Eintrag in allen Lookup-Tabellen, Lookup mit Outer Join 
2014 © T...
Unbekannte Codewerte – Variante „Singleton“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
17
Unbekannte Codewerte – Variante „Embryo“ 
 Fehlende Codes vorgängig in Lookup-Tabelle einfügen 
2014 © Trivadis 
Fehlerto...
Unbekannte Codewerte – Variante „Embryo“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
19
Fehlende Dimensionseinträge 
 Ausgangslage: 
 Fakten werden geladen 
 Zugehöriger Dimensionswert noch nicht vorhanden 
...
Doppelte Datensätze 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
21
Doppelte Datensätze – Variante „Distinct“ 
 Deduplizieren mittels DISTINCT 
2014 © Trivadis 
Fehlertolerante Ladeprozesse...
Doppelte Datensätze – Variante „Filter“ 
 Filter auf ersten Datensatz pro Schlüsselwert 
2014 © Trivadis 
Fehlertolerante...
Doppelte Datensätze – Variante „Fehlertabelle“ 
 Doppelte Datensätze in Fehlertabelle schreiben 
2014 © Trivadis 
Fehlert...
Doppelte Datensätze – Variante „Fehlertabelle“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
25
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
26 
Fazit 
 Fehlertolerante 
Ladeprozesse vermeiden 
ETL-A...
Immer noch schlaflose 
Nächte? 
 Fragen Sie Ihren 
Apotheker oder lesen Sie 
die Packungsbeilage 
2014 © Trivadis 
27 
Fe...
Vielen Dank. 
Trivadis AG 
Dani Schnider 
Europa-Strasse 5 
CH-8152 Glattbrugg/Zürich 
Schweiz 
Tel.+41 44 808 70 20 
Fax+...
Nächste SlideShare
Wird geladen in …5
×

Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte

347 Aufrufe

Veröffentlicht am

Dani Schnider, Principal Consultant bei der Trivadis AG an der DOAG BI Konferenz 2011

Veröffentlicht in: Präsentationen & Vorträge
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
347
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
2
Aktionen
Geteilt
0
Downloads
5
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte

  1. 1. FEHLERTOLERANTE LADEPROZESSE IN ORACLE GEGEN SCHLAFLOSE NÄCHTE DOAG BI Konferenz 2012 Dani Schnider Trivadis AG München, 18. April 2012 BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 1
  2. 2. Dani Schnider  Principal Consultant und DWH/BI Lead Architect bei Trivadis in Zürich  Kursleiter für Trivadis-Kurse über Data Warehousing, SQL Optimierung und Oracle Warehouse Builder  Co-Autor des Buches «Data Warehousing mit Oracle» 2014 © Trivadis 2 Fehlertolerante Ladeprozesse 18. April 2012
  3. 3. Mit über 600 IT- und Fachexperten bei Ihnen vor Ort 2014 © Trivadis 11 Trivadis Niederlassungen mit über 600 Mitarbeitenden 200 Service Level Agreements Mehr als 4'000 Trainingsteilnehmer Forschungs- und Entwicklungs-budget: CHF 5.0 / EUR 4 Mio. Finanziell unabhängig und nachhaltig profitabel Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden Stand 12/2012 Hamburg Düsseldorf Frankfurt Freiburg München Wien Basel Bern Zürich Lausanne 3 Stuttgart Fehlertolerante Ladeprozesse 18. April 2012 3
  4. 4. Einleitung 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 4 Übermüdeter DWH-Entwickler Unzufriedener Benutzer
  5. 5. Beispiele für Fehlerursachen 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 5
  6. 6. Fehlende Attribute 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 6
  7. 7. Fehlende Attribute – Variante „Abbruch“  Beim ersten Fehler Abbruch der Verarbeitung 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 7
  8. 8. Fehlende Attribute – Variante „Filter“  Filtern von fehlerhaften und unvollständigen Datensätzen 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 8
  9. 9. Fehlende Attribute – Variante „Fehlertabelle“  Fehlerhafte und unvollständige Datensätze in Fehlertabelle schreiben 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 9
  10. 10. Fehlende Attribute – Variante „Fehlertabelle“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 10
  11. 11. Fehlende Attribute – Variante „Originalwert“  NULL-Werte in Zieltabelle erlauben 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 11
  12. 12. Fehlende Attribute – Variante „Singleton“  Fehlende Attribute durch Default-Werte (Singletons) ersetzen 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 12
  13. 13. Unbekannte Codewerte 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 13
  14. 14. Unbekannte Codewerte – Variante „Filter“  Filtern von fehlenden Codes durch Inner Join 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 14
  15. 15. Unbekannte Codewerte – Variante „Filter“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 15
  16. 16. Unbekannte Codewerte – Variante „Singleton“  Singleton-Eintrag in allen Lookup-Tabellen, Lookup mit Outer Join 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 16
  17. 17. Unbekannte Codewerte – Variante „Singleton“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 17
  18. 18. Unbekannte Codewerte – Variante „Embryo“  Fehlende Codes vorgängig in Lookup-Tabelle einfügen 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 18
  19. 19. Unbekannte Codewerte – Variante „Embryo“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 19
  20. 20. Fehlende Dimensionseinträge  Ausgangslage:  Fakten werden geladen  Zugehöriger Dimensionswert noch nicht vorhanden  Lösungsvarianten:  Filtern von unvollständigen Fakten  Referenz auf Singleton-Einträge  Generieren von Embryo-Einträgen  Siehe Artikel «Wenn die Fakten zu früh eintreffen» http://www.trivadis.com/uploads/tx_cabagdownloadarea/Wenn_die_Fakten_zu_frueh_eintreffen.pdf 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 20
  21. 21. Doppelte Datensätze 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 21
  22. 22. Doppelte Datensätze – Variante „Distinct“  Deduplizieren mittels DISTINCT 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 22
  23. 23. Doppelte Datensätze – Variante „Filter“  Filter auf ersten Datensatz pro Schlüsselwert 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 23
  24. 24. Doppelte Datensätze – Variante „Fehlertabelle“  Doppelte Datensätze in Fehlertabelle schreiben 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 24
  25. 25. Doppelte Datensätze – Variante „Fehlertabelle“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 25
  26. 26. 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 26 Fazit  Fehlertolerante Ladeprozesse vermeiden ETL-Abbruch  Je nach Varianten Einbussen der Datenqualität  Vor- und Nachteile der Varianten müssen je nach Anforderungen abgewogen werden
  27. 27. Immer noch schlaflose Nächte?  Fragen Sie Ihren Apotheker oder lesen Sie die Packungsbeilage 2014 © Trivadis 27 Fehlertolerante Ladeprozesse 18. April 2012
  28. 28. Vielen Dank. Trivadis AG Dani Schnider Europa-Strasse 5 CH-8152 Glattbrugg/Zürich Schweiz Tel.+41 44 808 70 20 Fax+41 44 808 70 21 info@trivadis.com www.trivadis.com BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 28

×