SlideShare ist ein Scribd-Unternehmen logo
FEHLERTOLERANTE 
LADEPROZESSE 
IN ORACLE 
GEGEN SCHLAFLOSE NÄCHTE 
DOAG BI Konferenz 2012 
Dani Schnider 
Trivadis AG 
München, 18. April 2012 
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
1
Dani Schnider 
 Principal Consultant und 
DWH/BI Lead Architect 
bei Trivadis in Zürich 
 Kursleiter für Trivadis-Kurse 
über Data Warehousing, 
SQL Optimierung und Oracle 
Warehouse Builder 
 Co-Autor des Buches «Data 
Warehousing mit Oracle» 
2014 © Trivadis 
2 
Fehlertolerante Ladeprozesse 
18. April 2012
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort 
2014 © Trivadis 
11 Trivadis Niederlassungen mit 
über 600 Mitarbeitenden 
200 Service Level Agreements 
Mehr als 4'000 Trainingsteilnehmer 
Forschungs- und Entwicklungs-budget: 
CHF 5.0 / EUR 4 Mio. 
Finanziell unabhängig und 
nachhaltig profitabel 
Erfahrung aus mehr als 1'900 
Projekten pro Jahr bei über 800 
Kunden 
Stand 12/2012 
Hamburg 
Düsseldorf 
Frankfurt 
Freiburg 
München 
Wien 
Basel 
Bern Zürich 
Lausanne 
3 
Stuttgart 
Fehlertolerante Ladeprozesse 
18. April 2012 
3
Einleitung 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
4 
Übermüdeter DWH-Entwickler Unzufriedener Benutzer
Beispiele für Fehlerursachen 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
5
Fehlende Attribute 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
6
Fehlende Attribute – Variante „Abbruch“ 
 Beim ersten Fehler Abbruch der Verarbeitung 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
7
Fehlende Attribute – Variante „Filter“ 
 Filtern von fehlerhaften und unvollständigen Datensätzen 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
8
Fehlende Attribute – Variante „Fehlertabelle“ 
 Fehlerhafte und unvollständige Datensätze in Fehlertabelle schreiben 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
9
Fehlende Attribute – Variante „Fehlertabelle“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
10
Fehlende Attribute – Variante „Originalwert“ 
 NULL-Werte in Zieltabelle erlauben 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
11
Fehlende Attribute – Variante „Singleton“ 
 Fehlende Attribute durch Default-Werte (Singletons) ersetzen 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
12
Unbekannte Codewerte 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
13
Unbekannte Codewerte – Variante „Filter“ 
 Filtern von fehlenden Codes durch Inner Join 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
14
Unbekannte Codewerte – Variante „Filter“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
15
Unbekannte Codewerte – Variante „Singleton“ 
 Singleton-Eintrag in allen Lookup-Tabellen, Lookup mit Outer Join 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
16
Unbekannte Codewerte – Variante „Singleton“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
17
Unbekannte Codewerte – Variante „Embryo“ 
 Fehlende Codes vorgängig in Lookup-Tabelle einfügen 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
18
Unbekannte Codewerte – Variante „Embryo“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
19
Fehlende Dimensionseinträge 
 Ausgangslage: 
 Fakten werden geladen 
 Zugehöriger Dimensionswert noch nicht vorhanden 
 Lösungsvarianten: 
 Filtern von unvollständigen Fakten 
 Referenz auf Singleton-Einträge 
 Generieren von Embryo-Einträgen 
 Siehe Artikel «Wenn die Fakten zu früh eintreffen» 
http://www.trivadis.com/uploads/tx_cabagdownloadarea/Wenn_die_Fakten_zu_frueh_eintreffen.pdf 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
20
Doppelte Datensätze 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
21
Doppelte Datensätze – Variante „Distinct“ 
 Deduplizieren mittels DISTINCT 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
22
Doppelte Datensätze – Variante „Filter“ 
 Filter auf ersten Datensatz pro Schlüsselwert 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
23
Doppelte Datensätze – Variante „Fehlertabelle“ 
 Doppelte Datensätze in Fehlertabelle schreiben 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
24
Doppelte Datensätze – Variante „Fehlertabelle“ 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
25
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
26 
Fazit 
 Fehlertolerante 
Ladeprozesse vermeiden 
ETL-Abbruch 
 Je nach Varianten 
Einbussen der Datenqualität 
 Vor- und Nachteile der 
Varianten müssen je nach 
Anforderungen abgewogen 
werden
Immer noch schlaflose 
Nächte? 
 Fragen Sie Ihren 
Apotheker oder lesen Sie 
die Packungsbeilage 
2014 © Trivadis 
27 
Fehlertolerante Ladeprozesse 
18. April 2012
Vielen Dank. 
Trivadis AG 
Dani Schnider 
Europa-Strasse 5 
CH-8152 Glattbrugg/Zürich 
Schweiz 
Tel.+41 44 808 70 20 
Fax+41 44 808 70 21 
info@trivadis.com 
www.trivadis.com 
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 
2014 © Trivadis 
Fehlertolerante Ladeprozesse 
18. April 2012 
28

Weitere ähnliche Inhalte

Andere mochten auch

La Vente B2B
La Vente B2BLa Vente B2B
La Vente B2B
John Carmichael
 
Marketing de Resultados
Marketing de ResultadosMarketing de Resultados
Marketing de Resultados
Hector Maida
 
Double optinandemailmarketing en
Double optinandemailmarketing enDouble optinandemailmarketing en
Double optinandemailmarketing en
Talkfusion Vídeo e Comunicação
 
Mary Rodwell - Triggers of Consciousness
Mary Rodwell - Triggers of ConsciousnessMary Rodwell - Triggers of Consciousness
Mary Rodwell - Triggers of Consciousness
Exopolitics Hungary
 
al Andalus
al Andalusal Andalus
al Andalusavilase2
 
KIRAN KUMAR Thoti- Editingg
KIRAN KUMAR Thoti- EditinggKIRAN KUMAR Thoti- Editingg
KIRAN KUMAR Thoti- Editingg
Dr. Kiran Kumar Thoti
 
User interface – client / portal by Tor Gunnar Øverli
User interface – client / portal by Tor Gunnar ØverliUser interface – client / portal by Tor Gunnar Øverli
User interface – client / portal by Tor Gunnar Øverli
plan4business
 
Vnx.su ka-1996-1999-service-manual-spanish
Vnx.su ka-1996-1999-service-manual-spanishVnx.su ka-1996-1999-service-manual-spanish
Vnx.su ka-1996-1999-service-manual-spanish
rukford
 
It or 2_03_a - company profile - oriental group
It or 2_03_a - company profile - oriental groupIt or 2_03_a - company profile - oriental group
It or 2_03_a - company profile - oriental group
Mohd Naqdyuzen Nordin
 
Guia para la transformacion de conflictos socioambientales
Guia para la transformacion de conflictos socioambientalesGuia para la transformacion de conflictos socioambientales
Guia para la transformacion de conflictos socioambientales
Overallhealth En Salud
 
Ficha de autoevaluación
Ficha de autoevaluaciónFicha de autoevaluación
Ficha de autoevaluación
Jessenia Cruz
 
Luis sequera
Luis sequeraLuis sequera
Luis sequera
luissequera
 
Hack&beers 2015 - Vulnerabilidades animadas de ayer y hoy. Vicente Aguilera
Hack&beers 2015 - Vulnerabilidades animadas de ayer y hoy. Vicente AguileraHack&beers 2015 - Vulnerabilidades animadas de ayer y hoy. Vicente Aguilera
Hack&beers 2015 - Vulnerabilidades animadas de ayer y hoy. Vicente Aguilera
Internet Security Auditors
 
Parasitos protozoos microbiologia de bioquimica
Parasitos protozoos   microbiologia de bioquimicaParasitos protozoos   microbiologia de bioquimica
Parasitos protozoos microbiologia de bioquimica
Ne gh
 
AKM PPT C5 K M TECHNOLOGIES
AKM PPT C5 K M TECHNOLOGIESAKM PPT C5 K M TECHNOLOGIES
AKM PPT C5 K M TECHNOLOGIES
Senapathy Marisennayya
 
Proyecto pedagogico de aula en tic
Proyecto pedagogico de aula en tic Proyecto pedagogico de aula en tic
Proyecto pedagogico de aula en tic
ProyectoCPE2013
 
EN 6.3: 2 IT-Compliance und IT-Sicherheitsmanagement
EN 6.3: 2 IT-Compliance und IT-SicherheitsmanagementEN 6.3: 2 IT-Compliance und IT-Sicherheitsmanagement
EN 6.3: 2 IT-Compliance und IT-Sicherheitsmanagement
Sven Wohlgemuth
 
Asia david-olga
Asia david-olgaAsia david-olga
Asia david-olga
juan montero
 

Andere mochten auch (18)

La Vente B2B
La Vente B2BLa Vente B2B
La Vente B2B
 
Marketing de Resultados
Marketing de ResultadosMarketing de Resultados
Marketing de Resultados
 
Double optinandemailmarketing en
Double optinandemailmarketing enDouble optinandemailmarketing en
Double optinandemailmarketing en
 
Mary Rodwell - Triggers of Consciousness
Mary Rodwell - Triggers of ConsciousnessMary Rodwell - Triggers of Consciousness
Mary Rodwell - Triggers of Consciousness
 
al Andalus
al Andalusal Andalus
al Andalus
 
KIRAN KUMAR Thoti- Editingg
KIRAN KUMAR Thoti- EditinggKIRAN KUMAR Thoti- Editingg
KIRAN KUMAR Thoti- Editingg
 
User interface – client / portal by Tor Gunnar Øverli
User interface – client / portal by Tor Gunnar ØverliUser interface – client / portal by Tor Gunnar Øverli
User interface – client / portal by Tor Gunnar Øverli
 
Vnx.su ka-1996-1999-service-manual-spanish
Vnx.su ka-1996-1999-service-manual-spanishVnx.su ka-1996-1999-service-manual-spanish
Vnx.su ka-1996-1999-service-manual-spanish
 
It or 2_03_a - company profile - oriental group
It or 2_03_a - company profile - oriental groupIt or 2_03_a - company profile - oriental group
It or 2_03_a - company profile - oriental group
 
Guia para la transformacion de conflictos socioambientales
Guia para la transformacion de conflictos socioambientalesGuia para la transformacion de conflictos socioambientales
Guia para la transformacion de conflictos socioambientales
 
Ficha de autoevaluación
Ficha de autoevaluaciónFicha de autoevaluación
Ficha de autoevaluación
 
Luis sequera
Luis sequeraLuis sequera
Luis sequera
 
Hack&beers 2015 - Vulnerabilidades animadas de ayer y hoy. Vicente Aguilera
Hack&beers 2015 - Vulnerabilidades animadas de ayer y hoy. Vicente AguileraHack&beers 2015 - Vulnerabilidades animadas de ayer y hoy. Vicente Aguilera
Hack&beers 2015 - Vulnerabilidades animadas de ayer y hoy. Vicente Aguilera
 
Parasitos protozoos microbiologia de bioquimica
Parasitos protozoos   microbiologia de bioquimicaParasitos protozoos   microbiologia de bioquimica
Parasitos protozoos microbiologia de bioquimica
 
AKM PPT C5 K M TECHNOLOGIES
AKM PPT C5 K M TECHNOLOGIESAKM PPT C5 K M TECHNOLOGIES
AKM PPT C5 K M TECHNOLOGIES
 
Proyecto pedagogico de aula en tic
Proyecto pedagogico de aula en tic Proyecto pedagogico de aula en tic
Proyecto pedagogico de aula en tic
 
EN 6.3: 2 IT-Compliance und IT-Sicherheitsmanagement
EN 6.3: 2 IT-Compliance und IT-SicherheitsmanagementEN 6.3: 2 IT-Compliance und IT-Sicherheitsmanagement
EN 6.3: 2 IT-Compliance und IT-Sicherheitsmanagement
 
Asia david-olga
Asia david-olgaAsia david-olga
Asia david-olga
 

Mehr von Trivadis

Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Trivadis
 
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Trivadis
 
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Trivadis
 
Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Azure Days 2019: Master the Move to Azure (Konrad Brunner)Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Trivadis
 
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Trivadis
 
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Trivadis
 
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Trivadis
 
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Trivadis
 
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Trivadis
 
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Trivadis
 
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
Trivadis
 
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
Trivadis
 
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - TrivadisTechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
Trivadis
 
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
Trivadis
 
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
Trivadis
 
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
Trivadis
 
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
Trivadis
 
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
Trivadis
 
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
Trivadis
 
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - TrivadisTechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
Trivadis
 

Mehr von Trivadis (20)

Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
 
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
 
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
 
Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Azure Days 2019: Master the Move to Azure (Konrad Brunner)Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Azure Days 2019: Master the Move to Azure (Konrad Brunner)
 
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
 
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
 
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
 
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
 
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
 
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
 
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
 
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
 
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - TrivadisTechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
 
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
 
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
 
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
 
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
 
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
 
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
 
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - TrivadisTechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
 

Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte

  • 1. FEHLERTOLERANTE LADEPROZESSE IN ORACLE GEGEN SCHLAFLOSE NÄCHTE DOAG BI Konferenz 2012 Dani Schnider Trivadis AG München, 18. April 2012 BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 1
  • 2. Dani Schnider  Principal Consultant und DWH/BI Lead Architect bei Trivadis in Zürich  Kursleiter für Trivadis-Kurse über Data Warehousing, SQL Optimierung und Oracle Warehouse Builder  Co-Autor des Buches «Data Warehousing mit Oracle» 2014 © Trivadis 2 Fehlertolerante Ladeprozesse 18. April 2012
  • 3. Mit über 600 IT- und Fachexperten bei Ihnen vor Ort 2014 © Trivadis 11 Trivadis Niederlassungen mit über 600 Mitarbeitenden 200 Service Level Agreements Mehr als 4'000 Trainingsteilnehmer Forschungs- und Entwicklungs-budget: CHF 5.0 / EUR 4 Mio. Finanziell unabhängig und nachhaltig profitabel Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden Stand 12/2012 Hamburg Düsseldorf Frankfurt Freiburg München Wien Basel Bern Zürich Lausanne 3 Stuttgart Fehlertolerante Ladeprozesse 18. April 2012 3
  • 4. Einleitung 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 4 Übermüdeter DWH-Entwickler Unzufriedener Benutzer
  • 5. Beispiele für Fehlerursachen 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 5
  • 6. Fehlende Attribute 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 6
  • 7. Fehlende Attribute – Variante „Abbruch“  Beim ersten Fehler Abbruch der Verarbeitung 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 7
  • 8. Fehlende Attribute – Variante „Filter“  Filtern von fehlerhaften und unvollständigen Datensätzen 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 8
  • 9. Fehlende Attribute – Variante „Fehlertabelle“  Fehlerhafte und unvollständige Datensätze in Fehlertabelle schreiben 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 9
  • 10. Fehlende Attribute – Variante „Fehlertabelle“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 10
  • 11. Fehlende Attribute – Variante „Originalwert“  NULL-Werte in Zieltabelle erlauben 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 11
  • 12. Fehlende Attribute – Variante „Singleton“  Fehlende Attribute durch Default-Werte (Singletons) ersetzen 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 12
  • 13. Unbekannte Codewerte 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 13
  • 14. Unbekannte Codewerte – Variante „Filter“  Filtern von fehlenden Codes durch Inner Join 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 14
  • 15. Unbekannte Codewerte – Variante „Filter“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 15
  • 16. Unbekannte Codewerte – Variante „Singleton“  Singleton-Eintrag in allen Lookup-Tabellen, Lookup mit Outer Join 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 16
  • 17. Unbekannte Codewerte – Variante „Singleton“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 17
  • 18. Unbekannte Codewerte – Variante „Embryo“  Fehlende Codes vorgängig in Lookup-Tabelle einfügen 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 18
  • 19. Unbekannte Codewerte – Variante „Embryo“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 19
  • 20. Fehlende Dimensionseinträge  Ausgangslage:  Fakten werden geladen  Zugehöriger Dimensionswert noch nicht vorhanden  Lösungsvarianten:  Filtern von unvollständigen Fakten  Referenz auf Singleton-Einträge  Generieren von Embryo-Einträgen  Siehe Artikel «Wenn die Fakten zu früh eintreffen» http://www.trivadis.com/uploads/tx_cabagdownloadarea/Wenn_die_Fakten_zu_frueh_eintreffen.pdf 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 20
  • 21. Doppelte Datensätze 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 21
  • 22. Doppelte Datensätze – Variante „Distinct“  Deduplizieren mittels DISTINCT 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 22
  • 23. Doppelte Datensätze – Variante „Filter“  Filter auf ersten Datensatz pro Schlüsselwert 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 23
  • 24. Doppelte Datensätze – Variante „Fehlertabelle“  Doppelte Datensätze in Fehlertabelle schreiben 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 24
  • 25. Doppelte Datensätze – Variante „Fehlertabelle“ 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 25
  • 26. 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 26 Fazit  Fehlertolerante Ladeprozesse vermeiden ETL-Abbruch  Je nach Varianten Einbussen der Datenqualität  Vor- und Nachteile der Varianten müssen je nach Anforderungen abgewogen werden
  • 27. Immer noch schlaflose Nächte?  Fragen Sie Ihren Apotheker oder lesen Sie die Packungsbeilage 2014 © Trivadis 27 Fehlertolerante Ladeprozesse 18. April 2012
  • 28. Vielen Dank. Trivadis AG Dani Schnider Europa-Strasse 5 CH-8152 Glattbrugg/Zürich Schweiz Tel.+41 44 808 70 20 Fax+41 44 808 70 21 info@trivadis.com www.trivadis.com BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 2014 © Trivadis Fehlertolerante Ladeprozesse 18. April 2012 28