SlideShare ist ein Scribd-Unternehmen logo

Indexierungsstrategie im Data Warehouse - Zwischen Albtraum und optimaler Performance

Trivadis
Trivadis

Dani Schnider, Principal Consultant bei der Trivadis AG, an der DOAG Konferenz 2011 in Nürnberg

1 von 24
Downloaden Sie, um offline zu lesen
INDEXIERUNGS-STRATEGIE IM DATA 
WAREHOUSE 
ZWISCHEN ALBTRAUM UND OPTIMALER PERFORMANCE 
DOAG Konferenz 2011 
Dani Schnider 
Trivadis AG 
Nürnberg, 15. November 2011 
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 
2014 © Trivadis 
Indexierungsstrategie im Data Warehouse 
15. November 2011 
1
Dani Schnider 
 Principal Consultant und 
DWH/BI Lead Architect 
bei Trivadis in Zürich 
 Kursleiter für Trivadis-Kurse 
über Data Warehousing, 
SQL Optimierung und Oracle 
Warehouse Builder 
 Co-Autor des Buches «Data 
Warehousing mit Oracle» 
2014 © Trivadis 
2 
Indexierungsstrategie im Data Warehouse 
15. November 2011
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort 
2014 © Trivadis 
11 Trivadis Niederlassungen mit 
über 600 Mitarbeitenden 
200 Service Level Agreements 
Mehr als 4'000 Trainingsteilnehmer 
Forschungs- und Entwicklungs-budget: 
CHF 5.0 / EUR 4 Mio. 
Finanziell unabhängig und 
nachhaltig profitabel 
Erfahrung aus mehr als 1'900 
Projekten pro Jahr bei über 800 
Kunden 
Stand 12/2012 
Hamburg 
Düsseldorf 
Frankfurt 
Freiburg 
München 
Wien 
Basel 
Bern Zürich 
Lausanne 
3 
Stuttgart 
Indexierungsstrategie im Data Warehouse 
15. November 2011 
3
Kurzvorstellung Trivadis 
Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem 
solution based Software- und Product-Engineering und der Erbringung 
von IT-Services mit Fokussierung auf und 
Technologien im D-A-CH-Raum. 
Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern: 
Durch unser Trainingsangebot stellen wir den Know-how-Transfer sicher. 
2014 © Trivadis 
Indexierungsstrategie im Data Warehouse 
15. November 2011 
4
Wie soll ich mein Data 
Warehouse 
indexieren? 
2014 © Trivadis 
Indexierungsstrategie im Data Warehouse 
15. November 2011 
5
Es gibt verschiedene Meinungen... 
 Ein DWH-System hat mehr Indizes als ein OLTP-System 
 Indizes machen die Abfragen schneller 
 Full Table Scans sind langsam 
 Ein Data Warehouse sollte keine Indizes haben 
 Indizes verlangsamen die ETL-Prozesse 
 Jede Tabelle muss einen Primary Key haben 
 Indizes sind für ein effizientes Laden der Daten notwendig 
 Eine OLTP-Tabelle hat 2-3 Indizes, eine DWH-Tabelle 5-6 
 Bitmap Indizes sind für Attribute mit wenigen Werten sinnvoll 
2014 © Trivadis 
Indexierungsstrategie im Data Warehouse 
15. November 2011 
6

Recomendados

Partitionierung im DWH: Erkenntnisse aus der Praxis - Oracle DWH Konferenz
Partitionierung im DWH: Erkenntnisse aus der Praxis - Oracle DWH KonferenzPartitionierung im DWH: Erkenntnisse aus der Praxis - Oracle DWH Konferenz
Partitionierung im DWH: Erkenntnisse aus der Praxis - Oracle DWH KonferenzTrivadis
 
Wie sicher sind Database Links? DOAG BI Konfernenz München.
Wie sicher sind Database Links? DOAG BI Konfernenz München.Wie sicher sind Database Links? DOAG BI Konfernenz München.
Wie sicher sind Database Links? DOAG BI Konfernenz München.Trivadis
 
Performanceaspekte im Oracle DWH
Performanceaspekte im Oracle DWHPerformanceaspekte im Oracle DWH
Performanceaspekte im Oracle DWHTrivadis
 
Die generierte Zeitmaschine - Historisierung auf Knopfdruck
Die generierte Zeitmaschine - Historisierung auf KnopfdruckDie generierte Zeitmaschine - Historisierung auf Knopfdruck
Die generierte Zeitmaschine - Historisierung auf KnopfdruckTrivadis
 
Wie modelliere ich mein Core DWH?
Wie modelliere ich mein Core DWH?Wie modelliere ich mein Core DWH?
Wie modelliere ich mein Core DWH?Trivadis
 
DWH-Modellierung mit Data Vault
DWH-Modellierung mit Data VaultDWH-Modellierung mit Data Vault
DWH-Modellierung mit Data VaultTrivadis
 
Modellierung agliler Data Warehouses mit Data Vault
Modellierung agliler Data Warehouses mit Data VaultModellierung agliler Data Warehouses mit Data Vault
Modellierung agliler Data Warehouses mit Data VaultTrivadis
 
Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)Andreas Buckenhofer
 

Más contenido relacionado

Destacado

Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stan...
Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stan...Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stan...
Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stan...Trivadis
 
BI für Middleware Dummies - Was SOA/BPM‘er von BI‘lern lernen können - und um...
BI für Middleware Dummies - Was SOA/BPM‘er von BI‘lern lernen können - und um...BI für Middleware Dummies - Was SOA/BPM‘er von BI‘lern lernen können - und um...
BI für Middleware Dummies - Was SOA/BPM‘er von BI‘lern lernen können - und um...OPITZ CONSULTING Deutschland
 
Haben Sie die Zeit im Griff? Zeitdimensionen - DOAG 2012
Haben Sie die Zeit im Griff? Zeitdimensionen - DOAG 2012Haben Sie die Zeit im Griff? Zeitdimensionen - DOAG 2012
Haben Sie die Zeit im Griff? Zeitdimensionen - DOAG 2012Trivadis
 
100 ιδι τικο συμφ νητικο υπεκμισθ σησ
100 ιδι τικο συμφ νητικο υπεκμισθ σησ100 ιδι τικο συμφ νητικο υπεκμισθ σησ
100 ιδι τικο συμφ νητικο υπεκμισθ σησATHANASIOS KAVVADAS
 
世界のコーフボール紹介
世界のコーフボール紹介世界のコーフボール紹介
世界のコーフボール紹介korfballjp
 
Kaixin's UROP_symposium_poster
Kaixin's UROP_symposium_posterKaixin's UROP_symposium_poster
Kaixin's UROP_symposium_posterKaixin Chen
 
AMIZONER Status Report - March 2014
AMIZONER Status Report - March 2014AMIZONER Status Report - March 2014
AMIZONER Status Report - March 2014Neil Mathew
 
Ops Happen: Improve Security Without Getting in the Way
Ops Happen: Improve Security Without Getting in the WayOps Happen: Improve Security Without Getting in the Way
Ops Happen: Improve Security Without Getting in the WaySeniorStoryteller
 
Pitch to win Sales and Investment
Pitch to win Sales and InvestmentPitch to win Sales and Investment
Pitch to win Sales and InvestmentAndrew Keogh
 
Jhon quiroga mi historia inspiradora 1
Jhon quiroga mi historia inspiradora 1Jhon quiroga mi historia inspiradora 1
Jhon quiroga mi historia inspiradora 1RedvolucionCesarNorte
 
HR At A Crossroads
HR At A CrossroadsHR At A Crossroads
HR At A CrossroadsJudithEnns1
 

Destacado (13)

Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stan...
Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stan...Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stan...
Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stan...
 
BI für Middleware Dummies - Was SOA/BPM‘er von BI‘lern lernen können - und um...
BI für Middleware Dummies - Was SOA/BPM‘er von BI‘lern lernen können - und um...BI für Middleware Dummies - Was SOA/BPM‘er von BI‘lern lernen können - und um...
BI für Middleware Dummies - Was SOA/BPM‘er von BI‘lern lernen können - und um...
 
Haben Sie die Zeit im Griff? Zeitdimensionen - DOAG 2012
Haben Sie die Zeit im Griff? Zeitdimensionen - DOAG 2012Haben Sie die Zeit im Griff? Zeitdimensionen - DOAG 2012
Haben Sie die Zeit im Griff? Zeitdimensionen - DOAG 2012
 
Tips de belleza
Tips de bellezaTips de belleza
Tips de belleza
 
100 ιδι τικο συμφ νητικο υπεκμισθ σησ
100 ιδι τικο συμφ νητικο υπεκμισθ σησ100 ιδι τικο συμφ νητικο υπεκμισθ σησ
100 ιδι τικο συμφ νητικο υπεκμισθ σησ
 
世界のコーフボール紹介
世界のコーフボール紹介世界のコーフボール紹介
世界のコーフボール紹介
 
Peru Status Report
Peru Status ReportPeru Status Report
Peru Status Report
 
Kaixin's UROP_symposium_poster
Kaixin's UROP_symposium_posterKaixin's UROP_symposium_poster
Kaixin's UROP_symposium_poster
 
AMIZONER Status Report - March 2014
AMIZONER Status Report - March 2014AMIZONER Status Report - March 2014
AMIZONER Status Report - March 2014
 
Ops Happen: Improve Security Without Getting in the Way
Ops Happen: Improve Security Without Getting in the WayOps Happen: Improve Security Without Getting in the Way
Ops Happen: Improve Security Without Getting in the Way
 
Pitch to win Sales and Investment
Pitch to win Sales and InvestmentPitch to win Sales and Investment
Pitch to win Sales and Investment
 
Jhon quiroga mi historia inspiradora 1
Jhon quiroga mi historia inspiradora 1Jhon quiroga mi historia inspiradora 1
Jhon quiroga mi historia inspiradora 1
 
HR At A Crossroads
HR At A CrossroadsHR At A Crossroads
HR At A Crossroads
 

Ähnlich wie Indexierungsstrategie im Data Warehouse - Zwischen Albtraum und optimaler Performance

Wie kommt der Hint in das SQL, ohne die anwendung zu ändern?
Wie kommt der Hint in das SQL, ohne die anwendung zu ändern?Wie kommt der Hint in das SQL, ohne die anwendung zu ändern?
Wie kommt der Hint in das SQL, ohne die anwendung zu ändern?Trivadis
 
Data Mining und OLAP
Data Mining und OLAPData Mining und OLAP
Data Mining und OLAPmurat9393
 
Dv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automationDv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automationTorsten Glunde
 
Das deutsche Metadatenmodell DCAT-AP.de | Hält der Standard, was er verspricht?
Das deutsche Metadatenmodell DCAT-AP.de | Hält der Standard, was er verspricht?Das deutsche Metadatenmodell DCAT-AP.de | Hält der Standard, was er verspricht?
Das deutsche Metadatenmodell DCAT-AP.de | Hält der Standard, was er verspricht?Oliver Bildesheim
 
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...Harald Erb
 
Datenanalyse in der Praxis
Datenanalyse in der PraxisDatenanalyse in der Praxis
Datenanalyse in der PraxisYvette Teiken
 
PL SQL Unit Tests mit SQL Developer
PL SQL Unit Tests mit SQL DeveloperPL SQL Unit Tests mit SQL Developer
PL SQL Unit Tests mit SQL DeveloperTrivadis
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data KonnektivitätTrivadis
 
DWH Modernisierung mit Data Lake, Lab und Governance
DWH Modernisierung mit Data Lake, Lab und GovernanceDWH Modernisierung mit Data Lake, Lab und Governance
DWH Modernisierung mit Data Lake, Lab und GovernanceOPITZ CONSULTING Deutschland
 
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019luna-park GmbH
 
Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte
Fehlertolerante Ladeprozesse in Oracle gegen schlaflose NächteFehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte
Fehlertolerante Ladeprozesse in Oracle gegen schlaflose NächteTrivadis
 
Mobile meets NoSQL
Mobile meets NoSQLMobile meets NoSQL
Mobile meets NoSQLJan Steemann
 
Einführung in offene Daten Qualität
Einführung in offene Daten QualitätEinführung in offene Daten Qualität
Einführung in offene Daten QualitätOpen Data Support
 
Oracle hadoop doag-big-data_09_2014_gpi
Oracle hadoop doag-big-data_09_2014_gpiOracle hadoop doag-big-data_09_2014_gpi
Oracle hadoop doag-big-data_09_2014_gpiGunther Pippèrr
 
OpenDMA - Daten Management Solution
OpenDMA  - Daten Management SolutionOpenDMA  - Daten Management Solution
OpenDMA - Daten Management SolutionTorsten Glunde
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesOPITZ CONSULTING Deutschland
 
Perry pakull datenbank entwickler auf dem prüfstand präsentation
Perry pakull datenbank entwickler auf dem prüfstand präsentationPerry pakull datenbank entwickler auf dem prüfstand präsentation
Perry pakull datenbank entwickler auf dem prüfstand präsentationTrivadis
 
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...e-dialog GmbH
 

Ähnlich wie Indexierungsstrategie im Data Warehouse - Zwischen Albtraum und optimaler Performance (20)

Wie kommt der Hint in das SQL, ohne die anwendung zu ändern?
Wie kommt der Hint in das SQL, ohne die anwendung zu ändern?Wie kommt der Hint in das SQL, ohne die anwendung zu ändern?
Wie kommt der Hint in das SQL, ohne die anwendung zu ändern?
 
Data Mining und OLAP
Data Mining und OLAPData Mining und OLAP
Data Mining und OLAP
 
Dv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automationDv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automation
 
Das deutsche Metadatenmodell DCAT-AP.de | Hält der Standard, was er verspricht?
Das deutsche Metadatenmodell DCAT-AP.de | Hält der Standard, was er verspricht?Das deutsche Metadatenmodell DCAT-AP.de | Hält der Standard, was er verspricht?
Das deutsche Metadatenmodell DCAT-AP.de | Hält der Standard, was er verspricht?
 
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und a...
 
Datenanalyse in der Praxis
Datenanalyse in der PraxisDatenanalyse in der Praxis
Datenanalyse in der Praxis
 
PL SQL Unit Tests mit SQL Developer
PL SQL Unit Tests mit SQL DeveloperPL SQL Unit Tests mit SQL Developer
PL SQL Unit Tests mit SQL Developer
 
ODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a ServiceODAaaS – Open Data Analytics as a Service
ODAaaS – Open Data Analytics as a Service
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data Konnektivität
 
DWH Modernisierung mit Data Lake, Lab und Governance
DWH Modernisierung mit Data Lake, Lab und GovernanceDWH Modernisierung mit Data Lake, Lab und Governance
DWH Modernisierung mit Data Lake, Lab und Governance
 
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
Reportings & Insights mit Google Data Studio | Google Analytics Konferenz 2019
 
Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte
Fehlertolerante Ladeprozesse in Oracle gegen schlaflose NächteFehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte
Fehlertolerante Ladeprozesse in Oracle gegen schlaflose Nächte
 
Mobile meets NoSQL
Mobile meets NoSQLMobile meets NoSQL
Mobile meets NoSQL
 
Einführung in offene Daten Qualität
Einführung in offene Daten QualitätEinführung in offene Daten Qualität
Einführung in offene Daten Qualität
 
Oracle hadoop doag-big-data_09_2014_gpi
Oracle hadoop doag-big-data_09_2014_gpiOracle hadoop doag-big-data_09_2014_gpi
Oracle hadoop doag-big-data_09_2014_gpi
 
OpenDMA - Daten Management Solution
OpenDMA  - Daten Management SolutionOpenDMA  - Daten Management Solution
OpenDMA - Daten Management Solution
 
Schaller emed2013
Schaller emed2013Schaller emed2013
Schaller emed2013
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
 
Perry pakull datenbank entwickler auf dem prüfstand präsentation
Perry pakull datenbank entwickler auf dem prüfstand präsentationPerry pakull datenbank entwickler auf dem prüfstand präsentation
Perry pakull datenbank entwickler auf dem prüfstand präsentation
 
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
 

Mehr von Trivadis

Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...Trivadis
 
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...Trivadis
 
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)Trivadis
 
Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Azure Days 2019: Master the Move to Azure (Konrad Brunner)Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Azure Days 2019: Master the Move to Azure (Konrad Brunner)Trivadis
 
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...Trivadis
 
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)Trivadis
 
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...Trivadis
 
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...Trivadis
 
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...Trivadis
 
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...Trivadis
 
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...Trivadis
 
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...Trivadis
 
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - TrivadisTechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - TrivadisTrivadis
 
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...Trivadis
 
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...Trivadis
 
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...Trivadis
 
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...Trivadis
 
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...Trivadis
 
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...Trivadis
 
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - TrivadisTechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - TrivadisTrivadis
 

Mehr von Trivadis (20)

Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
Azure Days 2019: Azure Chatbot Development for Airline Irregularities (Remco ...
 
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
Azure Days 2019: Trivadis Azure Foundation – Das Fundament für den ... (Nisan...
 
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
Azure Days 2019: Business Intelligence auf Azure (Marco Amhof & Yves Mauron)
 
Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Azure Days 2019: Master the Move to Azure (Konrad Brunner)Azure Days 2019: Master the Move to Azure (Konrad Brunner)
Azure Days 2019: Master the Move to Azure (Konrad Brunner)
 
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
Azure Days 2019: Keynote Azure Switzerland – Status Quo und Ausblick (Primo A...
 
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
Azure Days 2019: Grösser und Komplexer ist nicht immer besser (Meinrad Weiss)
 
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
Azure Days 2019: Get Connected with Azure API Management (Gerry Keune & Stefa...
 
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
Azure Days 2019: Infrastructure as Code auf Azure (Jonas Wanninger & Daniel H...
 
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
Azure Days 2019: Wie bringt man eine Data Analytics Plattform in die Cloud? (...
 
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
Azure Days 2019: Azure@Helsana: Die Erweiterung von Dynamics CRM mit Azure Po...
 
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
TechEvent 2019: Kundenstory - Kein Angebot, kein Auftrag – Wie Du ein individ...
 
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
TechEvent 2019: Oracle Database Appliance M/L - Erfahrungen und Erfolgsmethod...
 
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - TrivadisTechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
TechEvent 2019: Security 101 für Web Entwickler; Roland Krüger - Trivadis
 
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
TechEvent 2019: Trivadis & Swisscom Partner Angebote; Konrad Häfeli, Markus O...
 
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
TechEvent 2019: DBaaS from Swisscom Cloud powered by Trivadis; Konrad Häfeli ...
 
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
TechEvent 2019: Status of the partnership Trivadis and EDB - Comparing Postgr...
 
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
TechEvent 2019: More Agile, More AI, More Cloud! Less Work?!; Oliver Dörr - T...
 
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
TechEvent 2019: Kundenstory - Vom Hauptmann zu Köpenick zum Polizisten 2020 -...
 
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
TechEvent 2019: Vom Rechenzentrum in die Oracle Cloud - Übertragungsmethoden;...
 
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - TrivadisTechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
TechEvent 2019: The sleeping Power of Data; Eberhard Lösch - Trivadis
 

Indexierungsstrategie im Data Warehouse - Zwischen Albtraum und optimaler Performance

  • 1. INDEXIERUNGS-STRATEGIE IM DATA WAREHOUSE ZWISCHEN ALBTRAUM UND OPTIMALER PERFORMANCE DOAG Konferenz 2011 Dani Schnider Trivadis AG Nürnberg, 15. November 2011 BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 1
  • 2. Dani Schnider  Principal Consultant und DWH/BI Lead Architect bei Trivadis in Zürich  Kursleiter für Trivadis-Kurse über Data Warehousing, SQL Optimierung und Oracle Warehouse Builder  Co-Autor des Buches «Data Warehousing mit Oracle» 2014 © Trivadis 2 Indexierungsstrategie im Data Warehouse 15. November 2011
  • 3. Mit über 600 IT- und Fachexperten bei Ihnen vor Ort 2014 © Trivadis 11 Trivadis Niederlassungen mit über 600 Mitarbeitenden 200 Service Level Agreements Mehr als 4'000 Trainingsteilnehmer Forschungs- und Entwicklungs-budget: CHF 5.0 / EUR 4 Mio. Finanziell unabhängig und nachhaltig profitabel Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden Stand 12/2012 Hamburg Düsseldorf Frankfurt Freiburg München Wien Basel Bern Zürich Lausanne 3 Stuttgart Indexierungsstrategie im Data Warehouse 15. November 2011 3
  • 4. Kurzvorstellung Trivadis Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem solution based Software- und Product-Engineering und der Erbringung von IT-Services mit Fokussierung auf und Technologien im D-A-CH-Raum. Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern: Durch unser Trainingsangebot stellen wir den Know-how-Transfer sicher. 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 4
  • 5. Wie soll ich mein Data Warehouse indexieren? 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 5
  • 6. Es gibt verschiedene Meinungen...  Ein DWH-System hat mehr Indizes als ein OLTP-System  Indizes machen die Abfragen schneller  Full Table Scans sind langsam  Ein Data Warehouse sollte keine Indizes haben  Indizes verlangsamen die ETL-Prozesse  Jede Tabelle muss einen Primary Key haben  Indizes sind für ein effizientes Laden der Daten notwendig  Eine OLTP-Tabelle hat 2-3 Indizes, eine DWH-Tabelle 5-6  Bitmap Indizes sind für Attribute mit wenigen Werten sinnvoll 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 6
  • 7. DWH ≠OLTP «It depends...» 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 7
  • 8. Data Warehouse Architektur  Wie sollen die verschiedenen Schichten im DWH indexiert werden? 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 8
  • 9. Staging Area / Cleansing Area 2014 © Trivadis Staging Area  Keine Indizes Cleansing Area  Primary Key / Unique Key Constraints für Datenvalidierung  Oracle erstellt automatisch einen Unique Index pro PK/UK  Eventuell Index erst nach dem Laden berechnen (DISABLE / ENABLE CONSTRAINT)  Keine weitere Indizes Indexierungsstrategie im Data Warehouse 15. November 2011 9
  • 10. Selektivität und Zugriffsmethode 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 10  Selektivität = Prozentualer Anteil der Datensätze aus einer Tabelle  Indexzugriffe sind effizient für selektive Abfragen (< 1-2% der Daten)  Gilt sowohl für B-Tree Index als auch Bitmap Index  Full Table Scans sind für nicht-selektive Abfragen effizienter  In Staging Area und Cleansing Area werden immer 100% der Daten gelesen
  • 11. 2014 © Trivadis Core  Zweck von Core  Datenintegration von verschiedenen Quellsystemen  Historisierung und Versionierung  Datenbasis für Data Marts  Indexierung abhängig von verschiedenen Faktoren  Logischem Datenmodell (dimensional / relational)  Physischem Design (z.B. Partitionierung)  Ladefrequenz der Data Marts Indexierungsstrategie im Data Warehouse 15. November 2011 11
  • 12. Indexierung von Core Dimensionales Core  Primary Key Constraints auf Dimensionstabellen  Oracle erstellt automatisch einen Unique Index pro PK/UK  Alternativer Ansatz: PK/UK disablen, um Index zu vermeiden  Keine Indizes auf Faktentabellen Relationales Core  Primary Key / Unique Key Constraints auf Stammdaten  Oracle erstellt automatisch einen Unique Index pro PK/UK  Alternativer Ansatz: PK/UK disablen, um Index zu vermeiden  Möglichst wenige oder keine Indizes auf Bewegungsdaten  Indexierung von Foreign Keys nicht notwendig 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 12
  • 13. Zeitliche Extraktion aus Core Core dient als Basis zum Laden der Data Marts Initiales Laden von Data Marts  Keine Datumeinschränkung  Eventuell Filter auf aktuelle Version der Stammdaten  Bitmap Index auf VALID_TO Inkrementelles Laden der Data Marts  Filter auf Gültigkeitsintervall der Stammdaten/Dimensionen  Bitmap Index auf VALID_FROM  Filter auf Ereignisdatum der Bewegungsdaten/Fakten  Bitmap Index auf Ereignisdatum 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 13
  • 14. Zeitliche Extraktion aus Core: Beispiel  Core enthält Daten der letzten 3 Jahre  Data Mart wird monatlich geladen  Selektivität = 1/12/3 ≈ 2.8%  Full Table Scan  Data Mart wird täglich geladen  Selektivität = 1/365/3 ≈ 0.09%  Index Scan  Besserer Ansatz: Core-Tabelle partitioniert pro Monat  Selektivitätmonatlich = 1 = 100%  Full Partition Scan  Selektivitättäglich= 1/31 ≈ 3.2%  Full Partition Scan 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 14
  • 15. Benutzerzugriff auf Core  Endbenutzer haben keinen Lesezugriff auf Core  Ausnahme: „Virtueller Data Mart“ Virtueller Data Mart  View Layer für Benutzerzugriff auf 2014 © Trivadis Core  Zusätzliche Bitmap Indizes auf Filterkriterien notwendig Indexierungsstrategie im Data Warehouse 15. November 2011 15
  • 16. B-Tree Index oder Bitmap Index? 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 16
  • 17. B-Tree Index oder Bitmap Index?  Platzbedarf von Bitmap Index ist meistens kleiner  Auch für Attribute mit vielen verschiedenen Werten 350 300 250 200 150 100 50 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 17 0 10 100 1000 10000 100000 Bitmap (scattered) Bitmap (sorted) B-tree index
  • 18. In Data Warehouse generell Bitmap Indizes verwenden  B-Tree Indizes werden nur für Primary / Unique Keys verwendet 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 18
  • 19. Data Marts Dimensionstabellen  Primary Key (Unique Index)  Bitmap Indizes auf zusätzlichen Filter-Spalten (optional) Faktentabellen  Bitmap Indizes auf Dimensionsattributen (Foreign Keys)  Bitmap Join Indizes auf oft verwendete Filter-Spalten (optional)  Typischerweise kein Primary Key 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 19
  • 20. Abfrageoptimierung auf Star Schemas  Typische Abfragen:  Filterkriterien auf (mehreren) Dimensionstabellen  Fakten werden durch Join mit Dimensionen selektiert 2014 © Trivadis  Problem:  Tabellen mit Restriktionen sollten zuerst gelesen werden  Es können jeweils nur zwei Tabellen gejoined werden  Keine Beziehungen zwischen Dimensionstabellen Indexierungsstrategie im Data Warehouse 15. November 2011 20 1 2 3 3 2 1
  • 21. Star Transformation 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 21
  • 22. Bitmap Join Index  Bitmap Index definiert auf Faktentabelle  Indexiertes Attribut gehört zu Dimensionstabelle  Möglich für Star Schemas und Snowflake Schemas 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 22
  • 23. 2014 © Trivadis Fazit  Staging Area, Cleansing Area, Core: Weniger ist mehr!  Data Marts: Einheitliche Indexierungsstrategie  Generell Bitmap Indexes verwenden, B-Tree Indexes nur für Primary/Unique Keys  Es gibt immer begründbare Ausnahmen Indexierungsstrategie im Data Warehouse 15. November 2011 23
  • 24. Vielen Dank. Trivadis AG Dani Schnider Europa-Strasse 5 CH-8152 Glattbrugg/Zürich Schweiz Tel. +41 44 808 70 20 Fax +41 44 808 70 21 info@trivadis.com www.trivadis.com BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 2014 © Trivadis Indexierungsstrategie im Data Warehouse 15. November 2011 24