Hochgeladen vonMarcel Franke
Analytic powerhouse parallel data warehouse und r
Marcel Franke, Practice Lead für Advanced Analytics bei pmOne AG, diskutiert die Anwendung von Parallel Data Warehouse (PDW) und der Programmiersprache R für Datenanalysen im Energiesektor, einschließlich der Entwicklung wettbewerbsfähiger Tarifmodelle und der Nutzung massiver paralleler Infrastruktur. Er hebt die Vorteile von PDW hervor, wie z.B. schnelle Lade- und Abfrageleistungen sowie die Integration mit Front-End-Tools. Zudem werden die Herausforderungen und Möglichkeiten des Datenaustauschs zwischen R und SQL Server thematisiert, einschließlich Performance-Vergleichen und paralleler Verarbeitungsstrategien.
Analytic powerhouse parallel data warehouse und r
- 1. Analytic Powerhouse: Parallel Data Warehouseund R Marcel Franke
- 2. Über mich –Marcel Franke Practice Lead Advanced Analytics & Data Science pmOne AG – Deutschland, Österreich, Schweiz P-TSP für Microsoft, Schwerpunkt PDW & Big Data >10 Jahre Erfahrung mit großen Data Warehouse- und BI-Lösungen Blog: dwjunkie.wordpress.com E-Mail: marcel.franke@pmOne.com
- 3. Agenda Data Analytics beieinem Energieversorger Einsatzmöglichkeiten von PDW Umgang mit R und großen Datenmengen Projektergebnisse
- 4. Data Analytics beieinem Energieversorger
- 5. Projektschwerpunkte Modellierung wettbewerbsfähiger Tarifmodelle Navigationsanalysender Webportale Netz- und Last-Prognosen Andere Prognosen und Simulationsverfahren Skalierbare, massive parallele Big Data Infrastruktur
- 6. Dateien Data Analytics Architektur Quellsysteme WebServer-Logs Sensordaten Datenbanken MassiveParallel Processing Integration Services R in der Datenbank Analysis Services Reporting Services Excel Power BI Verarbeitung & Datenhaltung Frontends
- 7. Ein paar Wortezu R R ist eine Sprache und Umgebung für statistische Analysen http://www.R-project.org/ Gestartet 1994 als Alternative zu SAS, SPSS & und anderen statistischen Umgebungen R ist Open Source unter der GNU general public license Am meisten verbreitete Statistiksoftware, vor allem im universitärem Bereich & Forschung
- 8.
- 9.
- 10. Präsentiert die Waffen SQLServer 2012 Parallel Data Warehouse Half Rack HP DL 385 40 Cores 2 TB RAM Fusion-IO Card Infiniband Analytische ModelleRelationale Daten Daten Ergebnisse
- 11. Wer ist Revolution Analytics? Gegründet2007, Hautsitz Seattle Ziel: Evolution von R für High- Performance Bieten R pakete für schnellere Performance Enterprise & Community Produkte Stand-alone, Scale-out (HPC), Hadoop, In-Database
- 12. Vorteile einer PDWAppliance
- 13. Eine Typische DataWarehouse Lösung DB Datenmodell CPU Hauptspeicher Cache Festplatte
- 15. SQL Server PDWAppliance PlugandPlay Eingebaute BestPractices Zeitsparen Vorgefertigte Hardware + Software Appliance • Zusammen mit HP und Dell entwickelt • Vorgefertigte Hardware • Vorinstallierte Software
- 16. Ultra Shared NothingArchitektur Große Fakten- oder Dimensionstabellen werden über alle Knoten verteilt TD SD PD MD SF 01-08 Time Dim Date Dim ID Calendar Year Calendar Qtr Calendar Mo Calendar Day Store Dim Store Dim ID Store Name Store Mgr Store Size Product Dim Prod Dim ID Prod Category Prod Sub Cat Prod Desc Sales Facts Date Dim ID Store Dim ID Prod Dim ID Mktg Camp ID Qty Sold Dollars Sold Mktg Campaign Dim Mktg Camp ID Camp Name Camp Mgr Camp Start Camp End TD SD PD MD SF 09-16 TD SD PD MD SF 17-24 TD SD PD MD SF 25-32 TD SD PD MD SF 33-n
- 17. Kann nach Bedarfeinfach erweitert werden 0TB 7 PB Add Capacity Add Capacity Largest Warehouse PB StartSmall AndGrow NoDowntime
- 18.
- 19. And the winneris… Schnellste Ladeperformance Schnellste Query Performance Beste Frontend Integration Realtime Olap im Sekundenbereich Preissimulationsverfahren Web Analytics DataWarehouse-SzenarienAnalytics
- 20. Wie erfolgt dieDatenanalyse? • Ergebnis: 7.500 Kunden in 5 Minuten (ohne Datenvorbereitung) • Benchmark: 1 Minute • Revolution Analytics ODBC Treiber funktionieren nicht mit PDW • Lösung wurde als sehr aufwändig erachtet Datenvorbereitung Analytische Modelle R-ODBC: 10 MB/s Datentransfer Flat file export: 80 MB/s
- 21. Zusammenspiel von Rund SQL Server
- 22. Testlabor Laptop • 4 Cores,2,9 GHz • 16 GB RAM • SSD Karte SQL Server 2014, CTP2 • TPCH • 1 Mio. Zeilen, ~150 MB R (64 Bit), RStudio
- 23. Was schauen wiruns an? • Baseline Tests • Parallele Scans • Data Frame vs. List vs. Data Table
- 24.
- 25.
- 26. Lesen von Datenmit sqlQuery 1,7 MB/s
- 27. Paralleles Lesen derDaten mit sqlQuery
- 28. Lesen von Datenmit odbcQuery 1,9* MB/s • *Reines Lesen der Daten: 19 MB/s • *90% der Zeit wird benötigt für die Konvertierung in einen DataFrame
- 29.
- 30. Zusammenfassung • Datenaustausch zwischenR und SQL Server nicht sonderlich schnell ~20 MB/s • odbcQuery ist schneller als sqlQuery • Aufbauen des DataFrame bei großen Datenmengen dauert sehr lange • Parallelisierungsstrategien beim Lesen steigern die Performance • DataTable als Alternative zum DataFrame nutzen
- 31. Welche Trends sehenwir Markt?
- 32. Move data tocompute or compute to data? move data to compute Datenbanken OLAP compute to data Daten
- 33. • R inder Datenbank • R auf Hadoop • RHadoop • Revolution Analytics RHadoop Lösungen am Markt
- 34. Lösungen am Markt •Services & Cloud
- 35.
Hinweis der Redaktion
- #34 Kein stabiler Markt, viele Möglichkeiten