SAP HANA, Power Pivot, SQL Server –
In-Memory-Technologien im Vergleich
SQLSaturday Rheinland 201428.06.2014
Über mich – Marcel Franke
Practice Lead Advanced Analytics & Data Science
pmOne AG – Deutschland, Österreich, Schweiz
P-TSP für Microsoft für APS und PDW
Schwerpunkt: Data Warehouse, Big Data & Data Analytics
Blog: dwjunkie.wordpress.com
E-Mail: marcel.franke@pmOne.com
Organizer
SQLSaturday Rheinland 201428.06.2014
You Rock! Sponsor
SQLSaturday Rheinland 201428.06.2014
Gold Sponsor
SQLSaturday Rheinland 201428.06.2014
Silver Sponsor
SQLSaturday Rheinland 201428.06.2014
Bronze Sponsor and Media Partner
SQLSaturday Rheinland 201428.06.2014
Agenda
 Was passiert am Markt?
 Warum ist In-Memory so beliebt?
 In-Memory bei Microsoft
 In-Memory bei SAP
 Zusammenfassung und Vergleich
Was passiert am Markt?
28.06.2014 SQLSaturday Rheinland 2014
Alle haben In-Memory-Technologien
28.06.2014 SQLSaturday Rheinland 2014
In-Memory ist aber nichts Neues
28.06.2014 SQLSaturday Rheinland 2014
SAP HANA
OLAP-Technologien
Ranking der Hersteller
28.06.2014 SQLSaturday Rheinland 2014
BI & Analytics Plattformen Data Warehouse
ABER WARUM IST IN-MEMORY
SO HIP?
28.06.2014 SQLSaturday Rheinland 2014
Hintergrund
Quelle: Ray Kurzweil
Quelle: Ray Kurzweil
Preisentwicklung Speicher
23.07.2014 © BARC 2013
16
Hintergrund – „Flaschenhälse verhindern“
Datenbank
Applikation
Calculation
Calculation
Zukünftiger
Ansatz
Klassischer
Ansatz
Move data to compute or compute to data?
28.06.2014 SQLSaturday Rheinland 2014
move data to compute
Datenbanken
OLAP
compute to data
Daten
Technische Innovationen
Hardware Innovationen
64bit address space – 2TB in
current servers
Dramatic decline in RAM
price/performance
Multi-Core Architecture
Massive parallel (MPP) scaling with
many nodes
Row and Column Store
Compression
Partitioning
No pre-calculated
Aggregations
Real-Time Data Capture
Insert Only on Delta
Software Innovationen
Warum In-Memory-Datenbanken?
Steigende Daten
Volumina
Calculation Speed
Art und Anzahl der
Daten Quellen
Geringe Transparenz
Information nur auf hoher Aggregation
verfügbar. Planungen und Analysen basieren
oft auf veralteten Daten (Latenz: Tage,
Wochen)
Reaktives Business Model
Verlorene Opportunities und Nachteile aufgrund
mangelnder Agilität und Geschwindigkeit
Geringe Reaktionsgeschwindigkeit
Durch hohe Daten Latenz und Deployment
Komplexität
Derzeitige Situation
Informations-
Latenz
Warum In-Memory Computing?
TeraBytes an Daten
In-Memory
Skalierbarer Daten
Througput Real Time
Hoch-Flexible
Strukturen
Business Performance verbessern
 Lösungen können schnell und iterativ
deployed werden
 Planung und Simulation „on the fly“ auf
nicht-aggregierten Daten
Grundlage für Advanced und
Predictive Analytics
Flexibilität steigern
 Iterative Entwicklungszyklen werden
ermöglicht
 Evolutionäre Vorgehensmodelle werden
ermöglicht
Zukünftige Situation
IN-MEMORY BEI MICROSOFT
28.06.2014 SQLSaturday Rheinland 2014
In-Memory bei Microsoft
xVelocity
Personal
BI
Team BI Corporate BI
Power Pivot
O365 Power
BI
Excel SQL Server 2014
Memory Optimized
Tables
WIE FUNKTIONIEREN
MEMORY OPTIMIZED TABLES?
28.06.2014 SQLSaturday Rheinland 2014
Anlegen einer Tabelle
Architektur
28.06.2014 SQLSaturday Rheinland 2014
 adad
WIE FUNKTIONIERT DER
CLUSTERED COLUMNSTORE?
28.06.2014 SQLSaturday Rheinland 2014
Zeilen werden zu Spalten
Product Customer Date Sale
Beer Thomas 2011-11-25 2 GBP
Beer Thomas 2011-11-25 2 GBP
Vodka Thomas 2011-11-25 10 GBP
Whiskey Christian 2011-11-25 5 GBP
Whiskey Christian 2011-11-25 5 GBP
Vodka Alexei 2011-11-25 10 GBP
Vodka Alexei 2011-11-25 10 GBP
Sales
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
ID Customer
1 Thomas
2 Thomas
3 Thomas
4 Christian
5 Christian
6 Alexei
7 Alexei
Product Customer
Und so weiter…
bis…
Und wir bekommen…
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
ID Customer
1 Thomas
2 Thomas
3 Thomas
4 Christian
5 Christian
6 Alexei
7 Alexei
Product Customer
ID Date
1 2011-11-25
2 2011-11-25
3 2011-11-25
4 2011-11-25
5 2011-11-25
6 2011-11-25
7 2011-11-25
Date
ID Sale
1 2 GBP
2 2 GBP
3 10 GBP
4 5 GBP
5 5 GBP
6 10 GBP
7 10 GBP
Sale
Und was jetzt?
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
Product
Run length
Encode
Product’
ID Value
1-2 Beer
3 Vodka
4-5 Whiskey
6-7 Vodka
Daten komprimieren
ID Value
1-2 Beer
3 Vodka
4-5 Whiskey
6-7 Vodka
ID Customer
1-3 Thomas
4-5 Christian
6-7 Alexei
Product’ Customer’
ID Date
1-7 2011-11-25
Date’
ID Sale
1-2 2 GBP
3 10 GBP
4-5 5 GBP
6-7 10 GBP
Sale’
Was verwenden wir wann?
Memory optimized Tables
 Optimiert für OLTP workloads
 Gut für kleine und viele
Transaktionen
 Nicht gut bei großen Scans
 Keine Kompression
 Keine Indexstrukturen
 Schnelle Zwischenspeicher
Clustered Columnstore
 Data Warehouse Queries
 Selektion einzelner Spalten
 Gute Kompression der Daten
28.06.2014 SQLSaturday Rheinland 2014
Wie kompatibel ist In-Memory?
28.06.2014 SQLSaturday Rheinland 2014
xVelocity
Power PivotSQL Server 2014
Laden der Daten nach Power Pivot
 Test: 20 Mio. Zeilen große Tabelle
 Daten werden unterschiedlich im SQL
Server gehalten (CI, CCI, MOT)
 Ergebnis
 CI: 2m 47s
 CCI: 2m 46s
 MOT: 4m 20s
28.06.2014 SQLSaturday Rheinland 2014
Fazit: In-Memory ist nicht kompatibel
VERGLEICH DER KOMPRESSION
28.06.2014 SQLSaturday Rheinland 2014
Kompression
28.06.2014 SQLSaturday Rheinland 2014
Vergleich zwischen Herstellern
28.06.2014 SQLSaturday Rheinland 2014
IN-MEMORY IN SAP HANA
28.06.2014 SQLSaturday Rheinland 2014
In-Memory in SAP
SAP HANA
Personal BI Team BI Corporate BI
HANA
Information
Composer
SAP BO Lumira
Excel
SAP BW
Workspace
SAP BO
LiveOffice
HANA
Studio
SAP HANA Ecosystem
28.06.2014 SQLSaturday Rheinland 2014
SAP HANA Platform
28.06.2014 SQLSaturday Rheinland 2014
SAP HANA Architektur
28.06.2014 SQLSaturday Rheinland 2014
In-Memory in HANA
 Reine In-Memory Datenbank
 OLTP + OLAP in der gleichen Datenbank
 Derzeit: 80 Cores, 1 TB RAM in einem Server
-> 5-6 TB Data Warehouse
 Hauptspeicher kann pro Instanz verteilt
werden
 Workload Management: Auf der Roadmap 
28.06.2014 SQLSaturday Rheinland 2014
Demo SAP HANA
Zusammenfassung
28.06.2014 SQLSaturday Rheinland 2014
Zusammenfassung: Microsoft und SAP
• Beide Hersteller bieten hoch-performante in-Memory Technologien an
• Beide Hersteller bieten In-Memory Technologien für OLAP & OLTP Workloads an.
BI Users
Data
Discovery
Data Storage
& Operations
Zentraler
MetaDaten-
Layer
Engine läuft
auf Server
und Clients
Eine oder
mehrere
zentrale
HANA-
Instanzen
Zentralistische
Architektur
Verteilte
Architektur
Fragen & Antworten
Thank you!
for sponsorship
for volunteering
for participation
for a great
SQLSaturday #313
SQLSaturday Rheinland 201428.06.2014

SAP HANA, Power Pivot, SQL Server – In-memory-Technologien im Vergleich

  • 1.
    SAP HANA, PowerPivot, SQL Server – In-Memory-Technologien im Vergleich SQLSaturday Rheinland 201428.06.2014
  • 2.
    Über mich –Marcel Franke Practice Lead Advanced Analytics & Data Science pmOne AG – Deutschland, Österreich, Schweiz P-TSP für Microsoft für APS und PDW Schwerpunkt: Data Warehouse, Big Data & Data Analytics Blog: dwjunkie.wordpress.com E-Mail: marcel.franke@pmOne.com
  • 3.
  • 4.
    You Rock! Sponsor SQLSaturdayRheinland 201428.06.2014
  • 5.
  • 6.
  • 7.
    Bronze Sponsor andMedia Partner SQLSaturday Rheinland 201428.06.2014
  • 8.
    Agenda  Was passiertam Markt?  Warum ist In-Memory so beliebt?  In-Memory bei Microsoft  In-Memory bei SAP  Zusammenfassung und Vergleich
  • 9.
    Was passiert amMarkt? 28.06.2014 SQLSaturday Rheinland 2014
  • 10.
  • 11.
    In-Memory ist abernichts Neues 28.06.2014 SQLSaturday Rheinland 2014 SAP HANA OLAP-Technologien
  • 12.
    Ranking der Hersteller 28.06.2014SQLSaturday Rheinland 2014 BI & Analytics Plattformen Data Warehouse
  • 13.
    ABER WARUM ISTIN-MEMORY SO HIP? 28.06.2014 SQLSaturday Rheinland 2014
  • 14.
  • 15.
  • 16.
  • 17.
    Hintergrund – „Flaschenhälseverhindern“ Datenbank Applikation Calculation Calculation Zukünftiger Ansatz Klassischer Ansatz
  • 18.
    Move data tocompute or compute to data? 28.06.2014 SQLSaturday Rheinland 2014 move data to compute Datenbanken OLAP compute to data Daten
  • 19.
    Technische Innovationen Hardware Innovationen 64bitaddress space – 2TB in current servers Dramatic decline in RAM price/performance Multi-Core Architecture Massive parallel (MPP) scaling with many nodes Row and Column Store Compression Partitioning No pre-calculated Aggregations Real-Time Data Capture Insert Only on Delta Software Innovationen
  • 20.
    Warum In-Memory-Datenbanken? Steigende Daten Volumina CalculationSpeed Art und Anzahl der Daten Quellen Geringe Transparenz Information nur auf hoher Aggregation verfügbar. Planungen und Analysen basieren oft auf veralteten Daten (Latenz: Tage, Wochen) Reaktives Business Model Verlorene Opportunities und Nachteile aufgrund mangelnder Agilität und Geschwindigkeit Geringe Reaktionsgeschwindigkeit Durch hohe Daten Latenz und Deployment Komplexität Derzeitige Situation Informations- Latenz
  • 21.
    Warum In-Memory Computing? TeraBytesan Daten In-Memory Skalierbarer Daten Througput Real Time Hoch-Flexible Strukturen Business Performance verbessern  Lösungen können schnell und iterativ deployed werden  Planung und Simulation „on the fly“ auf nicht-aggregierten Daten Grundlage für Advanced und Predictive Analytics Flexibilität steigern  Iterative Entwicklungszyklen werden ermöglicht  Evolutionäre Vorgehensmodelle werden ermöglicht Zukünftige Situation
  • 22.
    IN-MEMORY BEI MICROSOFT 28.06.2014SQLSaturday Rheinland 2014
  • 23.
    In-Memory bei Microsoft xVelocity Personal BI TeamBI Corporate BI Power Pivot O365 Power BI Excel SQL Server 2014 Memory Optimized Tables
  • 24.
    WIE FUNKTIONIEREN MEMORY OPTIMIZEDTABLES? 28.06.2014 SQLSaturday Rheinland 2014
  • 25.
  • 26.
  • 27.
    WIE FUNKTIONIERT DER CLUSTEREDCOLUMNSTORE? 28.06.2014 SQLSaturday Rheinland 2014
  • 28.
    Zeilen werden zuSpalten Product Customer Date Sale Beer Thomas 2011-11-25 2 GBP Beer Thomas 2011-11-25 2 GBP Vodka Thomas 2011-11-25 10 GBP Whiskey Christian 2011-11-25 5 GBP Whiskey Christian 2011-11-25 5 GBP Vodka Alexei 2011-11-25 10 GBP Vodka Alexei 2011-11-25 10 GBP Sales ID Value 1 Beer 2 Beer 3 Vodka 4 Whiskey 5 Whiskey 6 Vodka 7 Vodka ID Customer 1 Thomas 2 Thomas 3 Thomas 4 Christian 5 Christian 6 Alexei 7 Alexei Product Customer Und so weiter… bis…
  • 29.
    Und wir bekommen… IDValue 1 Beer 2 Beer 3 Vodka 4 Whiskey 5 Whiskey 6 Vodka 7 Vodka ID Customer 1 Thomas 2 Thomas 3 Thomas 4 Christian 5 Christian 6 Alexei 7 Alexei Product Customer ID Date 1 2011-11-25 2 2011-11-25 3 2011-11-25 4 2011-11-25 5 2011-11-25 6 2011-11-25 7 2011-11-25 Date ID Sale 1 2 GBP 2 2 GBP 3 10 GBP 4 5 GBP 5 5 GBP 6 10 GBP 7 10 GBP Sale
  • 30.
    Und was jetzt? IDValue 1 Beer 2 Beer 3 Vodka 4 Whiskey 5 Whiskey 6 Vodka 7 Vodka Product Run length Encode Product’ ID Value 1-2 Beer 3 Vodka 4-5 Whiskey 6-7 Vodka
  • 31.
    Daten komprimieren ID Value 1-2Beer 3 Vodka 4-5 Whiskey 6-7 Vodka ID Customer 1-3 Thomas 4-5 Christian 6-7 Alexei Product’ Customer’ ID Date 1-7 2011-11-25 Date’ ID Sale 1-2 2 GBP 3 10 GBP 4-5 5 GBP 6-7 10 GBP Sale’
  • 33.
    Was verwenden wirwann? Memory optimized Tables  Optimiert für OLTP workloads  Gut für kleine und viele Transaktionen  Nicht gut bei großen Scans  Keine Kompression  Keine Indexstrukturen  Schnelle Zwischenspeicher Clustered Columnstore  Data Warehouse Queries  Selektion einzelner Spalten  Gute Kompression der Daten 28.06.2014 SQLSaturday Rheinland 2014
  • 34.
    Wie kompatibel istIn-Memory? 28.06.2014 SQLSaturday Rheinland 2014 xVelocity Power PivotSQL Server 2014
  • 35.
    Laden der Datennach Power Pivot  Test: 20 Mio. Zeilen große Tabelle  Daten werden unterschiedlich im SQL Server gehalten (CI, CCI, MOT)  Ergebnis  CI: 2m 47s  CCI: 2m 46s  MOT: 4m 20s 28.06.2014 SQLSaturday Rheinland 2014 Fazit: In-Memory ist nicht kompatibel
  • 36.
    VERGLEICH DER KOMPRESSION 28.06.2014SQLSaturday Rheinland 2014
  • 37.
  • 38.
  • 39.
    IN-MEMORY IN SAPHANA 28.06.2014 SQLSaturday Rheinland 2014
  • 40.
    In-Memory in SAP SAPHANA Personal BI Team BI Corporate BI HANA Information Composer SAP BO Lumira Excel SAP BW Workspace SAP BO LiveOffice HANA Studio
  • 41.
    SAP HANA Ecosystem 28.06.2014SQLSaturday Rheinland 2014
  • 42.
    SAP HANA Platform 28.06.2014SQLSaturday Rheinland 2014
  • 43.
    SAP HANA Architektur 28.06.2014SQLSaturday Rheinland 2014
  • 44.
    In-Memory in HANA Reine In-Memory Datenbank  OLTP + OLAP in der gleichen Datenbank  Derzeit: 80 Cores, 1 TB RAM in einem Server -> 5-6 TB Data Warehouse  Hauptspeicher kann pro Instanz verteilt werden  Workload Management: Auf der Roadmap  28.06.2014 SQLSaturday Rheinland 2014
  • 45.
  • 46.
  • 47.
    Zusammenfassung: Microsoft undSAP • Beide Hersteller bieten hoch-performante in-Memory Technologien an • Beide Hersteller bieten In-Memory Technologien für OLAP & OLTP Workloads an. BI Users Data Discovery Data Storage & Operations Zentraler MetaDaten- Layer Engine läuft auf Server und Clients Eine oder mehrere zentrale HANA- Instanzen Zentralistische Architektur Verteilte Architektur
  • 48.
  • 49.
    Thank you! for sponsorship forvolunteering for participation for a great SQLSaturday #313 SQLSaturday Rheinland 201428.06.2014

Hinweis der Redaktion

  • #18 Datenbankhersteller bringen z.B. R auch für Statistische Methoden z.B. SAP BW – alle Kalkulationen im Applikationslayer
  • #20 Hardware: Der Preis pro Performance sinkt nach wie vor Software: kein vorberechneten Kalkulationen
  • #21 Business Probleme
  • #22 Hadoop reinstreuen MPP-Architekturen Immer mehr Realtime -> Flexibilität steigern als Übergang in das BI Thema
  • #33 Auch für alle Office 365, ist die gleiche Engine
  • #48 Înfo navigator stewardship portal Kann auf der cloud laufen, server, excel, sharepoint HANA: cloud derzeit start limitiert Datensatz existiert nur 1x, R/3 auf HANA eigene Instanz, BW auf Hana eigene Instanz, daher HANA erstmal nur als Datenbank auf den zweiten Schritt dann mal nur HANA 1 der knoten kann immer noch sehr groß sein, aber die inseln werden nicht ausgeschlossen http://informativeplatforms.blogspot.co.at/2011/04/on-networks-and-circulation-patterns.html Man kann nicht verhindern, dass informationen verteilt sind, aber wir können es zumindest finden