SlideShare ist ein Scribd-Unternehmen logo
SAP HANA, Power Pivot,
SQL Server –
In-Memory-Technologien
im Vergleich
Marcel Franke
Über mich – Marcel Franke
• Practice Lead Advanced Analytics & Data Science
• pmOne AG – Deutschland, Österreich, Schweiz
• P-TSP für Microsoft für das Thema Big Data
• Schwerpunkt: Data Warehouse, Big Data & Data Analytics
• Blog: www.nexxtjump.com
• E-Mail: marcel.franke@pmone.com
Unsere 3 Geschäftsbereiche
Reporting &
Information Design
Corporate Performance
Management
Data Warehousing &
Data Analytics
 Self-Service Analytics
 Big Data
 Predictive Analytics
 OLAP
 Data Warehousing
 EIM/MDM
 SQL Server / PDW
 SharePoint / Office
 Hadoop / HDInsight
 cMORE Modelling
SchwerpunkteTechnologien
 Self-Service Reporting
 Reporting Design
 Zentrale Notation
 Prof. Hichert
 Mobile BI
 Eye-Tracking
 cMORE Reporting
 SharePoint / Office
 XLCubed
 SQL Server
 Planung, Budgetierung
 Forecasting
 Konsolidierung
 Cash Flow Mgmt
 Risikomanagement
 Basel III, Solvency II
 Tagetik
 SharePoint / Office
 SQL Server
Agenda
• Was passiert am Markt?
• Warum ist In-Memory so hip?
• In-Memory bei Microsoft, inkl. Demo
• In-Memory bei SAP HAN, inkl. Demo
• Zusammenfassung
Was passiert am Markt?
Alle haben In-Memory-Technologien
In-Memory ist aber nichts Neues
SAP HANA
OLAP-Technologien
Ranking der Hersteller
BI & Analytics Plattformen Data Warehouse
Aber warum ist In-Memory so hip?
Hintergrund
Quelle: Ray Kurzweil
Preisentwicklung Speicher
12
Preis pro MB
• 1957: $411,041,792
• 1989: $500
• 2014: $0.0085
Bret Swanson (president of Entropy Economics LLC)
Das sehen wir auch in der Cloud
Aber was passiert im Bereich Storage?
• Entwicklung von Speichermedien hinkt den
anderen Entwicklungen um etwa 10 Jahre
hinterher
• Immer noch Festplatten-Technologien
• SSD ist immer noch nicht so weit verbreitet
und recht teuer
• Wir können im heutigen Zeitalter aber
nicht alle Daten In-Memory speichern
In-Memory zur Reduzierung
des I/O Bottlenecks
Warum In-Memory-Datenbanken?
Steigende Daten
Volumina
Calculation Speed
Art und Anzahl der
Daten Quellen
Geringe Transparenz
Information nur auf hoher Aggregation
verfügbar. Planungen und Analysen
basieren oft auf veralteten Daten
(Latenz: Tage, Wochen)
Reaktives Business Model
Verlorene Opportunities und Nachteile
aufgrund mangelnder Agilität und
Geschwindigkeit
Geringe Reaktionsgeschwindigkeit
Durch hohe Daten Latenz und
Deployment Komplexität
Derzeitige Situation
Informations- Latenz
Warum In-Memory Computing?
TeraBytes an Daten In-
Memory
Skalierbarer Daten
Througput Real-Time
Hoch-Flexible
Strukturen
Business Performance verbessern
 Lösungen können schnell und
iterativ deployed werden
 Planung und Simulation „on the fly“
auf nicht-aggregierten Daten
Grundlage für Advanced und
Predictive Analytics
Flexibilität steigern
 Iterative Entwicklungszyklen
werden ermöglicht
 Evolutionäre Vorgehensmodelle
werden ermöglicht
Zukünftige Situation
Hintergrund – „Flaschenhälse verhindern“
Datenbank
Applikation
Calculation
Calculation
Zukünftiger
Ansatz
Klassischer
Ansatz
Move data to compute or compute to
data?
move data to compute
Datenbanken
OLAP
compute to data
Daten
ROLAP/
Direct Query
In-Memory bei
Microsoft
In-Memory bei Microsoft
xVelocity
Personal
BI
Team BI Corporate BI
Power Pivot
O365 Power
BI
Excel SQL Server 2014
Memory Optimized
Tables
Wie funktionieren Memory
Optimized Tables?
MOT - was ist das eigentlich?
MOT (alias Hekaton) is a High performance,
memory-optimized OLTP engine integrated
into SQL Server and architected for modern
hardware trends.
http://de.wikipedia.org/wiki/Hundert
Architektur
Anlegen einer Tabelle
Quelle: David DeWitt
Wie verwendet man es?
Via standard ad-hoc T-SQL
Abfragen
(genannt “interop”) –
Bis zu 3X perf. boost
Nativ kompilierte
T-SQL Stored Procedures –
5X bis 30X perf. boost
(Nachteil: ein paar
Einschränkungen in V1)
Quelle: David DeWitt
Wie funktioniert der Clustered
Columnstore?
Zeilen werden zu Spalten
Product Customer Date Sale
Beer Thomas 2011-11-25 2 GBP
Beer Thomas 2011-11-25 2 GBP
Vodka Thomas 2011-11-25 10 GBP
Whiskey Marcel 2011-11-25 5 GBP
Whiskey Marcel 2011-11-25 5 GBP
Vodka Alexei 2011-11-25 10 GBP
Vodka Alexei 2011-11-25 10 GBP
Sales
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
ID Customer
1 Thomas
2 Thomas
3 Thomas
4 Marcel
5 Marcel
6 Alexei
7 Alexei
Product Customer
Und so weiter…
bis…
Und wir bekommen…
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
ID Customer
1 Thomas
2 Thomas
3 Thomas
4 Marcel
5 Marcel
6 Alexei
7 Alexei
Product Customer
ID Date
1 2011-11-25
2 2011-11-25
3 2011-11-25
4 2011-11-25
5 2011-11-25
6 2011-11-25
7 2011-11-25
Date
ID Sale
1 2 GBP
2 2 GBP
3 10 GBP
4 5 GBP
5 5 GBP
6 10 GBP
7 10 GBP
Sale
Und was jetzt?
ID Value
1 Beer
2 Beer
3 Vodka
4 Whiskey
5 Whiskey
6 Vodka
7 Vodka
Product
Run length
Encode
Product’
ID Value
1-2 Beer
3 Vodka
4-5 Whiskey
6-7 Vodka
Daten komprimieren
ID Value
1-2 Beer
3 Vodka
4-5 Whiskey
6-7 Vodka
ID Customer
1-3 Thomas
4-5 Christian
6-7 Alexei
Product’ Customer’
ID Date
1-7 2011-11-25
Date’
ID Sale
1-2 2 GBP
3 10 GBP
4-5 5 GBP
6-7 10 GBP
Sale’
Anlegen eines Columnstores
Erst Rowstore Tabelle anlegen
Tabelle in Columnstore
konvertieren
Was kann man damit erreichen?
Demo
Time
Aktuelle Kundenumgebung
• Datenbankserver mit 16 Cores und 128 GB RAM
• Cube auf separatem Server mit Fusion-IO-Karte
Ethernet
Datenkompression
CI bietet 5-7x bessere Kompression der Daten als SQL 2012 EE
*Daten im PDW sind immer komprimiert
Relationale Abfrageperformance
• Test Case: „Read Product Dimension.sql“
Read Resource Group hh:mm:ss Improvement Comment
Kunden Base line Default 01:40:00 100%
from HEAP default 00:27:24 365% *
from CSI MediumRC 00:16:59 589% *
from CSI LargeRC 00:13:05 764% *
from CSI XlargeRC 00:12:55 774% Best Value
*Keine Indizes, keine Partitionen, keine Optimierungen
CI ist 8x schneller für relationale Abfragen
Was verwenden wir wann?
Memory optimized Tables
• Optimiert für OLTP Workloads
• Gut für kleine und viele
Transaktionen
• Nicht gut bei großen Scans
• Keine Kompression
• Keine Indexstrukturen
• Schneller Zwischenspeicher
Clustered Columnstore
• Data Warehouse Queries
• Selektion einzelner Spalten
• Gute Kompression der Daten
Wie kompatibel ist In-Memory?
xVelocity
Power PivotSQL Server 2014
Laden der Daten nach Power Pivot
• Test: 20 Mio. Zeilen große Tabelle
• Daten werden unterschiedlich im SQL
Server gehalten (CI, CCI, MOT)
• Ergebnis
• CI: 2m 47s
• CCI: 2m 46s
• MOT: 4m 20s
Fazit: In-Memory ist nicht kompatibel
Vergleich der Kompression
Kompression
Vergleich zwischen Herstellern
In-Memory in SAP HANA
In-Memory in SAP
SAP HANA
Personal BI Team BI Corporate BI
HANA
Information
Composer
SAP BO Lumira
Excel
SAP BW
Workspace
SAP BO
LiveOffice
HANA
Studio
SAP HANA Ecosystem
SAP HANA Platform
SAP HANA Architektur
In-Memory in HANA
• Reine In-Memory Datenbank
• OLTP + OLAP in der gleichen Datenbank
• Derzeit: 80 Cores, 1 TB RAM in einem Server
-> 5-6 TB Data Warehouse
• Multitenancy
• Hauptspeicher kann pro Instanz verteilt werden
• Scale-out soll auch möglich sein
• Workload Management: Auf der Roadmap 
Demo SAP HANA
Zusammenfassung
Zusammenfassung
• SAP HANA ist eine reine In-Memory Datenbank
• Bei SQL Server haben wir die Wahl und können es kombinieren
• Die Kostenaspekte darf man nicht vernachlässigen
• Eigene In-Memory Tools für Self-Service BI (Power BI & Lumira)
• In-Memory ist nicht überall gleich implementiert, man muss
stark auf den Anwendungsfall achten (OLTP vs. DWH)
• Performance und Kompression werden oft vermischt
Zusammenfassung: Microsoft und SAP
• Beide Hersteller bieten hoch-performante in-Memory Technologien an
• Beide Hersteller bieten In-Memory Technologien für OLAP & OLTP Workloads an.
BI Users
Data
Discovery
Data Storage
& Operations
Zentraler
MetaDaten-
Layer
Engine läuft
auf Server
und Clients
Eine oder
mehrere
zentrale
HANA-
Instanzen
Zentralistische
Architektur
Verteilte
Architektur
Fragen & Antworten
In Memory-Technologien im Vergleich - SQL Server Konferenz 2015

Weitere ähnliche Inhalte

Was ist angesagt?

Caching: In-Memory Column Store oder im BI Server
Caching: In-Memory Column Store oder im BI ServerCaching: In-Memory Column Store oder im BI Server
Caching: In-Memory Column Store oder im BI ServerAndreas Buckenhofer
 
CDC und Data Vault für den Aufbau eines DWH in der Automobilindustrie
CDC und Data Vault für den Aufbau eines DWH in der AutomobilindustrieCDC und Data Vault für den Aufbau eines DWH in der Automobilindustrie
CDC und Data Vault für den Aufbau eines DWH in der AutomobilindustrieAndreas Buckenhofer
 
Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)Andreas Buckenhofer
 
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...Wiiisdom
 
Webinar: Reporting mit SAP S4/HANA
Webinar: Reporting mit SAP S4/HANAWebinar: Reporting mit SAP S4/HANA
Webinar: Reporting mit SAP S4/HANACONOGY GmbH
 
Anwendungen mit SAP HANA
Anwendungen mit SAP HANAAnwendungen mit SAP HANA
Anwendungen mit SAP HANADetlev Sandel
 
Geänderte Anforderungen an eine Data-Warehouse-Landschaft
Geänderte Anforderungen an eine Data-Warehouse-LandschaftGeänderte Anforderungen an eine Data-Warehouse-Landschaft
Geänderte Anforderungen an eine Data-Warehouse-LandschaftISR Information Products AG
 
Webinar - ABAP CDS Views
Webinar - ABAP CDS ViewsWebinar - ABAP CDS Views
Webinar - ABAP CDS ViewsCadaxo GmbH
 
Process Partner Fokustag 2017: 04_Erste Projekt- und Einführungserfahrungen m...
Process Partner Fokustag 2017: 04_Erste Projekt- und Einführungserfahrungen m...Process Partner Fokustag 2017: 04_Erste Projekt- und Einführungserfahrungen m...
Process Partner Fokustag 2017: 04_Erste Projekt- und Einführungserfahrungen m...Natasha Senn
 
Webinarunterlagen: Predictive Maintenance mit Automated Analytics
Webinarunterlagen: Predictive Maintenance mit Automated AnalyticsWebinarunterlagen: Predictive Maintenance mit Automated Analytics
Webinarunterlagen: Predictive Maintenance mit Automated AnalyticsCONOGY GmbH
 
Webinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen Extraktion
Webinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen ExtraktionWebinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen Extraktion
Webinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen ExtraktionCONOGY GmbH
 
Webinar - SAP Gateway
Webinar  - SAP GatewayWebinar  - SAP Gateway
Webinar - SAP GatewayCadaxo GmbH
 
Data Warehouse (DWH) with MySQL
Data Warehouse (DWH) with MySQLData Warehouse (DWH) with MySQL
Data Warehouse (DWH) with MySQLFromDual GmbH
 

Was ist angesagt? (20)

Caching: In-Memory Column Store oder im BI Server
Caching: In-Memory Column Store oder im BI ServerCaching: In-Memory Column Store oder im BI Server
Caching: In-Memory Column Store oder im BI Server
 
Lambdaarchitektur für BigData
Lambdaarchitektur für BigDataLambdaarchitektur für BigData
Lambdaarchitektur für BigData
 
CDC und Data Vault für den Aufbau eines DWH in der Automobilindustrie
CDC und Data Vault für den Aufbau eines DWH in der AutomobilindustrieCDC und Data Vault für den Aufbau eines DWH in der Automobilindustrie
CDC und Data Vault für den Aufbau eines DWH in der Automobilindustrie
 
Warum sap hana sql data warehousing
Warum sap hana sql data warehousingWarum sap hana sql data warehousing
Warum sap hana sql data warehousing
 
Agile Data Warehousing mit SAP BW/4HANA
Agile Data Warehousing mit SAP BW/4HANAAgile Data Warehousing mit SAP BW/4HANA
Agile Data Warehousing mit SAP BW/4HANA
 
Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)
 
Moderne & flexible Architektur mit BW/4HANA
Moderne & flexible Architektur mit BW/4HANAModerne & flexible Architektur mit BW/4HANA
Moderne & flexible Architektur mit BW/4HANA
 
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
Den Usern mehr bieten: Business Objects Tools als Teil der Business Analytics...
 
Webinar: Reporting mit SAP S4/HANA
Webinar: Reporting mit SAP S4/HANAWebinar: Reporting mit SAP S4/HANA
Webinar: Reporting mit SAP S4/HANA
 
Anwendungen mit SAP HANA
Anwendungen mit SAP HANAAnwendungen mit SAP HANA
Anwendungen mit SAP HANA
 
Geänderte Anforderungen an eine Data-Warehouse-Landschaft
Geänderte Anforderungen an eine Data-Warehouse-LandschaftGeänderte Anforderungen an eine Data-Warehouse-Landschaft
Geänderte Anforderungen an eine Data-Warehouse-Landschaft
 
SAP BW/4HANA - Ein Überblick
SAP BW/4HANA - Ein ÜberblickSAP BW/4HANA - Ein Überblick
SAP BW/4HANA - Ein Überblick
 
Webinar - ABAP CDS Views
Webinar - ABAP CDS ViewsWebinar - ABAP CDS Views
Webinar - ABAP CDS Views
 
Process Partner Fokustag 2017: 04_Erste Projekt- und Einführungserfahrungen m...
Process Partner Fokustag 2017: 04_Erste Projekt- und Einführungserfahrungen m...Process Partner Fokustag 2017: 04_Erste Projekt- und Einführungserfahrungen m...
Process Partner Fokustag 2017: 04_Erste Projekt- und Einführungserfahrungen m...
 
SAP BW im Umbruch
SAP BW im UmbruchSAP BW im Umbruch
SAP BW im Umbruch
 
Webinarunterlagen: Predictive Maintenance mit Automated Analytics
Webinarunterlagen: Predictive Maintenance mit Automated AnalyticsWebinarunterlagen: Predictive Maintenance mit Automated Analytics
Webinarunterlagen: Predictive Maintenance mit Automated Analytics
 
Data Warehousing mit SAP BW/4HANA
Data Warehousing mit SAP BW/4HANAData Warehousing mit SAP BW/4HANA
Data Warehousing mit SAP BW/4HANA
 
Webinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen Extraktion
Webinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen ExtraktionWebinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen Extraktion
Webinar: S/4HANA Extraktion: Änderungen im Vergleich zur klassischen Extraktion
 
Webinar - SAP Gateway
Webinar  - SAP GatewayWebinar  - SAP Gateway
Webinar - SAP Gateway
 
Data Warehouse (DWH) with MySQL
Data Warehouse (DWH) with MySQLData Warehouse (DWH) with MySQL
Data Warehouse (DWH) with MySQL
 

Andere mochten auch

Create a Data Science Lab with Microsoft and Open Source tools
Create a Data Science Lab with Microsoft and Open Source toolsCreate a Data Science Lab with Microsoft and Open Source tools
Create a Data Science Lab with Microsoft and Open Source toolsMarcel Franke
 
SSAS Reference Architecture
SSAS Reference ArchitectureSSAS Reference Architecture
SSAS Reference ArchitectureMarcel Franke
 
04 Datenintegration und Verwaltung
04 Datenintegration und Verwaltung04 Datenintegration und Verwaltung
04 Datenintegration und Verwaltungklickandbau
 
Sql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSharepointUGDD
 
Business Intelligence Portfolio
Business Intelligence PortfolioBusiness Intelligence Portfolio
Business Intelligence Portfoliowinghung
 
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang RütterOracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang RütterOPITZ CONSULTING Deutschland
 
Standardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln
Standardisierung von ETL Prozessen und ausgelagerte GeschäftsregelnStandardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln
Standardisierung von ETL Prozessen und ausgelagerte Geschäftsregelnuwe geercken
 
Datenqualität mit den SQL Server Integration Services
Datenqualität mit den SQL Server Integration ServicesDatenqualität mit den SQL Server Integration Services
Datenqualität mit den SQL Server Integration Servicesdatenfabrik
 
Microsoft BI - SQL Server und SharePoint im Zusammenspiel - OPITZ CONSULTING ...
Microsoft BI - SQL Server und SharePoint im Zusammenspiel - OPITZ CONSULTING ...Microsoft BI - SQL Server und SharePoint im Zusammenspiel - OPITZ CONSULTING ...
Microsoft BI - SQL Server und SharePoint im Zusammenspiel - OPITZ CONSULTING ...OPITZ CONSULTING Deutschland
 
Silabo informatica
Silabo informaticaSilabo informatica
Silabo informaticaCarmen Godoy
 
Designing High Performance ETL for Data Warehouse
Designing High Performance ETL for Data WarehouseDesigning High Performance ETL for Data Warehouse
Designing High Performance ETL for Data WarehouseMarcel Franke
 
The Future of Learning: The Meme Vision
The Future of Learning: The Meme Vision The Future of Learning: The Meme Vision
The Future of Learning: The Meme Vision Jane Bozarth
 
BRAT PACK storyboard
BRAT PACK storyboardBRAT PACK storyboard
BRAT PACK storyboardmcdclaire
 
SSIS 2012: Parameters vs. Configurations
SSIS 2012: Parameters vs. ConfigurationsSSIS 2012: Parameters vs. Configurations
SSIS 2012: Parameters vs. ConfigurationsAllen Smith
 
1\9.SSIS 2008R2_Training - Introduction to SSIS
1\9.SSIS 2008R2_Training - Introduction to SSIS1\9.SSIS 2008R2_Training - Introduction to SSIS
1\9.SSIS 2008R2_Training - Introduction to SSISPramod Singla
 
Introduction of ssis
Introduction of ssisIntroduction of ssis
Introduction of ssisdeepakk073
 
In Memory Computing for Agile Business Intelligence
In Memory Computing for Agile Business IntelligenceIn Memory Computing for Agile Business Intelligence
In Memory Computing for Agile Business IntelligenceMarkus Alsleben, DBA
 

Andere mochten auch (19)

Create a Data Science Lab with Microsoft and Open Source tools
Create a Data Science Lab with Microsoft and Open Source toolsCreate a Data Science Lab with Microsoft and Open Source tools
Create a Data Science Lab with Microsoft and Open Source tools
 
in memory datenbanken
in memory datenbankenin memory datenbanken
in memory datenbanken
 
SSAS Reference Architecture
SSAS Reference ArchitectureSSAS Reference Architecture
SSAS Reference Architecture
 
04 Datenintegration und Verwaltung
04 Datenintegration und Verwaltung04 Datenintegration und Verwaltung
04 Datenintegration und Verwaltung
 
Sql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point Admins
 
Business Intelligence Portfolio
Business Intelligence PortfolioBusiness Intelligence Portfolio
Business Intelligence Portfolio
 
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang RütterOracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
 
Standardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln
Standardisierung von ETL Prozessen und ausgelagerte GeschäftsregelnStandardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln
Standardisierung von ETL Prozessen und ausgelagerte Geschäftsregeln
 
Datenqualität mit den SQL Server Integration Services
Datenqualität mit den SQL Server Integration ServicesDatenqualität mit den SQL Server Integration Services
Datenqualität mit den SQL Server Integration Services
 
Microsoft BI - SQL Server und SharePoint im Zusammenspiel - OPITZ CONSULTING ...
Microsoft BI - SQL Server und SharePoint im Zusammenspiel - OPITZ CONSULTING ...Microsoft BI - SQL Server und SharePoint im Zusammenspiel - OPITZ CONSULTING ...
Microsoft BI - SQL Server und SharePoint im Zusammenspiel - OPITZ CONSULTING ...
 
Silabo informatica
Silabo informaticaSilabo informatica
Silabo informatica
 
Designing High Performance ETL for Data Warehouse
Designing High Performance ETL for Data WarehouseDesigning High Performance ETL for Data Warehouse
Designing High Performance ETL for Data Warehouse
 
The Future of Learning: The Meme Vision
The Future of Learning: The Meme Vision The Future of Learning: The Meme Vision
The Future of Learning: The Meme Vision
 
BRAT PACK storyboard
BRAT PACK storyboardBRAT PACK storyboard
BRAT PACK storyboard
 
SSIS 2012: Parameters vs. Configurations
SSIS 2012: Parameters vs. ConfigurationsSSIS 2012: Parameters vs. Configurations
SSIS 2012: Parameters vs. Configurations
 
The Art of Storyboarding
The Art of StoryboardingThe Art of Storyboarding
The Art of Storyboarding
 
1\9.SSIS 2008R2_Training - Introduction to SSIS
1\9.SSIS 2008R2_Training - Introduction to SSIS1\9.SSIS 2008R2_Training - Introduction to SSIS
1\9.SSIS 2008R2_Training - Introduction to SSIS
 
Introduction of ssis
Introduction of ssisIntroduction of ssis
Introduction of ssis
 
In Memory Computing for Agile Business Intelligence
In Memory Computing for Agile Business IntelligenceIn Memory Computing for Agile Business Intelligence
In Memory Computing for Agile Business Intelligence
 

Ähnlich wie In Memory-Technologien im Vergleich - SQL Server Konferenz 2015

Data lake vs Data Warehouse: Hybrid Architectures
Data lake vs Data Warehouse: Hybrid ArchitecturesData lake vs Data Warehouse: Hybrid Architectures
Data lake vs Data Warehouse: Hybrid ArchitecturesComsysto Reply GmbH
 
Market Research Meets Business Intelligence
Market Research Meets Business IntelligenceMarket Research Meets Business Intelligence
Market Research Meets Business IntelligenceDataLion
 
Echtzeitanwendungen aus der Cloud - Partnervortrag vom AWS Summit
Echtzeitanwendungen aus der Cloud - Partnervortrag vom AWS SummitEchtzeitanwendungen aus der Cloud - Partnervortrag vom AWS Summit
Echtzeitanwendungen aus der Cloud - Partnervortrag vom AWS SummitAWS Germany
 
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013Michael Kirst-Neshva
 
Salesforce einführen und mit SAP integrieren
Salesforce einführen und mit SAP integrierenSalesforce einführen und mit SAP integrieren
Salesforce einführen und mit SAP integrierenKathrin Schmidt
 
Webinar - Boost your ABAP
Webinar - Boost your ABAPWebinar - Boost your ABAP
Webinar - Boost your ABAPCadaxo GmbH
 
Salesforce einführen und mit SAP integrieren. Schnell, zuverlässig und kosten...
Salesforce einführen und mit SAP integrieren. Schnell, zuverlässig und kosten...Salesforce einführen und mit SAP integrieren. Schnell, zuverlässig und kosten...
Salesforce einführen und mit SAP integrieren. Schnell, zuverlässig und kosten...Kathrin Schmidt
 
Webinar SAP/ABAP und Microsoft
Webinar  SAP/ABAP und MicrosoftWebinar  SAP/ABAP und Microsoft
Webinar SAP/ABAP und MicrosoftCadaxo GmbH
 
Data Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtData Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtIBsolution GmbH
 
Tochtergesellschaften in die Konzern ERP-Welt integrieren
Tochtergesellschaften in die Konzern ERP-Welt integrierenTochtergesellschaften in die Konzern ERP-Welt integrieren
Tochtergesellschaften in die Konzern ERP-Welt integrierenall4cloud GmbH & Co. KG
 
Oracle hadoop doag-big-data_09_2014_gpi
Oracle hadoop doag-big-data_09_2014_gpiOracle hadoop doag-big-data_09_2014_gpi
Oracle hadoop doag-big-data_09_2014_gpiGunther Pippèrr
 
SAP Cloud for Analytics Überblick
SAP Cloud for Analytics ÜberblickSAP Cloud for Analytics Überblick
SAP Cloud for Analytics ÜberblickMohamed Abdel Hadi
 
Azure SQL Database vs. Azure SQL Data Warehouse
Azure SQL Database vs. Azure SQL Data WarehouseAzure SQL Database vs. Azure SQL Data Warehouse
Azure SQL Database vs. Azure SQL Data WarehousepmOne Analytics GmbH
 
Cv wagener harald_20170830
Cv wagener harald_20170830Cv wagener harald_20170830
Cv wagener harald_20170830Harald Wagener
 
OpenDMA - Daten Management Solution
OpenDMA  - Daten Management SolutionOpenDMA  - Daten Management Solution
OpenDMA - Daten Management SolutionTorsten Glunde
 
SkyBoard Inc.: Transition to SAP ERP
SkyBoard Inc.: Transition to SAP ERPSkyBoard Inc.: Transition to SAP ERP
SkyBoard Inc.: Transition to SAP ERPF789GH
 
Echtzeitcomputing leicht gemacht
Echtzeitcomputing leicht gemachtEchtzeitcomputing leicht gemacht
Echtzeitcomputing leicht gemachtDetlev Sandel
 
Nefos Webinar: Salesforce einführen und mit SAP integrieren!
Nefos Webinar: Salesforce einführen und mit SAP integrieren! Nefos Webinar: Salesforce einführen und mit SAP integrieren!
Nefos Webinar: Salesforce einführen und mit SAP integrieren! Kathrin Schmidt
 
Big Data Discovery + Analytics = Datengetriebene Innovation!
Big Data Discovery + Analytics = Datengetriebene Innovation!Big Data Discovery + Analytics = Datengetriebene Innovation!
Big Data Discovery + Analytics = Datengetriebene Innovation!Harald Erb
 

Ähnlich wie In Memory-Technologien im Vergleich - SQL Server Konferenz 2015 (20)

Data lake vs Data Warehouse: Hybrid Architectures
Data lake vs Data Warehouse: Hybrid ArchitecturesData lake vs Data Warehouse: Hybrid Architectures
Data lake vs Data Warehouse: Hybrid Architectures
 
Market Research Meets Business Intelligence
Market Research Meets Business IntelligenceMarket Research Meets Business Intelligence
Market Research Meets Business Intelligence
 
Echtzeitanwendungen aus der Cloud - Partnervortrag vom AWS Summit
Echtzeitanwendungen aus der Cloud - Partnervortrag vom AWS SummitEchtzeitanwendungen aus der Cloud - Partnervortrag vom AWS Summit
Echtzeitanwendungen aus der Cloud - Partnervortrag vom AWS Summit
 
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
 
Salesforce einführen und mit SAP integrieren
Salesforce einführen und mit SAP integrierenSalesforce einführen und mit SAP integrieren
Salesforce einführen und mit SAP integrieren
 
Webinar - Boost your ABAP
Webinar - Boost your ABAPWebinar - Boost your ABAP
Webinar - Boost your ABAP
 
Salesforce einführen und mit SAP integrieren. Schnell, zuverlässig und kosten...
Salesforce einführen und mit SAP integrieren. Schnell, zuverlässig und kosten...Salesforce einführen und mit SAP integrieren. Schnell, zuverlässig und kosten...
Salesforce einführen und mit SAP integrieren. Schnell, zuverlässig und kosten...
 
Webinar SAP/ABAP und Microsoft
Webinar  SAP/ABAP und MicrosoftWebinar  SAP/ABAP und Microsoft
Webinar SAP/ABAP und Microsoft
 
Data Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtData Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedacht
 
Tochtergesellschaften in die Konzern ERP-Welt integrieren
Tochtergesellschaften in die Konzern ERP-Welt integrierenTochtergesellschaften in die Konzern ERP-Welt integrieren
Tochtergesellschaften in die Konzern ERP-Welt integrieren
 
Oracle hadoop doag-big-data_09_2014_gpi
Oracle hadoop doag-big-data_09_2014_gpiOracle hadoop doag-big-data_09_2014_gpi
Oracle hadoop doag-big-data_09_2014_gpi
 
SAP Cloud for Analytics Überblick
SAP Cloud for Analytics ÜberblickSAP Cloud for Analytics Überblick
SAP Cloud for Analytics Überblick
 
Azure SQL Database vs. Azure SQL Data Warehouse
Azure SQL Database vs. Azure SQL Data WarehouseAzure SQL Database vs. Azure SQL Data Warehouse
Azure SQL Database vs. Azure SQL Data Warehouse
 
Cv wagener harald_20170830
Cv wagener harald_20170830Cv wagener harald_20170830
Cv wagener harald_20170830
 
OpenDMA - Daten Management Solution
OpenDMA  - Daten Management SolutionOpenDMA  - Daten Management Solution
OpenDMA - Daten Management Solution
 
SkyBoard Inc.: Transition to SAP ERP
SkyBoard Inc.: Transition to SAP ERPSkyBoard Inc.: Transition to SAP ERP
SkyBoard Inc.: Transition to SAP ERP
 
Echtzeitcomputing leicht gemacht
Echtzeitcomputing leicht gemachtEchtzeitcomputing leicht gemacht
Echtzeitcomputing leicht gemacht
 
Nefos Webinar: Salesforce einführen und mit SAP integrieren!
Nefos Webinar: Salesforce einführen und mit SAP integrieren! Nefos Webinar: Salesforce einführen und mit SAP integrieren!
Nefos Webinar: Salesforce einführen und mit SAP integrieren!
 
Effimag präsentation05
Effimag präsentation05Effimag präsentation05
Effimag präsentation05
 
Big Data Discovery + Analytics = Datengetriebene Innovation!
Big Data Discovery + Analytics = Datengetriebene Innovation!Big Data Discovery + Analytics = Datengetriebene Innovation!
Big Data Discovery + Analytics = Datengetriebene Innovation!
 

In Memory-Technologien im Vergleich - SQL Server Konferenz 2015

  • 1. SAP HANA, Power Pivot, SQL Server – In-Memory-Technologien im Vergleich Marcel Franke
  • 2. Über mich – Marcel Franke • Practice Lead Advanced Analytics & Data Science • pmOne AG – Deutschland, Österreich, Schweiz • P-TSP für Microsoft für das Thema Big Data • Schwerpunkt: Data Warehouse, Big Data & Data Analytics • Blog: www.nexxtjump.com • E-Mail: marcel.franke@pmone.com
  • 3. Unsere 3 Geschäftsbereiche Reporting & Information Design Corporate Performance Management Data Warehousing & Data Analytics  Self-Service Analytics  Big Data  Predictive Analytics  OLAP  Data Warehousing  EIM/MDM  SQL Server / PDW  SharePoint / Office  Hadoop / HDInsight  cMORE Modelling SchwerpunkteTechnologien  Self-Service Reporting  Reporting Design  Zentrale Notation  Prof. Hichert  Mobile BI  Eye-Tracking  cMORE Reporting  SharePoint / Office  XLCubed  SQL Server  Planung, Budgetierung  Forecasting  Konsolidierung  Cash Flow Mgmt  Risikomanagement  Basel III, Solvency II  Tagetik  SharePoint / Office  SQL Server
  • 4. Agenda • Was passiert am Markt? • Warum ist In-Memory so hip? • In-Memory bei Microsoft, inkl. Demo • In-Memory bei SAP HAN, inkl. Demo • Zusammenfassung
  • 7. In-Memory ist aber nichts Neues SAP HANA OLAP-Technologien
  • 8. Ranking der Hersteller BI & Analytics Plattformen Data Warehouse
  • 9. Aber warum ist In-Memory so hip?
  • 12. Preisentwicklung Speicher 12 Preis pro MB • 1957: $411,041,792 • 1989: $500 • 2014: $0.0085
  • 13. Bret Swanson (president of Entropy Economics LLC)
  • 14. Das sehen wir auch in der Cloud
  • 15. Aber was passiert im Bereich Storage? • Entwicklung von Speichermedien hinkt den anderen Entwicklungen um etwa 10 Jahre hinterher • Immer noch Festplatten-Technologien • SSD ist immer noch nicht so weit verbreitet und recht teuer • Wir können im heutigen Zeitalter aber nicht alle Daten In-Memory speichern
  • 16. In-Memory zur Reduzierung des I/O Bottlenecks
  • 17. Warum In-Memory-Datenbanken? Steigende Daten Volumina Calculation Speed Art und Anzahl der Daten Quellen Geringe Transparenz Information nur auf hoher Aggregation verfügbar. Planungen und Analysen basieren oft auf veralteten Daten (Latenz: Tage, Wochen) Reaktives Business Model Verlorene Opportunities und Nachteile aufgrund mangelnder Agilität und Geschwindigkeit Geringe Reaktionsgeschwindigkeit Durch hohe Daten Latenz und Deployment Komplexität Derzeitige Situation Informations- Latenz
  • 18. Warum In-Memory Computing? TeraBytes an Daten In- Memory Skalierbarer Daten Througput Real-Time Hoch-Flexible Strukturen Business Performance verbessern  Lösungen können schnell und iterativ deployed werden  Planung und Simulation „on the fly“ auf nicht-aggregierten Daten Grundlage für Advanced und Predictive Analytics Flexibilität steigern  Iterative Entwicklungszyklen werden ermöglicht  Evolutionäre Vorgehensmodelle werden ermöglicht Zukünftige Situation
  • 19. Hintergrund – „Flaschenhälse verhindern“ Datenbank Applikation Calculation Calculation Zukünftiger Ansatz Klassischer Ansatz
  • 20. Move data to compute or compute to data? move data to compute Datenbanken OLAP compute to data Daten ROLAP/ Direct Query
  • 22. In-Memory bei Microsoft xVelocity Personal BI Team BI Corporate BI Power Pivot O365 Power BI Excel SQL Server 2014 Memory Optimized Tables
  • 24. MOT - was ist das eigentlich? MOT (alias Hekaton) is a High performance, memory-optimized OLTP engine integrated into SQL Server and architected for modern hardware trends. http://de.wikipedia.org/wiki/Hundert
  • 27. Wie verwendet man es? Via standard ad-hoc T-SQL Abfragen (genannt “interop”) – Bis zu 3X perf. boost Nativ kompilierte T-SQL Stored Procedures – 5X bis 30X perf. boost (Nachteil: ein paar Einschränkungen in V1) Quelle: David DeWitt
  • 28. Wie funktioniert der Clustered Columnstore?
  • 29. Zeilen werden zu Spalten Product Customer Date Sale Beer Thomas 2011-11-25 2 GBP Beer Thomas 2011-11-25 2 GBP Vodka Thomas 2011-11-25 10 GBP Whiskey Marcel 2011-11-25 5 GBP Whiskey Marcel 2011-11-25 5 GBP Vodka Alexei 2011-11-25 10 GBP Vodka Alexei 2011-11-25 10 GBP Sales ID Value 1 Beer 2 Beer 3 Vodka 4 Whiskey 5 Whiskey 6 Vodka 7 Vodka ID Customer 1 Thomas 2 Thomas 3 Thomas 4 Marcel 5 Marcel 6 Alexei 7 Alexei Product Customer Und so weiter… bis…
  • 30. Und wir bekommen… ID Value 1 Beer 2 Beer 3 Vodka 4 Whiskey 5 Whiskey 6 Vodka 7 Vodka ID Customer 1 Thomas 2 Thomas 3 Thomas 4 Marcel 5 Marcel 6 Alexei 7 Alexei Product Customer ID Date 1 2011-11-25 2 2011-11-25 3 2011-11-25 4 2011-11-25 5 2011-11-25 6 2011-11-25 7 2011-11-25 Date ID Sale 1 2 GBP 2 2 GBP 3 10 GBP 4 5 GBP 5 5 GBP 6 10 GBP 7 10 GBP Sale
  • 31. Und was jetzt? ID Value 1 Beer 2 Beer 3 Vodka 4 Whiskey 5 Whiskey 6 Vodka 7 Vodka Product Run length Encode Product’ ID Value 1-2 Beer 3 Vodka 4-5 Whiskey 6-7 Vodka
  • 32. Daten komprimieren ID Value 1-2 Beer 3 Vodka 4-5 Whiskey 6-7 Vodka ID Customer 1-3 Thomas 4-5 Christian 6-7 Alexei Product’ Customer’ ID Date 1-7 2011-11-25 Date’ ID Sale 1-2 2 GBP 3 10 GBP 4-5 5 GBP 6-7 10 GBP Sale’
  • 33. Anlegen eines Columnstores Erst Rowstore Tabelle anlegen Tabelle in Columnstore konvertieren
  • 34. Was kann man damit erreichen?
  • 36. Aktuelle Kundenumgebung • Datenbankserver mit 16 Cores und 128 GB RAM • Cube auf separatem Server mit Fusion-IO-Karte Ethernet
  • 37. Datenkompression CI bietet 5-7x bessere Kompression der Daten als SQL 2012 EE *Daten im PDW sind immer komprimiert
  • 38. Relationale Abfrageperformance • Test Case: „Read Product Dimension.sql“ Read Resource Group hh:mm:ss Improvement Comment Kunden Base line Default 01:40:00 100% from HEAP default 00:27:24 365% * from CSI MediumRC 00:16:59 589% * from CSI LargeRC 00:13:05 764% * from CSI XlargeRC 00:12:55 774% Best Value *Keine Indizes, keine Partitionen, keine Optimierungen CI ist 8x schneller für relationale Abfragen
  • 39. Was verwenden wir wann? Memory optimized Tables • Optimiert für OLTP Workloads • Gut für kleine und viele Transaktionen • Nicht gut bei großen Scans • Keine Kompression • Keine Indexstrukturen • Schneller Zwischenspeicher Clustered Columnstore • Data Warehouse Queries • Selektion einzelner Spalten • Gute Kompression der Daten
  • 40. Wie kompatibel ist In-Memory? xVelocity Power PivotSQL Server 2014
  • 41. Laden der Daten nach Power Pivot • Test: 20 Mio. Zeilen große Tabelle • Daten werden unterschiedlich im SQL Server gehalten (CI, CCI, MOT) • Ergebnis • CI: 2m 47s • CCI: 2m 46s • MOT: 4m 20s Fazit: In-Memory ist nicht kompatibel
  • 46. In-Memory in SAP SAP HANA Personal BI Team BI Corporate BI HANA Information Composer SAP BO Lumira Excel SAP BW Workspace SAP BO LiveOffice HANA Studio
  • 50. In-Memory in HANA • Reine In-Memory Datenbank • OLTP + OLAP in der gleichen Datenbank • Derzeit: 80 Cores, 1 TB RAM in einem Server -> 5-6 TB Data Warehouse • Multitenancy • Hauptspeicher kann pro Instanz verteilt werden • Scale-out soll auch möglich sein • Workload Management: Auf der Roadmap 
  • 53. Zusammenfassung • SAP HANA ist eine reine In-Memory Datenbank • Bei SQL Server haben wir die Wahl und können es kombinieren • Die Kostenaspekte darf man nicht vernachlässigen • Eigene In-Memory Tools für Self-Service BI (Power BI & Lumira) • In-Memory ist nicht überall gleich implementiert, man muss stark auf den Anwendungsfall achten (OLTP vs. DWH) • Performance und Kompression werden oft vermischt
  • 54. Zusammenfassung: Microsoft und SAP • Beide Hersteller bieten hoch-performante in-Memory Technologien an • Beide Hersteller bieten In-Memory Technologien für OLAP & OLTP Workloads an. BI Users Data Discovery Data Storage & Operations Zentraler MetaDaten- Layer Engine läuft auf Server und Clients Eine oder mehrere zentrale HANA- Instanzen Zentralistische Architektur Verteilte Architektur

Hinweis der Redaktion

  1. president of Entropy Economics LLC
  2. Business Probleme
  3. Hadoop reinstreuen MPP-Architekturen Immer mehr Realtime -> Flexibilität steigern als Übergang in das BI Thema
  4. Datenbankhersteller bringen z.B. R auch für Statistische Methoden z.B. SAP BW – alle Kalkulationen im Applikationslayer
  5. Hardware: Der Preis pro Performance sinkt nach wie vor Software: kein vorberechneten Kalkulationen
  6. Bei vielen Redundanzen und breiten Tabellen hilft CCI
  7. High Performance Analytic Appliance
  8. http://saphanatutorial.com/an-insight-into-sap-hana-architecture-3/
  9. (SAP HANA lizensiert nach Daten im Hauptspeicher, SQL Server wird nach Cores
  10. Înfo navigator stewardship portal Kann auf der cloud laufen, server, excel, sharepoint HANA: cloud derzeit start limitiert Datensatz existiert nur 1x, R/3 auf HANA eigene Instanz, BW auf Hana eigene Instanz, daher HANA erstmal nur als Datenbank auf den zweiten Schritt dann mal nur HANA 1 der knoten kann immer noch sehr groß sein, aber die inseln werden nicht ausgeschlossen http://informativeplatforms.blogspot.co.at/2011/04/on-networks-and-circulation-patterns.html Man kann nicht verhindern, dass informationen verteilt sind, aber wir können es zumindest finden