SlideShare ist ein Scribd-Unternehmen logo
Azure SQL Database vs. Azure SQL Data Warehouse
Marcel Franke
Viktor Adler
Über mich – Viktor Adler
• Consultant, pmOne AG
• pmOne AG, Unterschleißheim
• Microsoft Specialist/Certified Professional
• Schwerpunkt: Data Warehouse, ETL
• E-Mail: viktor.adler@pmone.com
Über mich – Marcel Franke
• VP Technology & Growth, pmOne Analytics GmbH
• Fokus ist Data Science & Advanced Analytics
• Sehr enge Verbundenheit mit der Universität Paderborn
• Büros in Paderborn & Wien
• P-TSP für Microsoft für das Thema Big Data & Analytics
• Web: www.pmoneanalytics.com
• E-Mail: marcel.franke@pmone.com
pmOne Analytics
Lorem ipsum dolor sit amet, consectetur adipiscing 4
5
pmOne Group
Copyright by pmOne Analytics
Business Intelligence & Analytics Platform
Corporate Performance Management
BI & IT Strategy Consulting (verovis GmbH)
Advanced Analytics (pmOne Analytics GmbH)
pmOne Group divisions
Founded 2007, 210+ employees at 8 locations
Revenue 2014: ~28 Mio.€
Microsoft & Tagetik focus
Own Software stack: cMORE (Reporting & DWH
Modelling)
Representation of Tagetik in DACH
pmOne Group facts
Our approach
We love data See what
we see
Microsoft &
Hadoop
Understand
Your Business
Analytics
Platform
Data
Science
Data
Visualization
Strategy
Consulting
6Copyright by pmOne Analytics
Our team
7Copyright by pmOne Analytics
Our services
Customer / Product Analytics
8
Machine Analytics, IoT, Industry 4.0 Advanced Analytics Platform
Optimize Campaign
Management / Uplift Model
Marketing
Customer Lifetime Value
Sales
Recommender
Sales
Churn prevention
Sales
Clustering
Marketing
Faulty Part detection
Shop floor Digitalization
Predictive Maintenance
IoT Hub / Platform
Advanced Analytics Platform / Data
Science Laboratory
Customer Analytics Hub
Copyright by pmOne Analytics
Production
Production
Production
Analytical CRM
Optimize Process Quality /
Efficiency
Production
Condition Monitoring
Production
Our clients (selection)
9Copyright by pmOne Analytics
Agenda
• Einleitung
• Architektur & genereller Aufbau
• Tools & Entwicklungsumgebung
• Skalierbarkeit & Workloads
• Berechtigungen & Security
• Hochverfügbarkeit, Backup & Restore
• Kosten
• Zusammenfassung
Überblick
Visualize + Decide
MobileReports
Natural
language queryDashboardsApplications
Streaming
Capture + Manage
Relational
Internal &
externalNon-relational NoSQL
Transform + Analyze
Orchestration
Machine
learningModeling
Information
management
Complex event
processing
The Microsoft
data platform
Data
Comprehensive.
Connected.
Choice.
DW vision
& portfolio Microsoft
SQL Server
SQL Server 2014
SQL Server 2016
Fast Track for SQL Server
Analytics Platform System
Microsoft Analytics
Hortonworks HDP
Analytics Platform System
Relational Beyond relational
Microsoft Azure
SQLServerforDWinAzureVM
Azure SQL Database
Azure SQL Data Warehouse
Microsoft Azure
Azure HDInsight
Azure Data Lake
Document DB
Spark
On-PremisesCloud
Azure Data Factory
Federated Query
Azure Machine Learning
PowerBI
Software-as-a-Service (SaaS)
• Datenbank als Service
• Infrastruktur managed by Microsoft
• Up & Running in Minuten
• Multitenant für verschiedene Szenarien möglich
• Nahezu lineare Skalierbarkeit
• Weniger Verwaltungsaufwand notwendig
• “Garantierte” Performance
• Gerantierte SLAs
• Preis orientiert sich rein am Nutzungsverhalten
Scale up vs. Scale-Out (SMP vs. MPP)
Quelle: http://cbblog.azurewebsites.net/content/images/2015/06/KB_Scale_Out-Up.png
SQL Database - Architektur
SQL Database vs. SQL Server
SQL Server
• auf physischen Maschinen
• auf on-premise virtuellen Maschinen
(private cloud)
• auf Azure virtuellen Maschinen (public
cloud)
SQL Database (public cloud)
Was ist der Unterschied zum SQL Server auf virtuellen Maschinen?
SQL Server in einer Azure VM Azure SQL Datenbank
Geeignet für…
Kostenvorteile
Skalierbarkeit
Ressourcen
SQL Database Server
SQL Server als logische
Organisationseinheit
• enthält mehrere Azure SQL
Datenbanken
• regelt generellen Zugriff
über IPs
SQL Data Warehouse -
Architektur
Introducing Azure SQL DW Service
A relational data warehouse-as-a-service, fully managed by Microsoft.
Industries first elastic cloud data warehouse with proven SQL Server capabilities.
Support your smallest to your largest data storage needs.
AzureAzure
App Service
Intelligent App
Hadoop
Azure Machine
Learning
Power BI
Azure SQL
Database
SQ
L Azure SQLData
Warehouse
Power of Integration
Positioning
• Cloud-based
• Dev/test/exploratory (on-demand)
• Local to cloud-born data
• Supports hub & spoke approach
for PaaS and IaaS offerings
• Better than non-relational
platforms for interactive reporting
• Integrates with ADF, ML and other
Azure services
• License-free approach – designed as a
service offering rather than an investment
• Fast elastic scale up and down
• Hybrid upsell and integration supports
APS or on-premises investment
SQL DW
Trennung von Compute & Storage
Control
Compute Compute
Compute Compute
Azure Compute
Azure Blob Storage
Mirrored DC
Azure Blob Storage
SQL Data Warehouse vs. APS
• Pre-built HW appliance
• Massively Parallel Processing (MPP) to scale to 6 PBs
• In-memory columnstore for 100x speed improvement
• Dedicated region for Hadoop
• PolyBase enables joining relational & non-relational data
• Available from HP, Dell and Quanta
• AU3/AU4
MPP SQL Server
PolyBase
Hadoop
Analytics Platform System
Microsoft’s big data appliance
Datenmodellierung SQL DW
• Daten werden
automatisch verteilt
• Man muss sich über das
Design des Datenmodells
gedanken machen, nicht
über die physikalische
Verteilung
• Abfragen werden auch
automatisch verteilt
Aufpassen auf die Datenverteilung
Faustregel: mindest. 600 distinkte Werte für Hash Disribution,
sonst Round Robin
Demo
Time
Wie lade ich Daten?
SQL Azure DB
Data sources
Structured
Unstructured
Semi-structured
Relational
(RDBMS) SQL Azure
PaaS
SQL Server
Integration Services
Azure
Data Factory
BCP, Bulk Insert,
SQLBulkCopy
SQL
Azure SQL Data
Warehouse
SQL Data Warehouse
Data sources
Structured
Unstructured
Semi-structured
Relational
(RDBMS)
PaaSSQL Server
Integration Services
Azure Data Factory
Blob Store
BCP, Bulk Insert,
SQLBulkCopy
PolyBase
Polybase
• Integrierter Zugriff auf Hadoop oder Blob
Store via T-SQL
• Integration von Semistrukturierten Daten
• Interessant für Archivierungskonzepte
• Hochparalleler Zugriff zwischen SQL DW
& Hadoop / Blob Store / (Data Lake)
• Ermöglicht kombinierte Abfragen
Tools &
Entwicklungsumgebung
Admin & Monitoring Tools
• Azure Management Portal
• Performance Monitor
• Alerts
• SQL Server Management
Studio
• Gewohnte Oberfläche
• Mehrere Datenbanken verwalten
• System Views
• master.sys.resource_stats
• user_db.dm_db_resource_stats
Dev Tools
• Data Tools in Visual Studio
• REST
• Powershell
• T-SQL
• DAC Framework
• SSIS
• C#
• Ruby
• Python
• etc.
Execution Pläne für SQL DW
select * from
sys.dm_pdw_exec_requests
where status like 'Running'
select * from
sys.dm_pdw_request_steps
where request_id like
'QIDxxxx'
ORDER BY Step_index ASC
Reporting Tools / Power BI
• SQL Server Reportinf Services
• Power BI
• Excel
• 3rd Party
• ODBC Konnektoren
https://azure.microsoft.com/en-us/documentation/articles/sql-data-
warehouse-integrate-power-bi/
Analytics – Cortana Analytics Suite
SQL Database - Skalierbarkeit
DTU – Database Transaction Unit
CPU
Schreiben
Lesen
Speicher
75%
50%
60%
Auslastung
Einzeldatenbank
DTU vs. eDTU
Elastische Datenbankpools
SQL Data Warehouse -
Skalierbarkeit
SQL Data Warehouse - Skalierbarkeit
Rechenleistung / Memory skalierbar mittels DWU
• Scan/Aggregation für IP und CPU
• Laden für Netzwerkleistung und CPU
• Create Table as Select für CPU und Netzwerkleistung
Speicherskalierbarkeit basierend auf Azure Blob Speicher
• Blob Größe
• Blob Anzahl
Darf’s ein bisschen mehr sein?
• 100 DWU – 2000 DWU
• 3000 & 6000 DWUs über
Support möglich
--TSQL zum Anpassen der DWUs
ALTER DATABASE Demo MODIFY
(SERVICE_OBJECTIVE = 'DW2000');
DWU 100
• 1 Control Node
• 1 Compute Node
• 60 Distributions
DWU 200
• 1 Control Node
• 2 Compute Nodes
• 60 Distributions in Summe
• 30 Distributions / Node
Demo
Time
SQL Database
Berechtigungen & Security
SQL Database - Sicherheit
Schützen der
Datenbank Schützen der
Daten
Azure SQL
Database
APP
Schützen der
Daten-
änderungen
SQL Database - Berechtigungen
• Active Directory Integration
• Datenmaskierung in Echtzeit und dauerhaft
• Datenverschlüsselung für sensible Daten
• Monitoring der Zugriffe
SQL Datenbank
Table.CreditCardNo
4465-6571-7868-5796
5796
4468-7746-3848-1978
1978
4484-5434-6858-6550
6550
Echtzeit Datenmaskierung
Demo
Time
SQL Data Warehouse -
Berechtigungen & Security
Berechtigungen & Security
Connection Security
• IP-& Firewall-Regeln, VPN
Authentifizierung
• Aktuell SQL Authentifizierung, AD kommt
• Logins, Rollen & Berechtigungen
Verschlüsselung
• Verschlüsselung der Daten in der
Datenbank & Backups
• Verwendet Transparent Data Encryption
(TDE)
SQL Database -
Hochverfügbarkeit, Backup &
Restore
SQL Database - Backups
• Point-in-time Wiederherstellung
• Kein separater Service
• Wiederherstellung zu einem konkreten Zeitpunkt
• Automatische Datenaufbewahrung
• Modell Basic bis zu 7 Tage
• Modell Standard bis zu 14 Tage
• Modell Premium bis zu 35 Tage
• Regelmäßige interne Backups
• Wöchentliches Fullbackup
• Tägliches Differentialbackup
• Backup des Transaktionenlogs
jede 5 Minuten
SQL Database - Hochverfügbarkeit
• 99,99% Verfügbarkeit durch SLA
• Standard Geo-Replication mit einer Stand-by Kopie
• Aktive Geo-Replication mit bis zu 4 lesbaren Kopien
Geo-
replicated
Restore from
backup
SQL
Database
backups
Azure
Storage
SQL Data Warehouse -
Hochverfügbarkeit, Backup &
Restore
Backup & Restore
Backup
• Snapshots der Datenbank mindestens alle 8 Stunden
• Snapshots sind 7 Tage verfügbar
• Derzeit keine weitere Backup-Funktionalität möglich
Restore
• Restore aus Snapshots zu einem Zeitpunkt möglich
• Restore auch von gelöschten Datenbanken möglich
Automatismen
• Automatisierbar via Power Shell oder Rest API
SLAs derzeit noch nicht verfügbar (Preview)
Demo
Time
Azure SQL Database vs. Azure SQL Data Warehouse
SQL Database - Preise &
SLAs
SQL Database - Preise
• Basic, Standard & Premium
Modell
• Geo-Replication möglich
• Support Pläne ab 25€ / Monat
verfügbar
• Garantierte Verfügbarkeit von
99,99%
SQL Data Warehouse – Preise &
SLAs
SQL Data Warehouse - Preise
• Compute & Storage
werden separate bezahlt
• Compute kann man
pausieren
• Storage Kosten basieren
auf Standard RA-GRS
Page Blob Preise
• Zur Zeit noch kein SLA
Zusammenfassung
Zusammenfassung
• Microsoft mit SQL Database & SQL Data Warehouse zwei gute
Angebote für Datenbank als Service
• Up & Running innerhalb von Minuten
• Skalierbarkeit bis in den Bereich von TB bereits möglich
• SMP & MPP funktionieren ein bisschen anders
• Support für Data Tools und Management Studio wird weiter
ausgebaut
• Integration in andere Azure Services möglich (Data Factory, Power
BI, Azure ML)
• Preis-Leistungs-Verhältnis ist unschlagbar
Azure SQL Database vs. Azure SQL Data Warehouse

Weitere ähnliche Inhalte

Was ist angesagt?

QUIBIQ Webcast: SAP on Azure - Erfolgsfaktor Integration für SAP-/MS-Partner
QUIBIQ Webcast: SAP on Azure - Erfolgsfaktor Integration für SAP-/MS-PartnerQUIBIQ Webcast: SAP on Azure - Erfolgsfaktor Integration für SAP-/MS-Partner
QUIBIQ Webcast: SAP on Azure - Erfolgsfaktor Integration für SAP-/MS-Partner
QUIBIQ Hamburg
 
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 2
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 2MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 2
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 2
MongoDB
 
MongoDB-Skalierung auf echter Hardware vs. Amazon EC2
MongoDB-Skalierung auf echter Hardware vs. Amazon EC2MongoDB-Skalierung auf echter Hardware vs. Amazon EC2
MongoDB-Skalierung auf echter Hardware vs. Amazon EC2
Team Internet
 
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 1
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 1MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 1
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 1
MongoDB
 
Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2
Ulrike Schwinn
 
Überblick Oracle Datenbank 12c
Überblick Oracle Datenbank 12cÜberblick Oracle Datenbank 12c
Überblick Oracle Datenbank 12c
Ileana Somesan
 
Do´s and Dont´s mit Oracle RDS
Do´s and Dont´s mit Oracle RDS Do´s and Dont´s mit Oracle RDS
Do´s and Dont´s mit Oracle RDS
esentri AG
 
OOP 2014 SQL oder NoSQL - die Auswahl der richtigen Datenbankplattform für di...
OOP 2014 SQL oder NoSQL - die Auswahl der richtigen Datenbankplattform für di...OOP 2014 SQL oder NoSQL - die Auswahl der richtigen Datenbankplattform für di...
OOP 2014 SQL oder NoSQL - die Auswahl der richtigen Datenbankplattform für di...
AWS Germany
 
Frankfurter Datenbanktage - Konferenzprogramm 2013
Frankfurter Datenbanktage - Konferenzprogramm 2013Frankfurter Datenbanktage - Konferenzprogramm 2013
Frankfurter Datenbanktage - Konferenzprogramm 2013
Frankfurter Datenbanktage
 
Best Practices SharePoint and SQL Installation
Best Practices SharePoint and SQL InstallationBest Practices SharePoint and SQL Installation
Best Practices SharePoint and SQL Installation
Samuel Zürcher
 
Amazon Redshift
Amazon RedshiftAmazon Redshift
Amazon Redshift
AWS Germany
 
Data Vault DWH Automation
Data Vault DWH AutomationData Vault DWH Automation
Data Vault DWH Automation
Torsten Glunde
 
Dv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automationDv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automation
Torsten Glunde
 
Überblick Oracle Datenbank Hochverfügbarkeit
Überblick Oracle Datenbank HochverfügbarkeitÜberblick Oracle Datenbank Hochverfügbarkeit
Überblick Oracle Datenbank Hochverfügbarkeit
Ileana Somesan
 
Drupal 7 auf Amazon Web Services
Drupal 7 auf Amazon Web ServicesDrupal 7 auf Amazon Web Services
Drupal 7 auf Amazon Web Services
Sven Paulus
 
Sql best practices for SharePoint 2010
Sql best practices for SharePoint 2010Sql best practices for SharePoint 2010
Sql best practices for SharePoint 2010
Samuel Zürcher
 
Optimizing SQL Server 2012 Deep dive for SharePoint 2013 Lars Platzdasch SQL ...
Optimizing SQL Server 2012 Deep dive for SharePoint 2013 Lars Platzdasch SQL ...Optimizing SQL Server 2012 Deep dive for SharePoint 2013 Lars Platzdasch SQL ...
Optimizing SQL Server 2012 Deep dive for SharePoint 2013 Lars Platzdasch SQL ...
Lars Platzdasch
 
Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016
Digicomp Academy AG
 
Analytical Sandboxing: Data-Warehousing und Datenanalysen im Spannungsfeld zw...
Analytical Sandboxing: Data-Warehousing und Datenanalysen im Spannungsfeld zw...Analytical Sandboxing: Data-Warehousing und Datenanalysen im Spannungsfeld zw...
Analytical Sandboxing: Data-Warehousing und Datenanalysen im Spannungsfeld zw...
Business Intelligence Research
 

Was ist angesagt? (20)

QUIBIQ Webcast: SAP on Azure - Erfolgsfaktor Integration für SAP-/MS-Partner
QUIBIQ Webcast: SAP on Azure - Erfolgsfaktor Integration für SAP-/MS-PartnerQUIBIQ Webcast: SAP on Azure - Erfolgsfaktor Integration für SAP-/MS-Partner
QUIBIQ Webcast: SAP on Azure - Erfolgsfaktor Integration für SAP-/MS-Partner
 
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 2
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 2MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 2
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 2
 
MongoDB-Skalierung auf echter Hardware vs. Amazon EC2
MongoDB-Skalierung auf echter Hardware vs. Amazon EC2MongoDB-Skalierung auf echter Hardware vs. Amazon EC2
MongoDB-Skalierung auf echter Hardware vs. Amazon EC2
 
VDI-in-a-Box
VDI-in-a-BoxVDI-in-a-Box
VDI-in-a-Box
 
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 1
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 1MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 1
MongoDB Atlas – der beste Weg, MongoDB in der Cloud zu betreiben 1
 
Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2Überblick zu Oracle Database 12c Release 2
Überblick zu Oracle Database 12c Release 2
 
Überblick Oracle Datenbank 12c
Überblick Oracle Datenbank 12cÜberblick Oracle Datenbank 12c
Überblick Oracle Datenbank 12c
 
Do´s and Dont´s mit Oracle RDS
Do´s and Dont´s mit Oracle RDS Do´s and Dont´s mit Oracle RDS
Do´s and Dont´s mit Oracle RDS
 
OOP 2014 SQL oder NoSQL - die Auswahl der richtigen Datenbankplattform für di...
OOP 2014 SQL oder NoSQL - die Auswahl der richtigen Datenbankplattform für di...OOP 2014 SQL oder NoSQL - die Auswahl der richtigen Datenbankplattform für di...
OOP 2014 SQL oder NoSQL - die Auswahl der richtigen Datenbankplattform für di...
 
Frankfurter Datenbanktage - Konferenzprogramm 2013
Frankfurter Datenbanktage - Konferenzprogramm 2013Frankfurter Datenbanktage - Konferenzprogramm 2013
Frankfurter Datenbanktage - Konferenzprogramm 2013
 
Best Practices SharePoint and SQL Installation
Best Practices SharePoint and SQL InstallationBest Practices SharePoint and SQL Installation
Best Practices SharePoint and SQL Installation
 
Amazon Redshift
Amazon RedshiftAmazon Redshift
Amazon Redshift
 
Data Vault DWH Automation
Data Vault DWH AutomationData Vault DWH Automation
Data Vault DWH Automation
 
Dv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automationDv 20 sdlc_oss_automation
Dv 20 sdlc_oss_automation
 
Überblick Oracle Datenbank Hochverfügbarkeit
Überblick Oracle Datenbank HochverfügbarkeitÜberblick Oracle Datenbank Hochverfügbarkeit
Überblick Oracle Datenbank Hochverfügbarkeit
 
Drupal 7 auf Amazon Web Services
Drupal 7 auf Amazon Web ServicesDrupal 7 auf Amazon Web Services
Drupal 7 auf Amazon Web Services
 
Sql best practices for SharePoint 2010
Sql best practices for SharePoint 2010Sql best practices for SharePoint 2010
Sql best practices for SharePoint 2010
 
Optimizing SQL Server 2012 Deep dive for SharePoint 2013 Lars Platzdasch SQL ...
Optimizing SQL Server 2012 Deep dive for SharePoint 2013 Lars Platzdasch SQL ...Optimizing SQL Server 2012 Deep dive for SharePoint 2013 Lars Platzdasch SQL ...
Optimizing SQL Server 2012 Deep dive for SharePoint 2013 Lars Platzdasch SQL ...
 
Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016
 
Analytical Sandboxing: Data-Warehousing und Datenanalysen im Spannungsfeld zw...
Analytical Sandboxing: Data-Warehousing und Datenanalysen im Spannungsfeld zw...Analytical Sandboxing: Data-Warehousing und Datenanalysen im Spannungsfeld zw...
Analytical Sandboxing: Data-Warehousing und Datenanalysen im Spannungsfeld zw...
 

Ähnlich wie Azure SQL Database vs. Azure SQL Data Warehouse

Einführung in Microsoft Azure und seine Funktionalitäten
Einführung in Microsoft Azure und seine FunktionalitätenEinführung in Microsoft Azure und seine Funktionalitäten
Einführung in Microsoft Azure und seine Funktionalitäten
POINT. Consulting GmbH
 
Azure für SysAdmins Eine Reise durch die Cloud v.0.5
Azure für SysAdmins   Eine Reise durch die Cloud v.0.5 Azure für SysAdmins   Eine Reise durch die Cloud v.0.5
Azure für SysAdmins Eine Reise durch die Cloud v.0.5
Oliver Michalski
 
Oracle Database 12c Release 2
Oracle Database 12c Release 2 Oracle Database 12c Release 2
Oracle Database 12c Release 2
oraclebudb
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data Konnektivität
Trivadis
 
Automatische Erstellung einer SharePoint 2013 Entwicklungsumgebung in Microso...
Automatische Erstellung einer SharePoint 2013 Entwicklungsumgebung in Microso...Automatische Erstellung einer SharePoint 2013 Entwicklungsumgebung in Microso...
Automatische Erstellung einer SharePoint 2013 Entwicklungsumgebung in Microso...
Sebastian Huppmann
 
Windows Azure SQL Databases
Windows Azure SQL DatabasesWindows Azure SQL Databases
Windows Azure SQL Databases
Jan Hentschel
 
Power BI Version 2.0
Power BI Version 2.0Power BI Version 2.0
Power BI Version 2.0
inovex GmbH
 
Webinar Windows auf AWS (Deutsch)
Webinar Windows auf AWS (Deutsch)Webinar Windows auf AWS (Deutsch)
Webinar Windows auf AWS (Deutsch)
AWS Germany
 
Data Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtData Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedacht
IBsolution GmbH
 
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Peter Kirchner
 
Modernes Rechenzentrum
Modernes Rechenzentrum Modernes Rechenzentrum
Modernes Rechenzentrum
Microsoft Österreich
 
Modernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future DecodedModernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future Decoded
Microsoft Österreich
 
Elasticsearch Cluster Management mit Marvel
Elasticsearch Cluster Management mit MarvelElasticsearch Cluster Management mit Marvel
Elasticsearch Cluster Management mit Marvel
SHI Search | Analytics | Big Data
 
Hybrid cloud iaa-s_office-365-azure_sharepoint-konferenz-wien-2013_ankbs_mich...
Hybrid cloud iaa-s_office-365-azure_sharepoint-konferenz-wien-2013_ankbs_mich...Hybrid cloud iaa-s_office-365-azure_sharepoint-konferenz-wien-2013_ankbs_mich...
Hybrid cloud iaa-s_office-365-azure_sharepoint-konferenz-wien-2013_ankbs_mich...
Michael Kirst-Neshva
 
Vorlesung - Cloud Infrastrukturen - Einleitung | anynines
Vorlesung - Cloud Infrastrukturen - Einleitung | anyninesVorlesung - Cloud Infrastrukturen - Einleitung | anynines
Vorlesung - Cloud Infrastrukturen - Einleitung | anynines
anynines GmbH
 
Süßwarenhersteller und Discounter launchen Webportal für EM 2016-Gewinnspiel
Süßwarenhersteller und Discounter launchen Webportal für EM 2016-GewinnspielSüßwarenhersteller und Discounter launchen Webportal für EM 2016-Gewinnspiel
Süßwarenhersteller und Discounter launchen Webportal für EM 2016-Gewinnspiel
AWS Germany
 
Mehrere Apps, ein Backend: Windows Azure Mobile Services in der Praxis
Mehrere Apps, ein Backend: Windows Azure Mobile Services in der PraxisMehrere Apps, ein Backend: Windows Azure Mobile Services in der Praxis
Mehrere Apps, ein Backend: Windows Azure Mobile Services in der Praxis
Jan Hentschel
 
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
SHI Search | Analytics | Big Data
 
Microsoft Azure Platform - System Management v.0.5
Microsoft Azure Platform -  System Management v.0.5 Microsoft Azure Platform -  System Management v.0.5
Microsoft Azure Platform - System Management v.0.5
Oliver Michalski
 
Basta 2016 - Test- und Releaseumgebungen in der Cloud
Basta 2016 - Test- und Releaseumgebungen in der CloudBasta 2016 - Test- und Releaseumgebungen in der Cloud
Basta 2016 - Test- und Releaseumgebungen in der Cloud
Marc Müller
 

Ähnlich wie Azure SQL Database vs. Azure SQL Data Warehouse (20)

Einführung in Microsoft Azure und seine Funktionalitäten
Einführung in Microsoft Azure und seine FunktionalitätenEinführung in Microsoft Azure und seine Funktionalitäten
Einführung in Microsoft Azure und seine Funktionalitäten
 
Azure für SysAdmins Eine Reise durch die Cloud v.0.5
Azure für SysAdmins   Eine Reise durch die Cloud v.0.5 Azure für SysAdmins   Eine Reise durch die Cloud v.0.5
Azure für SysAdmins Eine Reise durch die Cloud v.0.5
 
Oracle Database 12c Release 2
Oracle Database 12c Release 2 Oracle Database 12c Release 2
Oracle Database 12c Release 2
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data Konnektivität
 
Automatische Erstellung einer SharePoint 2013 Entwicklungsumgebung in Microso...
Automatische Erstellung einer SharePoint 2013 Entwicklungsumgebung in Microso...Automatische Erstellung einer SharePoint 2013 Entwicklungsumgebung in Microso...
Automatische Erstellung einer SharePoint 2013 Entwicklungsumgebung in Microso...
 
Windows Azure SQL Databases
Windows Azure SQL DatabasesWindows Azure SQL Databases
Windows Azure SQL Databases
 
Power BI Version 2.0
Power BI Version 2.0Power BI Version 2.0
Power BI Version 2.0
 
Webinar Windows auf AWS (Deutsch)
Webinar Windows auf AWS (Deutsch)Webinar Windows auf AWS (Deutsch)
Webinar Windows auf AWS (Deutsch)
 
Data Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedachtData Mesh: "Daten als Produkt" weitergedacht
Data Mesh: "Daten als Produkt" weitergedacht
 
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
 
Modernes Rechenzentrum
Modernes Rechenzentrum Modernes Rechenzentrum
Modernes Rechenzentrum
 
Modernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future DecodedModernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future Decoded
 
Elasticsearch Cluster Management mit Marvel
Elasticsearch Cluster Management mit MarvelElasticsearch Cluster Management mit Marvel
Elasticsearch Cluster Management mit Marvel
 
Hybrid cloud iaa-s_office-365-azure_sharepoint-konferenz-wien-2013_ankbs_mich...
Hybrid cloud iaa-s_office-365-azure_sharepoint-konferenz-wien-2013_ankbs_mich...Hybrid cloud iaa-s_office-365-azure_sharepoint-konferenz-wien-2013_ankbs_mich...
Hybrid cloud iaa-s_office-365-azure_sharepoint-konferenz-wien-2013_ankbs_mich...
 
Vorlesung - Cloud Infrastrukturen - Einleitung | anynines
Vorlesung - Cloud Infrastrukturen - Einleitung | anyninesVorlesung - Cloud Infrastrukturen - Einleitung | anynines
Vorlesung - Cloud Infrastrukturen - Einleitung | anynines
 
Süßwarenhersteller und Discounter launchen Webportal für EM 2016-Gewinnspiel
Süßwarenhersteller und Discounter launchen Webportal für EM 2016-GewinnspielSüßwarenhersteller und Discounter launchen Webportal für EM 2016-Gewinnspiel
Süßwarenhersteller und Discounter launchen Webportal für EM 2016-Gewinnspiel
 
Mehrere Apps, ein Backend: Windows Azure Mobile Services in der Praxis
Mehrere Apps, ein Backend: Windows Azure Mobile Services in der PraxisMehrere Apps, ein Backend: Windows Azure Mobile Services in der Praxis
Mehrere Apps, ein Backend: Windows Azure Mobile Services in der Praxis
 
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
Apache Solr vs. Elasticsearch - And The Winner Is...! Ein Vergleich der Shoot...
 
Microsoft Azure Platform - System Management v.0.5
Microsoft Azure Platform -  System Management v.0.5 Microsoft Azure Platform -  System Management v.0.5
Microsoft Azure Platform - System Management v.0.5
 
Basta 2016 - Test- und Releaseumgebungen in der Cloud
Basta 2016 - Test- und Releaseumgebungen in der CloudBasta 2016 - Test- und Releaseumgebungen in der Cloud
Basta 2016 - Test- und Releaseumgebungen in der Cloud
 

Azure SQL Database vs. Azure SQL Data Warehouse

  • 1. Azure SQL Database vs. Azure SQL Data Warehouse Marcel Franke Viktor Adler
  • 2. Über mich – Viktor Adler • Consultant, pmOne AG • pmOne AG, Unterschleißheim • Microsoft Specialist/Certified Professional • Schwerpunkt: Data Warehouse, ETL • E-Mail: viktor.adler@pmone.com
  • 3. Über mich – Marcel Franke • VP Technology & Growth, pmOne Analytics GmbH • Fokus ist Data Science & Advanced Analytics • Sehr enge Verbundenheit mit der Universität Paderborn • Büros in Paderborn & Wien • P-TSP für Microsoft für das Thema Big Data & Analytics • Web: www.pmoneanalytics.com • E-Mail: marcel.franke@pmone.com
  • 4. pmOne Analytics Lorem ipsum dolor sit amet, consectetur adipiscing 4
  • 5. 5 pmOne Group Copyright by pmOne Analytics Business Intelligence & Analytics Platform Corporate Performance Management BI & IT Strategy Consulting (verovis GmbH) Advanced Analytics (pmOne Analytics GmbH) pmOne Group divisions Founded 2007, 210+ employees at 8 locations Revenue 2014: ~28 Mio.€ Microsoft & Tagetik focus Own Software stack: cMORE (Reporting & DWH Modelling) Representation of Tagetik in DACH pmOne Group facts
  • 6. Our approach We love data See what we see Microsoft & Hadoop Understand Your Business Analytics Platform Data Science Data Visualization Strategy Consulting 6Copyright by pmOne Analytics
  • 7. Our team 7Copyright by pmOne Analytics
  • 8. Our services Customer / Product Analytics 8 Machine Analytics, IoT, Industry 4.0 Advanced Analytics Platform Optimize Campaign Management / Uplift Model Marketing Customer Lifetime Value Sales Recommender Sales Churn prevention Sales Clustering Marketing Faulty Part detection Shop floor Digitalization Predictive Maintenance IoT Hub / Platform Advanced Analytics Platform / Data Science Laboratory Customer Analytics Hub Copyright by pmOne Analytics Production Production Production Analytical CRM Optimize Process Quality / Efficiency Production Condition Monitoring Production
  • 10. Agenda • Einleitung • Architektur & genereller Aufbau • Tools & Entwicklungsumgebung • Skalierbarkeit & Workloads • Berechtigungen & Security • Hochverfügbarkeit, Backup & Restore • Kosten • Zusammenfassung
  • 12. Visualize + Decide MobileReports Natural language queryDashboardsApplications Streaming Capture + Manage Relational Internal & externalNon-relational NoSQL Transform + Analyze Orchestration Machine learningModeling Information management Complex event processing The Microsoft data platform Data
  • 13. Comprehensive. Connected. Choice. DW vision & portfolio Microsoft SQL Server SQL Server 2014 SQL Server 2016 Fast Track for SQL Server Analytics Platform System Microsoft Analytics Hortonworks HDP Analytics Platform System Relational Beyond relational Microsoft Azure SQLServerforDWinAzureVM Azure SQL Database Azure SQL Data Warehouse Microsoft Azure Azure HDInsight Azure Data Lake Document DB Spark On-PremisesCloud Azure Data Factory Federated Query Azure Machine Learning PowerBI
  • 14. Software-as-a-Service (SaaS) • Datenbank als Service • Infrastruktur managed by Microsoft • Up & Running in Minuten • Multitenant für verschiedene Szenarien möglich • Nahezu lineare Skalierbarkeit • Weniger Verwaltungsaufwand notwendig • “Garantierte” Performance • Gerantierte SLAs • Preis orientiert sich rein am Nutzungsverhalten
  • 15. Scale up vs. Scale-Out (SMP vs. MPP) Quelle: http://cbblog.azurewebsites.net/content/images/2015/06/KB_Scale_Out-Up.png
  • 16. SQL Database - Architektur
  • 17. SQL Database vs. SQL Server SQL Server • auf physischen Maschinen • auf on-premise virtuellen Maschinen (private cloud) • auf Azure virtuellen Maschinen (public cloud) SQL Database (public cloud)
  • 18. Was ist der Unterschied zum SQL Server auf virtuellen Maschinen? SQL Server in einer Azure VM Azure SQL Datenbank Geeignet für… Kostenvorteile Skalierbarkeit Ressourcen
  • 19. SQL Database Server SQL Server als logische Organisationseinheit • enthält mehrere Azure SQL Datenbanken • regelt generellen Zugriff über IPs
  • 20. SQL Data Warehouse - Architektur
  • 21. Introducing Azure SQL DW Service A relational data warehouse-as-a-service, fully managed by Microsoft. Industries first elastic cloud data warehouse with proven SQL Server capabilities. Support your smallest to your largest data storage needs. AzureAzure
  • 22. App Service Intelligent App Hadoop Azure Machine Learning Power BI Azure SQL Database SQ L Azure SQLData Warehouse Power of Integration
  • 23. Positioning • Cloud-based • Dev/test/exploratory (on-demand) • Local to cloud-born data • Supports hub & spoke approach for PaaS and IaaS offerings • Better than non-relational platforms for interactive reporting • Integrates with ADF, ML and other Azure services • License-free approach – designed as a service offering rather than an investment • Fast elastic scale up and down • Hybrid upsell and integration supports APS or on-premises investment SQL DW
  • 24. Trennung von Compute & Storage Control Compute Compute Compute Compute Azure Compute Azure Blob Storage Mirrored DC Azure Blob Storage
  • 26. • Pre-built HW appliance • Massively Parallel Processing (MPP) to scale to 6 PBs • In-memory columnstore for 100x speed improvement • Dedicated region for Hadoop • PolyBase enables joining relational & non-relational data • Available from HP, Dell and Quanta • AU3/AU4 MPP SQL Server PolyBase Hadoop Analytics Platform System Microsoft’s big data appliance
  • 27. Datenmodellierung SQL DW • Daten werden automatisch verteilt • Man muss sich über das Design des Datenmodells gedanken machen, nicht über die physikalische Verteilung • Abfragen werden auch automatisch verteilt
  • 28. Aufpassen auf die Datenverteilung Faustregel: mindest. 600 distinkte Werte für Hash Disribution, sonst Round Robin
  • 30. Wie lade ich Daten?
  • 31. SQL Azure DB Data sources Structured Unstructured Semi-structured Relational (RDBMS) SQL Azure PaaS SQL Server Integration Services Azure Data Factory BCP, Bulk Insert, SQLBulkCopy
  • 32. SQL Azure SQL Data Warehouse SQL Data Warehouse Data sources Structured Unstructured Semi-structured Relational (RDBMS) PaaSSQL Server Integration Services Azure Data Factory Blob Store BCP, Bulk Insert, SQLBulkCopy PolyBase
  • 33. Polybase • Integrierter Zugriff auf Hadoop oder Blob Store via T-SQL • Integration von Semistrukturierten Daten • Interessant für Archivierungskonzepte • Hochparalleler Zugriff zwischen SQL DW & Hadoop / Blob Store / (Data Lake) • Ermöglicht kombinierte Abfragen
  • 35. Admin & Monitoring Tools • Azure Management Portal • Performance Monitor • Alerts • SQL Server Management Studio • Gewohnte Oberfläche • Mehrere Datenbanken verwalten • System Views • master.sys.resource_stats • user_db.dm_db_resource_stats
  • 36. Dev Tools • Data Tools in Visual Studio • REST • Powershell • T-SQL • DAC Framework • SSIS • C# • Ruby • Python • etc.
  • 37. Execution Pläne für SQL DW select * from sys.dm_pdw_exec_requests where status like 'Running' select * from sys.dm_pdw_request_steps where request_id like 'QIDxxxx' ORDER BY Step_index ASC
  • 38. Reporting Tools / Power BI • SQL Server Reportinf Services • Power BI • Excel • 3rd Party • ODBC Konnektoren https://azure.microsoft.com/en-us/documentation/articles/sql-data- warehouse-integrate-power-bi/
  • 39. Analytics – Cortana Analytics Suite
  • 40. SQL Database - Skalierbarkeit
  • 41. DTU – Database Transaction Unit CPU Schreiben Lesen Speicher 75% 50% 60% Auslastung
  • 45. SQL Data Warehouse - Skalierbarkeit
  • 46. SQL Data Warehouse - Skalierbarkeit Rechenleistung / Memory skalierbar mittels DWU • Scan/Aggregation für IP und CPU • Laden für Netzwerkleistung und CPU • Create Table as Select für CPU und Netzwerkleistung Speicherskalierbarkeit basierend auf Azure Blob Speicher • Blob Größe • Blob Anzahl
  • 47. Darf’s ein bisschen mehr sein? • 100 DWU – 2000 DWU • 3000 & 6000 DWUs über Support möglich --TSQL zum Anpassen der DWUs ALTER DATABASE Demo MODIFY (SERVICE_OBJECTIVE = 'DW2000');
  • 48. DWU 100 • 1 Control Node • 1 Compute Node • 60 Distributions
  • 49. DWU 200 • 1 Control Node • 2 Compute Nodes • 60 Distributions in Summe • 30 Distributions / Node
  • 52. SQL Database - Sicherheit Schützen der Datenbank Schützen der Daten Azure SQL Database APP Schützen der Daten- änderungen
  • 53. SQL Database - Berechtigungen • Active Directory Integration • Datenmaskierung in Echtzeit und dauerhaft • Datenverschlüsselung für sensible Daten • Monitoring der Zugriffe SQL Datenbank Table.CreditCardNo 4465-6571-7868-5796 5796 4468-7746-3848-1978 1978 4484-5434-6858-6550 6550 Echtzeit Datenmaskierung
  • 55. SQL Data Warehouse - Berechtigungen & Security
  • 56. Berechtigungen & Security Connection Security • IP-& Firewall-Regeln, VPN Authentifizierung • Aktuell SQL Authentifizierung, AD kommt • Logins, Rollen & Berechtigungen Verschlüsselung • Verschlüsselung der Daten in der Datenbank & Backups • Verwendet Transparent Data Encryption (TDE)
  • 58. SQL Database - Backups • Point-in-time Wiederherstellung • Kein separater Service • Wiederherstellung zu einem konkreten Zeitpunkt • Automatische Datenaufbewahrung • Modell Basic bis zu 7 Tage • Modell Standard bis zu 14 Tage • Modell Premium bis zu 35 Tage • Regelmäßige interne Backups • Wöchentliches Fullbackup • Tägliches Differentialbackup • Backup des Transaktionenlogs jede 5 Minuten
  • 59. SQL Database - Hochverfügbarkeit • 99,99% Verfügbarkeit durch SLA • Standard Geo-Replication mit einer Stand-by Kopie • Aktive Geo-Replication mit bis zu 4 lesbaren Kopien Geo- replicated Restore from backup SQL Database backups Azure Storage
  • 60. SQL Data Warehouse - Hochverfügbarkeit, Backup & Restore
  • 61. Backup & Restore Backup • Snapshots der Datenbank mindestens alle 8 Stunden • Snapshots sind 7 Tage verfügbar • Derzeit keine weitere Backup-Funktionalität möglich Restore • Restore aus Snapshots zu einem Zeitpunkt möglich • Restore auch von gelöschten Datenbanken möglich Automatismen • Automatisierbar via Power Shell oder Rest API SLAs derzeit noch nicht verfügbar (Preview)
  • 64. SQL Database - Preise & SLAs
  • 65. SQL Database - Preise • Basic, Standard & Premium Modell • Geo-Replication möglich • Support Pläne ab 25€ / Monat verfügbar • Garantierte Verfügbarkeit von 99,99%
  • 66. SQL Data Warehouse – Preise & SLAs
  • 67. SQL Data Warehouse - Preise • Compute & Storage werden separate bezahlt • Compute kann man pausieren • Storage Kosten basieren auf Standard RA-GRS Page Blob Preise • Zur Zeit noch kein SLA
  • 69. Zusammenfassung • Microsoft mit SQL Database & SQL Data Warehouse zwei gute Angebote für Datenbank als Service • Up & Running innerhalb von Minuten • Skalierbarkeit bis in den Bereich von TB bereits möglich • SMP & MPP funktionieren ein bisschen anders • Support für Data Tools und Management Studio wird weiter ausgebaut • Integration in andere Azure Services möglich (Data Factory, Power BI, Azure ML) • Preis-Leistungs-Verhältnis ist unschlagbar

Hinweis der Redaktion

  1. Reference: http://azure.microsoft.com/en-us/documentation/articles/data-management-azure-sql-database-and-sql-server-iaas/ Speaker Notes: With the introduction of the next generation of the Azure SQL Database service, the feature compatibility gap is largely reduced, so parity with SQL Server is no longer the major differentiator between VM and the database service. The big criteria for choosing VM vs. the database service, are costs, time to market, and the type of application(s) using the data tier. For example, Azure SQL Database service is more suitable for Software-as-a- service applications.
  2. Reference: http://azure.microsoft.com/en-us/documentation/articles/data-management-azure-sql-database-and-sql-server-iaas/ Speaker Notes: With the introduction of the next generation of the Azure SQL Database service, the feature compatibility gap is largely reduced, so parity with SQL Server is no longer the major differentiator between VM and the database service. The big criteria for choosing VM vs. the database service, are costs, time to market, and the type of application(s) using the data tier. For example, Azure SQL Database service is more suitable for Software-as-a- service applications.
  3. Elastic scale and performance: • Scale out to petabytes with MPP technology • Resize compute nodes in less than one minute • Faster time to insight than SMP-based offerings • Designed for the “on-demand” workload (speed to scale) Built and optimized for the cloud: • Integrated with the Azure platform • Enables hybrid solutions – on premise or in the cloud • Built on SQL server experience and technology • Works seamlessly with other Microsoft products – from on-premises SQL Server to everything in the cloud. Market leading price/performance • Simple compute and storage billing • Pay for what you need • High performance without rewriting applications • Low cost for latent data • No management needed: infrastructure, mgmt. and support
  4. A customer can take data requirements, execute their processes on their data, their way. The customer has choice and flexibility Integration of end-end data scenario Use data from any source Ingest into SQL DW where it’s stored Then is availabile with other cloud and on-premises solutions and services, including Azure SQL DB, ML, Visualizaiton like Power BI and Hadoop
  5. - Prebuilt & performance-tuned appliance - Dedicated region for Hadoop Performance AU4: 1.5X data return rate for SELECT * queries In-Memory Columstore provides up to 100x improvement in query performance and 15x compression with Optimal Value Industry’s lowest DW Price/TB Turnkey appliance via multiple hardware vendors
  6. https://azure.microsoft.com/en-us/documentation/articles/sql-data-warehouse-get-started-load-with-polybase/