Comparison Azure SQL Database versus Azure SQL Data Warehouse

1. Azure SQL Database vs. Azure SQL Data Warehouse
Marcel Franke
Viktor Adler

2. Über mich – Viktor Adler
• Consultant, pmOne AG
• pmOne AG, Unterschleißheim
• Microsoft Specialist/Certified Professional
• Schwerpunkt: Data Warehouse, ETL
• E-Mail: viktor.adler@pmone.com

3. Über mich – Marcel Franke
• VP Technology & Growth, pmOne Analytics GmbH
• Fokus ist Data Science & Advanced Analytics
• Sehr enge Verbundenheit mit der Universität Paderborn
• Büros in Paderborn & Wien
• P-TSP für Microsoft für das Thema Big Data & Analytics
• Web: www.pmoneanalytics.com
• E-Mail: marcel.franke@pmone.com

4. pmOne Analytics
Lorem ipsum dolor sit amet, consectetur adipiscing 4

5. 5
pmOne Group
Copyright by pmOne Analytics
Business Intelligence & Analytics Platform
Corporate Performance Management
BI & IT Strategy Consulting (verovis GmbH)
Advanced Analytics (pmOne Analytics GmbH)
pmOne Group divisions
Founded 2007, 210+ employees at 8 locations
Revenue 2014: ~28 Mio.€
Microsoft & Tagetik focus
Own Software stack: cMORE (Reporting & DWH
Modelling)
Representation of Tagetik in DACH
pmOne Group facts

6. Our approach
We love data See what
we see
Microsoft &
Hadoop
Understand
Your Business
Analytics
Platform
Data
Science
Data
Visualization
Strategy
Consulting
6Copyright by pmOne Analytics

7. Our team
7Copyright by pmOne Analytics

8. Our services
Customer / Product Analytics
8
Machine Analytics, IoT, Industry 4.0 Advanced Analytics Platform
Optimize Campaign
Management / Uplift Model
Marketing
Customer Lifetime Value
Sales
Recommender
Sales
Churn prevention
Sales
Clustering
Marketing
Faulty Part detection
Shop floor Digitalization
Predictive Maintenance
IoT Hub / Platform
Advanced Analytics Platform / Data
Science Laboratory
Customer Analytics Hub
Copyright by pmOne Analytics
Production
Production
Production
Analytical CRM
Optimize Process Quality /
Efficiency
Production
Condition Monitoring
Production

9. Our clients (selection)
9Copyright by pmOne Analytics

10. Agenda
• Einleitung
• Architektur & genereller Aufbau
• Tools & Entwicklungsumgebung
• Skalierbarkeit & Workloads
• Berechtigungen & Security
• Hochverfügbarkeit, Backup & Restore
• Kosten
• Zusammenfassung

11. Überblick

12. Visualize + Decide
MobileReports
Natural
language queryDashboardsApplications
Streaming
Capture + Manage
Relational
Internal &
externalNon-relational NoSQL
Transform + Analyze
Orchestration
Machine
learningModeling
Information
management
Complex event
processing
The Microsoft
data platform
Data

13. Comprehensive.
Connected.
Choice.
DW vision
& portfolio Microsoft
SQL Server
SQL Server 2014
SQL Server 2016
Fast Track for SQL Server
Analytics Platform System
Microsoft Analytics
Hortonworks HDP
Analytics Platform System
Relational Beyond relational
Microsoft Azure
SQLServerforDWinAzureVM
Azure SQL Database
Azure SQL Data Warehouse
Microsoft Azure
Azure HDInsight
Azure Data Lake
Document DB
Spark
On-PremisesCloud
Azure Data Factory
Federated Query
Azure Machine Learning
PowerBI

14. Software-as-a-Service (SaaS)
• Datenbank als Service
• Infrastruktur managed by Microsoft
• Up & Running in Minuten
• Multitenant für verschiedene Szenarien möglich
• Nahezu lineare Skalierbarkeit
• Weniger Verwaltungsaufwand notwendig
• “Garantierte” Performance
• Gerantierte SLAs
• Preis orientiert sich rein am Nutzungsverhalten

15. Scale up vs. Scale-Out (SMP vs. MPP)
Quelle: http://cbblog.azurewebsites.net/content/images/2015/06/KB_Scale_Out-Up.png

16. SQL Database - Architektur

17. SQL Database vs. SQL Server
SQL Server
• auf physischen Maschinen
• auf on-premise virtuellen Maschinen
(private cloud)
• auf Azure virtuellen Maschinen (public
cloud)
SQL Database (public cloud)

18. Was ist der Unterschied zum SQL Server auf virtuellen Maschinen?
SQL Server in einer Azure VM Azure SQL Datenbank
Geeignet für…
Kostenvorteile
Skalierbarkeit
Ressourcen

19. SQL Database Server
SQL Server als logische
Organisationseinheit
• enthält mehrere Azure SQL
Datenbanken
• regelt generellen Zugriff
über IPs

20. SQL Data Warehouse -
Architektur

21. Introducing Azure SQL DW Service
A relational data warehouse-as-a-service, fully managed by Microsoft.
Industries first elastic cloud data warehouse with proven SQL Server capabilities.
Support your smallest to your largest data storage needs.
AzureAzure

22. App Service
Intelligent App
Hadoop
Azure Machine
Learning
Power BI
Azure SQL
Database
SQ
L Azure SQLData
Warehouse
Power of Integration

23. Positioning
• Cloud-based
• Dev/test/exploratory (on-demand)
• Local to cloud-born data
• Supports hub & spoke approach
for PaaS and IaaS offerings
• Better than non-relational
platforms for interactive reporting
• Integrates with ADF, ML and other
Azure services
• License-free approach – designed as a
service offering rather than an investment
• Fast elastic scale up and down
• Hybrid upsell and integration supports
APS or on-premises investment
SQL DW

24. Trennung von Compute & Storage
Control
Compute Compute
Compute Compute
Azure Compute
Azure Blob Storage
Mirrored DC
Azure Blob Storage

25. SQL Data Warehouse vs. APS

26. • Pre-built HW appliance
• Massively Parallel Processing (MPP) to scale to 6 PBs
• In-memory columnstore for 100x speed improvement
• Dedicated region for Hadoop
• PolyBase enables joining relational & non-relational data
• Available from HP, Dell and Quanta
• AU3/AU4
MPP SQL Server
PolyBase
Hadoop
Analytics Platform System
Microsoft’s big data appliance

27. Datenmodellierung SQL DW
• Daten werden
automatisch verteilt
• Man muss sich über das
Design des Datenmodells
gedanken machen, nicht
über die physikalische
Verteilung
• Abfragen werden auch
automatisch verteilt

28. Aufpassen auf die Datenverteilung
Faustregel: mindest. 600 distinkte Werte für Hash Disribution,
sonst Round Robin

29. Demo
Time

30. Wie lade ich Daten?

31. SQL Azure DB
Data sources
Structured
Unstructured
Semi-structured
Relational
(RDBMS) SQL Azure
PaaS
SQL Server
Integration Services
Azure
Data Factory
BCP, Bulk Insert,
SQLBulkCopy

32. SQL
Azure SQL Data
Warehouse
SQL Data Warehouse
Data sources
Structured
Unstructured
Semi-structured
Relational
(RDBMS)
PaaSSQL Server
Integration Services
Azure Data Factory
Blob Store
BCP, Bulk Insert,
SQLBulkCopy
PolyBase

33. Polybase
• Integrierter Zugriff auf Hadoop oder Blob
Store via T-SQL
• Integration von Semistrukturierten Daten
• Interessant für Archivierungskonzepte
• Hochparalleler Zugriff zwischen SQL DW
& Hadoop / Blob Store / (Data Lake)
• Ermöglicht kombinierte Abfragen

34. Tools &
Entwicklungsumgebung

35. Admin & Monitoring Tools
• Azure Management Portal
• Performance Monitor
• Alerts
• SQL Server Management
Studio
• Gewohnte Oberfläche
• Mehrere Datenbanken verwalten
• System Views
• master.sys.resource_stats
• user_db.dm_db_resource_stats

36. Dev Tools
• Data Tools in Visual Studio
• REST
• Powershell
• T-SQL
• DAC Framework
• SSIS
• C#
• Ruby
• Python
• etc.

37. Execution Pläne für SQL DW
select * from
sys.dm_pdw_exec_requests
where status like 'Running'
select * from
sys.dm_pdw_request_steps
where request_id like
'QIDxxxx'
ORDER BY Step_index ASC

38. Reporting Tools / Power BI
• SQL Server Reportinf Services
• Power BI
• Excel
• 3rd Party
• ODBC Konnektoren
https://azure.microsoft.com/en-us/documentation/articles/sql-data-
warehouse-integrate-power-bi/

39. Analytics – Cortana Analytics Suite

40. SQL Database - Skalierbarkeit

41. DTU – Database Transaction Unit
CPU
Schreiben
Lesen
Speicher
75%
50%
60%
Auslastung

42. Einzeldatenbank

43. DTU vs. eDTU

44. Elastische Datenbankpools

45. SQL Data Warehouse -
Skalierbarkeit

46. SQL Data Warehouse - Skalierbarkeit
Rechenleistung / Memory skalierbar mittels DWU
• Scan/Aggregation für IP und CPU
• Laden für Netzwerkleistung und CPU
• Create Table as Select für CPU und Netzwerkleistung
Speicherskalierbarkeit basierend auf Azure Blob Speicher
• Blob Größe
• Blob Anzahl

47. Darf’s ein bisschen mehr sein?
• 100 DWU – 2000 DWU
• 3000 & 6000 DWUs über
Support möglich
--TSQL zum Anpassen der DWUs
ALTER DATABASE Demo MODIFY
(SERVICE_OBJECTIVE = 'DW2000');

48. DWU 100
• 1 Control Node
• 1 Compute Node
• 60 Distributions

49. DWU 200
• 1 Control Node
• 2 Compute Nodes
• 60 Distributions in Summe
• 30 Distributions / Node

50. Demo
Time

51. SQL Database
Berechtigungen & Security

52. SQL Database - Sicherheit
Schützen der
Datenbank Schützen der
Daten
Azure SQL
Database
APP
Schützen der
Daten-
änderungen

53. SQL Database - Berechtigungen
• Active Directory Integration
• Datenmaskierung in Echtzeit und dauerhaft
• Datenverschlüsselung für sensible Daten
• Monitoring der Zugriffe
SQL Datenbank
Table.CreditCardNo
4465-6571-7868-5796
5796
4468-7746-3848-1978
1978
4484-5434-6858-6550
6550
Echtzeit Datenmaskierung

54. Demo
Time

55. SQL Data Warehouse -
Berechtigungen & Security

56. Berechtigungen & Security
Connection Security
• IP-& Firewall-Regeln, VPN
Authentifizierung
• Aktuell SQL Authentifizierung, AD kommt
• Logins, Rollen & Berechtigungen
Verschlüsselung
• Verschlüsselung der Daten in der
Datenbank & Backups
• Verwendet Transparent Data Encryption
(TDE)

57. SQL Database -
Hochverfügbarkeit, Backup &
Restore

58. SQL Database - Backups
• Point-in-time Wiederherstellung
• Kein separater Service
• Wiederherstellung zu einem konkreten Zeitpunkt
• Automatische Datenaufbewahrung
• Modell Basic bis zu 7 Tage
• Modell Standard bis zu 14 Tage
• Modell Premium bis zu 35 Tage
• Regelmäßige interne Backups
• Wöchentliches Fullbackup
• Tägliches Differentialbackup
• Backup des Transaktionenlogs
jede 5 Minuten

59. SQL Database - Hochverfügbarkeit
• 99,99% Verfügbarkeit durch SLA
• Standard Geo-Replication mit einer Stand-by Kopie
• Aktive Geo-Replication mit bis zu 4 lesbaren Kopien
Geo-
replicated
Restore from
backup
SQL
Database
backups
Azure
Storage

60. SQL Data Warehouse -
Hochverfügbarkeit, Backup &
Restore

61. Backup & Restore
Backup
• Snapshots der Datenbank mindestens alle 8 Stunden
• Snapshots sind 7 Tage verfügbar
• Derzeit keine weitere Backup-Funktionalität möglich
Restore
• Restore aus Snapshots zu einem Zeitpunkt möglich
• Restore auch von gelöschten Datenbanken möglich
Automatismen
• Automatisierbar via Power Shell oder Rest API
SLAs derzeit noch nicht verfügbar (Preview)

62. Demo
Time

64. SQL Database - Preise &
SLAs

65. SQL Database - Preise
• Basic, Standard & Premium
Modell
• Geo-Replication möglich
• Support Pläne ab 25€ / Monat
verfügbar
• Garantierte Verfügbarkeit von
99,99%

66. SQL Data Warehouse – Preise &
SLAs

67. SQL Data Warehouse - Preise
• Compute & Storage
werden separate bezahlt
• Compute kann man
pausieren
• Storage Kosten basieren
auf Standard RA-GRS
Page Blob Preise
• Zur Zeit noch kein SLA

68. Zusammenfassung

69. Zusammenfassung
• Microsoft mit SQL Database & SQL Data Warehouse zwei gute
Angebote für Datenbank als Service
• Up & Running innerhalb von Minuten
• Skalierbarkeit bis in den Bereich von TB bereits möglich
• SMP & MPP funktionieren ein bisschen anders
• Support für Data Tools und Management Studio wird weiter
ausgebaut
• Integration in andere Azure Services möglich (Data Factory, Power
BI, Azure ML)
• Preis-Leistungs-Verhältnis ist unschlagbar