„Mit der EU-Datenschutzgrundverordnung wird das Ziel verfolgt, einheitliche Regelungen im europäischen Datenschutz zu schaffen, auch wenn das Gesetz an vielen Punkten nationale Abweichungen zulässt. Die Neuregelungen werden erhebliche Auswirkungen auf Unternehmen haben.“ Herausforderungen: Umsetzung der regulatorischen Anforderungen, Freiräume für Innovationen im Bereich BI und Analytics gehen verloren. Die Idee – Azure Governed Data Lab: Automatisierter Aufbau eines Data Lake Storage in der Cloud, Sicherstellung der Datenschutzkonformität durch DWH Offloading, Potenzial für eine gleichzeitige DWH-Modernisierung

1. © OPITZ CONSULTING 2018
 Überraschend mehr Möglichkeiten!
© OPITZ CONSULTING 2016
Stephan Jennewein
Jürgen Fischer
Azure Governed Data Lab

2. © OPITZ CONSULTING 2018 Seite 2
Warum?
 „Mit der EU-Datenschutzgrundverordnung wird
das Ziel verfolgt, einheitliche Regelungen im
europäischen Datenschutz zu schaffen, auch
wenn das Gesetz an vielen Punkten nationale
Abweichungen zulässt. Die Neuregelungen
werden erhebliche Auswirkungen auf
Unternehmen haben.“
1
Digital Exchange 2018 - Azure Governed Data Lab
https://www.datenschutz-nord-gruppe.de/eu-datenschutzverordnung.html

3. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Herausforderungen
 Umsetzung der regulatorischen Anforderungen
 Maßnahmen sind vorgeschrieben, Missachtung kann zu hohen Strafen führen
 Aus Sicht der fachlichen Anforderungen entsteht kein unmittelbarer Mehrwert
 Der Prozess einer Anforderungsumsetzung wird tendenziell aufwendiger
 Hohe Kosten für die Umstellung der bestehenden Infrastruktur
 Negative Einflüsse auf die Time2Market
 Freiräume für Innovationen im Bereich BI und Analytics gehen verloren
 Mangelnde Flexibilität in der bestehenden Architektur (die durch die Einhaltung der
DSGVO noch verschärft wird)
 Fehlender Erkenntnisgewinn durch nicht anbindbare Datenquellen
 Personelle Kapazitäten werden gebunden

4. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Die Idee – Azure Governed Data Lab
 Automatisierter Aufbau eines Data Lake Storage in der Cloud
 Keine Investitionskosten für Hard- oder Software
 „One-Click-Provisionierung“
 Sicherstellung der Datenschutzkonformität durch DWH Offloading
 Nur geringe Änderungen in der bestehenden Infrastruktur
 Vordefinierte Lösungen zur Pseudonymisierung der Daten -> Ziel: Automatisierung
 Potenzial für eine gleichzeitige DWH-Modernisierung
 Möglichkeit der Integration neuer Datenquellen
 Verknüpfung qualitätsgesicherter DWH-Daten mit unstrukturierten Daten
 Schnellere Innovationszyklen durch hybriden Architekturansatz

5. © OPITZ CONSULTING 2018 Seite 5
Die Architektur
2
Digital Exchange 2018 - Azure Governed Data Lab

6. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Die Architektur – Stufe 1
On-premise Data Warehouse
Data Lake
Store
Power BI
Data Factory V2
Landing
Zone
Sandbox
Governed
Data
Self-Hosted
Runtime
Integration
Azure Governed Data Lab

7. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Die Architektur – Stufe 2
Landing
Zone
Sandbox
Governed
Data
Power BI Data Lake
Analytics
Analysis Services
SQL
Data Warehouse
„Other“ Data
Streaming Batch
Azure Governed Data Lab
Data Factory V2 Self-Hosted
Runtime
Integration
On-premise Data Warehouse
Data Lake
Store

8. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Die Architektur – Stufe 3
Landing
Zone
Sandbox
Governed
Data
Power BI Data Lake
Analytics
Analysis Services
SQL
Data Warehouse
„Other“ Data
Streaming Batch
Azure Governed Data Lab
Data Factory V2 Self-Hosted
Runtime
Integration
On-premise Data Warehouse
Data Lake
Store

9. © OPITZ CONSULTING 2018 Seite 9
Umsetzung
3
Digital Exchange 2018 - Azure Governed Data Lab

10. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Struktur

11. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Pseudonymisierung
 Email
Stephan.jennewein@opitz-consulting.com ->xxx@xxx.com
 Name (string)
Stephan Jennewein -> Hash(Salt + Name) ->
0x850CD3CB42DD98DF0D5751FBB950FF9C53C9445A07325B8AA17E6DE16BE396D8
 Adresse
Straße, Hausnummer, PLZ, Ort
Verwerfen der hohen Granularität

12. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
ARM Template
1. ARM (Azure Resource Manager) Templates
2. Powershell
3. .NET

13. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
ARM Template
{
"$schema": "http://schema.management.azure.com/schemas/2014-04-01-preview/deploymentTemplate.json#",
"contentVersion": "0.9.0.0",
"parameters": {
"name": {
"type": "string"
},
"location": {
"type": "string"
},
"newTier": {
"type": "string"
}
},
"resources": [
{
"apiVersion": "2016-11-01",
"name": "[parameters('name')]",
"location": "[parameters('location')]",
Template.json
{
"name": {
"value": "showcaselake"
},
"location": {
"value": "northeurope"
},
"newTier": {
"value": "Consumption"
}
}
Parameter.json

14. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
.NET/Powershell
 Braucht man für Passwörter und dynamischere Konfiguration
 IDE (Visual Studio) hilft Fehler zu vermeiden
 Powershell wird für Selfhosted Runtime Engine benötigt
=> Deployment dauert ca. 10 Min

15. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Struktur

16. © OPITZ CONSULTING 2018
 Automatische Offloading Engine
 Speichern des Mapping von lokalen zu Cloud Daten in Azure SQL
 JSON config oder .NET
Data Factory konfigurieren

17. © OPITZ CONSULTING 2018
PowerBI Server

18. © OPITZ CONSULTING 2018 Seite 18
Wrap up
4
Digital Exchange 2018 - Azure Governed Data Lab

19. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Und jetzt? Alles schön?
Super, da können wir uns ja jetzt zurücklehnen, oder?

20. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Zweckbindung!
On-premise Data Warehouse
Data Lake
Store
Power BI
Data Factory V2
Landing
Zone
Sandbox
Governed
Data
Self-Hosted
Runtime
Integration
Azure Governed Data Lab
Daten ohne legitimen
Zweck müssen hier
bereits verworfen oder
anonymisiert werden!

21. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Was bringt es dann?
 Datenschutzkonformität in der Cloud
 Zeitgewinn bei der konsequenten Umsetzung der DSGVO
im DWH
 Ansatz zur DWH Modernisierung
 Big Data Technologien
 Flexibilisierung
 Automatisierung
 Skalierbare Plattform
 erweiterbar um eine große Anzahl von Azure Diensten
 und es werden immer mehr…

22. © OPITZ CONSULTING 2018 Digital Exchange 2018 - Azure Governed Data Lab
Weitere Informationen
BI Spektrum 1/2018 Fact Sheet (fast fertig)

23. © OPITZ CONSULTING 2018
 Überraschend mehr Möglichkeiten!
@OC_WIRE OPITZCONSULTING opitzconsultingWWW.OPITZ-CONSULTING.COM
Stephan Jennewein
Business & IT Analyst
Jürgen Fischer
Consulting Manager
Digital Exchange 2018 - Azure Governed Data Lab