SlideShare ist ein Scribd-Unternehmen logo
1 von 21
Dr. Thomas Petrik
Mesh it up – don’t mess it up!
DATA MESH – die intelligente Kombination aus Methodik und Technologie praktisch umgesetzt.
April 2023
Dr. Thomas Petrik
Sphinx IT Consulting GmbH
Head of Technology Consulting
High Performance Analytics
Database Architectures
Database Security
3
Was ist Data Mesh?
erstmalig verwendet von Zhamak Dehghani, 2019
soziotechnischer
Ansatz
Methodik
&
Organisationsform
föderalistische
Datenarchitektur
4
Was ist Data Mesh?
5
Fachbereich
Klassisches DWH: Der konservative Ansatz
Stage Layer
Core Layer
DM1
Datamart
DM2
Quellen (DB, File, REST, …)
DWH Team
Fachbereich
Fachbereich
Anforderung
Umsetzung
• zentralistischer Ansatz
• keine Agilität
• fixe Releasezyklen
• hohe Kosten
• geringe Aktualität
• kaum Self Service
• "Schatten DWHs"
"Schatten"-DWH
(Access, Excel, etc.)
6
Modernes DWH: föderalistisch & agil
Self Service
Security out-of-the-box
zentraler Datenkatalog – verteilt gepflegt
Autonomie für den Fachbereich
kurze Umsetzungszyklen
7
Data Mesh & DWH:
Das Beste aus beiden Welten.
8
Data Product:
Das "Microservice" der Analytics Welt
Daten eines
Fachbereichs
konsumierbar über
definierte Interfaces
dokumentiert
9
• fine grained Security in DB
• Row Level / Coloumn Level
• Full Audit
Sandbox:
Abgesicherte "Spielwiese" für den Fachbereich
z.B. ein Schema in
der DB
mit begrenzter
Lebensdauer
(Workflow)
mit definierten
Ressourcen
10
• hochperformante DB
• tuning free
• wartungsarm
• Sandboxing
• fine grained Security in DB
Data Mesh & DWH - Voraussetzungen
geeigneter
Technologie-Stack
Mut zu neuen
Organisationsformen
Übernahme von
Verantwortung im
Fachbereich
11
Data Mesh – agile Entwicklung
TSA (Transient Staging Area)
PSA (Persistant Staging Area)
PSB (Persistant Stage Base)
APB1 APB2
SBX1
(Sandbox)
Quellen (DB, File, REST, …)
Central Team
Domain
Team 1
Domain
Team 2
Data Products
Federated Governance / Domain
• Dokumentation
• Security
• Klassifizierungen
• Berechtigungskreise
• Interoperability
• Zugriff über dokumentierten View Layer
• APIs
• Status Dashboard
Data Science
Team
Domain Team
• Mitarbeiter des Fachbereichs
• technischer Coach / SQL-Team
• Data Ownership
• individuelle Roadmaps
• "Speed Boats" möglich
Central Team
• Mitarbeiter der IT
• Application Management
• Konfiguration der PSA Loads
• Deployment
• Testing
12
Data Mesh – agile Entwicklung
TSA (Transient Staging Area)
PSA (Persistant Staging Area)
PSB (Persistant Stage Base)
APB1 APB2
SBX1
(Sandbox)
Quellen (DB, File, REST, …)
Central Team
Domain
Team 1
1
Development
Documentation
2 Code Review
3
Governance
Review
4
Implementation
APB, Load
13
Self Service
kein administrativer
Overhead
Anforderung im Self
Service
ad hoc Load externer
Daten
abgesicherte Spielwiesen
für den Fachbereich
ohne Tuning-Aufwand
hoch performant
Autonomie für das Domain Team
skalierbar (GB bis PB)
ad hoc Abfragen
Sandboxing
14
Data Mesh @Sphinx IT
Smarter Technologie-Stack
SQL >
R & Python
im Backend der DB
Auto-ELT Framework
Auto Documenter
Data + Security Governance
Glossary
MPP Technologie
Commodity HW
extrem wartungsarm
15
Kurze Projektdurchlaufzeit durch
innovative Technologien
• analytische SQL Datenbank
 On Premises oder in der Cloud
• MPP System
 skalierbar von einem bis mehreren 1000 Knoten
 Commodity Hardware (x86)
 faires Lizenzmodell
 nach TB Rohdaten
 nahezu Tuning-frei
 extrem wartungsarm
• HA- und DR-Szenarien (2 Rechenzentren) abbildbar
• KI im Backend
 R, Python, Java & andere Sprachcontainer
• vollständiger Audit Trail
 ohne Performance-Verlust
• Auto-ELT
• 100% Metadaten-getrieben
• Security Framework
 steuerbar durch externes IDM
• Steuerung der Beladung
 Abzug von den Quellen: FULL & Delta
 DBs, CSV & FBV Files, JSON, etc.
 Historisierung
 Status Dashboards
 Triggern von Folgeaktivitäten
• performanter Load
 hoch parallelisiert
 asynchron
 near Realtime
 ohne klassische Batch Jobs
• KEIN zusätzliches ETL-Tool erforderlich
• KEIN zusätzlicher Scheduler erforderlich
RED Framework
Exasol
Methodik
• Bottom Up statt Top down
 Beibehaltung der Source-Sicht
 KEIN abstrakter Core-Layer
 optionale (virtuelle) Datamarts
• Security out-of-the-box bereits im Base Layer
• Mengenlogik (Views only) anstatt prozeduraler Logik
• einfache Einbindung neuer Datenquellen
 rein deklarativ – keine Programmierung
 von anderen DBs, CSV, FBV, JSON
 bitemporale 2-dimensionale Historisierung
 minimale Time To Market
16
Exasol: Hochperformant ohne Tuning
Minimaler Betriebsaufwand
Indizierung
Statistiken
Compression
Reorganisation
Partitionierung
Row-/Column format
Buffer Cache Tuning
Materialized Views
Datenverteilung
Backup
Workload
Management
Monitoring
SW-Appliance
einfaches Patching
BARC Data Management
Survey 2023
17
18
Schichtenmodell
TSA (Transient Staging Area)
PSA (Persistant Staging Area)
PSB (Persistant Stage Base)
APB1
(Application
Base)
APB2
SBX1
(Sandbox)
temporäre Durchgangsschicht
Load "as is"
"Daten Safe"
durchgängige Historisierung
volle Datenbreite
weitgehende Quellstruktur
technische Konsolidierungen (z.B. Datentypen)
relationaler "Datalake"
Basis für Data Science
einzige Schicht mit permanenter Persistierung
Quellen (DB, File, REST, …)
insert/select
only
ELT
via
Views
only
Metadata
Sandbox
"Spielwiese" für den Fachbereich
Adhoc Load
Entwicklung neuer Strukturen
Application Marts
"Die Sicht des Fachbereichs"
Views only
Star, 3NF, Flat, …
Compatibility Layer (Views)
einfache fachliche Konsolidierungen
stabiles Interface f. FB und APBs
Zugriff für den Fachbereich
KPIs ist unmittelbar nach
Beladung der PSA abfragbar
Near Realtime Architektur
kein Core Modell
Dr. Thomas Petrik
E thomas.petrik@sphinx.at
M +43 664 155 8304
T +43 1 599 31- 0
Sphinx IT Consulting GmbH
Aspernbrückengasse 2
1020 Wien
www.sphinx.at
20
Dr. Thomas Petrik (Sphinx IT Consulting)

Weitere ähnliche Inhalte

Ähnlich wie Dr. Thomas Petrik (Sphinx IT Consulting)

Adxis Produkt Beschreibung
Adxis Produkt BeschreibungAdxis Produkt Beschreibung
Adxis Produkt BeschreibungAndreas Wolf
 
Data Mining und OLAP
Data Mining und OLAPData Mining und OLAP
Data Mining und OLAPmurat9393
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesOPITZ CONSULTING Deutschland
 
SAP Datashpere - von Bits und Bites zu Widgets und Charts
SAP Datashpere - von Bits und Bites zu Widgets und ChartsSAP Datashpere - von Bits und Bites zu Widgets und Charts
SAP Datashpere - von Bits und Bites zu Widgets und ChartsIBsolution GmbH
 
Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Digicomp Academy AG
 
Roadshow Oracle Database 12c: News & Features
Roadshow Oracle Database 12c: News & FeaturesRoadshow Oracle Database 12c: News & Features
Roadshow Oracle Database 12c: News & FeaturesDigicomp Academy AG
 
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText BasisAnwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basisnetmedianer GmbH
 
Modernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future DecodedModernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future DecodedMicrosoft Österreich
 
Zeitgemäße Webentwicklung
Zeitgemäße WebentwicklungZeitgemäße Webentwicklung
Zeitgemäße WebentwicklungStephan Lindauer
 
Oracle-DB: Panorama-Sampler - Eigenes Workload Repository für Panorama
Oracle-DB: Panorama-Sampler - Eigenes Workload Repository für PanoramaOracle-DB: Panorama-Sampler - Eigenes Workload Repository für Panorama
Oracle-DB: Panorama-Sampler - Eigenes Workload Repository für PanoramaPeter Ramm
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesQAware GmbH
 
Überblick: 18c und Autonomous Data Warehouse Cloud (ADWC)
Überblick: 18c und Autonomous Data Warehouse Cloud (ADWC)Überblick: 18c und Autonomous Data Warehouse Cloud (ADWC)
Überblick: 18c und Autonomous Data Warehouse Cloud (ADWC)Ulrike Schwinn
 
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang RütterOracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang RütterOPITZ CONSULTING Deutschland
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performanceglembotzky
 
Public Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBPublic Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBBATbern
 
SCAPE Skalierbare Langzeitarchivierung
SCAPE Skalierbare LangzeitarchivierungSCAPE Skalierbare Langzeitarchivierung
SCAPE Skalierbare LangzeitarchivierungSven Schlarb
 

Ähnlich wie Dr. Thomas Petrik (Sphinx IT Consulting) (20)

Adxis Produkt Beschreibung
Adxis Produkt BeschreibungAdxis Produkt Beschreibung
Adxis Produkt Beschreibung
 
Data Mining und OLAP
Data Mining und OLAPData Mining und OLAP
Data Mining und OLAP
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
 
SAP Datashpere - von Bits und Bites zu Widgets und Charts
SAP Datashpere - von Bits und Bites zu Widgets und ChartsSAP Datashpere - von Bits und Bites zu Widgets und Charts
SAP Datashpere - von Bits und Bites zu Widgets und Charts
 
Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016
 
Roadshow Oracle Database 12c: News & Features
Roadshow Oracle Database 12c: News & FeaturesRoadshow Oracle Database 12c: News & Features
Roadshow Oracle Database 12c: News & Features
 
SAP BW/4HANA - Ein Überblick
SAP BW/4HANA - Ein ÜberblickSAP BW/4HANA - Ein Überblick
SAP BW/4HANA - Ein Überblick
 
Lambdaarchitektur für BigData
Lambdaarchitektur für BigDataLambdaarchitektur für BigData
Lambdaarchitektur für BigData
 
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText BasisAnwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
 
Modernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future DecodedModernes Rechenzentrum - Future Decoded
Modernes Rechenzentrum - Future Decoded
 
Zeitgemäße Webentwicklung
Zeitgemäße WebentwicklungZeitgemäße Webentwicklung
Zeitgemäße Webentwicklung
 
Oracle-DB: Panorama-Sampler - Eigenes Workload Repository für Panorama
Oracle-DB: Panorama-Sampler - Eigenes Workload Repository für PanoramaOracle-DB: Panorama-Sampler - Eigenes Workload Repository für Panorama
Oracle-DB: Panorama-Sampler - Eigenes Workload Repository für Panorama
 
Amazon Redshift
Amazon RedshiftAmazon Redshift
Amazon Redshift
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
 
Portfolio 2016
Portfolio 2016Portfolio 2016
Portfolio 2016
 
Überblick: 18c und Autonomous Data Warehouse Cloud (ADWC)
Überblick: 18c und Autonomous Data Warehouse Cloud (ADWC)Überblick: 18c und Autonomous Data Warehouse Cloud (ADWC)
Überblick: 18c und Autonomous Data Warehouse Cloud (ADWC)
 
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang RütterOracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performance
 
Public Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBPublic Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBB
 
SCAPE Skalierbare Langzeitarchivierung
SCAPE Skalierbare LangzeitarchivierungSCAPE Skalierbare Langzeitarchivierung
SCAPE Skalierbare Langzeitarchivierung
 

Mehr von Agenda Europe 2035

Agenda Europe 2035 vom 24.04.2023
Agenda Europe 2035 vom 24.04.2023Agenda Europe 2035 vom 24.04.2023
Agenda Europe 2035 vom 24.04.2023Agenda Europe 2035
 
Staatssekretärin Ina-Maria Ulbrich,
Staatssekretärin Ina-Maria Ulbrich,Staatssekretärin Ina-Maria Ulbrich,
Staatssekretärin Ina-Maria Ulbrich,Agenda Europe 2035
 
Ing. Roland Schild, BSc (VERBUND)
Ing. Roland Schild, BSc (VERBUND)Ing. Roland Schild, BSc (VERBUND)
Ing. Roland Schild, BSc (VERBUND)Agenda Europe 2035
 
Josef Weissinger (Soroban IT-Beratung).
Josef Weissinger (Soroban IT-Beratung).Josef Weissinger (Soroban IT-Beratung).
Josef Weissinger (Soroban IT-Beratung).Agenda Europe 2035
 
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...Agenda Europe 2035
 
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise).
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise).Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise).
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise).Agenda Europe 2035
 
Mag.a Natascha Jäger (COGITANDA Dataprotect).
Mag.a Natascha Jäger (COGITANDA Dataprotect).Mag.a Natascha Jäger (COGITANDA Dataprotect).
Mag.a Natascha Jäger (COGITANDA Dataprotect).Agenda Europe 2035
 
Dipl.-Ing. Kuno Skach (Control Center Apps).
Dipl.-Ing. Kuno Skach (Control Center Apps).Dipl.-Ing. Kuno Skach (Control Center Apps).
Dipl.-Ing. Kuno Skach (Control Center Apps).Agenda Europe 2035
 
Mag. Fjodor Gütermann (BM für Finanzen).
Mag. Fjodor Gütermann (BM für Finanzen).Mag. Fjodor Gütermann (BM für Finanzen).
Mag. Fjodor Gütermann (BM für Finanzen).Agenda Europe 2035
 
Mag.a Patrizia D´Acerno (BM für Finanzen)
Mag.a Patrizia D´Acerno (BM für Finanzen)Mag.a Patrizia D´Acerno (BM für Finanzen)
Mag.a Patrizia D´Acerno (BM für Finanzen)Agenda Europe 2035
 
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)Agenda Europe 2035
 
Kabinettschef Andreas Achatz, BA, MA
Kabinettschef Andreas Achatz, BA, MAKabinettschef Andreas Achatz, BA, MA
Kabinettschef Andreas Achatz, BA, MAAgenda Europe 2035
 
Mag. Christian Winkelhofer, MBA (Accenture)
Mag. Christian Winkelhofer, MBA (Accenture)Mag. Christian Winkelhofer, MBA (Accenture)
Mag. Christian Winkelhofer, MBA (Accenture)Agenda Europe 2035
 
Ing. Nikolaus Proske (d.velop)
Ing. Nikolaus Proske (d.velop)Ing. Nikolaus Proske (d.velop)
Ing. Nikolaus Proske (d.velop)Agenda Europe 2035
 
Dipl.-Ing. Harald Brandstätter (CSC Computer Sciences Consulting)
Dipl.-Ing. Harald Brandstätter (CSC Computer Sciences Consulting)Dipl.-Ing. Harald Brandstätter (CSC Computer Sciences Consulting)
Dipl.-Ing. Harald Brandstätter (CSC Computer Sciences Consulting)Agenda Europe 2035
 
Einladung Agenda Europe 2035 am 02.11.2010
Einladung Agenda Europe 2035 am 02.11.2010Einladung Agenda Europe 2035 am 02.11.2010
Einladung Agenda Europe 2035 am 02.11.2010Agenda Europe 2035
 
Jochen Veith (Hewlett Packard Enterprise)
Jochen Veith (Hewlett Packard Enterprise)Jochen Veith (Hewlett Packard Enterprise)
Jochen Veith (Hewlett Packard Enterprise)Agenda Europe 2035
 
Dipl.-Ing. Kuno Skach (Control Center Apps)
Dipl.-Ing. Kuno Skach (Control Center Apps)Dipl.-Ing. Kuno Skach (Control Center Apps)
Dipl.-Ing. Kuno Skach (Control Center Apps)Agenda Europe 2035
 
Michael Steindl (Liland IT GmbH)
Michael Steindl (Liland IT GmbH)Michael Steindl (Liland IT GmbH)
Michael Steindl (Liland IT GmbH)Agenda Europe 2035
 
Mag. Christian Samide (Pure Storage), Mag. Dipl.-Ing. Wolfgang Kalny (Smart D...
Mag. Christian Samide (Pure Storage), Mag. Dipl.-Ing. Wolfgang Kalny (Smart D...Mag. Christian Samide (Pure Storage), Mag. Dipl.-Ing. Wolfgang Kalny (Smart D...
Mag. Christian Samide (Pure Storage), Mag. Dipl.-Ing. Wolfgang Kalny (Smart D...Agenda Europe 2035
 

Mehr von Agenda Europe 2035 (20)

Agenda Europe 2035 vom 24.04.2023
Agenda Europe 2035 vom 24.04.2023Agenda Europe 2035 vom 24.04.2023
Agenda Europe 2035 vom 24.04.2023
 
Staatssekretärin Ina-Maria Ulbrich,
Staatssekretärin Ina-Maria Ulbrich,Staatssekretärin Ina-Maria Ulbrich,
Staatssekretärin Ina-Maria Ulbrich,
 
Ing. Roland Schild, BSc (VERBUND)
Ing. Roland Schild, BSc (VERBUND)Ing. Roland Schild, BSc (VERBUND)
Ing. Roland Schild, BSc (VERBUND)
 
Josef Weissinger (Soroban IT-Beratung).
Josef Weissinger (Soroban IT-Beratung).Josef Weissinger (Soroban IT-Beratung).
Josef Weissinger (Soroban IT-Beratung).
 
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
Mag. Christian Samide (Pure Storage Austria), Ing. Johannes Kornfellner (Öste...
 
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise).
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise).Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise).
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise).
 
Mag.a Natascha Jäger (COGITANDA Dataprotect).
Mag.a Natascha Jäger (COGITANDA Dataprotect).Mag.a Natascha Jäger (COGITANDA Dataprotect).
Mag.a Natascha Jäger (COGITANDA Dataprotect).
 
Dipl.-Ing. Kuno Skach (Control Center Apps).
Dipl.-Ing. Kuno Skach (Control Center Apps).Dipl.-Ing. Kuno Skach (Control Center Apps).
Dipl.-Ing. Kuno Skach (Control Center Apps).
 
Mag. Fjodor Gütermann (BM für Finanzen).
Mag. Fjodor Gütermann (BM für Finanzen).Mag. Fjodor Gütermann (BM für Finanzen).
Mag. Fjodor Gütermann (BM für Finanzen).
 
Mag.a Patrizia D´Acerno (BM für Finanzen)
Mag.a Patrizia D´Acerno (BM für Finanzen)Mag.a Patrizia D´Acerno (BM für Finanzen)
Mag.a Patrizia D´Acerno (BM für Finanzen)
 
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
 
Kabinettschef Andreas Achatz, BA, MA
Kabinettschef Andreas Achatz, BA, MAKabinettschef Andreas Achatz, BA, MA
Kabinettschef Andreas Achatz, BA, MA
 
Mag. Christian Winkelhofer, MBA (Accenture)
Mag. Christian Winkelhofer, MBA (Accenture)Mag. Christian Winkelhofer, MBA (Accenture)
Mag. Christian Winkelhofer, MBA (Accenture)
 
Ing. Nikolaus Proske (d.velop)
Ing. Nikolaus Proske (d.velop)Ing. Nikolaus Proske (d.velop)
Ing. Nikolaus Proske (d.velop)
 
Dipl.-Ing. Harald Brandstätter (CSC Computer Sciences Consulting)
Dipl.-Ing. Harald Brandstätter (CSC Computer Sciences Consulting)Dipl.-Ing. Harald Brandstätter (CSC Computer Sciences Consulting)
Dipl.-Ing. Harald Brandstätter (CSC Computer Sciences Consulting)
 
Einladung Agenda Europe 2035 am 02.11.2010
Einladung Agenda Europe 2035 am 02.11.2010Einladung Agenda Europe 2035 am 02.11.2010
Einladung Agenda Europe 2035 am 02.11.2010
 
Jochen Veith (Hewlett Packard Enterprise)
Jochen Veith (Hewlett Packard Enterprise)Jochen Veith (Hewlett Packard Enterprise)
Jochen Veith (Hewlett Packard Enterprise)
 
Dipl.-Ing. Kuno Skach (Control Center Apps)
Dipl.-Ing. Kuno Skach (Control Center Apps)Dipl.-Ing. Kuno Skach (Control Center Apps)
Dipl.-Ing. Kuno Skach (Control Center Apps)
 
Michael Steindl (Liland IT GmbH)
Michael Steindl (Liland IT GmbH)Michael Steindl (Liland IT GmbH)
Michael Steindl (Liland IT GmbH)
 
Mag. Christian Samide (Pure Storage), Mag. Dipl.-Ing. Wolfgang Kalny (Smart D...
Mag. Christian Samide (Pure Storage), Mag. Dipl.-Ing. Wolfgang Kalny (Smart D...Mag. Christian Samide (Pure Storage), Mag. Dipl.-Ing. Wolfgang Kalny (Smart D...
Mag. Christian Samide (Pure Storage), Mag. Dipl.-Ing. Wolfgang Kalny (Smart D...
 

Dr. Thomas Petrik (Sphinx IT Consulting)

  • 1. Dr. Thomas Petrik Mesh it up – don’t mess it up! DATA MESH – die intelligente Kombination aus Methodik und Technologie praktisch umgesetzt. April 2023
  • 2. Dr. Thomas Petrik Sphinx IT Consulting GmbH Head of Technology Consulting High Performance Analytics Database Architectures Database Security
  • 3. 3 Was ist Data Mesh? erstmalig verwendet von Zhamak Dehghani, 2019 soziotechnischer Ansatz Methodik & Organisationsform föderalistische Datenarchitektur
  • 5. 5 Fachbereich Klassisches DWH: Der konservative Ansatz Stage Layer Core Layer DM1 Datamart DM2 Quellen (DB, File, REST, …) DWH Team Fachbereich Fachbereich Anforderung Umsetzung • zentralistischer Ansatz • keine Agilität • fixe Releasezyklen • hohe Kosten • geringe Aktualität • kaum Self Service • "Schatten DWHs" "Schatten"-DWH (Access, Excel, etc.)
  • 6. 6 Modernes DWH: föderalistisch & agil Self Service Security out-of-the-box zentraler Datenkatalog – verteilt gepflegt Autonomie für den Fachbereich kurze Umsetzungszyklen
  • 7. 7 Data Mesh & DWH: Das Beste aus beiden Welten.
  • 8. 8 Data Product: Das "Microservice" der Analytics Welt Daten eines Fachbereichs konsumierbar über definierte Interfaces dokumentiert
  • 9. 9 • fine grained Security in DB • Row Level / Coloumn Level • Full Audit Sandbox: Abgesicherte "Spielwiese" für den Fachbereich z.B. ein Schema in der DB mit begrenzter Lebensdauer (Workflow) mit definierten Ressourcen
  • 10. 10 • hochperformante DB • tuning free • wartungsarm • Sandboxing • fine grained Security in DB Data Mesh & DWH - Voraussetzungen geeigneter Technologie-Stack Mut zu neuen Organisationsformen Übernahme von Verantwortung im Fachbereich
  • 11. 11 Data Mesh – agile Entwicklung TSA (Transient Staging Area) PSA (Persistant Staging Area) PSB (Persistant Stage Base) APB1 APB2 SBX1 (Sandbox) Quellen (DB, File, REST, …) Central Team Domain Team 1 Domain Team 2 Data Products Federated Governance / Domain • Dokumentation • Security • Klassifizierungen • Berechtigungskreise • Interoperability • Zugriff über dokumentierten View Layer • APIs • Status Dashboard Data Science Team Domain Team • Mitarbeiter des Fachbereichs • technischer Coach / SQL-Team • Data Ownership • individuelle Roadmaps • "Speed Boats" möglich Central Team • Mitarbeiter der IT • Application Management • Konfiguration der PSA Loads • Deployment • Testing
  • 12. 12 Data Mesh – agile Entwicklung TSA (Transient Staging Area) PSA (Persistant Staging Area) PSB (Persistant Stage Base) APB1 APB2 SBX1 (Sandbox) Quellen (DB, File, REST, …) Central Team Domain Team 1 1 Development Documentation 2 Code Review 3 Governance Review 4 Implementation APB, Load
  • 13. 13 Self Service kein administrativer Overhead Anforderung im Self Service ad hoc Load externer Daten abgesicherte Spielwiesen für den Fachbereich ohne Tuning-Aufwand hoch performant Autonomie für das Domain Team skalierbar (GB bis PB) ad hoc Abfragen Sandboxing
  • 14. 14 Data Mesh @Sphinx IT Smarter Technologie-Stack SQL > R & Python im Backend der DB Auto-ELT Framework Auto Documenter Data + Security Governance Glossary MPP Technologie Commodity HW extrem wartungsarm
  • 15. 15 Kurze Projektdurchlaufzeit durch innovative Technologien • analytische SQL Datenbank  On Premises oder in der Cloud • MPP System  skalierbar von einem bis mehreren 1000 Knoten  Commodity Hardware (x86)  faires Lizenzmodell  nach TB Rohdaten  nahezu Tuning-frei  extrem wartungsarm • HA- und DR-Szenarien (2 Rechenzentren) abbildbar • KI im Backend  R, Python, Java & andere Sprachcontainer • vollständiger Audit Trail  ohne Performance-Verlust • Auto-ELT • 100% Metadaten-getrieben • Security Framework  steuerbar durch externes IDM • Steuerung der Beladung  Abzug von den Quellen: FULL & Delta  DBs, CSV & FBV Files, JSON, etc.  Historisierung  Status Dashboards  Triggern von Folgeaktivitäten • performanter Load  hoch parallelisiert  asynchron  near Realtime  ohne klassische Batch Jobs • KEIN zusätzliches ETL-Tool erforderlich • KEIN zusätzlicher Scheduler erforderlich RED Framework Exasol Methodik • Bottom Up statt Top down  Beibehaltung der Source-Sicht  KEIN abstrakter Core-Layer  optionale (virtuelle) Datamarts • Security out-of-the-box bereits im Base Layer • Mengenlogik (Views only) anstatt prozeduraler Logik • einfache Einbindung neuer Datenquellen  rein deklarativ – keine Programmierung  von anderen DBs, CSV, FBV, JSON  bitemporale 2-dimensionale Historisierung  minimale Time To Market
  • 16. 16 Exasol: Hochperformant ohne Tuning Minimaler Betriebsaufwand Indizierung Statistiken Compression Reorganisation Partitionierung Row-/Column format Buffer Cache Tuning Materialized Views Datenverteilung Backup Workload Management Monitoring SW-Appliance einfaches Patching
  • 18. 18 Schichtenmodell TSA (Transient Staging Area) PSA (Persistant Staging Area) PSB (Persistant Stage Base) APB1 (Application Base) APB2 SBX1 (Sandbox) temporäre Durchgangsschicht Load "as is" "Daten Safe" durchgängige Historisierung volle Datenbreite weitgehende Quellstruktur technische Konsolidierungen (z.B. Datentypen) relationaler "Datalake" Basis für Data Science einzige Schicht mit permanenter Persistierung Quellen (DB, File, REST, …) insert/select only ELT via Views only Metadata Sandbox "Spielwiese" für den Fachbereich Adhoc Load Entwicklung neuer Strukturen Application Marts "Die Sicht des Fachbereichs" Views only Star, 3NF, Flat, … Compatibility Layer (Views) einfache fachliche Konsolidierungen stabiles Interface f. FB und APBs Zugriff für den Fachbereich KPIs ist unmittelbar nach Beladung der PSA abfragbar Near Realtime Architektur kein Core Modell
  • 19. Dr. Thomas Petrik E thomas.petrik@sphinx.at M +43 664 155 8304 T +43 1 599 31- 0 Sphinx IT Consulting GmbH Aspernbrückengasse 2 1020 Wien www.sphinx.at
  • 20. 20