SlideShare ist ein Scribd-Unternehmen logo
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 1
TDWI 2024
11.06.2024
Sven Bernhardt & Fabian Hardt
DATA MESH & DDD
SYNERGIEN FÜR DATENGETRIEBENE EXZELLENZ
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 2
Wie viel
Tonnen
Autoschrott
in
Deutschland
pro Jahr?
500k
Tonnen
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 3
Source: Süddeutsche Zeitung Magazin
© OPITZ CONSULTING 2024 / Öffentlich
AIRPAQ
Data Mesh - Synergien für datengetriebene Exzellenz 4
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 5
Wir denken in
Produkten!
© OPITZ CONSULTING 2024 / Öffentlich
WILLKÜRLICHE, WENIG STRUKTURIERTE DATENHAUFEN
Data Mesh - Synergien für datengetriebene Exzellenz 6
Source: Unsplash
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 7
Data is like garbage.
You’d better know
what you are going
to do with it before
you collect it.
(Mark Twain)
Source: Unsplash
© OPITZ CONSULTING 2024 / Öffentlich
HÄUFIGE IST-SITUATION
Data Mesh - Synergien für datengetriebene Exzellenz 8
¢ Zentrale Data Teams zu langsam – können
nicht alle analytischen Fragestellungen
schnell genug beantworten
¢ Bottleneck
¢ Fehlende Autonomie
¢ Wofür geht die Zeit drauf?
¢ Technik: ETL-Jobs fixen– durch
Änderungen der Quelle
¢ Übrige Zeit: Verstehen der Fachdaten –
Bau neuer Pipelines
Quelle: https://www.datamesh-architecture.com/
© OPITZ CONSULTING 2024 / Öffentlich
WAS FEHLT DER AKTUELLEN
ANALYSTICS WELT?
Data Mesh - Synergien für datengetriebene Exzellenz 9
¢ Schnelle “time to market” wird immer wichtiger
¢ Moderne Softwareentwicklung zeigt wie es
gehen kann
¢ Abteilungen oft unzufrieden, weil das BI-
Team mit der Umsetzung nicht
hinterherkommt
¢ Abteilungen wollen Self-Service Angebote
¢ Wichtig um „Schatten IT“ zu vermeiden
¢ Schnellere / agileres Vorgehen durch
Dezentralisierung von Systemen
¢ Data Plattform vs. Integration Plattform
¢ Wachsen immer weiter zusammen
¢ Viele Gemeinsamkeiten
Software Development vs. Analytics?
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 10
Vom “Ihr”, zum “Wir” –
es geht nur gemeinsam!
© OPITZ CONSULTING 2024 / Öffentlich
IST-ZUSTAND: KLASSISCH, MONOLITHISCHE SYSTEMARCHITEKTUR
Data Mesh - Synergien für datengetriebene Exzellenz 11
Monolith
Business Domain
Shared Platforms
Shared Services (Foundation) incl. integration platform
Hybrid, flexible infrastructure incl. Cloud Services
Standard
(On-Prem)
Business Domain
Business Domain
Custom Application
Standard
(On-Prem)
SaaS-Cloud
Standard
SaaS
© OPITZ CONSULTING 2024 / Öffentlich
ZIELBILD: PRODUKTORIENTIERTE SYSTEMARCHITEKTUR
Data Mesh - Synergien für datengetriebene Exzellenz 12
Digital
Product
Digital
Product
Business Domain
Shared Platforms
Shared Services (Foundation) incl. integration platform
Hybrid, flexible infrastructure incl. Cloud Services
Standard
(On-Prem)
Business Domain
Business Domain
Digital Product
Standard
(On-Prem)
SaaS-Cloud
Standard
SaaS
Digital
Product
© OPITZ CONSULTING 2024 / Öffentlich
VON ZENTRALISIERTEN ZU VERTEILTEN ARCHITEKTUREN
Data Mesh - Synergien für datengetriebene Exzellenz 13
UI
Business
Logic
Persistence
© OPITZ CONSULTING 2024 / Öffentlich
HERAUSFORDERUNGEN DER ZUNEHMENDEN VERTEILUNG
Data Mesh - Synergien für datengetriebene Exzellenz
¢ Sicherheit
¢ Nachvollziehbarkeit
¢ Zuverlässigkeit
14
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 15
Verteilung führt zu
Flexibilität, Autonomie und
neuen Herausforderungen!
© OPITZ CONSULTING 2024 / Öffentlich
PRODUKTE
16
Sind anfassbar
Haben
Lebenszyklus
Haben Nutzen
Brauchen
klare
Ownership
≠ Projekt
Source: Audi
Data Mesh - Synergien für datengetriebene Exzellenz
Data Mesh - Synergien für datengetriebene Exzellenz
© OPITZ CONSULTING 2024 / Öffentlich
DIGITALE PRODUKTE – BEISPIEL: API-PRODUCT
Data Mesh - Synergien für datengetriebene Exzellenz
¢ Nicht (physisch) anfassbar
¢ Merkmale eines API-Products:
¢ User Experience (UX)
¢ Zuverlässigkeit
¢ API-Products sind User-centric
¢ Verschiedene Protokolle: REST, SOAP, gRPC, GraphQL, Kafka,
etc.
17
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 18
Source: Volkswagen
© OPITZ CONSULTING 2024 / Öffentlich
DOMÄNEN ANSTELLE VON SYSTEMEN - DOMAIN DRIVEN DESIGN
Data Mesh - Synergien für datengetriebene Exzellenz 19
¢ Fokus auf (Kern-)Fachlichkeit
¢ Reduktion von Komplexität
¢ Universelle Sprache finden und verwenden
(Ubiquitous Language)
Sales
HR
Portfolio
Financial
Marketing
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 20
Um erfolgreich Produkte
erstellen zu können müssen
sich Technologien,
Organisationen und
Menschen verändern!
© OPITZ CONSULTING 2024 / Öffentlich
DATA MESH „BRING DOMAIN
THINKING TO THE DATA WORLD“
Data Mesh - Synergien für datengetriebene Exzellenz
¢ 2019 von Zhamak Dehghani geprägt
¢ Kern-Prinzipien:
¢ “Domain Ownership”
¢ Daten als Produkt
¢ Self-Service Infrastruktur Plattform
¢ Federated Governance
21
© OPITZ CONSULTING 2024 / Öffentlich
DATA PRODUCTS
Data Mesh - Synergien für datengetriebene Exzellenz 22
¢ Sehr große Ähnlichkeit mit Microservices (moderne Softwareentwicklung – Bsp.: API-Product)
¢ Operationale Applikation vs. Analytische Applikation
© OPITZ CONSULTING 2024 / Öffentlich
ZIEL - INTUITIVE DATENPRODUKTE
GESCHÄFTSENTSCHEIDUNGEN RICHTIG ZU UNTERSTÜTZEN
Data Mesh - Synergien für datengetriebene Exzellenz
¢ Eigenschaften eines Data Products
¢ User Experience (UX)
¢ Vertrauen in die Daten
¢ Input ports: Verbindung zu Operationalen
Daten und anderen Data Products
¢ Output ports: Stellen Data Sets bereit
¢ Output ports sind mit einem Data contract
versehen
¢ Ziel: Einfach Nutzbarkeit
Für Data contracts, nutzen wir Data contract first
Ansatz, analog zu APIs!
23
© OPITZ CONSULTING 2024 / Öffentlich
DATSIS PRINCIPLES
Data Mesh - Synergien für datengetriebene Exzellenz 24
¢ Discoverable: Muss leicht zu finden sein
(Data Catalog)
¢ Addressable: Muss über einen definierten
Weg zugreifbar sein (Data Contracts)
¢ Trustworthy: Produkte müssen Qualitäts-
und Servicestandards erfüllen
¢ Secure: Feingranulare Access Policies für die
Daten sollen definiert sein
¢ Interoperable: Produkte sollten Standards
folgen und Schnittstellen zum suchen bieten
¢ Self-describing: Produkt muss Ein- und
Ausgangsports sowie eine aktualisierte
Dokumentation enthalten.
…und auch hier finden sich Parallelen zur
Softwareentwicklung!
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 25
Data Mesh hilft dabei
Herausforderungen
zwischen den Welten zu
reduzieren!
© OPITZ CONSULTING 2024 / Öffentlich
WICHTIGES ZIEL: EFFIZIENTE, FLEXIBLE HERSTELLUNG
VERSCHIEDENER PRODUKTE
Data Mesh - Synergien für datengetriebene Exzellenz 26
Source: Volkswagen
© OPITZ CONSULTING 2024 / Öffentlich
WAS HABEN DIE DARGESTELLTEN AUTOMODELLE GEMEIN?
Data Mesh - Synergien für datengetriebene Exzellenz 27
Source: Audi, Volkswagen, Skoda
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 28
Gemeinsame Plattformen
schaffen und Synergien
nutzen!
© OPITZ CONSULTING 2024 / Öffentlich
HERAUSFORDERUNGEN AKTUELLER ANALYTICS-PLATTFORMEN
Data Mesh - Synergien für datengetriebene Exzellenz 29
Qualität
Automatisierte Tests,
Automatisiertes
Deployment
Monolithische Architektur
Aktuell kaum Entkopplung
von Datentöpfen oder
Systemen
Governance
Oft zu wenig Überblick über
vorhandenes + Qualität
Fehlende Automatisierung
keine moderne Self-Service
Plattform vorhanden
Zentrale Datenhaltung
Striktes Festhalten an Enterprise
Datenmodell
Fehlendes Domänenwissen
Analytics Abteilung nicht Teil der
Fachdomänen, verbringt viel Zeit mit
Anforderungsanalyse
© OPITZ CONSULTING 2024 / Öffentlich
PLATFORM ENGINEERING ALS NEUE DISZIPLIN
Data Mesh - Synergien für datengetriebene Exzellenz 30
Platform engineering is the discipline of designing and
building toolchains and workflows that enable self-service
capabilities for software engineering organizations in the
cloud-native era. Platform engineers provide an
integrated product most often referred to as an “Internal
Developer Platform” (IDP) covering the operational
necessities of the entire lifecycle of an application.
Source: “What is Platform Engineering”, Luca Galante, Humanitec
© OPITZ CONSULTING 2024 / Öffentlich
DENKEN IN PRODUKTEN UND PLATTFORMEN ERFORDERT
ORGANISATORISCHE VERÄNDERUNG
Data Mesh - Synergien für datengetriebene Exzellenz 31
Source: “Team Topologies”, Matthew Skelton & Manuel Pais
© OPITZ CONSULTING 2024 / Öffentlich
PLATTFORM-EIGENSCHAFTEN
Data Mesh - Synergien für datengetriebene Exzellenz 32
¢ Modern
¢ Erweiterbar
¢ Self-Service
¢ Klare Regeln / Contracts vorausgesetzt
¢ Zentrale Dienste
¢ Kollaboration
¢ CI/CD Plattform / GIT
¢ Monitoring – 360 Grad Blick
¢ Data Catalog
¢ AuthN / AuthZ / Security Baseline
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 33
Digitale Plattformen
sind essenziell für das
Lifecycle-Management
digitaler Produkte!
© OPITZ CONSULTING 2024 / Öffentlich
TECHNISCHER GAP
Data Mesh - Synergien für datengetriebene Exzellenz 34
© OPITZ CONSULTING 2024 / Öffentlich
MODERN ETL
Data Mesh - Synergien für datengetriebene Exzellenz 35
¢ Auch ETL ist „stateless“!
¢ Kann containerisiert passieren, analog zu
Microservices
¢ Container verbrauchen Ressourcen nur zur
Laufzeit
¢ Freie Tool / Sprachenwahl
¢ Domain-Teams können ihr Tool frei wählen
¢ Governance regelt Anforderungen an
Qualität und DevOps Prozesse
¢ ETL goes „Code first“
¢ Automatisiertes Testing
¢ Automatisiertes Deployment
Erfolgsrezept für Tools
wie dbt
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 36
Source: www.az-online.de
© OPITZ CONSULTING 2024 / Öffentlich
TECHNISCHE HERAUSFORDERUNGEN
Data Mesh - Synergien für datengetriebene Exzellenz 37
Unabhängige Data Products
Herausforderungen analog zu
Microservices
Im Falle von Abhängigkeiten wird eine
Versionierung nötig
Historisierung von Daten der
Data Products sollte
mitbetrachtet werden
Alle Domain-Entitäten sollten auch
historisiert zur Verfügung gestellt
werden
Bereitstellung von Products
Registrierung in Catalog
Veröffentlichung über Plattform
© OPITZ CONSULTING 2024 / Öffentlich
CROSS-DOMAIN DATA PRODUCT USAGE
Data Mesh - Synergien für datengetriebene Exzellenz 38
© OPITZ CONSULTING 2024 / Öffentlich
ANWENDUNGSBEISPIEL
Data Mesh - Synergien für datengetriebene Exzellenz 39
© OPITZ CONSULTING 2024 / Öffentlich
BEISPIEL MIT ANALYTISCHEM DATA PRODUKT
Data Mesh - Synergien für datengetriebene Exzellenz 40
© OPITZ CONSULTING 2024 / Öffentlich
IDEE VOM DATA MESH 1.0 / DATA MESH LIGHT
(ADVANCED DWH MODERNIZATION)
Data Mesh - Synergien für datengetriebene Exzellenz 41
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 42
AUF DAS ZUSAMMENSPIEL
KOMMT ES AN!
Source: www.zeit.de
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 43
Und immer dran denken:
Das “Wir” bringt uns voran –
und „Wir“ denken in
Produkten!
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 44
Q & A
Besuchen Sie uns am Stand!
© OPITZ CONSULTING 2024 / Öffentlich
Data Mesh - Synergien für datengetriebene Exzellenz 45
www.opitz-consulting.com
KONTAKT
Sven Bernhardt
Chief Architect
Sven.Bernhardt@opitz-consulting.com
+49 172 2193529
https://www.xing.com/profile/Sven_Bernhardt/
https://www.linkedin.com/in/sven-bernhardt-0570b823/
Fabian Hardt
Solution Architect
Fabian.Hardt@opitz-consulting.com
https://twitter.com/fabian_hardt
https://www.xing.com/profile/Fabian_Hardt
https://www.linkedin.com/in/fabian-hardt-0956b1b1

Weitere ähnliche Inhalte

Ähnlich wie Data Mesh & DDD: Synergien für datengetriebene Exzellenz

Cloud meets On-prem - Guidelines & Best Practices
Cloud meets On-prem - Guidelines & Best PracticesCloud meets On-prem - Guidelines & Best Practices
Cloud meets On-prem - Guidelines & Best Practices
OPITZ CONSULTING Deutschland
 
Cloud meets On-premises - Guidelines and Best practices
Cloud meets On-premises - Guidelines and Best practicesCloud meets On-premises - Guidelines and Best practices
Cloud meets On-premises - Guidelines and Best practices
Sven Bernhardt
 
Geheimnis Open Source Software (3 von 4) - Digitale Souveränität – Warum das ...
Geheimnis Open Source Software (3 von 4) - Digitale Souveränität – Warum das ...Geheimnis Open Source Software (3 von 4) - Digitale Souveränität – Warum das ...
Geheimnis Open Source Software (3 von 4) - Digitale Souveränität – Warum das ...
metas GmbH
 
Michael Gollan – HYPERTEGRITY AG HTAG_OpenSourceUrbanInnovation2.pdf
Michael Gollan – HYPERTEGRITY AG HTAG_OpenSourceUrbanInnovation2.pdfMichael Gollan – HYPERTEGRITY AG HTAG_OpenSourceUrbanInnovation2.pdf
Michael Gollan – HYPERTEGRITY AG HTAG_OpenSourceUrbanInnovation2.pdf
FIWARE
 
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise)
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise)Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise)
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise)
Agenda Europe 2035
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern
 
Speed und Compliance - Freunde oder Gegner?
Speed und  Compliance - Freunde oder Gegner?Speed und  Compliance - Freunde oder Gegner?
Speed und Compliance - Freunde oder Gegner?
OPITZ CONSULTING Deutschland
 
Smart Data Engineering: Erfolgsfaktor für die digitale Transformation
Smart Data Engineering: Erfolgsfaktor für die digitale TransformationSmart Data Engineering: Erfolgsfaktor für die digitale Transformation
Smart Data Engineering: Erfolgsfaktor für die digitale Transformation
Boris Otto
 
OC|Webcast "Willkommen in der Cloud!"
OC|Webcast "Willkommen in der Cloud!"OC|Webcast "Willkommen in der Cloud!"
OC|Webcast "Willkommen in der Cloud!"
OPITZ CONSULTING Deutschland
 
Karl Steiner (COMPRISE GmbH)
Karl Steiner (COMPRISE GmbH)Karl Steiner (COMPRISE GmbH)
Karl Steiner (COMPRISE GmbH)
Agenda Europe 2035
 
Truzztbox datenraummobilitaet angebot
Truzztbox datenraummobilitaet angebotTruzztbox datenraummobilitaet angebot
Truzztbox datenraummobilitaet angebot
h-bauer2014
 
Agilität und Microservices als Chance für Modernisierung?
Agilität und Microservices als Chance für Modernisierung?Agilität und Microservices als Chance für Modernisierung?
Agilität und Microservices als Chance für Modernisierung?
enpit GmbH & Co. KG
 
Database migration
Database migrationDatabase migration
Database migration
OPITZ CONSULTING Deutschland
 
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
AWS Germany
 
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
FIWARE
 
Michael Pfefferle (Bitkom) Datenplattform für intelligente Infrastrukturen.pdf
Michael Pfefferle (Bitkom) Datenplattform für intelligente Infrastrukturen.pdfMichael Pfefferle (Bitkom) Datenplattform für intelligente Infrastrukturen.pdf
Michael Pfefferle (Bitkom) Datenplattform für intelligente Infrastrukturen.pdf
FIWARE
 
Acentrix 2015 - All in Cloud Transformationsstrategie
Acentrix 2015 - All in Cloud TransformationsstrategieAcentrix 2015 - All in Cloud Transformationsstrategie
Acentrix 2015 - All in Cloud Transformationsstrategie
acentrix GmbH
 
ALL-IN-CLOUD- TRANSFORMATIONSSTRATEGIE
ALL-IN-CLOUD- TRANSFORMATIONSSTRATEGIEALL-IN-CLOUD- TRANSFORMATIONSSTRATEGIE
ALL-IN-CLOUD- TRANSFORMATIONSSTRATEGIE
acentrix GmbH
 
Endlich der Brückenschluss: IoT und Businessprozesse
Endlich der Brückenschluss: IoT und BusinessprozesseEndlich der Brückenschluss: IoT und Businessprozesse
Endlich der Brückenschluss: IoT und Businessprozesse
bhoeck
 
Linked Open Data Business
Linked Open Data BusinessLinked Open Data Business
Linked Open Data Business
Open Knowledge Austria
 

Ähnlich wie Data Mesh & DDD: Synergien für datengetriebene Exzellenz (20)

Cloud meets On-prem - Guidelines & Best Practices
Cloud meets On-prem - Guidelines & Best PracticesCloud meets On-prem - Guidelines & Best Practices
Cloud meets On-prem - Guidelines & Best Practices
 
Cloud meets On-premises - Guidelines and Best practices
Cloud meets On-premises - Guidelines and Best practicesCloud meets On-premises - Guidelines and Best practices
Cloud meets On-premises - Guidelines and Best practices
 
Geheimnis Open Source Software (3 von 4) - Digitale Souveränität – Warum das ...
Geheimnis Open Source Software (3 von 4) - Digitale Souveränität – Warum das ...Geheimnis Open Source Software (3 von 4) - Digitale Souveränität – Warum das ...
Geheimnis Open Source Software (3 von 4) - Digitale Souveränität – Warum das ...
 
Michael Gollan – HYPERTEGRITY AG HTAG_OpenSourceUrbanInnovation2.pdf
Michael Gollan – HYPERTEGRITY AG HTAG_OpenSourceUrbanInnovation2.pdfMichael Gollan – HYPERTEGRITY AG HTAG_OpenSourceUrbanInnovation2.pdf
Michael Gollan – HYPERTEGRITY AG HTAG_OpenSourceUrbanInnovation2.pdf
 
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise)
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise)Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise)
Dipl.-Ing. Werner Plessl (Hewlett Packard Enterprise)
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
 
Speed und Compliance - Freunde oder Gegner?
Speed und  Compliance - Freunde oder Gegner?Speed und  Compliance - Freunde oder Gegner?
Speed und Compliance - Freunde oder Gegner?
 
Smart Data Engineering: Erfolgsfaktor für die digitale Transformation
Smart Data Engineering: Erfolgsfaktor für die digitale TransformationSmart Data Engineering: Erfolgsfaktor für die digitale Transformation
Smart Data Engineering: Erfolgsfaktor für die digitale Transformation
 
OC|Webcast "Willkommen in der Cloud!"
OC|Webcast "Willkommen in der Cloud!"OC|Webcast "Willkommen in der Cloud!"
OC|Webcast "Willkommen in der Cloud!"
 
Karl Steiner (COMPRISE GmbH)
Karl Steiner (COMPRISE GmbH)Karl Steiner (COMPRISE GmbH)
Karl Steiner (COMPRISE GmbH)
 
Truzztbox datenraummobilitaet angebot
Truzztbox datenraummobilitaet angebotTruzztbox datenraummobilitaet angebot
Truzztbox datenraummobilitaet angebot
 
Agilität und Microservices als Chance für Modernisierung?
Agilität und Microservices als Chance für Modernisierung?Agilität und Microservices als Chance für Modernisierung?
Agilität und Microservices als Chance für Modernisierung?
 
Database migration
Database migrationDatabase migration
Database migration
 
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
 
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
Prof. Dr. Michael Prange - Skalierbare Datenplattform für intelligente Infras...
 
Michael Pfefferle (Bitkom) Datenplattform für intelligente Infrastrukturen.pdf
Michael Pfefferle (Bitkom) Datenplattform für intelligente Infrastrukturen.pdfMichael Pfefferle (Bitkom) Datenplattform für intelligente Infrastrukturen.pdf
Michael Pfefferle (Bitkom) Datenplattform für intelligente Infrastrukturen.pdf
 
Acentrix 2015 - All in Cloud Transformationsstrategie
Acentrix 2015 - All in Cloud TransformationsstrategieAcentrix 2015 - All in Cloud Transformationsstrategie
Acentrix 2015 - All in Cloud Transformationsstrategie
 
ALL-IN-CLOUD- TRANSFORMATIONSSTRATEGIE
ALL-IN-CLOUD- TRANSFORMATIONSSTRATEGIEALL-IN-CLOUD- TRANSFORMATIONSSTRATEGIE
ALL-IN-CLOUD- TRANSFORMATIONSSTRATEGIE
 
Endlich der Brückenschluss: IoT und Businessprozesse
Endlich der Brückenschluss: IoT und BusinessprozesseEndlich der Brückenschluss: IoT und Businessprozesse
Endlich der Brückenschluss: IoT und Businessprozesse
 
Linked Open Data Business
Linked Open Data BusinessLinked Open Data Business
Linked Open Data Business
 

Mehr von Fabian Hardt

Vanilla, cherry or blueberry - which on-prem Kubernetes distribution is best ...
Vanilla, cherry or blueberry - which on-prem Kubernetes distribution is best ...Vanilla, cherry or blueberry - which on-prem Kubernetes distribution is best ...
Vanilla, cherry or blueberry - which on-prem Kubernetes distribution is best ...
Fabian Hardt
 
Advanced Observability & Security
Advanced Observability & SecurityAdvanced Observability & Security
Advanced Observability & Security
Fabian Hardt
 
Advanced Observability & Security
Advanced Observability & SecurityAdvanced Observability & Security
Advanced Observability & Security
Fabian Hardt
 
Mit APIs auf der Überholspur zur produktorientierten Organisation
Mit APIs auf der Überholspur zur produktorientierten OrganisationMit APIs auf der Überholspur zur produktorientierten Organisation
Mit APIs auf der Überholspur zur produktorientierten Organisation
Fabian Hardt
 
Analytics meets Integration – Modern Development mit Data APIs
Analytics meets Integration – Modern Development mit Data APIsAnalytics meets Integration – Modern Development mit Data APIs
Analytics meets Integration – Modern Development mit Data APIs
Fabian Hardt
 
Service Mesh Advanced Use Cases
Service Mesh Advanced Use CasesService Mesh Advanced Use Cases
Service Mesh Advanced Use Cases
Fabian Hardt
 
How Service Mesh Fits into the Modern Data Stack
How Service Mesh Fits into the Modern Data StackHow Service Mesh Fits into the Modern Data Stack
How Service Mesh Fits into the Modern Data Stack
Fabian Hardt
 
Persönliche Filmtipps mittels Recommender System und Chatbot
Persönliche Filmtipps mittels Recommender System und ChatbotPersönliche Filmtipps mittels Recommender System und Chatbot
Persönliche Filmtipps mittels Recommender System und Chatbot
Fabian Hardt
 
Automatisierte Provisionierung einer Data Lab Umgebung für Data Scientists
Automatisierte Provisionierung einer Data Lab Umgebung für Data ScientistsAutomatisierte Provisionierung einer Data Lab Umgebung für Data Scientists
Automatisierte Provisionierung einer Data Lab Umgebung für Data Scientists
Fabian Hardt
 
Augmented Analytics mit Amazon Alexa
Augmented Analytics mit Amazon AlexaAugmented Analytics mit Amazon Alexa
Augmented Analytics mit Amazon Alexa
Fabian Hardt
 

Mehr von Fabian Hardt (10)

Vanilla, cherry or blueberry - which on-prem Kubernetes distribution is best ...
Vanilla, cherry or blueberry - which on-prem Kubernetes distribution is best ...Vanilla, cherry or blueberry - which on-prem Kubernetes distribution is best ...
Vanilla, cherry or blueberry - which on-prem Kubernetes distribution is best ...
 
Advanced Observability & Security
Advanced Observability & SecurityAdvanced Observability & Security
Advanced Observability & Security
 
Advanced Observability & Security
Advanced Observability & SecurityAdvanced Observability & Security
Advanced Observability & Security
 
Mit APIs auf der Überholspur zur produktorientierten Organisation
Mit APIs auf der Überholspur zur produktorientierten OrganisationMit APIs auf der Überholspur zur produktorientierten Organisation
Mit APIs auf der Überholspur zur produktorientierten Organisation
 
Analytics meets Integration – Modern Development mit Data APIs
Analytics meets Integration – Modern Development mit Data APIsAnalytics meets Integration – Modern Development mit Data APIs
Analytics meets Integration – Modern Development mit Data APIs
 
Service Mesh Advanced Use Cases
Service Mesh Advanced Use CasesService Mesh Advanced Use Cases
Service Mesh Advanced Use Cases
 
How Service Mesh Fits into the Modern Data Stack
How Service Mesh Fits into the Modern Data StackHow Service Mesh Fits into the Modern Data Stack
How Service Mesh Fits into the Modern Data Stack
 
Persönliche Filmtipps mittels Recommender System und Chatbot
Persönliche Filmtipps mittels Recommender System und ChatbotPersönliche Filmtipps mittels Recommender System und Chatbot
Persönliche Filmtipps mittels Recommender System und Chatbot
 
Automatisierte Provisionierung einer Data Lab Umgebung für Data Scientists
Automatisierte Provisionierung einer Data Lab Umgebung für Data ScientistsAutomatisierte Provisionierung einer Data Lab Umgebung für Data Scientists
Automatisierte Provisionierung einer Data Lab Umgebung für Data Scientists
 
Augmented Analytics mit Amazon Alexa
Augmented Analytics mit Amazon AlexaAugmented Analytics mit Amazon Alexa
Augmented Analytics mit Amazon Alexa
 

Data Mesh & DDD: Synergien für datengetriebene Exzellenz

  • 1. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 1 TDWI 2024 11.06.2024 Sven Bernhardt & Fabian Hardt DATA MESH & DDD SYNERGIEN FÜR DATENGETRIEBENE EXZELLENZ
  • 2. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 2 Wie viel Tonnen Autoschrott in Deutschland pro Jahr? 500k Tonnen
  • 3. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 3 Source: Süddeutsche Zeitung Magazin
  • 4. © OPITZ CONSULTING 2024 / Öffentlich AIRPAQ Data Mesh - Synergien für datengetriebene Exzellenz 4
  • 5. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 5 Wir denken in Produkten!
  • 6. © OPITZ CONSULTING 2024 / Öffentlich WILLKÜRLICHE, WENIG STRUKTURIERTE DATENHAUFEN Data Mesh - Synergien für datengetriebene Exzellenz 6 Source: Unsplash
  • 7. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 7 Data is like garbage. You’d better know what you are going to do with it before you collect it. (Mark Twain) Source: Unsplash
  • 8. © OPITZ CONSULTING 2024 / Öffentlich HÄUFIGE IST-SITUATION Data Mesh - Synergien für datengetriebene Exzellenz 8 ¢ Zentrale Data Teams zu langsam – können nicht alle analytischen Fragestellungen schnell genug beantworten ¢ Bottleneck ¢ Fehlende Autonomie ¢ Wofür geht die Zeit drauf? ¢ Technik: ETL-Jobs fixen– durch Änderungen der Quelle ¢ Übrige Zeit: Verstehen der Fachdaten – Bau neuer Pipelines Quelle: https://www.datamesh-architecture.com/
  • 9. © OPITZ CONSULTING 2024 / Öffentlich WAS FEHLT DER AKTUELLEN ANALYSTICS WELT? Data Mesh - Synergien für datengetriebene Exzellenz 9 ¢ Schnelle “time to market” wird immer wichtiger ¢ Moderne Softwareentwicklung zeigt wie es gehen kann ¢ Abteilungen oft unzufrieden, weil das BI- Team mit der Umsetzung nicht hinterherkommt ¢ Abteilungen wollen Self-Service Angebote ¢ Wichtig um „Schatten IT“ zu vermeiden ¢ Schnellere / agileres Vorgehen durch Dezentralisierung von Systemen ¢ Data Plattform vs. Integration Plattform ¢ Wachsen immer weiter zusammen ¢ Viele Gemeinsamkeiten Software Development vs. Analytics?
  • 10. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 10 Vom “Ihr”, zum “Wir” – es geht nur gemeinsam!
  • 11. © OPITZ CONSULTING 2024 / Öffentlich IST-ZUSTAND: KLASSISCH, MONOLITHISCHE SYSTEMARCHITEKTUR Data Mesh - Synergien für datengetriebene Exzellenz 11 Monolith Business Domain Shared Platforms Shared Services (Foundation) incl. integration platform Hybrid, flexible infrastructure incl. Cloud Services Standard (On-Prem) Business Domain Business Domain Custom Application Standard (On-Prem) SaaS-Cloud Standard SaaS
  • 12. © OPITZ CONSULTING 2024 / Öffentlich ZIELBILD: PRODUKTORIENTIERTE SYSTEMARCHITEKTUR Data Mesh - Synergien für datengetriebene Exzellenz 12 Digital Product Digital Product Business Domain Shared Platforms Shared Services (Foundation) incl. integration platform Hybrid, flexible infrastructure incl. Cloud Services Standard (On-Prem) Business Domain Business Domain Digital Product Standard (On-Prem) SaaS-Cloud Standard SaaS Digital Product
  • 13. © OPITZ CONSULTING 2024 / Öffentlich VON ZENTRALISIERTEN ZU VERTEILTEN ARCHITEKTUREN Data Mesh - Synergien für datengetriebene Exzellenz 13 UI Business Logic Persistence
  • 14. © OPITZ CONSULTING 2024 / Öffentlich HERAUSFORDERUNGEN DER ZUNEHMENDEN VERTEILUNG Data Mesh - Synergien für datengetriebene Exzellenz ¢ Sicherheit ¢ Nachvollziehbarkeit ¢ Zuverlässigkeit 14
  • 15. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 15 Verteilung führt zu Flexibilität, Autonomie und neuen Herausforderungen!
  • 16. © OPITZ CONSULTING 2024 / Öffentlich PRODUKTE 16 Sind anfassbar Haben Lebenszyklus Haben Nutzen Brauchen klare Ownership ≠ Projekt Source: Audi Data Mesh - Synergien für datengetriebene Exzellenz Data Mesh - Synergien für datengetriebene Exzellenz
  • 17. © OPITZ CONSULTING 2024 / Öffentlich DIGITALE PRODUKTE – BEISPIEL: API-PRODUCT Data Mesh - Synergien für datengetriebene Exzellenz ¢ Nicht (physisch) anfassbar ¢ Merkmale eines API-Products: ¢ User Experience (UX) ¢ Zuverlässigkeit ¢ API-Products sind User-centric ¢ Verschiedene Protokolle: REST, SOAP, gRPC, GraphQL, Kafka, etc. 17
  • 18. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 18 Source: Volkswagen
  • 19. © OPITZ CONSULTING 2024 / Öffentlich DOMÄNEN ANSTELLE VON SYSTEMEN - DOMAIN DRIVEN DESIGN Data Mesh - Synergien für datengetriebene Exzellenz 19 ¢ Fokus auf (Kern-)Fachlichkeit ¢ Reduktion von Komplexität ¢ Universelle Sprache finden und verwenden (Ubiquitous Language) Sales HR Portfolio Financial Marketing
  • 20. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 20 Um erfolgreich Produkte erstellen zu können müssen sich Technologien, Organisationen und Menschen verändern!
  • 21. © OPITZ CONSULTING 2024 / Öffentlich DATA MESH „BRING DOMAIN THINKING TO THE DATA WORLD“ Data Mesh - Synergien für datengetriebene Exzellenz ¢ 2019 von Zhamak Dehghani geprägt ¢ Kern-Prinzipien: ¢ “Domain Ownership” ¢ Daten als Produkt ¢ Self-Service Infrastruktur Plattform ¢ Federated Governance 21
  • 22. © OPITZ CONSULTING 2024 / Öffentlich DATA PRODUCTS Data Mesh - Synergien für datengetriebene Exzellenz 22 ¢ Sehr große Ähnlichkeit mit Microservices (moderne Softwareentwicklung – Bsp.: API-Product) ¢ Operationale Applikation vs. Analytische Applikation
  • 23. © OPITZ CONSULTING 2024 / Öffentlich ZIEL - INTUITIVE DATENPRODUKTE GESCHÄFTSENTSCHEIDUNGEN RICHTIG ZU UNTERSTÜTZEN Data Mesh - Synergien für datengetriebene Exzellenz ¢ Eigenschaften eines Data Products ¢ User Experience (UX) ¢ Vertrauen in die Daten ¢ Input ports: Verbindung zu Operationalen Daten und anderen Data Products ¢ Output ports: Stellen Data Sets bereit ¢ Output ports sind mit einem Data contract versehen ¢ Ziel: Einfach Nutzbarkeit Für Data contracts, nutzen wir Data contract first Ansatz, analog zu APIs! 23
  • 24. © OPITZ CONSULTING 2024 / Öffentlich DATSIS PRINCIPLES Data Mesh - Synergien für datengetriebene Exzellenz 24 ¢ Discoverable: Muss leicht zu finden sein (Data Catalog) ¢ Addressable: Muss über einen definierten Weg zugreifbar sein (Data Contracts) ¢ Trustworthy: Produkte müssen Qualitäts- und Servicestandards erfüllen ¢ Secure: Feingranulare Access Policies für die Daten sollen definiert sein ¢ Interoperable: Produkte sollten Standards folgen und Schnittstellen zum suchen bieten ¢ Self-describing: Produkt muss Ein- und Ausgangsports sowie eine aktualisierte Dokumentation enthalten. …und auch hier finden sich Parallelen zur Softwareentwicklung!
  • 25. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 25 Data Mesh hilft dabei Herausforderungen zwischen den Welten zu reduzieren!
  • 26. © OPITZ CONSULTING 2024 / Öffentlich WICHTIGES ZIEL: EFFIZIENTE, FLEXIBLE HERSTELLUNG VERSCHIEDENER PRODUKTE Data Mesh - Synergien für datengetriebene Exzellenz 26 Source: Volkswagen
  • 27. © OPITZ CONSULTING 2024 / Öffentlich WAS HABEN DIE DARGESTELLTEN AUTOMODELLE GEMEIN? Data Mesh - Synergien für datengetriebene Exzellenz 27 Source: Audi, Volkswagen, Skoda
  • 28. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 28 Gemeinsame Plattformen schaffen und Synergien nutzen!
  • 29. © OPITZ CONSULTING 2024 / Öffentlich HERAUSFORDERUNGEN AKTUELLER ANALYTICS-PLATTFORMEN Data Mesh - Synergien für datengetriebene Exzellenz 29 Qualität Automatisierte Tests, Automatisiertes Deployment Monolithische Architektur Aktuell kaum Entkopplung von Datentöpfen oder Systemen Governance Oft zu wenig Überblick über vorhandenes + Qualität Fehlende Automatisierung keine moderne Self-Service Plattform vorhanden Zentrale Datenhaltung Striktes Festhalten an Enterprise Datenmodell Fehlendes Domänenwissen Analytics Abteilung nicht Teil der Fachdomänen, verbringt viel Zeit mit Anforderungsanalyse
  • 30. © OPITZ CONSULTING 2024 / Öffentlich PLATFORM ENGINEERING ALS NEUE DISZIPLIN Data Mesh - Synergien für datengetriebene Exzellenz 30 Platform engineering is the discipline of designing and building toolchains and workflows that enable self-service capabilities for software engineering organizations in the cloud-native era. Platform engineers provide an integrated product most often referred to as an “Internal Developer Platform” (IDP) covering the operational necessities of the entire lifecycle of an application. Source: “What is Platform Engineering”, Luca Galante, Humanitec
  • 31. © OPITZ CONSULTING 2024 / Öffentlich DENKEN IN PRODUKTEN UND PLATTFORMEN ERFORDERT ORGANISATORISCHE VERÄNDERUNG Data Mesh - Synergien für datengetriebene Exzellenz 31 Source: “Team Topologies”, Matthew Skelton & Manuel Pais
  • 32. © OPITZ CONSULTING 2024 / Öffentlich PLATTFORM-EIGENSCHAFTEN Data Mesh - Synergien für datengetriebene Exzellenz 32 ¢ Modern ¢ Erweiterbar ¢ Self-Service ¢ Klare Regeln / Contracts vorausgesetzt ¢ Zentrale Dienste ¢ Kollaboration ¢ CI/CD Plattform / GIT ¢ Monitoring – 360 Grad Blick ¢ Data Catalog ¢ AuthN / AuthZ / Security Baseline
  • 33. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 33 Digitale Plattformen sind essenziell für das Lifecycle-Management digitaler Produkte!
  • 34. © OPITZ CONSULTING 2024 / Öffentlich TECHNISCHER GAP Data Mesh - Synergien für datengetriebene Exzellenz 34
  • 35. © OPITZ CONSULTING 2024 / Öffentlich MODERN ETL Data Mesh - Synergien für datengetriebene Exzellenz 35 ¢ Auch ETL ist „stateless“! ¢ Kann containerisiert passieren, analog zu Microservices ¢ Container verbrauchen Ressourcen nur zur Laufzeit ¢ Freie Tool / Sprachenwahl ¢ Domain-Teams können ihr Tool frei wählen ¢ Governance regelt Anforderungen an Qualität und DevOps Prozesse ¢ ETL goes „Code first“ ¢ Automatisiertes Testing ¢ Automatisiertes Deployment Erfolgsrezept für Tools wie dbt
  • 36. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 36 Source: www.az-online.de
  • 37. © OPITZ CONSULTING 2024 / Öffentlich TECHNISCHE HERAUSFORDERUNGEN Data Mesh - Synergien für datengetriebene Exzellenz 37 Unabhängige Data Products Herausforderungen analog zu Microservices Im Falle von Abhängigkeiten wird eine Versionierung nötig Historisierung von Daten der Data Products sollte mitbetrachtet werden Alle Domain-Entitäten sollten auch historisiert zur Verfügung gestellt werden Bereitstellung von Products Registrierung in Catalog Veröffentlichung über Plattform
  • 38. © OPITZ CONSULTING 2024 / Öffentlich CROSS-DOMAIN DATA PRODUCT USAGE Data Mesh - Synergien für datengetriebene Exzellenz 38
  • 39. © OPITZ CONSULTING 2024 / Öffentlich ANWENDUNGSBEISPIEL Data Mesh - Synergien für datengetriebene Exzellenz 39
  • 40. © OPITZ CONSULTING 2024 / Öffentlich BEISPIEL MIT ANALYTISCHEM DATA PRODUKT Data Mesh - Synergien für datengetriebene Exzellenz 40
  • 41. © OPITZ CONSULTING 2024 / Öffentlich IDEE VOM DATA MESH 1.0 / DATA MESH LIGHT (ADVANCED DWH MODERNIZATION) Data Mesh - Synergien für datengetriebene Exzellenz 41
  • 42. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 42 AUF DAS ZUSAMMENSPIEL KOMMT ES AN! Source: www.zeit.de
  • 43. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 43 Und immer dran denken: Das “Wir” bringt uns voran – und „Wir“ denken in Produkten!
  • 44. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 44 Q & A Besuchen Sie uns am Stand!
  • 45. © OPITZ CONSULTING 2024 / Öffentlich Data Mesh - Synergien für datengetriebene Exzellenz 45 www.opitz-consulting.com KONTAKT Sven Bernhardt Chief Architect Sven.Bernhardt@opitz-consulting.com +49 172 2193529 https://www.xing.com/profile/Sven_Bernhardt/ https://www.linkedin.com/in/sven-bernhardt-0570b823/ Fabian Hardt Solution Architect Fabian.Hardt@opitz-consulting.com https://twitter.com/fabian_hardt https://www.xing.com/profile/Fabian_Hardt https://www.linkedin.com/in/fabian-hardt-0956b1b1