Data Mesh ist ein soziotechnischer Ansatz für die Erstellung einer dezentralen Datenarchitektur. Zhamak Dehghani hat den Begriff Data Mesh und die Theorie dahinter mit ihren Blog-Beiträgen in 2019 bereits geprägt und dann mit ihrem Buch noch etwas ausführlicher beschrieben. Diese Theorie möchte ich kurz vorstellen, um für den Abend ein Begriffsfundament zu giessen. Seit 2019 ist jedoch viel passiert. Viele haben das Konzept gelesen und einige haben ihre Data Mesh Reise bereits begonnen. Ich möchte auf 2023 zurückblicken und den aktuellen Stand der Praxis beschreiben. Enden möchte ich mit einem Ausblick über die Top 5 Entwicklungen in Data Mesh, die dich total überraschen werden.

1. Data Mesh
2019 -> 2023 -> 2024++
B AT B e r n / 0 8 . 0 3 . 2 4
DR. SIMON HARRER
@SIMONHARRER

2. From Software Engineering …
remotemobprogramming.org gitops.tech
java.by-comparison.com

3. 2021
Photo by Krisjanis Mezulis on Unsplash

4. … to Data Mesh Consulting …
datamesh-architecture.com

5. … to Data Mesh Consulting …
datamesh-architecture.com oreilly.de/produkt/data-mesh

6. … to Vendor
datamesh-architecture.com oreilly.de/produkt/data-mesh datamesh-manager.com

7. 2019 2023 2024++

12. 2019 2023 2024++

13. Hat jetzt jedes Unternehmen ein Data Mesh?

14. Nein!

15. Data Mesh ist nicht
f
ür alle sinnvoll.
Die meisten sind noch am Anfang der Reise.
Jedes Data Mesh sieht anders aus.
Beratungsanfragen kommen immer aus dem
Datenbereich. Data Mesh betrifft aber Alle!
Es ist eine Transformation!

16. Gibt es eine Data Mesh Platform?

17. Nein!

19. Headline

20. Was sind die wichtigen Fragen?

21. Fragen der Data Consumer
•Welche Datenprodukte gibt es?
•Ist das hier das Datenprodukt das ich brauche?
•Haben die Daten des Datenprodukts die versprochene Qualität?
•Wie sind denn die Nutzungsbedingungen, Kosten, etc.?
•Was sind die angebotenen Service Levels?
•Wie bekomme ich Zugriff?
•Ach ja, und das Schema der Daten, das bleibt ja
f
ür mich stabil, oder?

22. Fragen der Data Producer
•Wie baue ich das Datenprodukt?
•Wie viel kostet mich die Bereitstellung des Datenprodukts?
•Wer nutzt meine Daten und warum?
•Ist mein Datenprodukt so gebaut, dass ich kein Compliance-Problem
bekomme?
•Was
f
ür einen Nutzen habe ich eigentlich davon, das Datenprodukt zu
bauen und bereitzustellen?

23. Was sind die wirklichen Herausforderungen
bei einer Data Mesh Ein
f
ührung?

24. Ein
f
ührungsstrategie
•Wird immer von Datenmenschen getrieben, betrifft aber die ganze
Organisation. Braucht also Change Management.
•Sehr gutes Enabling Team, das PR nach Innen und Außen
f
ür Data Mesh
macht. Datenkultur muss hier geändert werden…
•Use-case getrieben rangehen. Ende-zu-Ende, mit Business Value. Auf keinen
Fall bestehende Dinge einfach neu bauen, das sind nur Kosten, und man
kann keine Erfolgsstory erzählen.
•Ohne Rückhalt im Management zum Scheitern verurteilt
•Man kann fast jede Technologie nutzen. Multi-Platform Strategie macht es
schwieriger. Lieber eine zentrale Platform, und dort dezentral
verantwortete Datenprodukte.

25. 2019 2023 2024++

27. Und Ihren Ideen eine Zukunft.
Data Contracts

29. More on datacontract.com

30. Code Generation
• Java
• Python in Pydantic
• dbt Models and Sources
• SQL DDL and Queries
Test
• Compare contract with real data
• Breaking data detection in PR
• Breaking metadata detection
• Continuous Monitoring
Metadata Distribution
• Metastores: Hive, …
• Data Catalogs: Colibra, …
• Data Contract Catalog: Data Mesh
Manager, …
• Software Catalogs: LeanIX, …
Infrastructure Provisioning
• Output Port (S3 Bucket, …)
• Input Port (dbt sources.yml)
• Transformations (anonymisation)
• Access Control (IAM permissions)
Collaboration
• Contract-First (in workshop)
• Data-First (import from …)
• Semantics
Governance
• Policies (naming conventions, …)
• Schema Evolution (Notice period)
• Usage Agreements
• Approval Work
f
lows
Automate all the things!

31. Code Generation
• Java
• Python
• dbt Models
• SQL
Test
• Breaking Change Detection in
PR
• Continuous Monitoring
Infrastructure Provisioning
• Output Port (S3 Bucket, …)
• Input Port (dbt sources.yml)
• Transformations (anonymisation)
• Access Control (IAM permissions)
Collaboration
• Contract-First (in workshop)
• Data-First (import from …)
• Semantics
Automate all the things!

32. 2019 2023 2024++

33. Culture eats strategy for breakfast.
And technology for lunch.
As every presentation needs an image generated with AI, here you go.

34. Culture eats strategy for breakfast.
And technology for lunch.
As every presentation needs an image generated with AI, here you go.
Thank you!
Questions?
Dr. Simon Harrer
simon.harrer@innoq.com
Berater
f
ür Data Mesh und Data Contracts bei INNOQ
Produktmanager des SaaS-Produkts Data Mesh Manager