69-mal heruntergeladen
Hochgeladen vonBATbern
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
Das Dokument diskutiert die Implementierung des Data Mesh-Prinzipien von 2019 bis 2024 und betont, dass Data Mesh nicht für alle Unternehmen sinnvoll ist. Es werden zentrale Fragen von Datenverbrauchern und -produzenten sowie die Herausforderungen und strategischen Ansätze zur Umsetzung von Data Mesh in Organisationen behandelt. Der Autor hebt die Notwendigkeit von Veränderungsmanagement, einer unterstützenden Datenkultur und der zentralen vs. dezentralen Verantwortung bei der Bereitstellung von Datenprodukten hervor.
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
- 1. Data Mesh 2019 ->2023 -> 2024++ B AT B e r n / 0 8 . 0 3 . 2 4 DR. SIMON HARRER @SIMONHARRER
- 2. From Software Engineering… remotemobprogramming.org gitops.tech java.by-comparison.com
- 3. 2021 Photo by KrisjanisMezulis on Unsplash
- 4. … to DataMesh Consulting … datamesh-architecture.com
- 5. … to DataMesh Consulting … datamesh-architecture.com oreilly.de/produkt/data-mesh
- 6. … to Vendor datamesh-architecture.comoreilly.de/produkt/data-mesh datamesh-manager.com
- 7.
- 12.
- 13. Hat jetzt jedesUnternehmen ein Data Mesh?
- 14.
- 15. Data Mesh istnicht f ür alle sinnvoll. Die meisten sind noch am Anfang der Reise. Jedes Data Mesh sieht anders aus. Beratungsanfragen kommen immer aus dem Datenbereich. Data Mesh betrifft aber Alle! Es ist eine Transformation!
- 16. Gibt es eineData Mesh Platform?
- 17.
- 19.
- 20. Was sind diewichtigen Fragen?
- 21. Fragen der DataConsumer •Welche Datenprodukte gibt es? •Ist das hier das Datenprodukt das ich brauche? •Haben die Daten des Datenprodukts die versprochene Qualität? •Wie sind denn die Nutzungsbedingungen, Kosten, etc.? •Was sind die angebotenen Service Levels? •Wie bekomme ich Zugriff? •Ach ja, und das Schema der Daten, das bleibt ja f ür mich stabil, oder?
- 22. Fragen der DataProducer •Wie baue ich das Datenprodukt? •Wie viel kostet mich die Bereitstellung des Datenprodukts? •Wer nutzt meine Daten und warum? •Ist mein Datenprodukt so gebaut, dass ich kein Compliance-Problem bekomme? •Was f ür einen Nutzen habe ich eigentlich davon, das Datenprodukt zu bauen und bereitzustellen?
- 23. Was sind diewirklichen Herausforderungen bei einer Data Mesh Ein f ührung?
- 24. Ein f ührungsstrategie •Wird immer vonDatenmenschen getrieben, betrifft aber die ganze Organisation. Braucht also Change Management. •Sehr gutes Enabling Team, das PR nach Innen und Außen f ür Data Mesh macht. Datenkultur muss hier geändert werden… •Use-case getrieben rangehen. Ende-zu-Ende, mit Business Value. Auf keinen Fall bestehende Dinge einfach neu bauen, das sind nur Kosten, und man kann keine Erfolgsstory erzählen. •Ohne Rückhalt im Management zum Scheitern verurteilt •Man kann fast jede Technologie nutzen. Multi-Platform Strategie macht es schwieriger. Lieber eine zentrale Platform, und dort dezentral verantwortete Datenprodukte.
- 25.
- 27. Und Ihren Ideeneine Zukunft. Data Contracts
- 29.
- 30. Code Generation • Java •Python in Pydantic • dbt Models and Sources • SQL DDL and Queries Test • Compare contract with real data • Breaking data detection in PR • Breaking metadata detection • Continuous Monitoring Metadata Distribution • Metastores: Hive, … • Data Catalogs: Colibra, … • Data Contract Catalog: Data Mesh Manager, … • Software Catalogs: LeanIX, … Infrastructure Provisioning • Output Port (S3 Bucket, …) • Input Port (dbt sources.yml) • Transformations (anonymisation) • Access Control (IAM permissions) Collaboration • Contract-First (in workshop) • Data-First (import from …) • Semantics Governance • Policies (naming conventions, …) • Schema Evolution (Notice period) • Usage Agreements • Approval Work f lows Automate all the things!
- 31. Code Generation • Java •Python • dbt Models • SQL Test • Breaking Change Detection in PR • Continuous Monitoring Infrastructure Provisioning • Output Port (S3 Bucket, …) • Input Port (dbt sources.yml) • Transformations (anonymisation) • Access Control (IAM permissions) Collaboration • Contract-First (in workshop) • Data-First (import from …) • Semantics Automate all the things!
- 32.
- 33. Culture eats strategyfor breakfast. And technology for lunch. As every presentation needs an image generated with AI, here you go.
- 34. Culture eats strategyfor breakfast. And technology for lunch. As every presentation needs an image generated with AI, here you go. Thank you! Questions? Dr. Simon Harrer simon.harrer@innoq.com Berater f ür Data Mesh und Data Contracts bei INNOQ Produktmanager des SaaS-Produkts Data Mesh Manager