SlideShare ist ein Scribd-Unternehmen logo
Clash of Cultures
Agile Microservices & Business Intelligence
Frank Schmidt
Leiter CC Big Data & CloudOps
Kurze
Vorstellung
b.telligent – führende Beratung rund um Data, Analytics & Cloud
Branchen & Kunden im DACH-Gebiet
Telekommunikation
Handel & E-Commerce
Energie
Banken Medien & Unterhaltung
Automotive Versicherungen
Industrie Travel
+200
weitere
Kunden
Themen Leistungs-
spektrum
Partner
Big Data
Data Science
Data
Warehousing
Planning
Reporting
Visual Analytics
Customer
Intelligence
BI Strategy
Data Governance
Cloud
+ 40 weitere Partner
Optimize
Run
Build
Design
Check
München + Zürich + Düsseldorf+ Hamburg + Stuttgart + Frankfurt + Berlin
2004 2009 2010 2011 2013 2016 2017 2019
Entwicklung
(Mitarbeiter & Standorte)
0
150
100
50
49
118
200+
200
Motivation
Clash of Cultures:
Wie bringe ich Microservices und Business Intelligence zusammen?
Microservices
• Microservices sind klein, bleiben übersichtlich und
weiterentwickelbar
• Microservices können unabhängig entwickelt und betrieben werden
• Teams sind unabhängig und agil, Kommunikationsaufwand geringer
DWH & Business Intelligence
• Klassische DWH-Ansätze können die Daten der unabhängigen
Microservices nicht verarbeiten
Microservice
Microservice
Microservice
Microservice
Microservice
Microservice
Microservice
Microservice
MicroserviceMicroservice
• Aktuelle Herausforderungen in BI & DWH:
• Anforderungen müssen schnell und kostengünstig umgesetzt
werden
• Daten-Infrastrukturen sind aufwendig im Betrieb
• Höhere Anforderungen durch Compliance und Regulatoren
• Rasante technologische Entwicklung in AI, Cloud und Big Data
• Mangel an qualifizierten Entwicklern
Lösungsansatz: Standardisierte und automatisierte Data Integration
Prozesse
Und was passiert mit den Daten:
• Datenhaltung ist dezentral in den einzelnen Microservices und
Verantwortlichkeiten für Daten oft unklar
• Datenaustausch erfolgt über APIs (oder Kafka) – Komplexität steigt
im Zeitablauf, je mehr Microservices, desto mehr Schnittstellen
(exponentiell)
Microservice Streaming Platform
Streaming Data Platform:
Die ersten Schritte der Microservices mit Kafka ...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
Data
Ingest
Service
Microservice Streaming Platform
Streaming Data Platform:
REST-Proxy und Schema Registry bringen etwas Ordnung ...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
R
E
S
T
Data
Metadata
Metadata
confluent
Schema Registry
R
E
S
T
Ingest
Service
Data
Governance –
oder warum
Metadaten?
Data Governance Framework
Woher stammen
die Daten: Data
Lineage
Wer ist für die
Daten
verantwortlich?
Wie werden die
Daten
verarbeitet bzw.
berechnet?
In welchen
Geschäfts-
prozessen werden
Daten verarbeitet
und genutzt.
In welchen
Systemen
werden die
Daten
gespeichert?
Wer nutzt die
Daten und wo?
Prozesse,
Reports etc.
Data Governance Framework
Metadaten & Data Governance – die Brücke zwischen den Welten
Microservice
(Data Producer)
Metadaten Business Intelligence
(Data Consumer)
Metadaten
(Schema Registry)
Data Producer
Analytics &
Reporting
Data Quality
Monitoring (DQM)
Data Lineage
Data Usage
Validierung
Use Case I:
Job Generation
& Orchestration
Microservice Streaming Platform
Streaming Data Platform:
Architektur mit Schema Registry & REST Proxy als Ausgangspunkt...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
R
E
S
T
Data
Metadata
Metadata
confluent
Schema Registry
R
E
S
T
Ingest
Service
DWH & Business IntelligenceMicroservice Streaming Platform
Streaming Data Platform:
Der Weg vom Streaming zu Data Lake und BI Platform ...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
(Near-)Real-Time Applications
Apps & Use Cases Dashboards
R
E
S
T
Data Lake
Data
Metadata
Stream
Processing
Metadata
confluent
Schema Registry
R
E
S
T
Ingest
Service
DWH & Business IntelligenceMicroservice Streaming Platform
Streaming Data Platform:
Der Weg vom Streaming zu Data Lake und BI Platform ...
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
(Near-)Real-Time Applications
Apps & Use Cases Dashboards
Raw
Vault
R
E
S
T
Data Lake
Storage
Data
Metadata
Business
Vault
Information
Mart
GDPR
StreamingApp
Stream
Processing
Metadata
confluent
Schema Registry
R
E
S
T
Ingest
Service
Reporting
Operative
Systeme
Ergänzung der Schema
Registry um Metadaten
Ausgangspunkt:
JSON für Schema Registry – Ausgangskonfiguration
{
"type": "record",
"namespace": "com.example.department1",
"name": "userInfo",
"doc": "User information for newly registered or updated
users",
"service_metadata": {
"sourceSystem": "exampleService",
"docs":
"https://exampleservice.department1.example.com/swagger/"
},
"storage_configuration": {
"min_rows": 100000,
"min_mb": 128,
"min_time_s": 900
},
"fields": [
{
"name": "firstname",
"type": "string",
"doc": "First and optional middlename,
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "lastname",
"type": "string",
"doc": "Last name of user",
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "city",
"type": "string",
"doc": "Current city of residence",
"gdpr": {
"action": "none"
}
},
{
"name": "mail_address",
"type": "string",
"doc": "Currently city of residence",
"gdpr": {
"action": "pseudonymizer",
"pseudonymize_key": "email"
}
}
]
}
Konfiguration via JSON:
Erweiterung um GDPR & Prozessinformationen
{
"type": "record",
"namespace": "com.example.department1",
"name": "userInfo",
"doc": "User information for newly registered or updated
users",
"service_metadata": {
"sourceSystem": "exampleService",
"docs":
"https://exampleservice.department1.example.com/swagger/"
},
"storage_configuration": {
"min_rows": 100000,
"min_mb": 128,
"min_time_s": 900
},
"fields": [
{
"name": "firstname",
"type": "string",
"doc": "First and optional middlename,
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "lastname",
"type": "string",
"doc": "Last name of user",
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "city",
"type": "string",
"doc": "Current city of residence",
"gdpr": {
"action": "none"
}
},
{
"name": "mail_address",
"type": "string",
"doc": "Currently city of residence",
"gdpr": {
"action": "pseudonymizer",
"pseudonymize_key": "email"
}
}
]
}
DWH & Business IntelligenceMicroservice Streaming Platform
Streaming Data Platform: Job Generation & Orchestration
kann (fast) alle Arbeitsschritte automatisieren
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
(Near-)Real-Time Applications
Apps & Use Cases Dashboards
Raw
Vault
R
E
S
T
Data Lake
Storage
Data
Metadata
Business
Vault
Information
Mart
GDPR
StreamingApp
Stream
Processing
Job Generation & OrchestrationMetadata
confluent
Schema Registry
(& Metadaten)
Dynamic
Job Manager
Data Lake & Data Vault
Code & Job Generation
R
E
S
T
Ingest
Service
Reporting
Operative
Systeme
Job & Code
Builder
Use Case II:
(Automatisiertes)
Microservice
Wiki
Aufgabe:
Darstellung Microservice Repository & Data Dictionary
Schema Registry
Microservice Metadata
Enterprise Architecture
Metadata
Microservice Repository
• Index der Microservices und ihrer Funktion
• Verständnis von Schnittstellen und
Zusammenhängen
• Ansprechpartner und Verantwortlichkeiten
• Daten – welche Daten halt der Microservice
führend bzw. exklusiv
Data Dictionary (via Schema Registry)
• Verständnis auf Feldebene
• GDPR Informationen
• Informationsklassifizierung
• Index der Felder
• Unterschiedliche Versionen von
Events im Zeitablauf
Dokumentation via JSON:
Erweiterung um Doku, Links & weitere Informationen
{
"type": "record",
"namespace": "com.example.department1",
"name": "userInfo",
"doc": "User information for newly registered or updated
users",
"service_metadata": {
"sourceSystem": "exampleService",
"docs":
"https://exampleservice.department1.example.com/swagger/"
},
"storage_configuration": {
"min_rows": 100000,
"min_mb": 128,
"min_time_s": 900
},
"fields": [
{
"name": "firstname",
"type": "string",
"doc": "First and optional middlename,
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "lastname",
"type": "string",
"doc": "Last name of user",
"gdpr": {
"action": "mask_1st_diget"
}
},
{
"name": "city",
"type": "string",
"doc": "Current city of residence",
"gdpr": {
"action": "none"
}
},
{
"name": "mail_address",
"type": "string",
"doc": "Currently city of residence",
"gdpr": {
"action": "pseudonymizer",
"pseudonymize_key": "email"
}
}
]
}
DWH & Business IntelligenceMicroservice Streaming Platform
Streaming Data Platform:
Ergänzung um Microservice Repository & Microservice Wiki
Data Sources
Microservices
Microservice I
Microservice II
Microservice III
Microservice …
Microservice …
Microservice …
Microservice …
Kafka
(Near-)Real-Time Applications
Apps & Use Cases Dashboards
Raw
Vault
R
E
S
T
Data Lake
Storage
Data
Metadata
Business
Vault
Information
Mart
GDPR
StreamingApp
Stream
Processing
Job Generation & OrchestrationMetadata
confluent
Schema Registry
(& Metadaten)
Dynamic
Job Manager
Data Lake & Data Vault
Code & Job Generation
R
E
S
T
Ingest
Service
Reporting
Operative
Systeme
Job & Code
Builder
Wiki & Documentation
Microservice Wiki
Micro-
service
Repository
Laufzeitdaten
Microservice Wiki: Alle Kernfunktionen eines Data Catalog sowie
weitere Funktionalitäten sind im Microservice Wiki enthalten
Microservice
Wiki
Data Lineage
Versionierung &
Historisierung
Suche & Collaboration
Automatisierter
Data Catalog
Zusammen-
fassung
Zusammenfassung
Clash of Cultures – wir müssen eine agile & unabhängige Microservice-Welt und eine
standardisierte & automatisierte BI Welt zusammenbringen
Schema Registry und die Anreicherung mit weiteren Metadaten ist die Brücke zwischen
unabhängigen Events (der Microservices) und standardisierten Prozessen (in der BI Platform)
Job Generation & Orchestration – eine konsequente Verwendung der prozessualen Metadaten
stellt eine durchgehende Prozessautomatisierung für Streaming Platform, Data Lake & BI sicher
Microservice Wiki – alle Metadaten und das Micoservice Repository ermöglichen einen auto-
matisierten Data Catalog, Suche & Collaboration, Versionierung & Historising und Data Lineage
b.telligent
GmbH & Co. KG
Walter-Gropius-Straße 17
80807 München
+49 89 122 281 110
www.btelligent.com
MUC • DUS • FRA • HH • STR • ZHR
Frank Schmidt
Leiter Competence Center
Big Data & CloudOps
frank.schmidt@btelligent.com

Weitere ähnliche Inhalte

Was ist angesagt?

BARC Studie Webinar: Ausgereifte Analysen mit Apache Hadoop
BARC Studie Webinar: Ausgereifte Analysen mit Apache HadoopBARC Studie Webinar: Ausgereifte Analysen mit Apache Hadoop
BARC Studie Webinar: Ausgereifte Analysen mit Apache Hadoop
Cloudera, Inc.
 
Freie Fahrt für die Reisendeninformation mit Kafka Streams
Freie Fahrt für die Reisendeninformation mit Kafka StreamsFreie Fahrt für die Reisendeninformation mit Kafka Streams
Freie Fahrt für die Reisendeninformation mit Kafka Streams
confluent
 
Digitaler Serviceprozess
Digitaler ServiceprozessDigitaler Serviceprozess
Digitaler Serviceprozess
Christian Schilling
 
Wirksames Stammdatenmanagement
Wirksames StammdatenmanagementWirksames Stammdatenmanagement
Wirksames Stammdatenmanagement
CDQ - Sharing Data Excellence
 
BITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
BITKOM_Präsentation Data Intelligence Hub -Schwarz-KourilBITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
BITKOM_Präsentation Data Intelligence Hub -Schwarz-KourilStefan Schwarz
 
Clickstream Analysis with Spark
Clickstream Analysis with Spark Clickstream Analysis with Spark
Clickstream Analysis with Spark
Josef Adersberger
 
DSGVO-Compliance schneller erreichen – mit Talend und Cloudera
DSGVO-Compliance schneller erreichen – mit Talend und ClouderaDSGVO-Compliance schneller erreichen – mit Talend und Cloudera
DSGVO-Compliance schneller erreichen – mit Talend und Cloudera
Cloudera, Inc.
 
Realtime BigData Step by Step mit Lambda, Kafka, Storm und Hadoop
Realtime BigData Step by Step mit Lambda, Kafka, Storm und HadoopRealtime BigData Step by Step mit Lambda, Kafka, Storm und Hadoop
Realtime BigData Step by Step mit Lambda, Kafka, Storm und Hadoop
Valentin Zacharias
 

Was ist angesagt? (8)

BARC Studie Webinar: Ausgereifte Analysen mit Apache Hadoop
BARC Studie Webinar: Ausgereifte Analysen mit Apache HadoopBARC Studie Webinar: Ausgereifte Analysen mit Apache Hadoop
BARC Studie Webinar: Ausgereifte Analysen mit Apache Hadoop
 
Freie Fahrt für die Reisendeninformation mit Kafka Streams
Freie Fahrt für die Reisendeninformation mit Kafka StreamsFreie Fahrt für die Reisendeninformation mit Kafka Streams
Freie Fahrt für die Reisendeninformation mit Kafka Streams
 
Digitaler Serviceprozess
Digitaler ServiceprozessDigitaler Serviceprozess
Digitaler Serviceprozess
 
Wirksames Stammdatenmanagement
Wirksames StammdatenmanagementWirksames Stammdatenmanagement
Wirksames Stammdatenmanagement
 
BITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
BITKOM_Präsentation Data Intelligence Hub -Schwarz-KourilBITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
BITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
 
Clickstream Analysis with Spark
Clickstream Analysis with Spark Clickstream Analysis with Spark
Clickstream Analysis with Spark
 
DSGVO-Compliance schneller erreichen – mit Talend und Cloudera
DSGVO-Compliance schneller erreichen – mit Talend und ClouderaDSGVO-Compliance schneller erreichen – mit Talend und Cloudera
DSGVO-Compliance schneller erreichen – mit Talend und Cloudera
 
Realtime BigData Step by Step mit Lambda, Kafka, Storm und Hadoop
Realtime BigData Step by Step mit Lambda, Kafka, Storm und HadoopRealtime BigData Step by Step mit Lambda, Kafka, Storm und Hadoop
Realtime BigData Step by Step mit Lambda, Kafka, Storm und Hadoop
 

Ähnlich wie Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt, b.telligent) Frankfurt 2019 Confluent Streaming Event

Eine Referenzarchitektur für das Digitale Produkt
Eine Referenzarchitektur für das Digitale ProduktEine Referenzarchitektur für das Digitale Produkt
Eine Referenzarchitektur für das Digitale Produkt
Intelliact AG
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
inovex GmbH
 
Flexibilität aus der Wolke
Flexibilität aus der WolkeFlexibilität aus der Wolke
Flexibilität aus der Wolke
guest67c7811
 
Innovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzenInnovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzen
Amazon Web Services
 
Oracle Cloud
Oracle CloudOracle Cloud
Oracle Cloud
Tim Cole
 
ENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdf
ENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdfENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdf
ENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdf
Hans Peter Knaust
 
Karl Heinz Mayer (Hewlett Packard Enterprise)
Karl Heinz Mayer (Hewlett Packard Enterprise)Karl Heinz Mayer (Hewlett Packard Enterprise)
Karl Heinz Mayer (Hewlett Packard Enterprise)
Agenda Europe 2035
 
Modernes Rechenzentrum
Modernes Rechenzentrum Modernes Rechenzentrum
Modernes Rechenzentrum
Microsoft Österreich
 
Rethink! ITEM 2016 - Post Event Report
Rethink! ITEM 2016 - Post Event ReportRethink! ITEM 2016 - Post Event Report
Rethink! ITEM 2016 - Post Event Report
Ramona Kohrs
 
PLM-Zukunftsthemen
PLM-ZukunftsthemenPLM-Zukunftsthemen
PLM-Zukunftsthemen
Intelliact AG
 
Digitale Kommunikation in Fertigungsnetzwerken neu gedacht
Digitale Kommunikation in Fertigungsnetzwerken neu gedachtDigitale Kommunikation in Fertigungsnetzwerken neu gedacht
Digitale Kommunikation in Fertigungsnetzwerken neu gedacht
Georg Guentner
 
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Fabian Hardt
 
IoT-X Platform von prodot - Daten sammeln, analysieren und auswerten
IoT-X Platform von prodot - Daten sammeln, analysieren und auswertenIoT-X Platform von prodot - Daten sammeln, analysieren und auswerten
IoT-X Platform von prodot - Daten sammeln, analysieren und auswerten
prodot GmbH
 
Internet of Things Architecture
Internet of Things ArchitectureInternet of Things Architecture
Internet of Things Architecture
Christian Waha
 
Die Ausprägungen des digitalen Zwillings und deren Nutzen
Die Ausprägungen des digitalen Zwillings und deren NutzenDie Ausprägungen des digitalen Zwillings und deren Nutzen
Die Ausprägungen des digitalen Zwillings und deren Nutzen
Transaction-Network
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
OPEN KNOWLEDGE GmbH
 
Migration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformMigration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud Plattform
QAware GmbH
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern
 
Folien2 spss watson roadshow_predictive
Folien2 spss watson roadshow_predictiveFolien2 spss watson roadshow_predictive
Folien2 spss watson roadshow_predictive
Clara Ogwuazor Mbamalu
 

Ähnlich wie Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt, b.telligent) Frankfurt 2019 Confluent Streaming Event (20)

Eine Referenzarchitektur für das Digitale Produkt
Eine Referenzarchitektur für das Digitale ProduktEine Referenzarchitektur für das Digitale Produkt
Eine Referenzarchitektur für das Digitale Produkt
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
 
Cloud computing services
Cloud computing servicesCloud computing services
Cloud computing services
 
Flexibilität aus der Wolke
Flexibilität aus der WolkeFlexibilität aus der Wolke
Flexibilität aus der Wolke
 
Innovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzenInnovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzen
 
Oracle Cloud
Oracle CloudOracle Cloud
Oracle Cloud
 
ENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdf
ENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdfENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdf
ENGINEERING Cyber Security für Public, Energy, Health Feb. 2023.pdf
 
Karl Heinz Mayer (Hewlett Packard Enterprise)
Karl Heinz Mayer (Hewlett Packard Enterprise)Karl Heinz Mayer (Hewlett Packard Enterprise)
Karl Heinz Mayer (Hewlett Packard Enterprise)
 
Modernes Rechenzentrum
Modernes Rechenzentrum Modernes Rechenzentrum
Modernes Rechenzentrum
 
Rethink! ITEM 2016 - Post Event Report
Rethink! ITEM 2016 - Post Event ReportRethink! ITEM 2016 - Post Event Report
Rethink! ITEM 2016 - Post Event Report
 
PLM-Zukunftsthemen
PLM-ZukunftsthemenPLM-Zukunftsthemen
PLM-Zukunftsthemen
 
Digitale Kommunikation in Fertigungsnetzwerken neu gedacht
Digitale Kommunikation in Fertigungsnetzwerken neu gedachtDigitale Kommunikation in Fertigungsnetzwerken neu gedacht
Digitale Kommunikation in Fertigungsnetzwerken neu gedacht
 
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
Data Mesh und Domain Driven Design - rücken Analytics und SD nun doch näher z...
 
IoT-X Platform von prodot - Daten sammeln, analysieren und auswerten
IoT-X Platform von prodot - Daten sammeln, analysieren und auswertenIoT-X Platform von prodot - Daten sammeln, analysieren und auswerten
IoT-X Platform von prodot - Daten sammeln, analysieren und auswerten
 
Internet of Things Architecture
Internet of Things ArchitectureInternet of Things Architecture
Internet of Things Architecture
 
Die Ausprägungen des digitalen Zwillings und deren Nutzen
Die Ausprägungen des digitalen Zwillings und deren NutzenDie Ausprägungen des digitalen Zwillings und deren Nutzen
Die Ausprägungen des digitalen Zwillings und deren Nutzen
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
 
Migration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformMigration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud Plattform
 
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++BATbern52 InnoQ on Data Mesh 2019 2023 2024++
BATbern52 InnoQ on Data Mesh 2019 2023 2024++
 
Folien2 spss watson roadshow_predictive
Folien2 spss watson roadshow_predictiveFolien2 spss watson roadshow_predictive
Folien2 spss watson roadshow_predictive
 

Mehr von confluent

Building API data products on top of your real-time data infrastructure
Building API data products on top of your real-time data infrastructureBuilding API data products on top of your real-time data infrastructure
Building API data products on top of your real-time data infrastructure
confluent
 
Speed Wins: From Kafka to APIs in Minutes
Speed Wins: From Kafka to APIs in MinutesSpeed Wins: From Kafka to APIs in Minutes
Speed Wins: From Kafka to APIs in Minutes
confluent
 
Evolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI EraEvolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI Era
confluent
 
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
confluent
 
Santander Stream Processing with Apache Flink
Santander Stream Processing with Apache FlinkSantander Stream Processing with Apache Flink
Santander Stream Processing with Apache Flink
confluent
 
Unlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insightsUnlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insights
confluent
 
Workshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con FlinkWorkshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con Flink
confluent
 
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
confluent
 
AWS Immersion Day Mapfre - Confluent
AWS Immersion Day Mapfre   -   ConfluentAWS Immersion Day Mapfre   -   Confluent
AWS Immersion Day Mapfre - Confluent
confluent
 
Eventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalkEventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalk
confluent
 
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent CloudQ&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
confluent
 
Citi TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep DiveCiti TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep Dive
confluent
 
Build real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with ConfluentBuild real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with Confluent
confluent
 
Q&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service MeshQ&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service Mesh
confluent
 
Citi Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka MicroservicesCiti Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka Microservices
confluent
 
Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3
confluent
 
Citi Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging ModernizationCiti Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging Modernization
confluent
 
Citi Tech Talk: Data Governance for streaming and real time data
Citi Tech Talk: Data Governance for streaming and real time dataCiti Tech Talk: Data Governance for streaming and real time data
Citi Tech Talk: Data Governance for streaming and real time data
confluent
 
Confluent & GSI Webinars series: Session 2
Confluent & GSI Webinars series: Session 2Confluent & GSI Webinars series: Session 2
Confluent & GSI Webinars series: Session 2
confluent
 
Data In Motion Paris 2023
Data In Motion Paris 2023Data In Motion Paris 2023
Data In Motion Paris 2023
confluent
 

Mehr von confluent (20)

Building API data products on top of your real-time data infrastructure
Building API data products on top of your real-time data infrastructureBuilding API data products on top of your real-time data infrastructure
Building API data products on top of your real-time data infrastructure
 
Speed Wins: From Kafka to APIs in Minutes
Speed Wins: From Kafka to APIs in MinutesSpeed Wins: From Kafka to APIs in Minutes
Speed Wins: From Kafka to APIs in Minutes
 
Evolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI EraEvolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI Era
 
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
 
Santander Stream Processing with Apache Flink
Santander Stream Processing with Apache FlinkSantander Stream Processing with Apache Flink
Santander Stream Processing with Apache Flink
 
Unlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insightsUnlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insights
 
Workshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con FlinkWorkshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con Flink
 
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
 
AWS Immersion Day Mapfre - Confluent
AWS Immersion Day Mapfre   -   ConfluentAWS Immersion Day Mapfre   -   Confluent
AWS Immersion Day Mapfre - Confluent
 
Eventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalkEventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalk
 
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent CloudQ&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
 
Citi TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep DiveCiti TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep Dive
 
Build real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with ConfluentBuild real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with Confluent
 
Q&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service MeshQ&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service Mesh
 
Citi Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka MicroservicesCiti Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka Microservices
 
Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3
 
Citi Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging ModernizationCiti Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging Modernization
 
Citi Tech Talk: Data Governance for streaming and real time data
Citi Tech Talk: Data Governance for streaming and real time dataCiti Tech Talk: Data Governance for streaming and real time data
Citi Tech Talk: Data Governance for streaming and real time data
 
Confluent & GSI Webinars series: Session 2
Confluent & GSI Webinars series: Session 2Confluent & GSI Webinars series: Session 2
Confluent & GSI Webinars series: Session 2
 
Data In Motion Paris 2023
Data In Motion Paris 2023Data In Motion Paris 2023
Data In Motion Paris 2023
 

Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt, b.telligent) Frankfurt 2019 Confluent Streaming Event

  • 1. Clash of Cultures Agile Microservices & Business Intelligence Frank Schmidt Leiter CC Big Data & CloudOps
  • 3. b.telligent – führende Beratung rund um Data, Analytics & Cloud Branchen & Kunden im DACH-Gebiet Telekommunikation Handel & E-Commerce Energie Banken Medien & Unterhaltung Automotive Versicherungen Industrie Travel +200 weitere Kunden Themen Leistungs- spektrum Partner Big Data Data Science Data Warehousing Planning Reporting Visual Analytics Customer Intelligence BI Strategy Data Governance Cloud + 40 weitere Partner Optimize Run Build Design Check München + Zürich + Düsseldorf+ Hamburg + Stuttgart + Frankfurt + Berlin 2004 2009 2010 2011 2013 2016 2017 2019 Entwicklung (Mitarbeiter & Standorte) 0 150 100 50 49 118 200+ 200
  • 5. Clash of Cultures: Wie bringe ich Microservices und Business Intelligence zusammen? Microservices • Microservices sind klein, bleiben übersichtlich und weiterentwickelbar • Microservices können unabhängig entwickelt und betrieben werden • Teams sind unabhängig und agil, Kommunikationsaufwand geringer DWH & Business Intelligence • Klassische DWH-Ansätze können die Daten der unabhängigen Microservices nicht verarbeiten Microservice Microservice Microservice Microservice Microservice Microservice Microservice Microservice MicroserviceMicroservice • Aktuelle Herausforderungen in BI & DWH: • Anforderungen müssen schnell und kostengünstig umgesetzt werden • Daten-Infrastrukturen sind aufwendig im Betrieb • Höhere Anforderungen durch Compliance und Regulatoren • Rasante technologische Entwicklung in AI, Cloud und Big Data • Mangel an qualifizierten Entwicklern Lösungsansatz: Standardisierte und automatisierte Data Integration Prozesse Und was passiert mit den Daten: • Datenhaltung ist dezentral in den einzelnen Microservices und Verantwortlichkeiten für Daten oft unklar • Datenaustausch erfolgt über APIs (oder Kafka) – Komplexität steigt im Zeitablauf, je mehr Microservices, desto mehr Schnittstellen (exponentiell)
  • 6. Microservice Streaming Platform Streaming Data Platform: Die ersten Schritte der Microservices mit Kafka ... Data Sources Microservices Microservice I Microservice II Microservice III Microservice … Microservice … Microservice … Microservice … Kafka Data Ingest Service
  • 7. Microservice Streaming Platform Streaming Data Platform: REST-Proxy und Schema Registry bringen etwas Ordnung ... Data Sources Microservices Microservice I Microservice II Microservice III Microservice … Microservice … Microservice … Microservice … Kafka R E S T Data Metadata Metadata confluent Schema Registry R E S T Ingest Service
  • 9. Data Governance Framework Woher stammen die Daten: Data Lineage Wer ist für die Daten verantwortlich? Wie werden die Daten verarbeitet bzw. berechnet? In welchen Geschäfts- prozessen werden Daten verarbeitet und genutzt. In welchen Systemen werden die Daten gespeichert? Wer nutzt die Daten und wo? Prozesse, Reports etc. Data Governance Framework
  • 10. Metadaten & Data Governance – die Brücke zwischen den Welten Microservice (Data Producer) Metadaten Business Intelligence (Data Consumer) Metadaten (Schema Registry) Data Producer Analytics & Reporting Data Quality Monitoring (DQM) Data Lineage Data Usage Validierung
  • 11. Use Case I: Job Generation & Orchestration
  • 12. Microservice Streaming Platform Streaming Data Platform: Architektur mit Schema Registry & REST Proxy als Ausgangspunkt... Data Sources Microservices Microservice I Microservice II Microservice III Microservice … Microservice … Microservice … Microservice … Kafka R E S T Data Metadata Metadata confluent Schema Registry R E S T Ingest Service
  • 13. DWH & Business IntelligenceMicroservice Streaming Platform Streaming Data Platform: Der Weg vom Streaming zu Data Lake und BI Platform ... Data Sources Microservices Microservice I Microservice II Microservice III Microservice … Microservice … Microservice … Microservice … Kafka (Near-)Real-Time Applications Apps & Use Cases Dashboards R E S T Data Lake Data Metadata Stream Processing Metadata confluent Schema Registry R E S T Ingest Service
  • 14. DWH & Business IntelligenceMicroservice Streaming Platform Streaming Data Platform: Der Weg vom Streaming zu Data Lake und BI Platform ... Data Sources Microservices Microservice I Microservice II Microservice III Microservice … Microservice … Microservice … Microservice … Kafka (Near-)Real-Time Applications Apps & Use Cases Dashboards Raw Vault R E S T Data Lake Storage Data Metadata Business Vault Information Mart GDPR StreamingApp Stream Processing Metadata confluent Schema Registry R E S T Ingest Service Reporting Operative Systeme Ergänzung der Schema Registry um Metadaten
  • 15. Ausgangspunkt: JSON für Schema Registry – Ausgangskonfiguration { "type": "record", "namespace": "com.example.department1", "name": "userInfo", "doc": "User information for newly registered or updated users", "service_metadata": { "sourceSystem": "exampleService", "docs": "https://exampleservice.department1.example.com/swagger/" }, "storage_configuration": { "min_rows": 100000, "min_mb": 128, "min_time_s": 900 }, "fields": [ { "name": "firstname", "type": "string", "doc": "First and optional middlename, "gdpr": { "action": "mask_1st_diget" } }, { "name": "lastname", "type": "string", "doc": "Last name of user", "gdpr": { "action": "mask_1st_diget" } }, { "name": "city", "type": "string", "doc": "Current city of residence", "gdpr": { "action": "none" } }, { "name": "mail_address", "type": "string", "doc": "Currently city of residence", "gdpr": { "action": "pseudonymizer", "pseudonymize_key": "email" } } ] }
  • 16. Konfiguration via JSON: Erweiterung um GDPR & Prozessinformationen { "type": "record", "namespace": "com.example.department1", "name": "userInfo", "doc": "User information for newly registered or updated users", "service_metadata": { "sourceSystem": "exampleService", "docs": "https://exampleservice.department1.example.com/swagger/" }, "storage_configuration": { "min_rows": 100000, "min_mb": 128, "min_time_s": 900 }, "fields": [ { "name": "firstname", "type": "string", "doc": "First and optional middlename, "gdpr": { "action": "mask_1st_diget" } }, { "name": "lastname", "type": "string", "doc": "Last name of user", "gdpr": { "action": "mask_1st_diget" } }, { "name": "city", "type": "string", "doc": "Current city of residence", "gdpr": { "action": "none" } }, { "name": "mail_address", "type": "string", "doc": "Currently city of residence", "gdpr": { "action": "pseudonymizer", "pseudonymize_key": "email" } } ] }
  • 17. DWH & Business IntelligenceMicroservice Streaming Platform Streaming Data Platform: Job Generation & Orchestration kann (fast) alle Arbeitsschritte automatisieren Data Sources Microservices Microservice I Microservice II Microservice III Microservice … Microservice … Microservice … Microservice … Kafka (Near-)Real-Time Applications Apps & Use Cases Dashboards Raw Vault R E S T Data Lake Storage Data Metadata Business Vault Information Mart GDPR StreamingApp Stream Processing Job Generation & OrchestrationMetadata confluent Schema Registry (& Metadaten) Dynamic Job Manager Data Lake & Data Vault Code & Job Generation R E S T Ingest Service Reporting Operative Systeme Job & Code Builder
  • 19. Aufgabe: Darstellung Microservice Repository & Data Dictionary Schema Registry Microservice Metadata Enterprise Architecture Metadata Microservice Repository • Index der Microservices und ihrer Funktion • Verständnis von Schnittstellen und Zusammenhängen • Ansprechpartner und Verantwortlichkeiten • Daten – welche Daten halt der Microservice führend bzw. exklusiv Data Dictionary (via Schema Registry) • Verständnis auf Feldebene • GDPR Informationen • Informationsklassifizierung • Index der Felder • Unterschiedliche Versionen von Events im Zeitablauf
  • 20. Dokumentation via JSON: Erweiterung um Doku, Links & weitere Informationen { "type": "record", "namespace": "com.example.department1", "name": "userInfo", "doc": "User information for newly registered or updated users", "service_metadata": { "sourceSystem": "exampleService", "docs": "https://exampleservice.department1.example.com/swagger/" }, "storage_configuration": { "min_rows": 100000, "min_mb": 128, "min_time_s": 900 }, "fields": [ { "name": "firstname", "type": "string", "doc": "First and optional middlename, "gdpr": { "action": "mask_1st_diget" } }, { "name": "lastname", "type": "string", "doc": "Last name of user", "gdpr": { "action": "mask_1st_diget" } }, { "name": "city", "type": "string", "doc": "Current city of residence", "gdpr": { "action": "none" } }, { "name": "mail_address", "type": "string", "doc": "Currently city of residence", "gdpr": { "action": "pseudonymizer", "pseudonymize_key": "email" } } ] }
  • 21. DWH & Business IntelligenceMicroservice Streaming Platform Streaming Data Platform: Ergänzung um Microservice Repository & Microservice Wiki Data Sources Microservices Microservice I Microservice II Microservice III Microservice … Microservice … Microservice … Microservice … Kafka (Near-)Real-Time Applications Apps & Use Cases Dashboards Raw Vault R E S T Data Lake Storage Data Metadata Business Vault Information Mart GDPR StreamingApp Stream Processing Job Generation & OrchestrationMetadata confluent Schema Registry (& Metadaten) Dynamic Job Manager Data Lake & Data Vault Code & Job Generation R E S T Ingest Service Reporting Operative Systeme Job & Code Builder Wiki & Documentation Microservice Wiki Micro- service Repository Laufzeitdaten
  • 22. Microservice Wiki: Alle Kernfunktionen eines Data Catalog sowie weitere Funktionalitäten sind im Microservice Wiki enthalten Microservice Wiki Data Lineage Versionierung & Historisierung Suche & Collaboration Automatisierter Data Catalog
  • 24. Zusammenfassung Clash of Cultures – wir müssen eine agile & unabhängige Microservice-Welt und eine standardisierte & automatisierte BI Welt zusammenbringen Schema Registry und die Anreicherung mit weiteren Metadaten ist die Brücke zwischen unabhängigen Events (der Microservices) und standardisierten Prozessen (in der BI Platform) Job Generation & Orchestration – eine konsequente Verwendung der prozessualen Metadaten stellt eine durchgehende Prozessautomatisierung für Streaming Platform, Data Lake & BI sicher Microservice Wiki – alle Metadaten und das Micoservice Repository ermöglichen einen auto- matisierten Data Catalog, Suche & Collaboration, Versionierung & Historising und Data Lineage
  • 25. b.telligent GmbH & Co. KG Walter-Gropius-Straße 17 80807 München +49 89 122 281 110 www.btelligent.com MUC • DUS • FRA • HH • STR • ZHR Frank Schmidt Leiter Competence Center Big Data & CloudOps frank.schmidt@btelligent.com