SlideShare ist ein Scribd-Unternehmen logo
MIT KAFKA AUF DEM WEG IN DIE PRODUKTION
MOTIVATION, HERAUSFORDERUNGEN, AUSBLICK
W. Rothmayer, M. Strobl
Seite 2Mit Kafka auf dem Weg in die Produktion | 06.06.2019
MOTIVATION EINSATZ KAFKA
WENN ES WIRKLICH KRITISCH WIRD…
ProductVision
„Our product is supposed to deal with external JIS and JIT material call offs for production line supply.
It will replacethe existing SPAB central and de-central systems.“
è Time to Recovery: 30 min è Sonst Bandstillstand è Kritikalität wie Produktionssteuerung!
Quelle: Produkthomepage iJIX https://atc.bmwgroup.net/confluence/display/SPABIJIX/Produkt+Homepage+iJIX
Versorgungskontrolle
(CSC)
JIT/JIS Abruferstellung (iJIX)
Seite 3Mit Kafka auf dem Weg in die Produktion | 06.06.2019
MOTIVATION EINSATZ KAFKA
… UND EXTERNE ENTKOPPLUNG ERST RECHT…
Quelle: Produkthomepage iJIX https://atc.bmwgroup.net/confluence/display/SPABIJIX/Produkt+Homepage+iJIX
JIT/JIS Abruferstellung (iJIX)
Anbindung externer Systeme mit Kafka-Topics àTopics als asynchrone public API
Interne Entkopplung durch Kafka-Topics
Versorgungskontrolle
SAP
Datalake
Seite 4Mit Kafka auf dem Weg in die Produktion | 06.06.2019
MOTIVATION EINSATZ KAFKA
VERTIKALE VS. HORIZONTALE ARCHITEKTUR
§ Klassischer Ansatz (GUI à Applicationserver à Datenbank) à „Vertikale Architektur“
- User-Interaktionen (kurz)
- EchteTransaktionen (REST-Calls)
- API mittels Request/Response
§ Broker-Architektur (Daten à Prozess à Daten) à „Horizontale Architektur“
- Datenorientierung
- Lose Kopplung
- API mittels Events (Publish-Subscribe) à Interne und Externe Entkopplung!!!
èKafka als wesentliche Infrastruktur-Komponente für datenorientierte Services
èKafka als wesentlicher Bestandteil einer Plattformstrategie für Produkte oder Domänen
èKafka als wesentliches Strukturierungselement für lose Kopplung intern und oder extern
Seite 5Mit Kafka auf dem Weg in die Produktion | 06.06.2019
HERAUSFORDERUNGEN
ALLES HAT SEINEN PREIS…
§ Ein paar Herausforderungen…
- Komplexe Infrastruktur mit einem komplexen Aufbau und einem komplexen
Programmiermodell
- Ohne intensive Beschäftigung mit Kafka kein Erfolg
à Zumindest Grundverständnis notwendig.
- Mapping der Technik auf die wirklichen fachlichen Anforderungen entscheidend
àWann brauche ich eine horizontale Architektur wirklich?
- Aufsetzenvon Kafka in der OpenShift (Kann man machen, Delegieren ist möglich)
- Kafka selbst betreiben (im FeatureTeam)? à Besser Managed Service nutzen.
Bildquelle: Designing Event-Driven Systems; Ben Stopford; May 2018; O’Reilly Media, Inc.
Seite 6Mit Kafka auf dem Weg in die Produktion | 06.06.2019
AUSBLICK
WHAT COMES NEXT…
§ Lücken in der „horizontalen“ Architektur schließen
- Zuviele Glue-Code (Mapping, Mapping ohne Ende) à Verschwendung wenn es „einfacher“ geht
- UseCase zur Verwendungvon Consumer und Producer API meist nicht gegeben.
- Was kann Kafka-Streams und KSQL?
- Was kann Kafka-Connect?
- Wie werden wir schlanker und skalierbarer?
§ Ausweitung der Managed Services klären und vereinbaren
- Kafka-REST-Proxy à Keine Kafka-API Calls erforderlich, Interaktion wie gewohnt mittels REST
- Kafka-Streams, in Kombination mit KSQL à Stream-Processing
- Kafka-Connect à Anbindung Legacy (z.B. MQS), Datenbanken, MQTT
§ Securitythemen klären und transparent machen
- OffenesThema
- Lösungsansätzevorhanden, Sicherheitsstufen nicht so richtig klar
- Verschlüsselte Übertragung, ACLs möglich
Seite 7Mit Kafka auf dem Weg in die Produktion | 06.06.2019
APPLIKATION ORDIC.
STAND IST.
FG-7
Kafka
PIMA
Kafka
ORDICMatching
Eigene Consumer
Implementierungen
Kombination beider
Topics alsTeil der
Applikation
Persistierenvon Daten die
bereits in Kafka persistent
gehalten werden
Topics auf verschiedenen
Kafka-Clusternverteilt
Kafka
Consumer
Loop
Kafka
Consumer
Loop
ORDIC Core
Seite 8Mit Kafka auf dem Weg in die Produktion | 06.06.2019
APPLIKATION ORDIC.
ZIELBILD – SCHRITT 1.
FG-7
Kafka
PIMA
Kafka
ORDICMatching
Spiegelung externer Topics um
Streaming Operationen auf
zentralem Cluster zu ermöglichen
Kafka
Consumer
Loop
Kafka
Consumer
Loop
Kafka
Mirror Maker
ORDIC Core
Seite 9Mit Kafka auf dem Weg in die Produktion | 06.06.2019
APPLIKATION ORDIC.
ZIELBILD – SCHRITT 2.
FG-7
Kafka
PIMA
Kafka
ORDICMatching
Kafka
Mirror Maker
Nutzung der Kafka Streams API zur
Kombination beider Topics und
Ausgabe in ein neuesTopic
Kafka
Consumer
Loop
ORDIC Core
Seite 10Mit Kafka auf dem Weg in die Produktion | 06.06.2019
APPLIKATION ORDIC.
ZIELBILD – SCHRITT 3.
FG-7
Kafka
PIMA
Kafka
ORDIC
Kafka
Consumer
Loop
Rückbau der Persistenzschicht
und des Matchings in ORDIC
Kafka
Mirror Maker
ORDIC Core
Seite 11Mit Kafka auf dem Weg in die Produktion | 06.06.2019
APPLIKATION ORDIC.
ZIELBILD – SCHRITT 4.
FG-7
Kafka
PIMA
Kafka
Kafka
Mirror Maker
Kafka
REST Proxy
HTTP
Nutzung des Kafka REST Proxy –
keinerlei Abhängigkeiten zu Kafka
seitens ORDIC Applikation
ORDIC
ORDIC Core
Seite 12Mit Kafka auf dem Weg in die Produktion | 06.06.2019
Q&A
ABGESCHRECKT ODER NEUGIERIG GEWORDEN?

Weitere ähnliche Inhalte

Was ist angesagt?

Introduction to KSQL: Streaming SQL for Apache Kafka®
Introduction to KSQL: Streaming SQL for Apache Kafka®Introduction to KSQL: Streaming SQL for Apache Kafka®
Introduction to KSQL: Streaming SQL for Apache Kafka®
confluent
 
Project Tungsten: Bringing Spark Closer to Bare Metal
Project Tungsten: Bringing Spark Closer to Bare MetalProject Tungsten: Bringing Spark Closer to Bare Metal
Project Tungsten: Bringing Spark Closer to Bare Metal
Databricks
 
Free Training: How to Build a Lakehouse
Free Training: How to Build a LakehouseFree Training: How to Build a Lakehouse
Free Training: How to Build a Lakehouse
Databricks
 
Mainframe Integration, Offloading and Replacement with Apache Kafka
Mainframe Integration, Offloading and Replacement with Apache KafkaMainframe Integration, Offloading and Replacement with Apache Kafka
Mainframe Integration, Offloading and Replacement with Apache Kafka
Kai Wähner
 
Productizing Structured Streaming Jobs
Productizing Structured Streaming JobsProductizing Structured Streaming Jobs
Productizing Structured Streaming Jobs
Databricks
 
The Rise Of Event Streaming – Why Apache Kafka Changes Everything
The Rise Of Event Streaming – Why Apache Kafka Changes EverythingThe Rise Of Event Streaming – Why Apache Kafka Changes Everything
The Rise Of Event Streaming – Why Apache Kafka Changes Everything
Kai Wähner
 
Serverless Kafka and Spark in a Multi-Cloud Lakehouse Architecture
Serverless Kafka and Spark in a Multi-Cloud Lakehouse ArchitectureServerless Kafka and Spark in a Multi-Cloud Lakehouse Architecture
Serverless Kafka and Spark in a Multi-Cloud Lakehouse Architecture
Kai Wähner
 
Apache Kafka in the Transportation and Logistics
Apache Kafka in the Transportation and LogisticsApache Kafka in the Transportation and Logistics
Apache Kafka in the Transportation and Logistics
Kai Wähner
 
Spark with Delta Lake
Spark with Delta LakeSpark with Delta Lake
Spark with Delta Lake
Knoldus Inc.
 
Apache Kafka vs. Integration Middleware (MQ, ETL, ESB)
Apache Kafka vs. Integration Middleware (MQ, ETL, ESB)Apache Kafka vs. Integration Middleware (MQ, ETL, ESB)
Apache Kafka vs. Integration Middleware (MQ, ETL, ESB)
Kai Wähner
 
Deep Dive into Project Tungsten: Bringing Spark Closer to Bare Metal-(Josh Ro...
Deep Dive into Project Tungsten: Bringing Spark Closer to Bare Metal-(Josh Ro...Deep Dive into Project Tungsten: Bringing Spark Closer to Bare Metal-(Josh Ro...
Deep Dive into Project Tungsten: Bringing Spark Closer to Bare Metal-(Josh Ro...
Spark Summit
 
What’s New with Databricks Machine Learning
What’s New with Databricks Machine LearningWhat’s New with Databricks Machine Learning
What’s New with Databricks Machine Learning
Databricks
 
An Introduction to Confluent Cloud: Apache Kafka as a Service
An Introduction to Confluent Cloud: Apache Kafka as a ServiceAn Introduction to Confluent Cloud: Apache Kafka as a Service
An Introduction to Confluent Cloud: Apache Kafka as a Service
confluent
 
Introduction to apache spark
Introduction to apache spark Introduction to apache spark
Introduction to apache spark
Aakashdata
 
Streaming Data Lakes using Kafka Connect + Apache Hudi | Vinoth Chandar, Apac...
Streaming Data Lakes using Kafka Connect + Apache Hudi | Vinoth Chandar, Apac...Streaming Data Lakes using Kafka Connect + Apache Hudi | Vinoth Chandar, Apac...
Streaming Data Lakes using Kafka Connect + Apache Hudi | Vinoth Chandar, Apac...
HostedbyConfluent
 
Delta from a Data Engineer's Perspective
Delta from a Data Engineer's PerspectiveDelta from a Data Engineer's Perspective
Delta from a Data Engineer's Perspective
Databricks
 
Kafka Streams: What it is, and how to use it?
Kafka Streams: What it is, and how to use it?Kafka Streams: What it is, and how to use it?
Kafka Streams: What it is, and how to use it?
confluent
 
Building Lakehouses on Delta Lake with SQL Analytics Primer
Building Lakehouses on Delta Lake with SQL Analytics PrimerBuilding Lakehouses on Delta Lake with SQL Analytics Primer
Building Lakehouses on Delta Lake with SQL Analytics Primer
Databricks
 
From Data Warehouse to Lakehouse
From Data Warehouse to LakehouseFrom Data Warehouse to Lakehouse
From Data Warehouse to Lakehouse
Modern Data Stack France
 
Modernizing to a Cloud Data Architecture
Modernizing to a Cloud Data ArchitectureModernizing to a Cloud Data Architecture
Modernizing to a Cloud Data Architecture
Databricks
 

Was ist angesagt? (20)

Introduction to KSQL: Streaming SQL for Apache Kafka®
Introduction to KSQL: Streaming SQL for Apache Kafka®Introduction to KSQL: Streaming SQL for Apache Kafka®
Introduction to KSQL: Streaming SQL for Apache Kafka®
 
Project Tungsten: Bringing Spark Closer to Bare Metal
Project Tungsten: Bringing Spark Closer to Bare MetalProject Tungsten: Bringing Spark Closer to Bare Metal
Project Tungsten: Bringing Spark Closer to Bare Metal
 
Free Training: How to Build a Lakehouse
Free Training: How to Build a LakehouseFree Training: How to Build a Lakehouse
Free Training: How to Build a Lakehouse
 
Mainframe Integration, Offloading and Replacement with Apache Kafka
Mainframe Integration, Offloading and Replacement with Apache KafkaMainframe Integration, Offloading and Replacement with Apache Kafka
Mainframe Integration, Offloading and Replacement with Apache Kafka
 
Productizing Structured Streaming Jobs
Productizing Structured Streaming JobsProductizing Structured Streaming Jobs
Productizing Structured Streaming Jobs
 
The Rise Of Event Streaming – Why Apache Kafka Changes Everything
The Rise Of Event Streaming – Why Apache Kafka Changes EverythingThe Rise Of Event Streaming – Why Apache Kafka Changes Everything
The Rise Of Event Streaming – Why Apache Kafka Changes Everything
 
Serverless Kafka and Spark in a Multi-Cloud Lakehouse Architecture
Serverless Kafka and Spark in a Multi-Cloud Lakehouse ArchitectureServerless Kafka and Spark in a Multi-Cloud Lakehouse Architecture
Serverless Kafka and Spark in a Multi-Cloud Lakehouse Architecture
 
Apache Kafka in the Transportation and Logistics
Apache Kafka in the Transportation and LogisticsApache Kafka in the Transportation and Logistics
Apache Kafka in the Transportation and Logistics
 
Spark with Delta Lake
Spark with Delta LakeSpark with Delta Lake
Spark with Delta Lake
 
Apache Kafka vs. Integration Middleware (MQ, ETL, ESB)
Apache Kafka vs. Integration Middleware (MQ, ETL, ESB)Apache Kafka vs. Integration Middleware (MQ, ETL, ESB)
Apache Kafka vs. Integration Middleware (MQ, ETL, ESB)
 
Deep Dive into Project Tungsten: Bringing Spark Closer to Bare Metal-(Josh Ro...
Deep Dive into Project Tungsten: Bringing Spark Closer to Bare Metal-(Josh Ro...Deep Dive into Project Tungsten: Bringing Spark Closer to Bare Metal-(Josh Ro...
Deep Dive into Project Tungsten: Bringing Spark Closer to Bare Metal-(Josh Ro...
 
What’s New with Databricks Machine Learning
What’s New with Databricks Machine LearningWhat’s New with Databricks Machine Learning
What’s New with Databricks Machine Learning
 
An Introduction to Confluent Cloud: Apache Kafka as a Service
An Introduction to Confluent Cloud: Apache Kafka as a ServiceAn Introduction to Confluent Cloud: Apache Kafka as a Service
An Introduction to Confluent Cloud: Apache Kafka as a Service
 
Introduction to apache spark
Introduction to apache spark Introduction to apache spark
Introduction to apache spark
 
Streaming Data Lakes using Kafka Connect + Apache Hudi | Vinoth Chandar, Apac...
Streaming Data Lakes using Kafka Connect + Apache Hudi | Vinoth Chandar, Apac...Streaming Data Lakes using Kafka Connect + Apache Hudi | Vinoth Chandar, Apac...
Streaming Data Lakes using Kafka Connect + Apache Hudi | Vinoth Chandar, Apac...
 
Delta from a Data Engineer's Perspective
Delta from a Data Engineer's PerspectiveDelta from a Data Engineer's Perspective
Delta from a Data Engineer's Perspective
 
Kafka Streams: What it is, and how to use it?
Kafka Streams: What it is, and how to use it?Kafka Streams: What it is, and how to use it?
Kafka Streams: What it is, and how to use it?
 
Building Lakehouses on Delta Lake with SQL Analytics Primer
Building Lakehouses on Delta Lake with SQL Analytics PrimerBuilding Lakehouses on Delta Lake with SQL Analytics Primer
Building Lakehouses on Delta Lake with SQL Analytics Primer
 
From Data Warehouse to Lakehouse
From Data Warehouse to LakehouseFrom Data Warehouse to Lakehouse
From Data Warehouse to Lakehouse
 
Modernizing to a Cloud Data Architecture
Modernizing to a Cloud Data ArchitectureModernizing to a Cloud Data Architecture
Modernizing to a Cloud Data Architecture
 

Ähnlich wie With Kafka on the way to production/Kafka in produktion_ausblick

Freie Fahrt für die Reisendeninformation mit Kafka Streams
Freie Fahrt für die Reisendeninformation mit Kafka StreamsFreie Fahrt für die Reisendeninformation mit Kafka Streams
Freie Fahrt für die Reisendeninformation mit Kafka Streams
confluent
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
OPEN KNOWLEDGE GmbH
 
Apache Kafka
Apache KafkaApache Kafka
Apache Kafka
gedoplan
 
Schwachstellen In Sap Web Anwendungen (OWASP Germany 2009)
Schwachstellen In Sap Web Anwendungen (OWASP Germany 2009)Schwachstellen In Sap Web Anwendungen (OWASP Germany 2009)
Schwachstellen In Sap Web Anwendungen (OWASP Germany 2009)
sebastianschinzel
 
Event Sourcing mit Apache Kafka
Event Sourcing mit Apache KafkaEvent Sourcing mit Apache Kafka
Event Sourcing mit Apache Kafka
predic8
 
Boston webcast hyperconverged_2016-06
Boston webcast hyperconverged_2016-06Boston webcast hyperconverged_2016-06
Boston webcast hyperconverged_2016-06
BOSTON Server & Storage Solutions GmbH
 
Problemlöser Cloud Technologie: Advanced IT im Unternehmenseinsatz
Problemlöser Cloud Technologie: Advanced IT im UnternehmenseinsatzProblemlöser Cloud Technologie: Advanced IT im Unternehmenseinsatz
Problemlöser Cloud Technologie: Advanced IT im Unternehmenseinsatz
cloudSME
 
IPv6 ist da - warum es jetzt keine Ausreden mehr gibt
IPv6 ist da - warum es jetzt keine Ausreden mehr gibtIPv6 ist da - warum es jetzt keine Ausreden mehr gibt
IPv6 ist da - warum es jetzt keine Ausreden mehr gibt
Martin Krengel
 
Compilers Everywhere
Compilers EverywhereCompilers Everywhere
Compilers Everywhere
berndmueller
 
Frank Schlotter, Mag. Christoph Domanig (Active Business Consult – Cenit)
Frank Schlotter, Mag. Christoph Domanig (Active Business Consult – Cenit)Frank Schlotter, Mag. Christoph Domanig (Active Business Consult – Cenit)
Frank Schlotter, Mag. Christoph Domanig (Active Business Consult – Cenit)
Praxistage
 
Industrie 4.0: Symposium an der RFH Köln
Industrie 4.0: Symposium an der RFH KölnIndustrie 4.0: Symposium an der RFH Köln
Industrie 4.0: Symposium an der RFH Köln
Brockhaus Consulting GmbH
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
inovex GmbH
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
QAware GmbH
 
Warum sap hana sql data warehousing
Warum sap hana sql data warehousingWarum sap hana sql data warehousing
Warum sap hana sql data warehousing
ISR Information Products AG
 
Amazon Web Services: Flaggschiff des Cloud Computings
Amazon Web Services: Flaggschiff des Cloud ComputingsAmazon Web Services: Flaggschiff des Cloud Computings
Amazon Web Services: Flaggschiff des Cloud Computings
Lothar Wieske
 
Günzel/Griesbaum -OpenShift und GitLab: Continuous delivery in der cloud
Günzel/Griesbaum -OpenShift und GitLab: Continuous delivery in der cloudGünzel/Griesbaum -OpenShift und GitLab: Continuous delivery in der cloud
Günzel/Griesbaum -OpenShift und GitLab: Continuous delivery in der cloud
Andreas Günzel
 
Cloud Native Migration: Wie IT-Landschaften ihren Weg auf eine Cloud-Native-P...
Cloud Native Migration: Wie IT-Landschaften ihren Weg auf eine Cloud-Native-P...Cloud Native Migration: Wie IT-Landschaften ihren Weg auf eine Cloud-Native-P...
Cloud Native Migration: Wie IT-Landschaften ihren Weg auf eine Cloud-Native-P...
QAware GmbH
 
Cloud Computing, the next generation of internet hosting
Cloud Computing, the next generation of internet hostingCloud Computing, the next generation of internet hosting
Cloud Computing, the next generation of internet hosting
CloudAngels
 
OpenLaszlo - Advanced RIAs for the OpenWeb
OpenLaszlo - Advanced RIAs for the OpenWebOpenLaszlo - Advanced RIAs for the OpenWeb
OpenLaszlo - Advanced RIAs for the OpenWeb
Raju Bitter
 
IoT Cloud2Cloud Connector
IoT Cloud2Cloud ConnectorIoT Cloud2Cloud Connector
IoT Cloud2Cloud Connector
Mark Teichmann
 

Ähnlich wie With Kafka on the way to production/Kafka in produktion_ausblick (20)

Freie Fahrt für die Reisendeninformation mit Kafka Streams
Freie Fahrt für die Reisendeninformation mit Kafka StreamsFreie Fahrt für die Reisendeninformation mit Kafka Streams
Freie Fahrt für die Reisendeninformation mit Kafka Streams
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
 
Apache Kafka
Apache KafkaApache Kafka
Apache Kafka
 
Schwachstellen In Sap Web Anwendungen (OWASP Germany 2009)
Schwachstellen In Sap Web Anwendungen (OWASP Germany 2009)Schwachstellen In Sap Web Anwendungen (OWASP Germany 2009)
Schwachstellen In Sap Web Anwendungen (OWASP Germany 2009)
 
Event Sourcing mit Apache Kafka
Event Sourcing mit Apache KafkaEvent Sourcing mit Apache Kafka
Event Sourcing mit Apache Kafka
 
Boston webcast hyperconverged_2016-06
Boston webcast hyperconverged_2016-06Boston webcast hyperconverged_2016-06
Boston webcast hyperconverged_2016-06
 
Problemlöser Cloud Technologie: Advanced IT im Unternehmenseinsatz
Problemlöser Cloud Technologie: Advanced IT im UnternehmenseinsatzProblemlöser Cloud Technologie: Advanced IT im Unternehmenseinsatz
Problemlöser Cloud Technologie: Advanced IT im Unternehmenseinsatz
 
IPv6 ist da - warum es jetzt keine Ausreden mehr gibt
IPv6 ist da - warum es jetzt keine Ausreden mehr gibtIPv6 ist da - warum es jetzt keine Ausreden mehr gibt
IPv6 ist da - warum es jetzt keine Ausreden mehr gibt
 
Compilers Everywhere
Compilers EverywhereCompilers Everywhere
Compilers Everywhere
 
Frank Schlotter, Mag. Christoph Domanig (Active Business Consult – Cenit)
Frank Schlotter, Mag. Christoph Domanig (Active Business Consult – Cenit)Frank Schlotter, Mag. Christoph Domanig (Active Business Consult – Cenit)
Frank Schlotter, Mag. Christoph Domanig (Active Business Consult – Cenit)
 
Industrie 4.0: Symposium an der RFH Köln
Industrie 4.0: Symposium an der RFH KölnIndustrie 4.0: Symposium an der RFH Köln
Industrie 4.0: Symposium an der RFH Köln
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
 
Warum sap hana sql data warehousing
Warum sap hana sql data warehousingWarum sap hana sql data warehousing
Warum sap hana sql data warehousing
 
Amazon Web Services: Flaggschiff des Cloud Computings
Amazon Web Services: Flaggschiff des Cloud ComputingsAmazon Web Services: Flaggschiff des Cloud Computings
Amazon Web Services: Flaggschiff des Cloud Computings
 
Günzel/Griesbaum -OpenShift und GitLab: Continuous delivery in der cloud
Günzel/Griesbaum -OpenShift und GitLab: Continuous delivery in der cloudGünzel/Griesbaum -OpenShift und GitLab: Continuous delivery in der cloud
Günzel/Griesbaum -OpenShift und GitLab: Continuous delivery in der cloud
 
Cloud Native Migration: Wie IT-Landschaften ihren Weg auf eine Cloud-Native-P...
Cloud Native Migration: Wie IT-Landschaften ihren Weg auf eine Cloud-Native-P...Cloud Native Migration: Wie IT-Landschaften ihren Weg auf eine Cloud-Native-P...
Cloud Native Migration: Wie IT-Landschaften ihren Weg auf eine Cloud-Native-P...
 
Cloud Computing, the next generation of internet hosting
Cloud Computing, the next generation of internet hostingCloud Computing, the next generation of internet hosting
Cloud Computing, the next generation of internet hosting
 
OpenLaszlo - Advanced RIAs for the OpenWeb
OpenLaszlo - Advanced RIAs for the OpenWebOpenLaszlo - Advanced RIAs for the OpenWeb
OpenLaszlo - Advanced RIAs for the OpenWeb
 
IoT Cloud2Cloud Connector
IoT Cloud2Cloud ConnectorIoT Cloud2Cloud Connector
IoT Cloud2Cloud Connector
 

Mehr von confluent

Il Data Streaming per un’AI real-time di nuova generazione
Il Data Streaming per un’AI real-time di nuova generazioneIl Data Streaming per un’AI real-time di nuova generazione
Il Data Streaming per un’AI real-time di nuova generazione
confluent
 
Unleashing the Future: Building a Scalable and Up-to-Date GenAI Chatbot with ...
Unleashing the Future: Building a Scalable and Up-to-Date GenAI Chatbot with ...Unleashing the Future: Building a Scalable and Up-to-Date GenAI Chatbot with ...
Unleashing the Future: Building a Scalable and Up-to-Date GenAI Chatbot with ...
confluent
 
Break data silos with real-time connectivity using Confluent Cloud Connectors
Break data silos with real-time connectivity using Confluent Cloud ConnectorsBreak data silos with real-time connectivity using Confluent Cloud Connectors
Break data silos with real-time connectivity using Confluent Cloud Connectors
confluent
 
Building API data products on top of your real-time data infrastructure
Building API data products on top of your real-time data infrastructureBuilding API data products on top of your real-time data infrastructure
Building API data products on top of your real-time data infrastructure
confluent
 
Speed Wins: From Kafka to APIs in Minutes
Speed Wins: From Kafka to APIs in MinutesSpeed Wins: From Kafka to APIs in Minutes
Speed Wins: From Kafka to APIs in Minutes
confluent
 
Evolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI EraEvolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI Era
confluent
 
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
confluent
 
Santander Stream Processing with Apache Flink
Santander Stream Processing with Apache FlinkSantander Stream Processing with Apache Flink
Santander Stream Processing with Apache Flink
confluent
 
Unlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insightsUnlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insights
confluent
 
Workshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con FlinkWorkshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con Flink
confluent
 
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
confluent
 
AWS Immersion Day Mapfre - Confluent
AWS Immersion Day Mapfre   -   ConfluentAWS Immersion Day Mapfre   -   Confluent
AWS Immersion Day Mapfre - Confluent
confluent
 
Eventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalkEventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalk
confluent
 
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent CloudQ&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
confluent
 
Citi TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep DiveCiti TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep Dive
confluent
 
Build real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with ConfluentBuild real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with Confluent
confluent
 
Q&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service MeshQ&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service Mesh
confluent
 
Citi Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka MicroservicesCiti Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka Microservices
confluent
 
Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3
confluent
 
Citi Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging ModernizationCiti Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging Modernization
confluent
 

Mehr von confluent (20)

Il Data Streaming per un’AI real-time di nuova generazione
Il Data Streaming per un’AI real-time di nuova generazioneIl Data Streaming per un’AI real-time di nuova generazione
Il Data Streaming per un’AI real-time di nuova generazione
 
Unleashing the Future: Building a Scalable and Up-to-Date GenAI Chatbot with ...
Unleashing the Future: Building a Scalable and Up-to-Date GenAI Chatbot with ...Unleashing the Future: Building a Scalable and Up-to-Date GenAI Chatbot with ...
Unleashing the Future: Building a Scalable and Up-to-Date GenAI Chatbot with ...
 
Break data silos with real-time connectivity using Confluent Cloud Connectors
Break data silos with real-time connectivity using Confluent Cloud ConnectorsBreak data silos with real-time connectivity using Confluent Cloud Connectors
Break data silos with real-time connectivity using Confluent Cloud Connectors
 
Building API data products on top of your real-time data infrastructure
Building API data products on top of your real-time data infrastructureBuilding API data products on top of your real-time data infrastructure
Building API data products on top of your real-time data infrastructure
 
Speed Wins: From Kafka to APIs in Minutes
Speed Wins: From Kafka to APIs in MinutesSpeed Wins: From Kafka to APIs in Minutes
Speed Wins: From Kafka to APIs in Minutes
 
Evolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI EraEvolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI Era
 
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
 
Santander Stream Processing with Apache Flink
Santander Stream Processing with Apache FlinkSantander Stream Processing with Apache Flink
Santander Stream Processing with Apache Flink
 
Unlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insightsUnlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insights
 
Workshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con FlinkWorkshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con Flink
 
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
 
AWS Immersion Day Mapfre - Confluent
AWS Immersion Day Mapfre   -   ConfluentAWS Immersion Day Mapfre   -   Confluent
AWS Immersion Day Mapfre - Confluent
 
Eventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalkEventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalk
 
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent CloudQ&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
 
Citi TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep DiveCiti TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep Dive
 
Build real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with ConfluentBuild real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with Confluent
 
Q&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service MeshQ&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service Mesh
 
Citi Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka MicroservicesCiti Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka Microservices
 
Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3
 
Citi Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging ModernizationCiti Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging Modernization
 

With Kafka on the way to production/Kafka in produktion_ausblick

  • 1. MIT KAFKA AUF DEM WEG IN DIE PRODUKTION MOTIVATION, HERAUSFORDERUNGEN, AUSBLICK W. Rothmayer, M. Strobl
  • 2. Seite 2Mit Kafka auf dem Weg in die Produktion | 06.06.2019 MOTIVATION EINSATZ KAFKA WENN ES WIRKLICH KRITISCH WIRD… ProductVision „Our product is supposed to deal with external JIS and JIT material call offs for production line supply. It will replacethe existing SPAB central and de-central systems.“ è Time to Recovery: 30 min è Sonst Bandstillstand è Kritikalität wie Produktionssteuerung! Quelle: Produkthomepage iJIX https://atc.bmwgroup.net/confluence/display/SPABIJIX/Produkt+Homepage+iJIX Versorgungskontrolle (CSC) JIT/JIS Abruferstellung (iJIX)
  • 3. Seite 3Mit Kafka auf dem Weg in die Produktion | 06.06.2019 MOTIVATION EINSATZ KAFKA … UND EXTERNE ENTKOPPLUNG ERST RECHT… Quelle: Produkthomepage iJIX https://atc.bmwgroup.net/confluence/display/SPABIJIX/Produkt+Homepage+iJIX JIT/JIS Abruferstellung (iJIX) Anbindung externer Systeme mit Kafka-Topics àTopics als asynchrone public API Interne Entkopplung durch Kafka-Topics Versorgungskontrolle SAP Datalake
  • 4. Seite 4Mit Kafka auf dem Weg in die Produktion | 06.06.2019 MOTIVATION EINSATZ KAFKA VERTIKALE VS. HORIZONTALE ARCHITEKTUR § Klassischer Ansatz (GUI à Applicationserver à Datenbank) à „Vertikale Architektur“ - User-Interaktionen (kurz) - EchteTransaktionen (REST-Calls) - API mittels Request/Response § Broker-Architektur (Daten à Prozess à Daten) à „Horizontale Architektur“ - Datenorientierung - Lose Kopplung - API mittels Events (Publish-Subscribe) à Interne und Externe Entkopplung!!! èKafka als wesentliche Infrastruktur-Komponente für datenorientierte Services èKafka als wesentlicher Bestandteil einer Plattformstrategie für Produkte oder Domänen èKafka als wesentliches Strukturierungselement für lose Kopplung intern und oder extern
  • 5. Seite 5Mit Kafka auf dem Weg in die Produktion | 06.06.2019 HERAUSFORDERUNGEN ALLES HAT SEINEN PREIS… § Ein paar Herausforderungen… - Komplexe Infrastruktur mit einem komplexen Aufbau und einem komplexen Programmiermodell - Ohne intensive Beschäftigung mit Kafka kein Erfolg à Zumindest Grundverständnis notwendig. - Mapping der Technik auf die wirklichen fachlichen Anforderungen entscheidend àWann brauche ich eine horizontale Architektur wirklich? - Aufsetzenvon Kafka in der OpenShift (Kann man machen, Delegieren ist möglich) - Kafka selbst betreiben (im FeatureTeam)? à Besser Managed Service nutzen. Bildquelle: Designing Event-Driven Systems; Ben Stopford; May 2018; O’Reilly Media, Inc.
  • 6. Seite 6Mit Kafka auf dem Weg in die Produktion | 06.06.2019 AUSBLICK WHAT COMES NEXT… § Lücken in der „horizontalen“ Architektur schließen - Zuviele Glue-Code (Mapping, Mapping ohne Ende) à Verschwendung wenn es „einfacher“ geht - UseCase zur Verwendungvon Consumer und Producer API meist nicht gegeben. - Was kann Kafka-Streams und KSQL? - Was kann Kafka-Connect? - Wie werden wir schlanker und skalierbarer? § Ausweitung der Managed Services klären und vereinbaren - Kafka-REST-Proxy à Keine Kafka-API Calls erforderlich, Interaktion wie gewohnt mittels REST - Kafka-Streams, in Kombination mit KSQL à Stream-Processing - Kafka-Connect à Anbindung Legacy (z.B. MQS), Datenbanken, MQTT § Securitythemen klären und transparent machen - OffenesThema - Lösungsansätzevorhanden, Sicherheitsstufen nicht so richtig klar - Verschlüsselte Übertragung, ACLs möglich
  • 7. Seite 7Mit Kafka auf dem Weg in die Produktion | 06.06.2019 APPLIKATION ORDIC. STAND IST. FG-7 Kafka PIMA Kafka ORDICMatching Eigene Consumer Implementierungen Kombination beider Topics alsTeil der Applikation Persistierenvon Daten die bereits in Kafka persistent gehalten werden Topics auf verschiedenen Kafka-Clusternverteilt Kafka Consumer Loop Kafka Consumer Loop ORDIC Core
  • 8. Seite 8Mit Kafka auf dem Weg in die Produktion | 06.06.2019 APPLIKATION ORDIC. ZIELBILD – SCHRITT 1. FG-7 Kafka PIMA Kafka ORDICMatching Spiegelung externer Topics um Streaming Operationen auf zentralem Cluster zu ermöglichen Kafka Consumer Loop Kafka Consumer Loop Kafka Mirror Maker ORDIC Core
  • 9. Seite 9Mit Kafka auf dem Weg in die Produktion | 06.06.2019 APPLIKATION ORDIC. ZIELBILD – SCHRITT 2. FG-7 Kafka PIMA Kafka ORDICMatching Kafka Mirror Maker Nutzung der Kafka Streams API zur Kombination beider Topics und Ausgabe in ein neuesTopic Kafka Consumer Loop ORDIC Core
  • 10. Seite 10Mit Kafka auf dem Weg in die Produktion | 06.06.2019 APPLIKATION ORDIC. ZIELBILD – SCHRITT 3. FG-7 Kafka PIMA Kafka ORDIC Kafka Consumer Loop Rückbau der Persistenzschicht und des Matchings in ORDIC Kafka Mirror Maker ORDIC Core
  • 11. Seite 11Mit Kafka auf dem Weg in die Produktion | 06.06.2019 APPLIKATION ORDIC. ZIELBILD – SCHRITT 4. FG-7 Kafka PIMA Kafka Kafka Mirror Maker Kafka REST Proxy HTTP Nutzung des Kafka REST Proxy – keinerlei Abhängigkeiten zu Kafka seitens ORDIC Applikation ORDIC ORDIC Core
  • 12. Seite 12Mit Kafka auf dem Weg in die Produktion | 06.06.2019 Q&A ABGESCHRECKT ODER NEUGIERIG GEWORDEN?