SlideShare ist ein Scribd-Unternehmen logo
1 von 32
Downloaden Sie, um offline zu lesen
Event-Streaming in Echtzeit
Der MongoDB-Kafka-Connector in Action!
12. Mai 2020, 11 Uhr
Wir starten in wenigen Minuten!
Event-Streaming in Echtzeit
Der MongoDB-Kafka-Connector in Action!
12. Mai 2020, 11 Uhr
Unsere Sprecher
des heutigen Webinars:
3
Kai Waehner
Technology Evangelist
Hauke Melius
Solutions Architect
Hans-Peter Grahsl
Technical Trainer &
Software Engineer
Beginnen wir mit den
Herausforderungen …
4
Kai Waehner
Technology Evangelist
5
KUNDE
- Konsum von Dienstleistungen
überall und jederzeit
- Omni-Channel mit nahtlosem
Übergang (Mobile <-> Browser)
- Schnelle Reaktionszeiten und
Interaktionen in Echtzeit
(Benachrichtigungen,
Statusaktualisierungen,
Bestätigungen...)
Business
Herausforderungen
Bedürfnisse der Provider:
Erschließung neuer
Einnahmequellen, um
wettbewerbsfähig zu bleiben
Mit der Nachfrage skalieren und die
TCO niedrig halten
Kontinuierliche Weiterentwicklung
und Verbesserung der
Benutzer-/Kundenerfahrung
ANBIETER
- Erschließung neuer
Einnahmequellen, um
wettbewerbsfähig zu bleiben
- Skalierung nach Nachfrage,
niedriger TCO
- Kontinuierliche Weiterentwicklung
und Verbesserung der
Benutzer-/Kundenerfahrung
6
DAUERHAFTE HERAUSFORDERUNGEN
- Die Nutzung von Daten ist oft
schwierig
- Daten sind über viele
Anwendungen/Domänen verteilt
- Zugriff mit niedriger Latenz ist fast
unmöglich
- Agile Entwicklungsmethoden
können nicht angewandt werden
Bedürfnisse der Provider:
Erschließung neuer
Einnahmequellen, um
wettbewerbsfähig zu bleiben
Mit der Nachfrage skalieren und die
TCO niedrig halten
Kontinuierliche Weiterentwicklung
und Verbesserung der
Benutzer-/Kundenerfahrung
…UND NEUE HERAUSFORDERUNGEN
- Skalierung für Spitzenzeiten
erfordert eine starke
Überprovisionierung
- Der Kauf von Hardware ist ggf. nicht
möglich
- Die Mobilität der Mitarbeiter ist
begrenzt
Technische
Herausforderungen
Gängige Initiativen
7
IoT
Application
Modernization
Content
Management
Real-Time
AnalyticsMicroservices
BRANCHENÜBERGREIFEND
Gesundheitswesen Finanzdienste Telco Einzelhandel
Technologie Industrie Automobil
Praxisbeispiel: CENTENE
HERAUSFORDERUNG: Wachstum - bedingt durch Fusionen & Übernahmen
→ Neubewertung der Unternehmensdatenintegrations- und Datenmigrationsstrategien
→ Bessere Skalierbarkeit, Verfügbarkeit, schnellere ETL
8
Das Problem:
Isolierte Daten in vielen verschiedenen
Anwendungen, Domänen und Strukturen
Wie kann Event Streaming
hier helfen?
10
Kai Waehner
Technology Evangelist
Die Lösung
• Aufbau eines zentralisierten
Eventing-Frameworks für den Einsatz in
allen Centene-Geschäftsbereichen.
• Einsatz von CDC für die Aufnahme und
Nutzung von Microservices mit
Confluent, Kafka und MongoDB
11
Design Criteria
(1) AVRO Event Serialization
(2) JSON Validation of Event Body
(3) Centralized Event Registry
(4) Distributed Tracing of Events
(5) Sensitive Data Redaction
(6) Turn/Key Self-Service
(7) Cloud Agnostic
(8) Permanent Event Storage
(9) Flexible Ingestion Intake
(10) Prebuilt Monitoring/Dashboards
(11) Synthetic Events
Hybrid & Multi-Cloud
12
ETL/Data Integration Messaging
Batch
Expensive
Time Consuming
Difficult to Scale
No Persistence After
Consumption
No Replay
Highly Scalable
Durable
Persistent
Ordered
Real-time
ETL/Data Integration Messaging
Batch
Expensive
Time Consuming
Difficult to Scale
No Persistence After
Consumption
No Replay
Highly Scalable
Durable
Persistent
Ordered
Real-timeHighly Scalable
Durable
Persistent
Ordered
Real-time
Event Streaming
Kommt Ihnen das bekannt vor?
Real-Time
Inventory
Real-Time
Fraud
Detection
Real-Time
Customer
360
Machine
Learning
Models
Real-Time
Data
Transformati
on
...
Contextual Event-Driven Applications
Universal Event Pipeline
Data Stores Logs 3rd Party Apps Custom Apps/Microservices
TREAMSSTREAMS
CONNECT CLIENTS
Mit
Event
Streaming
&
Kafka
Kafka Connect: Die Basics
ANY
Sink
Connect Connect
ANY
Source
ANY e.g. file systems, data stores, REST endpoints,
messaging systems, business applications …
Kafka Connect & Connectors
Connect Connect
https://hub.confluent.io
[sources] [sinks]
Reden wir ein bisschen
über Kafka Connect …
20
Hans-Peter Grahsl
Technical Trainer &
Software Engineer
Hauke Melius
Solutions Architect
Der MongoDB Connector für
Apache Kafka...
Available on the Confluent Hub:
https://www.confluent.io/hub/mongodb/kafka-connect-mongodb
Supported by MongoDB
MongoDB Connector for Apache Kafka
Verified Gold by
Where do I get the
MongoDB Connector for Apache Kafka?
Origin Original Sink Connector work by Hans-Peter Grahsl
Source Code https://github.com/mongodb/mongo-kafka
License Apache 2.0
Availability
- GitHub & Maven
- Confluent Hub
- MongoDB Download Center
MongoDB Source: Writing to a Topic
Writes to topic based on database and collection name
Optionally specify pipeline to manage change stream output to watch
Optionally set a topic.prefix in the connector configuration
database
collection
{}
[topic.prefix].database-name.collection-name
writes to topic ->
pipeline[]
change
stream
Connector
MongoDB Sink: Reading Messages from Topic
Reads messages from topic (based on pointer to message in topic)
Writes message into MongoDB database collection
Moves pointer to next message based on write to database
Kafka Topic database
collection
{}
1: pointer to
message to read
3: on successful write,
moves pointer to next
Connector
Der Connector live und in Farbe...
Hauke Melius
Solutions Architect
Demo Overview
27
MongoDB
MySQL
Kafka MongoDB Atlas
Local Data Center
Local Data Center
Dashboards
Visual Insights
Applications
User-Facing Applications &
Automations
Advanced Analytics &
Machine Learning
Gaining Insights into Data,
Predict & Act
Local Data Center Google Cloud Platform
TOP 3 Take-Aways
28
1. Apache Kafka erlaubt hochverfügbare
Verarbeitung großer Datenmengen.
2. Mit MongoDB (auch) unstrukturierte
Daten sehr einfach speichern und analysieren
3. Kombination als Grundlage für
digitale Transformation mit flexiblen,
skalierbaren Produkten -
egal auf welcher Infrastruktur.
Kai Waehner
Technology Evangelist
Reference Architecture
MongoDB Atlas
MongoDB Enterprise
MongoDB
Connector
for Kafka
MongoDB
Connector
for Kafka
Data stream Event-driven
data-fabric
Real-time stream processing
and transformations
Managed global
database
Web
IoT
Mobile
- Analytics
- Visualizations
- Charts
- BI
- Spark
Data
consumers
Confluent Cloud
Analyze
(Data warehouse)
Users
Mobile
Kafka Streams
& ksqlDB
Confluent Platform
Legacy Data
Stores
On Premises or any cloud
IHRE FRAGEN, UNSERE ANTWORTEN
30
Kai Waehner
Technology Evangelist
@KaiWaehner
Hauke Melius
Solutions Architect
Hans-Peter Grahsl
Technical Trainer &
Software Engineer
@hpgrahsl
Kai Waehner
Technology Evangelist
Hauke Melius
Solutions Architect
Hans-Peter Grahsl
Technical Trainer &
Software Engineer
WEBINAR:
Event-Streaming in Echtzeit
Der MongoDB-Kafka-Connector in Action!
Dienstag, 12.05.2020, 11 Uhr

Weitere ähnliche Inhalte

Was ist angesagt?

Innovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzenInnovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzenAmazon Web Services
 
Emissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green City
Emissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green CityEmissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green City
Emissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green Cityconfluent
 
Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt...
Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt...Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt...
Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt...confluent
 
Architecture Best Practices für Webanwendungen auf AWS
Architecture Best Practices für Webanwendungen auf AWSArchitecture Best Practices für Webanwendungen auf AWS
Architecture Best Practices für Webanwendungen auf AWSAWS Germany
 
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...AWS Germany
 
Webinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpaces
Webinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpacesWebinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpaces
Webinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpacesAWS Germany
 
Clickstream Analysis with Spark—Understanding Visitors in Realtime by Josef A...
Clickstream Analysis with Spark—Understanding Visitors in Realtime by Josef A...Clickstream Analysis with Spark—Understanding Visitors in Realtime by Josef A...
Clickstream Analysis with Spark—Understanding Visitors in Realtime by Josef A...Spark Summit
 
BATbern42 Large-scale Frontends mit Mixed Reality
BATbern42 Large-scale Frontends mit Mixed RealityBATbern42 Large-scale Frontends mit Mixed Reality
BATbern42 Large-scale Frontends mit Mixed RealityBATbern
 
Apache Kafka
Apache KafkaApache Kafka
Apache Kafkagedoplan
 
Clickstream Analysis with Spark
Clickstream Analysis with Spark Clickstream Analysis with Spark
Clickstream Analysis with Spark Josef Adersberger
 
Erweitern sie ihr Data Center mit Cloud Services
Erweitern sie ihr Data Center mit Cloud ServicesErweitern sie ihr Data Center mit Cloud Services
Erweitern sie ihr Data Center mit Cloud ServicesAWS Germany
 
Public Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBPublic Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBBATbern
 
Cloud Ready? Migration von Anwendungen in die Cloud
Cloud Ready? Migration von Anwendungen in die CloudCloud Ready? Migration von Anwendungen in die Cloud
Cloud Ready? Migration von Anwendungen in die CloudQAware GmbH
 
Einführung in AWS - Übersicht über die wichtigsten Services
Einführung in AWS - Übersicht über die wichtigsten Services Einführung in AWS - Übersicht über die wichtigsten Services
Einführung in AWS - Übersicht über die wichtigsten Services AWS Germany
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...inovex GmbH
 
Agil zum Ziel: Erfolgsfaktoren für agile IT-Großprojekte
Agil zum Ziel: Erfolgsfaktoren für agile IT-GroßprojekteAgil zum Ziel: Erfolgsfaktoren für agile IT-Großprojekte
Agil zum Ziel: Erfolgsfaktoren für agile IT-GroßprojekteQAware GmbH
 
Cloud-native Applikationen
Cloud-native ApplikationenCloud-native Applikationen
Cloud-native ApplikationenQAware GmbH
 
Automotive Information Research driven by Apache Solr
Automotive Information Research driven by Apache SolrAutomotive Information Research driven by Apache Solr
Automotive Information Research driven by Apache SolrQAware GmbH
 
Serverless Application Framework
Serverless Application FrameworkServerless Application Framework
Serverless Application FrameworkBATbern
 

Was ist angesagt? (20)

Innovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzenInnovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzen
 
Emissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green City
Emissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green CityEmissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green City
Emissionsfreie Mobilität gestalten: Mit Open Source Technologien zur Green City
 
Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt...
Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt...Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt...
Clash of Cultures: Agile Microservices & Business Intelligence (Frank Schmidt...
 
Architecture Best Practices für Webanwendungen auf AWS
Architecture Best Practices für Webanwendungen auf AWSArchitecture Best Practices für Webanwendungen auf AWS
Architecture Best Practices für Webanwendungen auf AWS
 
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
Der erste Schritt – idealtypische Wege in die Cloud und in der Cloud für Unte...
 
Webinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpaces
Webinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpacesWebinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpaces
Webinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpaces
 
Clickstream Analysis with Spark—Understanding Visitors in Realtime by Josef A...
Clickstream Analysis with Spark—Understanding Visitors in Realtime by Josef A...Clickstream Analysis with Spark—Understanding Visitors in Realtime by Josef A...
Clickstream Analysis with Spark—Understanding Visitors in Realtime by Josef A...
 
BATbern42 Large-scale Frontends mit Mixed Reality
BATbern42 Large-scale Frontends mit Mixed RealityBATbern42 Large-scale Frontends mit Mixed Reality
BATbern42 Large-scale Frontends mit Mixed Reality
 
Apache Kafka
Apache KafkaApache Kafka
Apache Kafka
 
Clickstream Analysis with Spark
Clickstream Analysis with Spark Clickstream Analysis with Spark
Clickstream Analysis with Spark
 
Erweitern sie ihr Data Center mit Cloud Services
Erweitern sie ihr Data Center mit Cloud ServicesErweitern sie ihr Data Center mit Cloud Services
Erweitern sie ihr Data Center mit Cloud Services
 
Public Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBPublic Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBB
 
Amazon Web Services
Amazon Web ServicesAmazon Web Services
Amazon Web Services
 
Cloud Ready? Migration von Anwendungen in die Cloud
Cloud Ready? Migration von Anwendungen in die CloudCloud Ready? Migration von Anwendungen in die Cloud
Cloud Ready? Migration von Anwendungen in die Cloud
 
Einführung in AWS - Übersicht über die wichtigsten Services
Einführung in AWS - Übersicht über die wichtigsten Services Einführung in AWS - Übersicht über die wichtigsten Services
Einführung in AWS - Übersicht über die wichtigsten Services
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
 
Agil zum Ziel: Erfolgsfaktoren für agile IT-Großprojekte
Agil zum Ziel: Erfolgsfaktoren für agile IT-GroßprojekteAgil zum Ziel: Erfolgsfaktoren für agile IT-Großprojekte
Agil zum Ziel: Erfolgsfaktoren für agile IT-Großprojekte
 
Cloud-native Applikationen
Cloud-native ApplikationenCloud-native Applikationen
Cloud-native Applikationen
 
Automotive Information Research driven by Apache Solr
Automotive Information Research driven by Apache SolrAutomotive Information Research driven by Apache Solr
Automotive Information Research driven by Apache Solr
 
Serverless Application Framework
Serverless Application FrameworkServerless Application Framework
Serverless Application Framework
 

Ähnlich wie Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!

Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionQAware GmbH
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.QAware GmbH
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.QAware GmbH
 
Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionQAware GmbH
 
Migration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformMigration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformQAware GmbH
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesOPITZ CONSULTING Deutschland
 
Modernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenModernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenenpit GmbH & Co. KG
 
Continuous Delivery as a Way of Life
Continuous Delivery as a Way of LifeContinuous Delivery as a Way of Life
Continuous Delivery as a Way of LifeKremer Consulting
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesQAware GmbH
 
Cloud Computing für die Verarbeitung von Metadaten
Cloud Computing für die Verarbeitung von MetadatenCloud Computing für die Verarbeitung von Metadaten
Cloud Computing für die Verarbeitung von MetadatenMagnus Pfeffer
 
Hochverfügbarer Hyper V Cluster
Hochverfügbarer Hyper V ClusterHochverfügbarer Hyper V Cluster
Hochverfügbarer Hyper V Clusternicohal
 
Presentation bp7 - citrix xen desktop
Presentation   bp7 - citrix xen desktopPresentation   bp7 - citrix xen desktop
Presentation bp7 - citrix xen desktopxKinAnx
 
Suse in der neuen Welt des Rechenzentrums - ein Beispiel
Suse in der neuen Welt des Rechenzentrums - ein BeispielSuse in der neuen Welt des Rechenzentrums - ein Beispiel
Suse in der neuen Welt des Rechenzentrums - ein BeispielATIX AG
 
Architektur und Automation als Enabler für DevOps
Architektur und Automation als Enabler für DevOpsArchitektur und Automation als Enabler für DevOps
Architektur und Automation als Enabler für DevOpsmatfsw
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performanceglembotzky
 
Microservices – die Architektur für Agile-Entwicklung?
Microservices – die Architektur für Agile-Entwicklung?Microservices – die Architektur für Agile-Entwicklung?
Microservices – die Architektur für Agile-Entwicklung?Christian Baranowski
 
CLOUDSERVICES FÜR ISVs
CLOUDSERVICES FÜR ISVsCLOUDSERVICES FÜR ISVs
CLOUDSERVICES FÜR ISVsacentrix GmbH
 
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText BasisAnwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basisnetmedianer GmbH
 

Ähnlich wie Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action! (20)

Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen Evolution
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
 
Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen Evolution
 
Migration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud PlattformMigration von Aftersales Systemen auf eine Cloud Plattform
Migration von Aftersales Systemen auf eine Cloud Plattform
 
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTiggesDas modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
Das modulare DWH-Modell - DOAG SIG BI/DWH 2010 - OPITZ CONSULTING - ArnoTigges
 
Modernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenModernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesen
 
Continuous Delivery as a Way of Life
Continuous Delivery as a Way of LifeContinuous Delivery as a Way of Life
Continuous Delivery as a Way of Life
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
 
Cloud Computing für die Verarbeitung von Metadaten
Cloud Computing für die Verarbeitung von MetadatenCloud Computing für die Verarbeitung von Metadaten
Cloud Computing für die Verarbeitung von Metadaten
 
Hochverfügbarer Hyper V Cluster
Hochverfügbarer Hyper V ClusterHochverfügbarer Hyper V Cluster
Hochverfügbarer Hyper V Cluster
 
Presentation bp7 - citrix xen desktop
Presentation   bp7 - citrix xen desktopPresentation   bp7 - citrix xen desktop
Presentation bp7 - citrix xen desktop
 
Suse in der neuen Welt des Rechenzentrums - ein Beispiel
Suse in der neuen Welt des Rechenzentrums - ein BeispielSuse in der neuen Welt des Rechenzentrums - ein Beispiel
Suse in der neuen Welt des Rechenzentrums - ein Beispiel
 
Architektur und Automation als Enabler für DevOps
Architektur und Automation als Enabler für DevOpsArchitektur und Automation als Enabler für DevOps
Architektur und Automation als Enabler für DevOps
 
SAP Business ByDesign - IBIS AG
SAP Business ByDesign - IBIS AGSAP Business ByDesign - IBIS AG
SAP Business ByDesign - IBIS AG
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performance
 
Microservices – die Architektur für Agile-Entwicklung?
Microservices – die Architektur für Agile-Entwicklung?Microservices – die Architektur für Agile-Entwicklung?
Microservices – die Architektur für Agile-Entwicklung?
 
CLOUDSERVICES FÜR ISVs
CLOUDSERVICES FÜR ISVsCLOUDSERVICES FÜR ISVs
CLOUDSERVICES FÜR ISVs
 
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText BasisAnwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
 
Warum sap hana sql data warehousing
Warum sap hana sql data warehousingWarum sap hana sql data warehousing
Warum sap hana sql data warehousing
 

Mehr von confluent

Evolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI EraEvolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI Eraconfluent
 
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...confluent
 
Santander Stream Processing with Apache Flink
Santander Stream Processing with Apache FlinkSantander Stream Processing with Apache Flink
Santander Stream Processing with Apache Flinkconfluent
 
Unlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insightsUnlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insightsconfluent
 
Workshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con FlinkWorkshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con Flinkconfluent
 
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...confluent
 
AWS Immersion Day Mapfre - Confluent
AWS Immersion Day Mapfre   -   ConfluentAWS Immersion Day Mapfre   -   Confluent
AWS Immersion Day Mapfre - Confluentconfluent
 
Eventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalkEventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalkconfluent
 
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent CloudQ&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent Cloudconfluent
 
Citi TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep DiveCiti TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep Diveconfluent
 
Build real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with ConfluentBuild real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with Confluentconfluent
 
Q&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service MeshQ&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service Meshconfluent
 
Citi Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka MicroservicesCiti Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka Microservicesconfluent
 
Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3confluent
 
Citi Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging ModernizationCiti Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging Modernizationconfluent
 
Citi Tech Talk: Data Governance for streaming and real time data
Citi Tech Talk: Data Governance for streaming and real time dataCiti Tech Talk: Data Governance for streaming and real time data
Citi Tech Talk: Data Governance for streaming and real time dataconfluent
 
Confluent & GSI Webinars series: Session 2
Confluent & GSI Webinars series: Session 2Confluent & GSI Webinars series: Session 2
Confluent & GSI Webinars series: Session 2confluent
 
Data In Motion Paris 2023
Data In Motion Paris 2023Data In Motion Paris 2023
Data In Motion Paris 2023confluent
 
Confluent Partner Tech Talk with Synthesis
Confluent Partner Tech Talk with SynthesisConfluent Partner Tech Talk with Synthesis
Confluent Partner Tech Talk with Synthesisconfluent
 
The Future of Application Development - API Days - Melbourne 2023
The Future of Application Development - API Days - Melbourne 2023The Future of Application Development - API Days - Melbourne 2023
The Future of Application Development - API Days - Melbourne 2023confluent
 

Mehr von confluent (20)

Evolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI EraEvolving Data Governance for the Real-time Streaming and AI Era
Evolving Data Governance for the Real-time Streaming and AI Era
 
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...
 
Santander Stream Processing with Apache Flink
Santander Stream Processing with Apache FlinkSantander Stream Processing with Apache Flink
Santander Stream Processing with Apache Flink
 
Unlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insightsUnlocking the Power of IoT: A comprehensive approach to real-time insights
Unlocking the Power of IoT: A comprehensive approach to real-time insights
 
Workshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con FlinkWorkshop híbrido: Stream Processing con Flink
Workshop híbrido: Stream Processing con Flink
 
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...
 
AWS Immersion Day Mapfre - Confluent
AWS Immersion Day Mapfre   -   ConfluentAWS Immersion Day Mapfre   -   Confluent
AWS Immersion Day Mapfre - Confluent
 
Eventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalkEventos y Microservicios - Santander TechTalk
Eventos y Microservicios - Santander TechTalk
 
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent CloudQ&A with Confluent Experts: Navigating Networking in Confluent Cloud
Q&A with Confluent Experts: Navigating Networking in Confluent Cloud
 
Citi TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep DiveCiti TechTalk Session 2: Kafka Deep Dive
Citi TechTalk Session 2: Kafka Deep Dive
 
Build real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with ConfluentBuild real-time streaming data pipelines to AWS with Confluent
Build real-time streaming data pipelines to AWS with Confluent
 
Q&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service MeshQ&A with Confluent Professional Services: Confluent Service Mesh
Q&A with Confluent Professional Services: Confluent Service Mesh
 
Citi Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka MicroservicesCiti Tech Talk: Event Driven Kafka Microservices
Citi Tech Talk: Event Driven Kafka Microservices
 
Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3Confluent & GSI Webinars series - Session 3
Confluent & GSI Webinars series - Session 3
 
Citi Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging ModernizationCiti Tech Talk: Messaging Modernization
Citi Tech Talk: Messaging Modernization
 
Citi Tech Talk: Data Governance for streaming and real time data
Citi Tech Talk: Data Governance for streaming and real time dataCiti Tech Talk: Data Governance for streaming and real time data
Citi Tech Talk: Data Governance for streaming and real time data
 
Confluent & GSI Webinars series: Session 2
Confluent & GSI Webinars series: Session 2Confluent & GSI Webinars series: Session 2
Confluent & GSI Webinars series: Session 2
 
Data In Motion Paris 2023
Data In Motion Paris 2023Data In Motion Paris 2023
Data In Motion Paris 2023
 
Confluent Partner Tech Talk with Synthesis
Confluent Partner Tech Talk with SynthesisConfluent Partner Tech Talk with Synthesis
Confluent Partner Tech Talk with Synthesis
 
The Future of Application Development - API Days - Melbourne 2023
The Future of Application Development - API Days - Melbourne 2023The Future of Application Development - API Days - Melbourne 2023
The Future of Application Development - API Days - Melbourne 2023
 

Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!

  • 1. Event-Streaming in Echtzeit Der MongoDB-Kafka-Connector in Action! 12. Mai 2020, 11 Uhr Wir starten in wenigen Minuten!
  • 2. Event-Streaming in Echtzeit Der MongoDB-Kafka-Connector in Action! 12. Mai 2020, 11 Uhr
  • 3. Unsere Sprecher des heutigen Webinars: 3 Kai Waehner Technology Evangelist Hauke Melius Solutions Architect Hans-Peter Grahsl Technical Trainer & Software Engineer
  • 4. Beginnen wir mit den Herausforderungen … 4 Kai Waehner Technology Evangelist
  • 5. 5 KUNDE - Konsum von Dienstleistungen überall und jederzeit - Omni-Channel mit nahtlosem Übergang (Mobile <-> Browser) - Schnelle Reaktionszeiten und Interaktionen in Echtzeit (Benachrichtigungen, Statusaktualisierungen, Bestätigungen...) Business Herausforderungen Bedürfnisse der Provider: Erschließung neuer Einnahmequellen, um wettbewerbsfähig zu bleiben Mit der Nachfrage skalieren und die TCO niedrig halten Kontinuierliche Weiterentwicklung und Verbesserung der Benutzer-/Kundenerfahrung ANBIETER - Erschließung neuer Einnahmequellen, um wettbewerbsfähig zu bleiben - Skalierung nach Nachfrage, niedriger TCO - Kontinuierliche Weiterentwicklung und Verbesserung der Benutzer-/Kundenerfahrung
  • 6. 6 DAUERHAFTE HERAUSFORDERUNGEN - Die Nutzung von Daten ist oft schwierig - Daten sind über viele Anwendungen/Domänen verteilt - Zugriff mit niedriger Latenz ist fast unmöglich - Agile Entwicklungsmethoden können nicht angewandt werden Bedürfnisse der Provider: Erschließung neuer Einnahmequellen, um wettbewerbsfähig zu bleiben Mit der Nachfrage skalieren und die TCO niedrig halten Kontinuierliche Weiterentwicklung und Verbesserung der Benutzer-/Kundenerfahrung …UND NEUE HERAUSFORDERUNGEN - Skalierung für Spitzenzeiten erfordert eine starke Überprovisionierung - Der Kauf von Hardware ist ggf. nicht möglich - Die Mobilität der Mitarbeiter ist begrenzt Technische Herausforderungen
  • 8. Praxisbeispiel: CENTENE HERAUSFORDERUNG: Wachstum - bedingt durch Fusionen & Übernahmen → Neubewertung der Unternehmensdatenintegrations- und Datenmigrationsstrategien → Bessere Skalierbarkeit, Verfügbarkeit, schnellere ETL 8
  • 9. Das Problem: Isolierte Daten in vielen verschiedenen Anwendungen, Domänen und Strukturen
  • 10. Wie kann Event Streaming hier helfen? 10 Kai Waehner Technology Evangelist
  • 11. Die Lösung • Aufbau eines zentralisierten Eventing-Frameworks für den Einsatz in allen Centene-Geschäftsbereichen. • Einsatz von CDC für die Aufnahme und Nutzung von Microservices mit Confluent, Kafka und MongoDB 11 Design Criteria (1) AVRO Event Serialization (2) JSON Validation of Event Body (3) Centralized Event Registry (4) Distributed Tracing of Events (5) Sensitive Data Redaction (6) Turn/Key Self-Service (7) Cloud Agnostic (8) Permanent Event Storage (9) Flexible Ingestion Intake (10) Prebuilt Monitoring/Dashboards (11) Synthetic Events
  • 13. ETL/Data Integration Messaging Batch Expensive Time Consuming Difficult to Scale No Persistence After Consumption No Replay Highly Scalable Durable Persistent Ordered Real-time
  • 14. ETL/Data Integration Messaging Batch Expensive Time Consuming Difficult to Scale No Persistence After Consumption No Replay Highly Scalable Durable Persistent Ordered Real-timeHighly Scalable Durable Persistent Ordered Real-time Event Streaming
  • 15. Kommt Ihnen das bekannt vor?
  • 16. Real-Time Inventory Real-Time Fraud Detection Real-Time Customer 360 Machine Learning Models Real-Time Data Transformati on ... Contextual Event-Driven Applications Universal Event Pipeline Data Stores Logs 3rd Party Apps Custom Apps/Microservices TREAMSSTREAMS CONNECT CLIENTS Mit Event Streaming & Kafka
  • 17. Kafka Connect: Die Basics ANY Sink Connect Connect ANY Source ANY e.g. file systems, data stores, REST endpoints, messaging systems, business applications …
  • 18. Kafka Connect & Connectors Connect Connect https://hub.confluent.io [sources] [sinks]
  • 19.
  • 20. Reden wir ein bisschen über Kafka Connect … 20 Hans-Peter Grahsl Technical Trainer & Software Engineer
  • 21. Hauke Melius Solutions Architect Der MongoDB Connector für Apache Kafka...
  • 22. Available on the Confluent Hub: https://www.confluent.io/hub/mongodb/kafka-connect-mongodb Supported by MongoDB MongoDB Connector for Apache Kafka Verified Gold by
  • 23. Where do I get the MongoDB Connector for Apache Kafka? Origin Original Sink Connector work by Hans-Peter Grahsl Source Code https://github.com/mongodb/mongo-kafka License Apache 2.0 Availability - GitHub & Maven - Confluent Hub - MongoDB Download Center
  • 24. MongoDB Source: Writing to a Topic Writes to topic based on database and collection name Optionally specify pipeline to manage change stream output to watch Optionally set a topic.prefix in the connector configuration database collection {} [topic.prefix].database-name.collection-name writes to topic -> pipeline[] change stream Connector
  • 25. MongoDB Sink: Reading Messages from Topic Reads messages from topic (based on pointer to message in topic) Writes message into MongoDB database collection Moves pointer to next message based on write to database Kafka Topic database collection {} 1: pointer to message to read 3: on successful write, moves pointer to next Connector
  • 26. Der Connector live und in Farbe... Hauke Melius Solutions Architect
  • 27. Demo Overview 27 MongoDB MySQL Kafka MongoDB Atlas Local Data Center Local Data Center Dashboards Visual Insights Applications User-Facing Applications & Automations Advanced Analytics & Machine Learning Gaining Insights into Data, Predict & Act Local Data Center Google Cloud Platform
  • 28. TOP 3 Take-Aways 28 1. Apache Kafka erlaubt hochverfügbare Verarbeitung großer Datenmengen. 2. Mit MongoDB (auch) unstrukturierte Daten sehr einfach speichern und analysieren 3. Kombination als Grundlage für digitale Transformation mit flexiblen, skalierbaren Produkten - egal auf welcher Infrastruktur. Kai Waehner Technology Evangelist
  • 29. Reference Architecture MongoDB Atlas MongoDB Enterprise MongoDB Connector for Kafka MongoDB Connector for Kafka Data stream Event-driven data-fabric Real-time stream processing and transformations Managed global database Web IoT Mobile - Analytics - Visualizations - Charts - BI - Spark Data consumers Confluent Cloud Analyze (Data warehouse) Users Mobile Kafka Streams & ksqlDB Confluent Platform Legacy Data Stores On Premises or any cloud
  • 30. IHRE FRAGEN, UNSERE ANTWORTEN 30 Kai Waehner Technology Evangelist @KaiWaehner Hauke Melius Solutions Architect Hans-Peter Grahsl Technical Trainer & Software Engineer @hpgrahsl
  • 31.
  • 32. Kai Waehner Technology Evangelist Hauke Melius Solutions Architect Hans-Peter Grahsl Technical Trainer & Software Engineer WEBINAR: Event-Streaming in Echtzeit Der MongoDB-Kafka-Connector in Action! Dienstag, 12.05.2020, 11 Uhr