Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!

1. Event-Streaming in Echtzeit
Der MongoDB-Kafka-Connector in Action!
12. Mai 2020, 11 Uhr
Wir starten in wenigen Minuten!

2. Event-Streaming in Echtzeit
Der MongoDB-Kafka-Connector in Action!
12. Mai 2020, 11 Uhr

3. Unsere Sprecher
des heutigen Webinars:
3
Kai Waehner
Technology Evangelist
Hauke Melius
Solutions Architect
Hans-Peter Grahsl
Technical Trainer &
Software Engineer

4. Beginnen wir mit den
Herausforderungen …
4
Kai Waehner
Technology Evangelist

5. 5
KUNDE
- Konsum von Dienstleistungen
überall und jederzeit
- Omni-Channel mit nahtlosem
Übergang (Mobile <-> Browser)
- Schnelle Reaktionszeiten und
Interaktionen in Echtzeit
(Benachrichtigungen,
Statusaktualisierungen,
Bestätigungen...)
Business
Herausforderungen
Bedürfnisse der Provider:
Erschließung neuer
Einnahmequellen, um
wettbewerbsfähig zu bleiben
Mit der Nachfrage skalieren und die
TCO niedrig halten
Kontinuierliche Weiterentwicklung
und Verbesserung der
Benutzer-/Kundenerfahrung
ANBIETER
- Erschließung neuer
Einnahmequellen, um
wettbewerbsfähig zu bleiben
- Skalierung nach Nachfrage,
niedriger TCO
- Kontinuierliche Weiterentwicklung
und Verbesserung der
Benutzer-/Kundenerfahrung

6. 6
DAUERHAFTE HERAUSFORDERUNGEN
- Die Nutzung von Daten ist oft
schwierig
- Daten sind über viele
Anwendungen/Domänen verteilt
- Zugriff mit niedriger Latenz ist fast
unmöglich
- Agile Entwicklungsmethoden
können nicht angewandt werden
Bedürfnisse der Provider:
Erschließung neuer
Einnahmequellen, um
wettbewerbsfähig zu bleiben
Mit der Nachfrage skalieren und die
TCO niedrig halten
Kontinuierliche Weiterentwicklung
und Verbesserung der
Benutzer-/Kundenerfahrung
…UND NEUE HERAUSFORDERUNGEN
- Skalierung für Spitzenzeiten
erfordert eine starke
Überprovisionierung
- Der Kauf von Hardware ist ggf. nicht
möglich
- Die Mobilität der Mitarbeiter ist
begrenzt
Technische
Herausforderungen

7. Gängige Initiativen
7
IoT
Application
Modernization
Content
Management
Real-Time
AnalyticsMicroservices
BRANCHENÜBERGREIFEND
Gesundheitswesen Finanzdienste Telco Einzelhandel
Technologie Industrie Automobil

8. Praxisbeispiel: CENTENE
HERAUSFORDERUNG: Wachstum - bedingt durch Fusionen & Übernahmen
→ Neubewertung der Unternehmensdatenintegrations- und Datenmigrationsstrategien
→ Bessere Skalierbarkeit, Verfügbarkeit, schnellere ETL
8

9. Das Problem:
Isolierte Daten in vielen verschiedenen
Anwendungen, Domänen und Strukturen

10. Wie kann Event Streaming
hier helfen?
10
Kai Waehner
Technology Evangelist

11. Die Lösung
• Aufbau eines zentralisierten
Eventing-Frameworks für den Einsatz in
allen Centene-Geschäftsbereichen.
• Einsatz von CDC für die Aufnahme und
Nutzung von Microservices mit
Confluent, Kafka und MongoDB
11
Design Criteria
(1) AVRO Event Serialization
(2) JSON Validation of Event Body
(3) Centralized Event Registry
(4) Distributed Tracing of Events
(5) Sensitive Data Redaction
(6) Turn/Key Self-Service
(7) Cloud Agnostic
(8) Permanent Event Storage
(9) Flexible Ingestion Intake
(10) Prebuilt Monitoring/Dashboards
(11) Synthetic Events

12. Hybrid & Multi-Cloud
12

13. ETL/Data Integration Messaging
Batch
Expensive
Time Consuming
Difficult to Scale
No Persistence After
Consumption
No Replay
Highly Scalable
Durable
Persistent
Ordered
Real-time

14. ETL/Data Integration Messaging
Batch
Expensive
Time Consuming
Difficult to Scale
No Persistence After
Consumption
No Replay
Highly Scalable
Durable
Persistent
Ordered
Real-timeHighly Scalable
Durable
Persistent
Ordered
Real-time
Event Streaming

15. Kommt Ihnen das bekannt vor?

16. Real-Time
Inventory
Real-Time
Fraud
Detection
Real-Time
Customer
360
Machine
Learning
Models
Real-Time
Data
Transformati
on
...
Contextual Event-Driven Applications
Universal Event Pipeline
Data Stores Logs 3rd Party Apps Custom Apps/Microservices
TREAMSSTREAMS
CONNECT CLIENTS
Mit
Event
Streaming
&
Kafka

17. Kafka Connect: Die Basics
ANY
Sink
Connect Connect
ANY
Source
ANY e.g. file systems, data stores, REST endpoints,
messaging systems, business applications …

18. Kafka Connect & Connectors
Connect Connect
https://hub.confluent.io
[sources] [sinks]

20. Reden wir ein bisschen
über Kafka Connect …
20
Hans-Peter Grahsl
Technical Trainer &
Software Engineer

21. Hauke Melius
Solutions Architect
Der MongoDB Connector für
Apache Kafka...

22. Available on the Confluent Hub:
https://www.confluent.io/hub/mongodb/kafka-connect-mongodb
Supported by MongoDB
MongoDB Connector for Apache Kafka
Verified Gold by

23. Where do I get the
MongoDB Connector for Apache Kafka?
Origin Original Sink Connector work by Hans-Peter Grahsl
Source Code https://github.com/mongodb/mongo-kafka
License Apache 2.0
Availability
- GitHub & Maven
- Confluent Hub
- MongoDB Download Center

24. MongoDB Source: Writing to a Topic
Writes to topic based on database and collection name
Optionally specify pipeline to manage change stream output to watch
Optionally set a topic.prefix in the connector configuration
database
collection
{}
[topic.prefix].database-name.collection-name
writes to topic ->
pipeline[]
change
stream
Connector

25. MongoDB Sink: Reading Messages from Topic
Reads messages from topic (based on pointer to message in topic)
Writes message into MongoDB database collection
Moves pointer to next message based on write to database
Kafka Topic database
collection
{}
1: pointer to
message to read
3: on successful write,
moves pointer to next
Connector

26. Der Connector live und in Farbe...
Hauke Melius
Solutions Architect

27. Demo Overview
27
MongoDB
MySQL
Kafka MongoDB Atlas
Local Data Center
Local Data Center
Dashboards
Visual Insights
Applications
User-Facing Applications &
Automations
Advanced Analytics &
Machine Learning
Gaining Insights into Data,
Predict & Act
Local Data Center Google Cloud Platform

28. TOP 3 Take-Aways
28
1. Apache Kafka erlaubt hochverfügbare
Verarbeitung großer Datenmengen.
2. Mit MongoDB (auch) unstrukturierte
Daten sehr einfach speichern und analysieren
3. Kombination als Grundlage für
digitale Transformation mit flexiblen,
skalierbaren Produkten -
egal auf welcher Infrastruktur.
Kai Waehner
Technology Evangelist

29. Reference Architecture
MongoDB Atlas
MongoDB Enterprise
MongoDB
Connector
for Kafka
MongoDB
Connector
for Kafka
Data stream Event-driven
data-fabric
Real-time stream processing
and transformations
Managed global
database
Web
IoT
Mobile
- Analytics
- Visualizations
- Charts
- BI
- Spark
Data
consumers
Confluent Cloud
Analyze
(Data warehouse)
Users
Mobile
Kafka Streams
& ksqlDB
Confluent Platform
Legacy Data
Stores
On Premises or any cloud

30. IHRE FRAGEN, UNSERE ANTWORTEN
30
Kai Waehner
Technology Evangelist
@KaiWaehner
Hauke Melius
Solutions Architect
Hans-Peter Grahsl
Technical Trainer &
Software Engineer
@hpgrahsl

32. Kai Waehner
Technology Evangelist
Hauke Melius
Solutions Architect
Hans-Peter Grahsl
Technical Trainer &
Software Engineer
WEBINAR:
Event-Streaming in Echtzeit
Der MongoDB-Kafka-Connector in Action!
Dienstag, 12.05.2020, 11 Uhr