Downloaden Sie, um offline zu lesen
OOP2020_Kafka_Entkopplung
- 1. 1 Patrik Kleindl Christoph Portsch MitKafka auf dem Weg zur Entkopplung
- 2. 2 Solutions beyond Buzzwords Christoph Portsch SolutionArchitect Industrie: Logistik, Telekommunikation Fokus: Event Streaming, Continuous Delivery, Domain Driven Design Gemeinsames Kundenprojekt 2015 2020 Österreichs größte Management- & Technologieberatung Patrik Kleindl Solution Architect Industrie: Telekommunikation, Finanz, Logistik Fokus: Event Streaming, Performance Tuning
- 3. Was war dieAusgangssituation?
- 4. 4 Der Monolith undseine Kopplungen Feature Feature Feature Feature Feature Implementierungs-Kopplung Temporale Kopplung Deployment Kopplung Feature Development Gemeinsamer Technologie Stack Verfügbarkeit der Features entspricht Verfügbarkeit des Systems Kernsystem 09:00-17:00 Deployment umfasst alle Änderungen Komplexe Organisation MonolithAS 400 25 Jahre entwickeln ohne Regeln
- 5. Welche Ziele verfolgteder Kunde?
- 6. 6 Monolith Business Ziele desKunden Beschleunigung Time 2 Market für neue Features Skalierung Feature Development 2 Erhöhung spezifischer Feature Verfügbarkeiten 3 Feature Feature Feature Feature 1 FeatureFeatureFeature Feature
- 7.
- 8. Die zentrale Frage Modeof Dataflow? Mo n o th li
- 9. 1. Ansatz: Request &Response über HTTP
- 10. 10 Warum? • Natürlicher Coding Ansatz •Einfacher Weg zur Kommunikation • Leichteres Testing & Operating • Keine zusätzliche Infrastruktur Client Server Request Response Client Server
- 11. 11 Request & Responseüber HTTP Monolith Feature Feature Feature Feature Feature Feature Feature Feature Entkoppelt durch APIs Koordination von APIs (API Mindset) Separate Deployment Pipelines Blue/Green Deployments Kein Big-Bang Implementierungs-Kopplung Deployment Kopplung
- 12. 12 Request & Responseüber HTTP Monolith Feature Feature Feature Feature Feature Feature Feature Feature Verfügbarkeit gekoppelt mit Upstream Performance limitiert durch Upstream Betrieb = „Distributed Murder Detective“ Temporale Kopplung
- 13. 13 Request & Responseüber HTTP Dezentrale Daten zur Erhöhung der Verfügbarkeit Monolith Feature Feature Feature Feature Feature Feature Feature Feature Batch Job führt zu Eventual Consistency Schreiben der Daten komplex Temporale Kopplung Batchjob
- 14.
- 15. 15 Warum? • Broker zurReduktion der gegenseitigen Kopplung • Entkopplung der Verfügbarkeit zwischen Publisher & Subscriber • Verschub von Daten aus einer hohen Kopplung hin zu einer losen Kopplung Client Message Publisher Subscriber Message Subscriber Message Message Broker
- 16. 16 Messaging Monolith Feature Feature Feature Feature Feature Feature Feature Feature Entkoppelt durchMessages Koordination von Message Schemas (API Mindset) Deployment Strategie für neue Infrastruktur Unabhängige Deployment Pipeline pro Feature Implementierungs-Kopplung Deployment Kopplung
- 17. 17 Messaging Monolith Feature Feature Feature Feature Feature Feature Feature Feature Kein Log vonMessages vorhanden Einmalige Deployment Kopplung Feature New Feature Deployment Kopplung Migration
- 18. 18 Messaging Teilweise Entkopplung erreicht MessagingIntegration mit Monolith war nicht möglich Monolith Feature Feature Feature Feature Feature Feature Feature Feature Temporale Kopplung
- 19.
- 20. New Feature Migration Feature Feature Monolith Messaging Integration 3 1 2 Was passiert laufend? Integration desMonolithen? Was ist in der Vergangenheit passiert?
- 21. Die Kombination? Event Streaming Streamof GPS Signals Stream of Geofences Stream of Arrivals
- 22. Apache Kafka Event StreamingPlattform Sink Connectors Source Connectors APIs für unterschiedliche Sprachen Kafka Broker KStreams & KSQL
- 23. Writes sind append only Reads sind singleseek & scan Partition 1 Partition n Verteiltes Event-Log als Messaging System Apache Kafka Event Streaming Plattform
- 24.
- 25. 25 Event Streaming Feature Feature Feature Feature Feature Feature Feature Feature Entkoppeltdurch Messages Unterstützung durch Schema Evolution Deployment Strategie für neue Infrastruktur Unabhängiges Deployment Pipeline pro Feature Monolith Implementierungs-Kopplung Deployment Kopplung
- 26. 26 Event Streaming Feature Feature Feature Feature Feature Feature Feature Feature Monolith Temporale Kopplung Zeitliche Unabhängigkeit zum Monolithen
- 27.
- 28. 28 Event oder State? Monolith EventDriven ArchitectureState Replication Change Data Capture
- 29. 29 Auswirkungen und Probleme Convenience Messages Event State State Event Re-Prozessierung Performance Impact
- 30.
- 31.
- 32.
- 33. 33 Bestellung + Drop-Off Punkt Versandauftrag +Drop-Off Punkt Stream Re-Prozessierung Monolith Stream Stream Stream Stream Kunde Neuere Messages während Re-Prozessierung erst später verarbeitet Einfluss durch Log Retention (z.B. 13 Monate) Tritt auch bei Stream Topologie Änderungen auf Auswirkung auf gesamte Kaskade Temporale Kopplung
- 34. 34 Start der Re-Prozessierung Auswirkung aufzwei weitere Streams bzw. Topics
- 35. 35 Maßnahmen zum Handlingder Stream Re-Prozessierung Idempotenz bei erneuter Verarbeitung Zeitraum beschränken Mehrstufiges Rollout von Topics Scale-Out der Streams Fachliche Filter verwenden
- 36.
- 37. 37 Topic Konfiguration Koordination vonDeployments notwendig Kritische Konfigurationswerte im Topic (Log Retention, Cleanup Policy) Consumer Consumer Producer Deployment Kopplung
- 38. 38 Topic Konfiguration UnabhängigesDeployment Jedes Deployment konfiguriert notwendige Topics Defaults überschreiben keine Master Konfiguration Producer Consumer Consumer Deployment Kopplung
- 39. Ein Stream isttot RIP!
- 40. 40 Ein Stream isttot – RIP! 1 2 43 5 6 Uncaught Exception 2 31 Stream Stream Stream Verarbeitung neuer Daten wird blockiert Manueller Eingriff notwendig Auswirkung auf gesamte Kaskade Auslöser sind inkonsistente Daten Temporale Kopplung Stream
- 41. 41 Vom Format zumSchema Avro • Schema als „Contract“ • Kafka Integration mit Schema Registry • Kafka übernimmt Schema Validierung • Unterstützt Schema Evolution (Transformation in Reader Schema) • Performant & geringer Overhead pro Message JSON • Kein strikt definiertes Format • Fehlender „Contract“ zwischen Producer & Consumer • Kafka übernimmt keine Format- Validierung • Overhead & Verbosity
- 42. 42 Optionale Parameter mitKonsequenzen Stream Uncaught Exception Inkonsistente Daten erfordern „optionale“ Werte Default Werte häufig NULL Nur schwaches Schema Code erfordert viele Null-Checks Temporale Kopplung Monolith 2 31 Stream 1 32 4 5 Bestellung + Drop-Off Punkt = NULL
- 43. Key Points –Fragen? Request & Response Messaging Event Streaming Monolith
- 44. 44 www.bearingpoint.com Thank you. + 431 506 32 0 patrik.kleindl@bearingpoint.com christoph.portsch@bearingpoint.com BearingPoint GmbH Schwarzenbergplatz 5 AT-1030 Wien, Österreich From BearingPoint Austria
- 45. 45 STAND 2.12 – 2.22 11UNTERNEHMEN AUS DEM ÖKOSYSTEM RUND UM APACHE KAFKA ÜBER 30 KAFKA-EXPERTEN VOR ORT MÖGLICHKEIT ZUM AUSTAUSCH MIT DEN SPRECHERN IM TALK LAB …UND KAFFEE UND GEWINNSPIELE HABEN WIR AUCH ;-)
- 46.