How to manage distributed transactions in a microservice architecture with MicroProfile LRA and Eventuate Tram.

1. @jefrajames
Microservices et cohérence des
données …
Mais on fait comment pour de vrai ?

2. whoami
{
"name" : "JF James",
"experience_ in_it" : 36,
"company" : "Worldline",
"domain" : "Payment & secured transactions" ,
"skills" : [ " Software architecture" , "Java", "DevRel",
"Open Source" , "MicroProfile", "Jakarta EE" ]
}

3. Une (vieille) histoire de SOA
• Refonte d’une plateforme de paiement en SOA
• Des services distribuée, chacun sa base de données
• 2 grands challenges :
1. Définir et borner les services
2. Garantir la cohérence d’ensemble des données

4. Transaction ACID locale
Module
1
BdD
Begin Commit
Module
2
Module
3
Rollback

5. Atomicity-Consistency-isolation-Durability
Read Uncommitted
Read Committed
Repeatable Read
Serializable

6. Transaction ACID locale
• Simplicité de développement
• Performant & scalable
• Eprouvé en production
• Historiquement supporté : serveur d’appli, BdD SQL, broker JMS

7. Transaction ACID distribuée
BdD
1
BdD
2
BdD
3
Transaction
Manager
Service
1
Service
2
Service
3
Begin Commit
Rollback

8. Transaction ACID distribuée
• Simplicité de développement mais …
• Fort couplage technique
• Coût élevé de l’isolation : concurrence et scalabilité réduite
• Fragilité liée à la coordination synchrone
• Non supporté par NoSQL, Kafka …
• Contexte transactionnel non propagé par REST, GraphQL, gRPC …

9. Un point moins ACID SVP
Service
1
BdD
1
Start Confirmation
Service
2
Service
3
BdD
2
BdD
3
LRA/SAGA
ACID locale 1 ACID locale 2 ACID locale 3
Compensation

10. C’est trop compliqué !
Et les erreurs de compensation ?

11. Trop compliqué ?
Erreur/Transaction ACID LRA/SAGA
Technique
Fonctionnelle

12. Et les erreurs de compensation ?
• Action de compensation simple et rapide
• Différer les opérations trop complexes et risquées

13. Principes de coordination
• Des transactions ACID locales (ou pas si NoSQL)
• Une coordination globale légère, faiblement couplée
• Des opérations de compensation explicites
• Perte de l’isolation globale : de ACID à ACD

14. Les solutions
Ne rien faire et traiter par exception

15. MicroProfile
GraphQL
Config
Fault
Tolerance
Fallback
Retry
Timeout
Circuit breaker
Bulkhead
OpenAPI
Rest
Client
JWT
API
Jakarta EE Foundation
Health
Metrics
Open
Tracing
Observability
Reactive
Messaging
Reactive
Streams
Context
Propagation
Long Running
Action
Core
JAX-RS CDI JSON
Standalone specs

16. Un peu de (bonne) lecture
/

17. MicroProfile LRA Eventuate SAGA
Origine
SAGA: H. Garcia-Molina & K. Salem
1987 Association for Computing
Eventuate: 2017
Nature
Version
En cours
Implémentations
Modèle de
programmation
Echange
Messaging
Asynchrone
Infrastructure r

18. En action !

19. Dispo sur GitHub !
https://github.com/jefrajames/lra-demo
https://github.com/jefrajames/saga-demo

20. Démo
20
Holiday
Service
Hotel
Service
Trip
Service
Car
Service
PENDING
REJECTED
ACCEPTED
CANCELED
PENDING
REJECTED
ACCEPTED
CANCELED

21. MicroProfile LRA démo

22. Architecture MicroProfile LRA
Holiday
Service
Trip
Service

23. // Holiday Service Code
@LRA(value = LRA.Type.REQUIRED, end = true, timeLimit = 2, timeUnit = ChronoUnit.SECONDS,
cancelOn = {Response.Status.INTERNAL_SERVER_ERROR},
cancelOnFamily = {Response.Status.Family.CLIENT_ERROR})
@POST @Path("/book")
public Response book(@HeaderParam(LRA_HTTP_CONTEXT_HEADER) String lraId …) { … }
@Compensate
@PUT @Path("/compensate")
public Response compensate(@HeaderParam(LRA_HTTP_CONTEXT_HEADER) String lraId) { … }
@Complete
@PUT @Path("/complete")
public Response complete(@HeaderParam(LRA_HTTP_CONTEXT_HEADER) String lraId) { … }

24. // Trip Service code
@LRA(value = LRA.Type.SUPPORTS, end = false)
@POST @Path("/book")
public Response book(@HeaderParam(LRA_HTTP_CONTEXT_HEADER) String lraId …) { … }
@Compensate
@PUT @Path("/compensate")
public Response compensate(@HeaderParam(LRA_HTTP_CONTEXT_HEADER) String lraId) { … }
@Complete
@PUT @Path("/complete")
public Response complete(@HeaderParam(LRA_HTTP_CONTEXT_HEADER) String lraId) { … }

25. Un modèle simple mais …

26. Eventuate démo

27. Architecture Eventuate
Holiday
Service
Trip
Service
CDC CDC

28. Change Data Capture
message
table
CDC CDC
received
messages

29. // Holiday Service code DSL-based SAGA definition
private SagaDefinition<HolidayBookSagaData> sagaDefinition =
step()
.invokeLocal(this::create)
.withCompensation(this::reject)
.step()
.invokeLocal(this::checkCustomer)
.step()
.invokeParticipant(this::bookTrip)
.onReply(TripBooked.class, this::handleTripBooked)
.onReply(BookTripFailed.class, this::handleBookTripFailed)
.withCompensation(this::cancelTrip)
.step()
.invokeLocal(this::checkPricing)
.step()
.invokeParticipant(this::confirmTrip)
.step()
.invokeLocal(this::approve)
.build();

30. // Trip Service-Command Handlers
@Transactional
public Message bookTrip(CommandMessage<BookTripCommand> cm) {
BookTripCommand cmd = cm.getCommand();
Trip trip = new Trip(cmd);
tripService.book(trip);
if (trip.businessError != null)
return withFailure(new BookTripFailed(trip.id, trip.businessError));
TripBooked tripBooked = trip.toReply();
return withSuccess(tripBooked);
}
@Transactional
public Message confirmTrip(CommandMessage<ConfirmTripCommand> cm) { … }
@Transactional
public Message cancelTrip(CommandMessage<CancelTripCommand> cm) { … }

31. Base de données Eventuate
Holiday Trip
cdc_monitoring X
entities
events
message X X
offset_store
received_messages X X
Infrastructure
saga_instance
saga_instance_partition
saga_lock_table
snapshots

32. Conclusion

33. MicroProfile LRA Eventuate SAGA
Composants clés
SPOF potentiels
Courbe
d’apprentissage **** ***
Simplicité de
configuration ***** **
Couplage
fonctionnel **** ***
Couplage
technique ** ****
Observabilité
Monitoring ** ****
Généricité **** *****
Testabilité *** **
Performance **** ***

34. Merci

35. Pour terminer
• Si trop de transaction distribuée : revoir le découpage en service
• Solution minimaliste : tracer les erreurs et compenser en arrière plan
• Des solutions plus avancées existent
• Ne pas négliger les performances et le monitoring
• Actions de compensation simples, rapides et idempotent

36. Pour aller plus loin
• Mes 2 démos sur GitHub :
• https://github.com/jefrajames/lra-demo
• https://github.com/jefrajames/saga-demo
• Eventuate : le site microservices.io, le site Eventuate et les exemples
• LRA: le blog Narayana, les exemples Quarkus, Open Liberty, Helidon

37. Pour aller encore plus loin
• Un exemple LRA avec SpringBoot (Jersey) et Axon
• Le module LRA Camel
• Configurer le CDC en transaction log tailing sur PostgreSQL