A história do LinkApi, como chegamos numa arquitetura para suportar 1 milhão de integrações por minuto
•
0 gefällt mir•2,362 views
O documento descreve a evolução da arquitetura do LinkApi para suportar 1 milhão de integrações por minuto. Inicialmente usava Node.js com Straw, mas isso limitava a 20 mil tasks simultâneas. Depois mudou para Node.js com RabbitMQ e Docker, o que melhorou o desempenho e escalabilidade, permitindo processar mais tasks em paralelo. A nova arquitetura usa RabbitMQ para filas robustas e workers em containers Docker para processar as tasks de forma escalável.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie A história do LinkApi, como chegamos numa arquitetura para suportar 1 milhão de integrações por minuto
Ähnlich wie A história do LinkApi, como chegamos numa arquitetura para suportar 1 milhão de integrações por minuto (20)
Mehr von Waldyr Felix
Mehr von Waldyr Felix (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (9)
A história do LinkApi, como chegamos numa arquitetura para suportar 1 milhão de integrações por minuto
- 1. A História do LinkApi, como chegamos numa Arquitetura para suportar 1 milhão de integrações por minuto. Waldyr Felix CTO da Orange Founders Head de Tecnologia da Fcamara Daniel Loscheck Desenvolvedor do LinkApi Consultor da FCamara ȗ
- 2. O que é o LinkApi?
- 4. Node.js + Straw • Node.js possui I/O não bloqueante • Baixo workload • Alta produtividade na criação de novos conectores • Straw facilita a distribuição dos processos • Framework de processamento em tempo real • Bug sem solução ao chegar em 20 mil tasks simultâneas L
- 6. Python + Celery • Solução robusta e bastante conhecida do mercado • Maior case de sucesso: Mozilla • Documentação mais completa que o Straw • Ninguém sabe Python L • Celery é bem mais complexo do que o Straw L
- 8. Node.js + Kue + Redis • Extremamente performático • Implementação simples • Fácil de configurar e manter • Documentação fraca L • Bug causando o não fechamento das conexões do Redis L
- 10. Node.js + RabbitMQ + Docker • Extremamente performático • Fácil de manter e escalar • Aumentou a complexidade da solução L • Funciona J
- 12. O que mudou no LinkApi? Get Integration Get Trigger Trigger Exec Create Task Get Action Action Exec Get Integration Trigger Exec Action Exec
- 13. Nova arquitetura do LinkApi?
- 14. • Robustez com o RabbitMQ • Escalabilidade com mais nós do RabbitMQ em cluster • Escalabilidade com mais Workers (containers do docker) • docker service scale linkapi_trigger=3 linkapi_action=10 • Vazão de tasks dos Workers agora é parametrizável • Métricas de mensageria com o painel do RabbitMQ Ganhos com o novo LinkApi?
- 16. Visão do futuro para o LinkApi • Tudo como container • Esquema de filas por integração • Integrações por webhook • API’s de consulta para os clientes • Melhoria de UX
- 17. Links Interessantes • Benchmark do Apache Kafka https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines • Comparativo entre Message Brokers https://dzone.com/articles/exploring-message-brokers • Artigo sobre Message Queue https://www.cloudamqp.com/blog/2014-12-03-what-is-message-queuing.html • Apresentação sobre Escalando a Infraestrutura do Instagram https://www.infoq.com/presentations/instagram-scale-infrastructure • Artigo sobre quando usar Kafka ou RabbitMQ https://content.pivotal.io/rabbitmq/understanding-when-to-use-rabbitmq-or-apache-kafka
- 18. Waldyr Felix CTO da Orange Founders Head de Tecnologia da Fcamara Daniel Loscheck Desenvolvedor do LinkApi Consultor da FCamara ȗ