O documento discute conceitos de processamento de fluxo de dados com Python e Apache Storm, incluindo coleta de dados, armazenamento temporário, processamento de fluxo, armazenamento permanente e desafios como contar itens de forma distribuída e manter baixa latência. O documento também fornece lições aprendidas como dividir responsabilidades, visibilidade do sistema e testes de canário.

1. www.azion.com
Stream processing
com Python e Apache Storm
Victor Poluceno

3. CDN
Content Delivery Network

4. v1 2015-08-18T14:02:29+00:00 7778s27778s hd
images.livrariasaraiva.com.br 0.000GET
HIT - 200 https/imagem/`?
L=200&A=-1&pro_id=1910801 image/webpHTTP/1.1
7316 - 224625 200.182.220.130 19536TLSv1.2
ECDHE-RSA-AES128-GCM-SHA256 . Mozilla/5.0
(Windows NT 6.1; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/44.0.2403.155
Safari/537.36 http://saraiva.sys.social/
trend/vitrine.php -

5. Sinal e ruído
ou como extrair métricas dos logs

6. Baixa latência
do inicio ao fim do pipeline

7. Elasticidade
aceitar 100x o volume normal

8. Escalabilidade linear
Crescer capacidade com aumento de recursos

10. Coleta

11. Mensagem
{
‘event_id’:‘ff5a727e-45e2-11e5-96d6-08002760fc47',
'partition': 0,
’event': {
'payload': ’lines here…’,
'family':‘http',
'metadata': {
'__location':‘poa001',
'__hostname':‘localhost’
}
},
'event_timestamp': 147689768976
}

12. Armazenamento temporário

14. Consumidores

15. Stream Processing

16. Pyleus
Framework Python desenvolver topologias Storm

17. Armazenamento
permanente

19. Contando coisas
Contadores distribuidos não são fáceis

20. Cassandra counter
Use com cuidado

21. Acesso exclusivo por
particionamento
Counter distribuído e consistente

22. Bloom Filter
Utilizado para saber se um update já foi processado.

23. Macro Arquitetura

24. Latência ~500 ms
Write < 500 ms e read < 50ms

25. Lições aprendidas
Sistemas distribuídos e resilientes

26. Dividir para conquistar
Dividir pipelines e responsabilidades

27. Visibilidade
sobre o comportamento do sistema

28. Limpar o caminho critico
Manter o loop de processamento estatico

29. Bare metal
Diminuir as variáveis afetando a latência

30. Ambiente de canary
Prevenção contra modificações ruins ou erros humanos

31. Obrigado!
Para mais informações, acesse:
www.azion.com