Case de sucesso que foi implementado na Kinghost, utilizando a tecnologia Docker + Elasticearch + RabbitMq. Um experiência bem legal que pode servir de exemplo a outras empresas que tem interesse em ingressar no mundo de BigData.
7. Maneiras de Resolver
Script
Ficar lendo o arquivo de logs
procurando por retornos.
- Demorado
- Dificil de Escalar
- Fácil de Criar
MongoDb
Jogar todo esse dado para o
mongo e processar os dados já
inseridos, utilizando vários
scripts de leitura.
- Dificuldade Média
- Boa Velocidade de
Leitura
- Sem Relatórios
Elasticsearch
Utilizar o armazenamento do
elasticsearch junto com o
sistema de filas, para agilizar o
processamento.
- Estrutura complexa
- Processamento
Real-time
- Relatórios Dinâmicos
17. “- Sync do log do postfix
- Parser do logstash (grok)
- Criação do Ambiente
- Limitação de Recursos no Container
- Logs em modo debug
- Monitoramento em caso de falha
- Leak memória Kibana