O documento discute o uso do Elasticsearch para armazenar e analisar grandes volumes de dados coletados de usuários em sites de e-commerce. Ele descreve os desafios de processar dados em tempo real para segmentação de audiência e entrega personalizada de campanhas de marketing, e como o Elasticsearch pode ajudar a resolver problemas de desempenho nessas áreas.

1. Big data com Elasticsearch
Roger Mattos
Co-fundador e CTO

2. Quem são os seus consumidores e quais
são seus interesses?

3. E-Commerce
database
1
1
1
Automação de campanhas personalizadas

4. Volume atual
~1mi
Logs de comportamento por dia
~8k
Logs de comportamento por minuto

5. Como coletamos e armazenamos nossos dados

6. Desafios
● Filtros de audiencia em tempo real
● Consolidação e processamento de dados diários
● Inferir interesse de usuários baseado em navegação

7. Segmentação de Audiência

8. Campanha de Trending

9. Bottlenecks
● Lentidão nas consultas de audiencias
● Demora no processamento de campanhas
● Queda de CTR (conversão) devido ao delay de entrega

10. Big data com Elasticsearch
Leandro Lustosa
Software Engineer

11. You Know, for search.

13. Para quê?
Busca
- FullText Search
-GeoÍndices
-Agregações
Analytics
-Near Realtime
-Ferramentas de Ingestão e Vizualização de
Dados
Fazer os dados terem sentido

14. ● Arquitetura Distribuida
● API RESTFul
● Facilidade de Uso
Pontos Fortes
● Document Based
● Open Source
● Ecosistema

15. Index 1 Index 2 Index 3 Index 4
Arquitetura Distribuída

21. Exemplo de Consulta

31. Na Social Miner
● Processamento de dados de navegação
● Monitoramento de Serviços e Infraestrutura
● Visão para a equipe de Negócios

32. ● ~6 milhões de usuários
● ~60 milhões de logs (2 meses)
● ~7 milhões de páginas processadas
e indexadas
O que e como nós processamos
● 3 Máquinas
● 32 GB de RAM
● 4 Cores

33. ● Configuração Padrão vs Produção
● Alterações de Schema
● Quanto Hardware utilizar
● Como dividir os Shards
Dificuldades

34. ● Dados Quentes x Frios
● Múltiplos Shards x Múltiplos Índices
Modelagem de Dados

35. ● Na dúvida, escolha memória.
● Metade para a aplicação, metade para o sistema operacional.
● Sempre tenha uma réplica de cada shard, de preferência em
zonas de disponibilidade distintas.
● Proteja seu Endpoint.
Deploy

36. Monitoramento de Serviços e Infraestrutura

37. Visão de Negócio

38. Quem usa?

39. Conclusão
Memória Importa
Pense nos Shards
Sempre tenha uma réplica

40. Roger Mattos
Co-fundador e CTO
Obrigado!
roger@socialminer.com
@roger_mattos
linkedin.com/in/rmattos
Leandro Lustosa
Software Enginner
leandro@socialminer.com
@llustosa_s
linkedin.com/in/leandro-lustosa-24672121