2. 2
Marcio Ghiraldelli
6 anos como arquiteto de TI no Universo Online
Arquitetura de sistemas de alta disponibilidade (PagSeguro e
ShoppingUOL)
Sun Certified Java Architect / MBA em Gerenciamento de Projetos PMI
3. 3
Agenda
Monitorando transações de cartão de crédito
Tomada de decisões de negócio
Monitorando operação do sistema
Medindo ROI de mídia online em tempo real
4. 4
Maior portfolio de produtos e serviços de Internet do Brasil
Maior portal de conteúdo em língua portuguesa do mundo
Infraestrutura de TI e Datacenter
5.
6. 6
Splunk @ PagSeguro
• Monitoração antes:
• Baseada em banco relacional, sem escala horizontal
• Limitado às 3 ultimas horas de eventos
• Acesso a dados históricos depende de DBA
• Necessário instalar aplicação cliente em todos os computadores da
equipe de monitoração
7. 7
Descobrindo e escolhendo Splunk
Novo serviço backend
Adquirentes cartão de
crédito, bancos, etc
Ferramenta de
monitoração
PCI-DSS security
compliance
8. 8
Descobrindo e escolhendo Splunk
• Necessidades da monitoração:
• Big Data centralizado
• Flexível
• Fácil de usar
• Realtime
9. 9
Exemplo de informação de transações
<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO
[br.com.uol.ps.gw.core.aspect.CommandExecuteLogger]
(qtp564660841-420:) datetime=2013-03-12 08:18:44,528
command=CreditCardSaleCommand msecs=555
{creditCardResponse=null,creditCardRequestModel={
creditCardTransaction={id=9999993513, merchantCode=99999999,
fiDetails={nsu=999998,authorizationCode=59999999841,
time=Tue Mar 12 08:18:44 BRT 2013,
rawMessage=Transacao capturada com sucesso,
rawCode=0, fi=locie, integratorCode=1016999999999999991},
numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e,
isWallet=false, softDescriptor=CortaCortaco,
maskedNumber=547408******1525,cvv=***, brand=mastercard,
paymentStatus=PAGO
15. 15
Splunk @ PagSeguro
• Agora:
• Monitoração web com gráficos, treinamento para novos N1s diminui
de semanas para dias;
• Acesso à dados históricos com um clique
• Nivelamento de informações entre monitoração, P&D e área de
negócios
16.
17. 17
Splunk @ ShoppingUOL
• Antes:
• Time de P&D sem relatórios gráficos centralizados da saúde da
operação
• Dados de ROI de mídia online não eram em tempo real
18. 18
Splunk Universal Forwarder
• Componente light de fácil configuração para coletar logs
existentes de aplicações legadas
• Expansão da licença atual e infra (+ indexers) do Splunk para
atender novo produto ShoppingUOL
• Instalação automatizada em +20 máquinas virtuais via puppet
19. 19
Splunk Proccess Language
• Extração de dados de logs em diversos formatos legados
• rex, transaction, dedup
24. 24
Splunk @ ShoppingUOL
• Depois:
• Time de P&D e operação com a mesma visibilidade
• Acompanhamento de campanhas de mídia online em tempo real +
velocidade em tomadas de decisões de investimentos
26. 26
Upgrade de arquitetura “on the fly”
Antes: 2 servidores com uma instância de Splunk
Search Head and Indexer
NFS Mount
Index cold buckets
Incoming TCP data
Splunk Search User Access
27. Splunk Search User Access TCP Load Balancer TCP Load Balancer
27
Upgrade de arquitetura “on the fly”
Depois: 4 servidores com 4 instâncias Splunk
Search Head
Incoming TCP data
Search Head
Indexer
Indexer
29. 29
Próximos passos
• Todas as novas aplicações sendo criadas com logs no formato
chave/valor, prevendo uma futura convergência no Splunk
• Instalando uma televisão no andar da área de negócios para
acompanhamento em tempo real dos dashboards
• Evoluindo a arquitetura do Splunk “corporativo” para atender
todos os produtos do UOL em uma infra centralizada
• Integrar Splunk com os eventos de processos ITIL/CMDB