SlideShare ist ein Scribd-Unternehmen logo
1 von 16
Downloaden Sie, um offline zu lesen
Copyright © 2014 Splunk Inc.
Ricardo Lazaro – Software Engineer na 99Taxis
Agilidade e Informação
2
Agenda
• Sobre a 99Taxis
• Desafios que levaram ao Splunk
• Troubleshooting: análise de errors / performance
• Monitoramento de métricas de sistema
• Monitoramento de métricas de negócio
3
Agenda
• Sobre a 99Taxis
• Desafios que levaram ao Splunk
• Troubleshooting: análise de errors / performance
• Monitoramento de métricas de sistema
• Monitoramento de métricas de negócio
Drag image to add client logo
4
 Aplicativo líder nacional para chamar táxi
 Aplicativo melhor avaliado na categoria transporte –
mundo!
 Disponível para iOS, Android e WP
 Presente em mais de 300 cidades
 100k+ taxistas cadastrados
 20M+ corridas realizadas
 2M+ corridas/mês
 400k+ requisições por minuto
5
Ricardo Lazaro
• Formado em ciências da computação – turma 2002 USP
• Programador Scala, Java, Ruby
• Adepto ao “Keep it simple”
• Atende ao nome de Ricardo, Lazaro e Jack!
6
Troubleshooting
• Empresa ~= 1 máquina rodando
• O que aconteceu com essa chamada de táxi? “hum...Let's grep it”
Pouco mais de um ano atrás
7
Troubleshooting
10+ sistemas interconectados
Impossível entrar em todos os sistemas/todas as máquina/todos os arquivos
Cada aplicação contendo de 3 a n máquinas
~100GB de logs por dia
O que aconteceu com essa chamada de táxi? X...
hoje
8
Troubleshooting
10+ sistemas interconectados
Impossível entrar em todos os sistemas/todas as máquina/todos os arquivos
Cada aplicação contendo de 3 a n máquinas
~100GB de logs por dia
O que aconteceu com essa chamada de táxi? X...
hoje
9
Splunk
• Centralizando logs: Todas as máquinas da 99Taxis conectadas ao splunk
Benefícios:
• Busca cross-system: Possibilidade de acompanhar o ciclo de cada requisição,
passando por diferentes sistemas, independente da máquina
• Unificação de busca: Splunk search language para qualquer sistema
• Busca temporal: o que aconteceu em HH:mm:ss.SSS?...easy!
• Monitoramento/Alarmes unificados
10
Splunk Enterprise na 99Taxis
Forwarder- Linux Forwarder- Linux Forwarder- Linux Forwarder- Linux
11
Exemplo busca
Cross System Search
12
Monitoramento/Dashboards
“Overview de métricas importantes praticamente real time, conta com inúmeros gráficos: como se você tivesse
contratado um time inteiro, só que usando 2, 3 cliques.”
13
Monitoramento/Inteligência/ABC...Test
Como testar que algoritmo é melhor? (por dia/hora/estado/cidade/....)
( ) Contratar engenheiros da Nasa e juntar n bases de dados
(V) Splunk, com instruções tão simples quanto … | stats count by city version ...
15
Benefícios
• Visibilidade sobre comportamento de ambos, sistemas e processos
• Não trabalhamos com suposições - olhamos gráficos
• Agilidade no entendimento e solução de problemas
Agilidade em tomadas de decisão – testes ABC...
Foco 100% no negócio, com bootstrap simplificado e de baixa
manutenção
16
Próximos passos
• Deixar o Splunk ainda mais próximo do time de BI, usando apps como
db connector para relacionar dados de banco com dados de log
• Usar API para exportar principalmente métricas realtime para taxistas e
passageiros
• Segunrança
• Outros...
FIM!!

Weitere ähnliche Inhalte

Was ist angesagt?

Elastic @ The Ministry of Health/Datasus (P)
Elastic @ The Ministry of Health/Datasus (P)Elastic @ The Ministry of Health/Datasus (P)
Elastic @ The Ministry of Health/Datasus (P)Elasticsearch
 
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearchProcessamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearchCicero Joasyo Mateus de Moura
 
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...Cicero Joasyo Mateus de Moura
 
Stream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMRStream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMRCicero Joasyo Mateus de Moura
 
Big Data na prática: como construir um Data Lake para análise de dados
Big Data na prática: como construir um Data Lake para análise de dadosBig Data na prática: como construir um Data Lake para análise de dados
Big Data na prática: como construir um Data Lake para análise de dadosCicero Joasyo Mateus de Moura
 

Was ist angesagt? (7)

Elastic @ The Ministry of Health/Datasus (P)
Elastic @ The Ministry of Health/Datasus (P)Elastic @ The Ministry of Health/Datasus (P)
Elastic @ The Ministry of Health/Datasus (P)
 
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearchProcessamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
 
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
 
Stream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMRStream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMR
 
Big Data na prática: como construir um Data Lake para análise de dados
Big Data na prática: como construir um Data Lake para análise de dadosBig Data na prática: como construir um Data Lake para análise de dados
Big Data na prática: como construir um Data Lake para análise de dados
 
Big Data e seu fiel companheiro Spark
Big Data e seu fiel companheiro SparkBig Data e seu fiel companheiro Spark
Big Data e seu fiel companheiro Spark
 
IoT Frameworks
IoT FrameworksIoT Frameworks
IoT Frameworks
 

Andere mochten auch

Splunk live introdução
Splunk live introduçãoSplunk live introdução
Splunk live introduçãoSplunk
 
Deploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do SplunkDeploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do SplunkSplunk
 
Visibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscalVisibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscalSplunk
 
BVMF and Splunk
BVMF and SplunkBVMF and Splunk
BVMF and SplunkSplunk
 
Vtex - Splunk live! 2014 São Paulo
Vtex - Splunk live! 2014 São Paulo Vtex - Splunk live! 2014 São Paulo
Vtex - Splunk live! 2014 São Paulo Splunk
 
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, TarifasEntendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, TarifasMagda Rêgo Barros
 
Splunk live produban
Splunk live produbanSplunk live produban
Splunk live produbanSplunk
 
Caso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e SplunkCaso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e SplunkSplunk
 
Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015Splunk
 
SplunkLive! São Paulo 2014 - Overview by markus zirn
SplunkLive! São Paulo 2014 -  Overview by markus zirnSplunkLive! São Paulo 2014 -  Overview by markus zirn
SplunkLive! São Paulo 2014 - Overview by markus zirnSplunk
 
Splunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdataSplunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdataSplunk
 

Andere mochten auch (11)

Splunk live introdução
Splunk live introduçãoSplunk live introdução
Splunk live introdução
 
Deploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do SplunkDeploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do Splunk
 
Visibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscalVisibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscal
 
BVMF and Splunk
BVMF and SplunkBVMF and Splunk
BVMF and Splunk
 
Vtex - Splunk live! 2014 São Paulo
Vtex - Splunk live! 2014 São Paulo Vtex - Splunk live! 2014 São Paulo
Vtex - Splunk live! 2014 São Paulo
 
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, TarifasEntendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
 
Splunk live produban
Splunk live produbanSplunk live produban
Splunk live produban
 
Caso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e SplunkCaso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e Splunk
 
Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015
 
SplunkLive! São Paulo 2014 - Overview by markus zirn
SplunkLive! São Paulo 2014 -  Overview by markus zirnSplunkLive! São Paulo 2014 -  Overview by markus zirn
SplunkLive! São Paulo 2014 - Overview by markus zirn
 
Splunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdataSplunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdata
 

Ähnlich wie 99 Taxi - SplunkLive! São Paulo 2015

Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...
Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...
Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...Ricardo Ferreira
 
Introdução Splunk Brasil
Introdução Splunk BrasilIntrodução Splunk Brasil
Introdução Splunk BrasilSplunk
 
Guia para inteligência operacional
Guia para inteligência operacionalGuia para inteligência operacional
Guia para inteligência operacionalSplunk
 
Eiti Kimura - Analisador de dados automatizado utilizando machine learning
Eiti Kimura - Analisador de dados automatizado utilizando machine learningEiti Kimura - Analisador de dados automatizado utilizando machine learning
Eiti Kimura - Analisador de dados automatizado utilizando machine learningDevCamp Campinas
 
Contr avali engenharia de software-introdução
Contr avali   engenharia de software-introduçãoContr avali   engenharia de software-introdução
Contr avali engenharia de software-introduçãoFelipe Lyra
 
EasyTaxi e MongoDB - Showcase
EasyTaxi e MongoDB - ShowcaseEasyTaxi e MongoDB - Showcase
EasyTaxi e MongoDB - ShowcaseYuri Teixeira
 
Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Planejamento E Gerenciamento de Capacidade Para Sistemas DistribuídosPlanejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Planejamento E Gerenciamento de Capacidade Para Sistemas DistribuídosRodrigo Campos
 
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas DistribuídosPlanejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídosluanrjesus
 
Do monolito aos microserviços com Docker (PHPSP+IMA)
Do monolito aos microserviços com Docker (PHPSP+IMA)Do monolito aos microserviços com Docker (PHPSP+IMA)
Do monolito aos microserviços com Docker (PHPSP+IMA)Wellington Silva
 
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...Éberli Cabistani Riella
 
Estaleiro o uso de kubernetes no serpro
Estaleiro   o uso de kubernetes no serproEstaleiro   o uso de kubernetes no serpro
Estaleiro o uso de kubernetes no serproRicardo Katz
 
Financial services overview and customer (2014)
Financial services   overview and customer (2014)Financial services   overview and customer (2014)
Financial services overview and customer (2014)Sidnir Vieira
 
DNAD 2015 - Como a arquitetura emergente de sua aplicação pode jogar contra ...
DNAD 2015  - Como a arquitetura emergente de sua aplicação pode jogar contra ...DNAD 2015  - Como a arquitetura emergente de sua aplicação pode jogar contra ...
DNAD 2015 - Como a arquitetura emergente de sua aplicação pode jogar contra ...Gleicon Moraes
 
Big data para programadores convencionais
Big data para programadores convencionaisBig data para programadores convencionais
Big data para programadores convencionaisRoberto Oliveira
 
Big Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenhoBig Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenhoRicardo Longa
 
Planejamento de Capacidade Técnicas e Ferramentas
Planejamento de Capacidade Técnicas e FerramentasPlanejamento de Capacidade Técnicas e Ferramentas
Planejamento de Capacidade Técnicas e Ferramentasluanrjesus
 
Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016Kamila Santos Hinckel
 
11 gigas por dia e um milhão de possibilidades (meetup bh)
11 gigas por dia e um milhão de possibilidades (meetup bh)11 gigas por dia e um milhão de possibilidades (meetup bh)
11 gigas por dia e um milhão de possibilidades (meetup bh)Marcus Lacerda
 
Arquitetura de dados em stream
Arquitetura de dados em streamArquitetura de dados em stream
Arquitetura de dados em streamMatheus Vill
 

Ähnlich wie 99 Taxi - SplunkLive! São Paulo 2015 (20)

Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...
Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...
Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...
 
Introdução Splunk Brasil
Introdução Splunk BrasilIntrodução Splunk Brasil
Introdução Splunk Brasil
 
Guia para inteligência operacional
Guia para inteligência operacionalGuia para inteligência operacional
Guia para inteligência operacional
 
Eiti Kimura - Analisador de dados automatizado utilizando machine learning
Eiti Kimura - Analisador de dados automatizado utilizando machine learningEiti Kimura - Analisador de dados automatizado utilizando machine learning
Eiti Kimura - Analisador de dados automatizado utilizando machine learning
 
Contr avali engenharia de software-introdução
Contr avali   engenharia de software-introduçãoContr avali   engenharia de software-introdução
Contr avali engenharia de software-introdução
 
EasyTaxi e MongoDB - Showcase
EasyTaxi e MongoDB - ShowcaseEasyTaxi e MongoDB - Showcase
EasyTaxi e MongoDB - Showcase
 
Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Planejamento E Gerenciamento de Capacidade Para Sistemas DistribuídosPlanejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
 
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas DistribuídosPlanejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
 
Do monolito aos microserviços com Docker (PHPSP+IMA)
Do monolito aos microserviços com Docker (PHPSP+IMA)Do monolito aos microserviços com Docker (PHPSP+IMA)
Do monolito aos microserviços com Docker (PHPSP+IMA)
 
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
 
Estaleiro o uso de kubernetes no serpro
Estaleiro   o uso de kubernetes no serproEstaleiro   o uso de kubernetes no serpro
Estaleiro o uso de kubernetes no serpro
 
Financial services overview and customer (2014)
Financial services   overview and customer (2014)Financial services   overview and customer (2014)
Financial services overview and customer (2014)
 
DNAD 2015 - Como a arquitetura emergente de sua aplicação pode jogar contra ...
DNAD 2015  - Como a arquitetura emergente de sua aplicação pode jogar contra ...DNAD 2015  - Como a arquitetura emergente de sua aplicação pode jogar contra ...
DNAD 2015 - Como a arquitetura emergente de sua aplicação pode jogar contra ...
 
Big data para programadores convencionais
Big data para programadores convencionaisBig data para programadores convencionais
Big data para programadores convencionais
 
Big Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenhoBig Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenho
 
Planejamento de Capacidade Técnicas e Ferramentas
Planejamento de Capacidade Técnicas e FerramentasPlanejamento de Capacidade Técnicas e Ferramentas
Planejamento de Capacidade Técnicas e Ferramentas
 
Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016
 
11 gigas por dia e um milhão de possibilidades (meetup bh)
11 gigas por dia e um milhão de possibilidades (meetup bh)11 gigas por dia e um milhão de possibilidades (meetup bh)
11 gigas por dia e um milhão de possibilidades (meetup bh)
 
Ufs na nuvem gp 2017-2
Ufs na nuvem   gp 2017-2 Ufs na nuvem   gp 2017-2
Ufs na nuvem gp 2017-2
 
Arquitetura de dados em stream
Arquitetura de dados em streamArquitetura de dados em stream
Arquitetura de dados em stream
 

99 Taxi - SplunkLive! São Paulo 2015

  • 1. Copyright © 2014 Splunk Inc. Ricardo Lazaro – Software Engineer na 99Taxis Agilidade e Informação
  • 2. 2 Agenda • Sobre a 99Taxis • Desafios que levaram ao Splunk • Troubleshooting: análise de errors / performance • Monitoramento de métricas de sistema • Monitoramento de métricas de negócio
  • 3. 3 Agenda • Sobre a 99Taxis • Desafios que levaram ao Splunk • Troubleshooting: análise de errors / performance • Monitoramento de métricas de sistema • Monitoramento de métricas de negócio
  • 4. Drag image to add client logo 4  Aplicativo líder nacional para chamar táxi  Aplicativo melhor avaliado na categoria transporte – mundo!  Disponível para iOS, Android e WP  Presente em mais de 300 cidades  100k+ taxistas cadastrados  20M+ corridas realizadas  2M+ corridas/mês  400k+ requisições por minuto
  • 5. 5 Ricardo Lazaro • Formado em ciências da computação – turma 2002 USP • Programador Scala, Java, Ruby • Adepto ao “Keep it simple” • Atende ao nome de Ricardo, Lazaro e Jack!
  • 6. 6 Troubleshooting • Empresa ~= 1 máquina rodando • O que aconteceu com essa chamada de táxi? “hum...Let's grep it” Pouco mais de um ano atrás
  • 7. 7 Troubleshooting 10+ sistemas interconectados Impossível entrar em todos os sistemas/todas as máquina/todos os arquivos Cada aplicação contendo de 3 a n máquinas ~100GB de logs por dia O que aconteceu com essa chamada de táxi? X... hoje
  • 8. 8 Troubleshooting 10+ sistemas interconectados Impossível entrar em todos os sistemas/todas as máquina/todos os arquivos Cada aplicação contendo de 3 a n máquinas ~100GB de logs por dia O que aconteceu com essa chamada de táxi? X... hoje
  • 9. 9 Splunk • Centralizando logs: Todas as máquinas da 99Taxis conectadas ao splunk Benefícios: • Busca cross-system: Possibilidade de acompanhar o ciclo de cada requisição, passando por diferentes sistemas, independente da máquina • Unificação de busca: Splunk search language para qualquer sistema • Busca temporal: o que aconteceu em HH:mm:ss.SSS?...easy! • Monitoramento/Alarmes unificados
  • 10. 10 Splunk Enterprise na 99Taxis Forwarder- Linux Forwarder- Linux Forwarder- Linux Forwarder- Linux
  • 12. 12 Monitoramento/Dashboards “Overview de métricas importantes praticamente real time, conta com inúmeros gráficos: como se você tivesse contratado um time inteiro, só que usando 2, 3 cliques.”
  • 13. 13 Monitoramento/Inteligência/ABC...Test Como testar que algoritmo é melhor? (por dia/hora/estado/cidade/....) ( ) Contratar engenheiros da Nasa e juntar n bases de dados (V) Splunk, com instruções tão simples quanto … | stats count by city version ...
  • 14. 15 Benefícios • Visibilidade sobre comportamento de ambos, sistemas e processos • Não trabalhamos com suposições - olhamos gráficos • Agilidade no entendimento e solução de problemas Agilidade em tomadas de decisão – testes ABC... Foco 100% no negócio, com bootstrap simplificado e de baixa manutenção
  • 15. 16 Próximos passos • Deixar o Splunk ainda mais próximo do time de BI, usando apps como db connector para relacionar dados de banco com dados de log • Usar API para exportar principalmente métricas realtime para taxistas e passageiros • Segunrança • Outros...
  • 16. FIM!!