Um Case de Arquitetura Distribuída para Indexação, Armazenamento e Análise de Logs em Tempo Real

2. Um Case de Arquitetura
Distribuída para Indexação,
Armazenamento e Análise
de Logs em Tempo Real
Juan Lopes
.NET Architects Days 2012

3. Quem?
Juan Lopes
twitter.com/
github.com/
juanplopes

4. Monitoração

5. Complex Event Processing

6. Time series. Real-time.

7. Logs!

8. Case real

9. Case real

10. Centenas de servidores

11. Como acessar os logs?
marvin@goldenheart ~ $ ssh root@deepthought
****
WELCOME TO 1 OF YOUR 38,157,987 SERVERS.
TRY THE VEAL. IT'S THE BEST IN THIS FARM.
****
root@deepthought ~ $ tail -f /var/log.txt

12. Vai falhar? Já falhou? Onde?

13. Informações para BI

14. CEP ajuda, mas...

15. Log é texto. Muito texto.

16. Centralizar. Indexar.

17. Mas é muito texto mesmo!

18. Volumes desafiadores
3TB/dia

19. Volumes desafiadores
3TB/dia
20 bilhões de mensagens/dia
36MB/segundo
250.000 mensagens/segundo

20. Twitter
340 milhões
tweets por dia
(março/2012)
http://blog.twitter.com/2012/03/twitter-turns-six.html

21. Quem resolve?
Loggly
● Amplamente utilizado
● Primeira opção em cloud
● Maior plano não-custom: 12GB/dia
● Preço: $1,779/mês

22. Quem resolve?
Graylog
● Open Source
● Self-hosted
● Arquitetura composta de partes móveis
○ MongoDB
○ ElasticSearch
○ AMQP

23. Quem resolve?
Splunk
● Famoso na área de BigData
● Destinado ao mundo Enterprise
● Muitos gráficos e relatórios
● $6,000 one-time fee: 500MB/day
● 500MB < 3TB :(

24. Ser simples

25. JVM

26. HotSpot: JIT+GC = s2

27. java.util.concurrent

28. Visão geral
Armazenar
mensagens Interpretar
Indexar

29. RFC 3164: BSD syslog
<34>Oct 11 22:14:15 mymachine su: 'su
root' failed for lonvick on /dev/pts/8
<priority = facility*8+severity>
<date/time>
<host>
<process>
<message>

30. Mensagem: chave -> valor
<34>Oct 11 22:14:15 mymachine su: 'su root'
message
failed for lonvick on /dev/pts/8
text su, root, failed, for, lonvick, on, /dev/pts/8
facility AUTH
severity CRITICAL
date 20121011
time 221415
host mymachine
process su

31. Indexação

32. 1 documento / mensagem
http://lucene.apache.org/core/
"index size roughly 20-30% the size of
text indexed"

33. 1 documento / mensagem
30% de 3TB
=
~900GB

34. 1 documento / mensagem
30% de 3TB
=
~900GB

35. Logs têm baixíssima entropia

36. MessageBag
<10% de menor overhead
termos únicos por mensagem

37. Visão geral
Armazenar
Interpretar Bufferizar
Indexar

38. Índice minimalista
No freqs, no positions, no norms, no
term vectors.
Field field = new Field(key, value,
Field.Store.NO,
Field.Index.ANALYZED_NO_NORMS,
Field.TermVector.NO);
field.setIndexOptions(FieldInfo.IndexOptions.
DOCS_ONLY);

39. ~1% dos dados originais

40. Buscar no futuro

41. Árvore de Prefixos
Binary Match em O(1)

42. Árvore de Prefixos
Binary Match em O(1)
TermQuery
PrefixQuery
WildcardQuery
FuzzyQuery
RangeQuery
BooleanQuery

43. Interface

44. Interface
● Jersey (REST API)
● Backbone.js
● CometD

45. Interface
● Jersey (REST API)
● Backbone.js
● CometD
"app:apache http 404"?
engine browser
"OK. listen:
/comet/1234568790abcdef"

46. Interface

47. É preciso escalar

48. Recapitulando
Taxa de leitura: moderada
Taxa de escrita: altíssima
Dependência entre os dados: baixa

49. Sharding
engine
Load
UDP/TCP 514 engine
Balancer
engine

50. Cluster
Cluster
engine
engine engine

51. Cluster
Cluster
engine
engine engine

52. Requisições via Broker
Cluster
engine
Web HTTP
Server
engine engine usuário
Broker

53. Requisições via Broker
Cluster
engine
Web HTTP
Server
engine engine usuário

54. Buscas no cluster - Multicast
Cluster
engine
Multicast engine HTTP
engine usuário

55. Multicast confiável

56. Multicast confiável
JChannel channel = new JChannel();
channel.setReceiver(new ReceiverAdapter() {
public void receive(Message msg) {
System.out.println(
msg.getSrc() + ": " + msg.getObject());
}
});
channel.connect("meuCanalDeChat");
BufferedReader reader = new BufferedReader(
new InputStreamReader(System.in));
while(true) {
String line = reader.readLine();
channel.send(null, line);
}

57. Multicast confiável, mas DIY

58. Stack configurável

59. Importante
Toda funcionalidade precisa levar em
consideração os outros membros do cluster.

60. Busca
engine
10
mergesort, take 10
10 last 10 "http_status: 10
engine
404"
usuário
10
engine

61. Busca
engine
10
mergesort, take 10
last 10 "http_status: 10
10
engine 404"
before {id:84324814} usuário
10
engine

62. Agregação
http 200 => count() by host
host count
foo 1234
bar 2345
baz 3456

63. Agregação
count() + count() + count()
engine engine engine

64. Agregação
http 200 => avg(time) by host
host avg_time
foo 0.888889
bar 0.224568
baz 5.623424

65. Agregação
avg(time) + avg(time) + avg(time)
?
engine engine engine

66. Agregação
sum(time) + sum(time) + sum(time)
count(time) + count(time) + count(time)
engine engine engine

67. Invalidar 2nd level caches
Cluster
engine
engine engine POST /user/123abcdef

68. One last thing

69. One last thing

70. Obrigado
Obrigado