Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Agregacja i analiza
logów
Agenda
● Problemy z logami
● Jak to robimy w Divante - ELK Stack
o Elasticsearch
o Logstash
o Kibana
o Architektura
o Doda...
Jakie problemy z logami
oże y apotkać?
Problemy logów
Brak spójnego formatu logów.
http://blog.tersmitten.nl/how-to-colorize-your-log-files-with-ccze.html
Problemy logów
• cat
• grep
• awk
• sed
• tail
• yraże ia regular e
Bardzo utrud io a a aliza logów, wydłużo y czas reakcj...
Problemy logów
O iąże ie ser era, ydaj ość aplika ji
• Sy hro i z y, lokują y zapis do pliku
• Opera je IO o iążają e ser ...
Problemy logów
Złożo a ar hitektura - problem zapisu i odczytu
• Zapis/od zyt z ser eró za load ala er’e
- Zastosowanie NF...
Problemy logów
Ciągły o itori g
• Bardzo utrud io e iągłe o itoro a ie szystki h para etró aplika ji
• Wymagana wiedza tec...
Jak to robimy w Divante?
ELK Stack
Czym jest ELK Stack?
ELK Sta k to zesta arzędzi:
ELK zape ia s e tralizo a y syste zarządza ia
loga i rozproszo y h, ysoko...
E jak ElasticSearch
elasticsearch
● + Baza danych NoSQL
● + Wyszuki a ie peł oteksto e
● + REST Api (json)
● + Bazuje na A...
E jak ElasticSearch
Instalacja i konfiguracja
● Instalacja Java Oracle
o sudo apt-get install python-software-properties
o...
L jak Logstash
● Agrega ja logó z ielu źródeł
● Normalizacja (parsowanie, filtrowanie) pobranych danych
● Wysła ie z or al...
L jak Logstash
Input: (41)
● elasticsearch, imap
● rabbitmq, redis
● sqlite, syslog
● tcp, twitter
● varnishlog, websocket...
L jak Logstash
Filtry: (50)
● checksum
● csv, date
● elasticsearch
● fingerprint
● geoip, grep, grok
● json, json_encode
●...
L jak Logstash
Filtr GROK
● Analizowanie i parsowanie dowolnego tekstu
● Grok jest najlepszym sposobem na przetworzenie na...
L jak Logstash
Instalacja i konfiguracja
● Instalacja Java Oracle i instalacja Logstash:
o wget i unzip najnowszej paczki ...
K jak Kibana
● Wizualizacja danych w formie aplikacji webowej
● Wyszukiwanie, filtrowanie, analizowanie danych
● Intuicyjn...
K jak Kibana
https://www.elastic.co/blog/kibana-4-literally
K jak Kibana
Wykres słupko y:
https://www.elastic.co/blog/kibana-4-beta-2-get-now
K jak Kibana
Wykres koło y:
https://www.elastic.co/blog/kibana-4-for-investigating-pacs-super-pacs-and-your-neighbors
K jak Kibana
Histogram:
http://blog.qbox.io/kibana-4-and-elasticsearch-v-1-4-4-and-1-3-9
K jak Kibana
Tabela danych:
https://www.elastic.co/blog/kibana-4-for-investigating-pacs-super-pacs-and-your-neighbors
K jak Kibana
Geolokalizacja:
https://www.elastic.co/blog/kibana-4-literally
K jak Kibana
Wykres po iązań:
http://demo.packetbeat.com/#/dashboard/elasticsearch/Packetbeat%2520Statistics
K jak Kibana
Instalacja i konfiguracja
● Instalacja Kibany:
o wget i unzip najnowszej paczki do pobrania z strony
https://...
ELK Stack
ARCHITEKTURA
ELK - Architektura
Podstawowa:
Jaki jest potencjalny problem?
ElasticSearch REST
API
ELK - Architektura
Wydaj ość + skalo al ość
Ko figura ja z ykorzysta ie Redis’a
Dostawcy
Indekser
ELK - Architektura
Wydaj ość + skalo al ość
Ko figura ja z ykorzysta ie e ha iz u kolejkują ego
Indekser
Dostawcy
Dodatkowe
NARZĘDZIA
Narzędzia
ElasticSearch Plugin: Head
Pa el o itoro a ia i zarządza ia Elasti Sear h’e
Instalacja:
● elasticsearch/bin/plug...
Narzędzia
ElasticSearch Plugin: Morfologik
Plugi poz alają y ykorzystać polskie z aki
w zapytaniach do ElasticSearch.
Inst...
Narzędzia
Marvel
Aplika ja do iągłego o itori gu Elasti Sear h’a
http://blog.qbox.io/elasticsearch-marvel-released
ELK Stack
Podsumowanie
● Ujednolicona struktura logów
● Scentralizowany system logów
● Dash orad spo agają y yszuki a ie i...
VS
http://blog.rootshell.be/tag/unix/
http://imgbuddy.com/kibana-demo.asp
Dziękuję!
Bartosz Picho
sales@divante.co
divante.co/blog
Nächste SlideShare
Wird geladen in …5
×

Agregacja i analiza logów

1.932 Aufrufe

Veröffentlicht am

Jakie problemy z logami możemy napotkać i jak sobie z nimi radzić? Odpowiedź jest prosta - ELK Stack

Veröffentlicht in: Software
  • Login to see the comments

Agregacja i analiza logów

  1. 1. Agregacja i analiza logów
  2. 2. Agenda ● Problemy z logami ● Jak to robimy w Divante - ELK Stack o Elasticsearch o Logstash o Kibana o Architektura o Dodatko e arzędzia ● Podsumowanie ● Pytania
  3. 3. Jakie problemy z logami oże y apotkać?
  4. 4. Problemy logów Brak spójnego formatu logów. http://blog.tersmitten.nl/how-to-colorize-your-log-files-with-ccze.html
  5. 5. Problemy logów • cat • grep • awk • sed • tail • yraże ia regular e Bardzo utrud io a a aliza logów, wydłużo y czas reakcji. Przeszukiwanie, analiza logów – old school
  6. 6. Problemy logów O iąże ie ser era, ydaj ość aplika ji • Sy hro i z y, lokują y zapis do pliku • Opera je IO o iążają e ser er • Ograniczona liczba i-node w systemie plików • Relatywnie wolny zapis • Sprząta ie logó http://wiki.processmaker.com/index.php/Advanced_Performance_Monitor_Dashboards
  7. 7. Problemy logów Złożo a ar hitektura - problem zapisu i odczytu • Zapis/od zyt z ser eró za load ala er’e - Zastosowanie NFS? https://www.digitalocean.com/community/tutorials/5-common-server-setups-for-your-web-application
  8. 8. Problemy logów Ciągły o itori g • Bardzo utrud io e iągłe o itoro a ie szystki h para etró aplika ji • Wymagana wiedza techniczna
  9. 9. Jak to robimy w Divante? ELK Stack
  10. 10. Czym jest ELK Stack? ELK Sta k to zesta arzędzi: ELK zape ia s e tralizo a y syste zarządza ia loga i rozproszo y h, ysoko dostęp y h syste a h.
  11. 11. E jak ElasticSearch elasticsearch ● + Baza danych NoSQL ● + Wyszuki a ie peł oteksto e ● + REST Api (json) ● + Bazuje na Apache Lucene ● + Replikacja, snapshots ● + Dostęp a ofi jal a i lioteka dla PHP i Ja aS ript ● - Brak transakcji ● Wymagania: Java
  12. 12. E jak ElasticSearch Instalacja i konfiguracja ● Instalacja Java Oracle o sudo apt-get install python-software-properties o sudo add-apt-repository -y ppa:webupd8team/java o sudo apt-get update o sudo apt-get -y install oracle-java8-installer ● Instalacja ElasticSearch o wget i unzip najnowszej paczki do pobrania z strony https://www.elastic.co/downloads o Wykonanie konfiguracji w pliku elasticsearch.yml ● Urucho ie ie ElasticSearch’a: o ./bin/elasticsearch -d
  13. 13. L jak Logstash ● Agrega ja logó z ielu źródeł ● Normalizacja (parsowanie, filtrowanie) pobranych danych ● Wysła ie z or alizo a y h da y h do roz aity h źródeł ● Wymagania : Java INPUT FILTER PARSE OUTPUT
  14. 14. L jak Logstash Input: (41) ● elasticsearch, imap ● rabbitmq, redis ● sqlite, syslog ● tcp, twitter ● varnishlog, websocket Output: (55) ● elasticsearch, mongodb, ● redis, email, file, csv ● hipchat, http ● jira, redmine, rabbitmq ● tcp, websocket, zabbix Wię ej a: http://logstash.net/docs/1.4.2/ INPUT FILTER PARSE OUTPUT
  15. 15. L jak Logstash Filtry: (50) ● checksum ● csv, date ● elasticsearch ● fingerprint ● geoip, grep, grok ● json, json_encode ● ruby, split ● translate ● urldecode ● useragent, xml Wię ej a: http://logstash.net/docs/1.4.2/ INPUT FILTER PARSE OUTPUT
  16. 16. L jak Logstash Filtr GROK ● Analizowanie i parsowanie dowolnego tekstu ● Grok jest najlepszym sposobem na przetworzenie najbardziej nieustrukturyzowanych danych ● Po ad zor ó z ożli oś ią t orze ia łas y h [ERROR] - 2015/13/03-11:01:31 - 192.168.0.1 - Some error message [%{GREEDYDATA:message}] - %{DATESTAMP} - %{IP:client} - %{GREEDYDATA:message}
  17. 17. L jak Logstash Instalacja i konfiguracja ● Instalacja Java Oracle i instalacja Logstash: o wget i unzip najnowszej paczki do pobrania z strony https://www.elastic.co/downloads ● Konfiguracja: input { file { type => "syslog" path => ["/var/log/auth.log", "/var/log/syslog"] }} ● Urucho ie ie Logstash’a: o ./bin/logstash
  18. 18. K jak Kibana ● Wizualizacja danych w formie aplikacji webowej ● Wyszukiwanie, filtrowanie, analizowanie danych ● Intuicyjny interfejs, nie tylko dla programistów ● Błyska i z e t orze ie i udostęp ia ie ielu kokpitó ● Łat e dostoso a ie dash oard’u - JSON ● Eksportowanie wyników
  19. 19. K jak Kibana https://www.elastic.co/blog/kibana-4-literally
  20. 20. K jak Kibana Wykres słupko y: https://www.elastic.co/blog/kibana-4-beta-2-get-now
  21. 21. K jak Kibana Wykres koło y: https://www.elastic.co/blog/kibana-4-for-investigating-pacs-super-pacs-and-your-neighbors
  22. 22. K jak Kibana Histogram: http://blog.qbox.io/kibana-4-and-elasticsearch-v-1-4-4-and-1-3-9
  23. 23. K jak Kibana Tabela danych: https://www.elastic.co/blog/kibana-4-for-investigating-pacs-super-pacs-and-your-neighbors
  24. 24. K jak Kibana Geolokalizacja: https://www.elastic.co/blog/kibana-4-literally
  25. 25. K jak Kibana Wykres po iązań: http://demo.packetbeat.com/#/dashboard/elasticsearch/Packetbeat%2520Statistics
  26. 26. K jak Kibana Instalacja i konfiguracja ● Instalacja Kibany: o wget i unzip najnowszej paczki do pobrania z strony https://www.elastic.co/downloads ● Konfiguracja: o Ki a a jest sko figuro a a a do yśl y port Elasti sea h’a 9 ● Uruchomienie Kibany: o ./bin/kibana ● Start w przeglądarce: o http://YOURDOMAIN.com:5601
  27. 27. ELK Stack ARCHITEKTURA
  28. 28. ELK - Architektura Podstawowa: Jaki jest potencjalny problem? ElasticSearch REST API
  29. 29. ELK - Architektura Wydaj ość + skalo al ość Ko figura ja z ykorzysta ie Redis’a Dostawcy Indekser
  30. 30. ELK - Architektura Wydaj ość + skalo al ość Ko figura ja z ykorzysta ie e ha iz u kolejkują ego Indekser Dostawcy
  31. 31. Dodatkowe NARZĘDZIA
  32. 32. Narzędzia ElasticSearch Plugin: Head Pa el o itoro a ia i zarządza ia Elasti Sear h’e Instalacja: ● elasticsearch/bin/plugin -install mobz/elasticsearch-head ● http://localhost:9200/_plugin/head/
  33. 33. Narzędzia ElasticSearch Plugin: Morfologik Plugi poz alają y ykorzystać polskie z aki w zapytaniach do ElasticSearch. Instalacja: ● cd elasticsearch ● bin/plugin -install com.github.chytreg/elasticsearch-analysis- morfologik/2.3.1
  34. 34. Narzędzia Marvel Aplika ja do iągłego o itori gu Elasti Sear h’a http://blog.qbox.io/elasticsearch-marvel-released
  35. 35. ELK Stack Podsumowanie ● Ujednolicona struktura logów ● Scentralizowany system logów ● Dash orad spo agają y yszuki a ie i a alizo a ie ● Zape ie ie iągłego o itori gu ● Szybszy czas reakcji ● Sz zęśli y Klie t otrzy a kolej e ykresy :)
  36. 36. VS http://blog.rootshell.be/tag/unix/ http://imgbuddy.com/kibana-demo.asp
  37. 37. Dziękuję! Bartosz Picho sales@divante.co divante.co/blog

×