Das Ende der Logfiles
Das Ende der Logfiles
mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging
Dennis Kaspa...
Was ist das Ziel?
Was kann man loggen?
 Zugriffe (access.log)
 Fehler (error.log)
 Änderungen
 Installationsvorgänge
 Eigene Daten
 …
Wie logge ich nun effektiver?
 Antwort: ELK-Stack
 Elasticsearch
 Logstash
 Kibana
Gibt es auch Alternativen?
Was ist Elasticsearch?
 Verteilte Suchsoftware
 Basiert auf Apache Lucene
 Bietet neben Volltextsuche auch analysierte ...
Was ist Logstash?
 Aufgabe: Annahme, Verarbeitung und Weiterleitung
 Möglichkeiten: Input, Filter, Output
 Mögliche Inp...
Was ist Kibana?
 Oberfläche für Elasticsearch
 Große Anzahl an verschiedenen Statistiken
 Aktuelle Version: 4
 Größte ...
Wie installiere ich das alles?
 Gut dokumentierte Installationsanleitungen
 Wichtig: Absicherung!
 Logstash: iptables
...
Wie sende ich Logs an den Logserver?
 Logstash (Forwarder)
 Rsyslog
 FireGento Logger (für Magento)
INPUT FILTER OUTPUT
input {
udp {
port => XXXXX
codec => json {
charset =>
"UTF-8"
}
}
}
filter {
grok {
match => ['messag...
Und zuletzt: Wie sieht das alles jetzt aus?
LIVE-DEMO
Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging
Nächste SlideShare
Wird geladen in …5
×

Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging

1.292 Aufrufe

Veröffentlicht am

Dennis verriet uns in seiner Session auf dem #eccj15 anhand einer Magento Testinstallation, wie mit Hilfe von Elasticsearch, Logstash und Kibana Logdatein übersichtlicher und durchsuchbar werden. Er erklärte, wie alle dazugehörigen Komponenten installiert werden müssen und zeigte, wie man diese Informationen aus dem Onlineshop in Kibana auswerten und grafisch darstellen kann.

Veröffentlicht in: Internet
0 Kommentare
3 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.292
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
5
Aktionen
Geteilt
0
Downloads
4
Kommentare
0
Gefällt mir
3
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging

  1. 1. Das Ende der Logfiles Das Ende der Logfiles mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging Dennis Kasparek BA-Student TRITUM GmbH
  2. 2. Was ist das Ziel?
  3. 3. Was kann man loggen?  Zugriffe (access.log)  Fehler (error.log)  Änderungen  Installationsvorgänge  Eigene Daten  …
  4. 4. Wie logge ich nun effektiver?  Antwort: ELK-Stack  Elasticsearch  Logstash  Kibana
  5. 5. Gibt es auch Alternativen?
  6. 6. Was ist Elasticsearch?  Verteilte Suchsoftware  Basiert auf Apache Lucene  Bietet neben Volltextsuche auch analysierte und strukturierte Suche  Sehr gut skalierbar  Sehr schnell
  7. 7. Was ist Logstash?  Aufgabe: Annahme, Verarbeitung und Weiterleitung  Möglichkeiten: Input, Filter, Output  Mögliche Inputs: file, udp, tcp, syslog  Mögliche Filter: grok, mutate, geoip  Mögliche Outputs: tcp, udp, elasticsearch
  8. 8. Was ist Kibana?  Oberfläche für Elasticsearch  Große Anzahl an verschiedenen Statistiken  Aktuelle Version: 4  Größte Neuerungen: abhängige Statistiken  Dashboards von Version 3 nicht kompatibel
  9. 9. Wie installiere ich das alles?  Gut dokumentierte Installationsanleitungen  Wichtig: Absicherung!  Logstash: iptables  Elasticsearch: nur lokal erreichbar  Kibana: Reverse Proxy und .htaccess
  10. 10. Wie sende ich Logs an den Logserver?  Logstash (Forwarder)  Rsyslog  FireGento Logger (für Magento)
  11. 11. INPUT FILTER OUTPUT input { udp { port => XXXXX codec => json { charset => "UTF-8" } } } filter { grok { match => ['message', '%{COMBINEDAPACHELOG}'] } geoip { source => "clientip" target => "geoip" add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ] add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ] } mutate { convert => [ "[geoip][coordinates]", "float" ] } } output { elasticsearch { host => "127.0.0.1" } } Was passiert auf dem Logserver?
  12. 12. Und zuletzt: Wie sieht das alles jetzt aus? LIVE-DEMO

×