Das Dokument beschreibt, wie man Logfiles effizient mit dem ELK-Stack (Elasticsearch, Logstash, Kibana) verwaltet und analysiert. Es erläutert die Funktionen der einzelnen Komponenten, deren Installation und Sicherheitsaspekte sowie die Möglichkeiten, Logs von verschiedenen Quellen zu sammeln und zu verarbeiten. Zudem wird die Benutzeroberfläche von Kibana vorgestellt, die für die Auswertung und Visualisierung von Logdaten genutzt wird.

2. Das Ende der Logfiles
Das Ende der Logfiles
mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging
Dennis Kasparek
BA-Student
TRITUM GmbH

3. Was ist das Ziel?

4. Was kann man loggen?
 Zugriffe (access.log)
 Fehler (error.log)
 Änderungen
 Installationsvorgänge
 Eigene Daten
 …

5. Wie logge ich nun effektiver?
 Antwort: ELK-Stack
 Elasticsearch
 Logstash
 Kibana

6. Gibt es auch Alternativen?

7. Was ist Elasticsearch?
 Verteilte Suchsoftware
 Basiert auf Apache Lucene
 Bietet neben Volltextsuche auch analysierte und strukturierte Suche
 Sehr gut skalierbar
 Sehr schnell

8. Was ist Logstash?
 Aufgabe: Annahme, Verarbeitung und Weiterleitung
 Möglichkeiten: Input, Filter, Output
 Mögliche Inputs: file, udp, tcp, syslog
 Mögliche Filter: grok, mutate, geoip
 Mögliche Outputs: tcp, udp, elasticsearch

9. Was ist Kibana?
 Oberfläche für Elasticsearch
 Große Anzahl an verschiedenen Statistiken
 Aktuelle Version: 4
 Größte Neuerungen: abhängige Statistiken
 Dashboards von Version 3 nicht kompatibel

10. Wie installiere ich das alles?
 Gut dokumentierte Installationsanleitungen
 Wichtig: Absicherung!
 Logstash: iptables
 Elasticsearch: nur lokal erreichbar
 Kibana: Reverse Proxy und .htaccess

11. Wie sende ich Logs an den Logserver?
 Logstash (Forwarder)
 Rsyslog
 FireGento Logger (für Magento)

12. INPUT FILTER OUTPUT
input {
udp {
port => XXXXX
codec => json {
charset =>
"UTF-8"
}
}
}
filter {
grok {
match => ['message',
'%{COMBINEDAPACHELOG}']
}
geoip {
source => "clientip"
target => "geoip"
add_field => [ "[geoip][coordinates]",
"%{[geoip][longitude]}" ]
add_field => [ "[geoip][coordinates]",
"%{[geoip][latitude]}" ]
}
mutate {
convert => [ "[geoip][coordinates]", "float" ]
}
}
output {
elasticsearch {
host => "127.0.0.1"
}
}
Was passiert auf dem Logserver?

13. Und zuletzt: Wie sieht das alles jetzt aus?
LIVE-DEMO