This talk compares Elastic Stack and Graylog with a strong focus on how they can be used for logmanagement. The view on both toolsets is narrowed down to the essentials of logmanagement to get a more significant insight on how you can use them in this specific scenario. The goal of this talk is helping you to chose which of these powerful stacks fits best to your specific logging needs. You will learn about their functionalities, handling, what you need to know and how much time you will have invest before you get a working solution.

1. Fokus Log-Fokus Log-
Management:Management:
Wähle dein Werkzeug weise!Wähle dein Werkzeug weise!
1

2. Wer sind wir zwei...Wer sind wir zwei...
2 . 1

3. Daniel NeubergerDaniel Neuberger
Senior Open Source Consultant
Data Nerd
Beekeeper
2 . 2

4. Thomas WidhalmThomas Widhalm
Lead Support Engineer / Senior Consultant
Data Nerd
Tactical Gearhead
2 . 3

5. Wo wir arbeitenWo wir arbeiten
NETWAYSNETWAYS
2 . 4

6. Fokus im VergleichFokus im Vergleich
Architektur
Sicherheit
Data Enrichment / Analyse
Wissen- Aufwand
3 . 1

7. ArchitekturArchitektur
4 . 1

8. Elastic StackElastic Stack
3 unabhängige Kernkompenenten
Kein zentrales Management nur mit X-Pack
Verschiedenste Zusatzkomponenten
4 . 2

9. 4 . 3

10. GraylogGraylog
Eine Kernkompenente
zwei externe Backends für Kon guration und Daten
zentrales Managment
Internal Event Buffer und Journaling
4 . 4

11. 4 . 5

12. Elastic Stack Sender undElastic Stack Sender und
EmpfängerEmpfänger
Beats -> Beats
(r)Syslog -> Plain
log4j und mehr...
4 . 6

13. Graylog Sender undGraylog Sender und
EmpfängerEmpfänger
Sidecar/Beats -> Beats
(r)Syslog -> RAW or RFC Format
GELF
4 . 7

14. Elastic Stack LizenzElastic Stack Lizenz
Elastic Stack Open Core Lizenz
X-Pack Basis Lizenz
X-Pack Subskription bringt
Support
Feature (Security, Monitoring, Alerting)
4 . 8

15. Graylog LizenzGraylog Lizenz
Graylog Open Source Lizenz
Graylog Subskription bringt
Support
Feature (Archivierung, Auditlog)
4 . 9

16. SicherheitSicherheit
5 . 1

17. Elastic Stack TransportElastic Stack Transport
SicherheitSicherheit
Beats, TCP Inputs -> Logstash TLS gesichert
Logstash -> Elasticsearch nicht TLS gesichert nur mit
X-Pack
Logstash API und Elasticsearch API nicht gesichert
(X-Pack nur für Elasticsearch)
Kibana Webfrontend nicht TLS gesichert nur mit X-
Pack
5 . 2

18. Graylog Transport SicherheitGraylog Transport Sicherheit
Beats, TCP -> Graylog TLS gesichert
Graylog -> Elasticsearch nicht gesichert (X-Pack)
Elasticsearch API nicht gesichert (X-Pack)
Graylog API und Webfrontend TLS gesichert
5 . 3

19. Elastic Stack Datenzugri mitElastic Stack Datenzugri mit
X-PackX-Pack
Kibana Benutzerauthenti zierung nur mit X-Pack
Rechte und Datenzugriffs-Verwaltung nur mit X-
Pack
Elasticsearch API mit Benutzerauthenti zierung nur
mit X-Pack
5 . 4

20. Graylog DatenzugriGraylog Datenzugri
Graylog Benutzerauthenti zierung mit AD/LDAP
Vollständige Rollen und Zugriffsberechtigungen auf
Dokumentenebene
Graylog API mit Benutzerauthenti zierung
5 . 5

21. Datenaufbereitung undDatenaufbereitung und
VerarbeitungVerarbeitung
6 . 1

22. Elastic StackElastic Stack
Logstash/Beats ohne gra sche Kon guration nur mit
X-Pack
Nutzung von einfachen Pipelines
Vor lterung in Beats
Logstash Filter
6 . 2

23. Logstash Filter ExampleLogstash Filter Example
filter {
if "linux-syslog" in [tags] {
grok {
id => "syslog"
match => ["message","%{SYSLOG5424PRI}%{SYSLOGLINE}" ]
add_tag => "groked_syslog"
tag_on_failure => [ "_grokparsefailure", "syslog_failed" ]
overwrite => "message"
}
syslog_pri {
syslog_pri_field_name => "syslog5424_pri"
}
}
6 . 3

24. GraylogGraylog
Volle gra sche Kon gurationsober äche
Extraktoren direkt an den Inputs auf Felder möglich
Stream Filter (Dokumente sortieren und in Indices
verteilen)
Mehrstu ge Pipelines
6 . 4

25. 6 . 5

26. VisualisierungVisualisierung
7 . 1

27. Elastic StackElastic Stack
Kibana - mächtig, aber komplex
Suche, Visualisierung, Dashboards etc.
7 . 2

28. 7 . 3

30. 7 . 4

31. GraylogGraylog
Suche von Dokumenten in einzelnen Streams
Einfache Dashboards und Visualisierung für klare
Übersichten
7 . 5

32. 7 . 6

33. Wissen-AufwandWissen-Aufwand
8 . 1

34. Elastic StackElastic Stack
Unabhängige Instanzen
Unterschiedliche Kon guration, Text les / API
Kon g Sync / Management empfohlen
Drittanwendungen für Message Handling notwendig
8 . 2

35. GraylogGraylog
Geringer Kon gurations Aufwand
Einfacher Einstieg in die Datenaufbereitung
Administratives Wissen für Elasticsearch notwendig
Kein manuelles Management von Elasticsearch
notwendig
8 . 3

36. GemeinsamkeitenGemeinsamkeiten
9 . 1

37. ToolsTools
Elasticsearch
Beats
9 . 2

38. Kon gKon g
Elasticsearch / Beats
Filtermechanismen
Apache Lucene Queries
9 . 3

39. FazitFazit
10 . 1

40. Elastic StackElastic Stack
Unabhängig und skalierbar
Viele weitere Möglichkeiten
Hoher Wissensaufwand
10 . 2

41. GraylogGraylog
Datenverarbeitung und Visualisierung in einem
sicheren Front/Backend
Fokussiert auf Logmanagement
Weniger Möglichkeiten zur Visualisierung
Keine Automatisierung allumfänglich möglich
10 . 3

42. Questions?Questions?
Thank you for your attentionThank you for your attention
11 . 1