ELK aus DevOps-Sicht: Zentralisierter Logserver

882 Aufrufe

Veröffentlicht am

Welche Mittel benötigen wir, um ein zentralisiertes Logging mit ELK zu erstellen? Vom Daten sammeln und verarbeiten bis hin zur Skalierung und Absicherung werden ein paar Beispiele gezeigt, mit denen man es recht einfach schafft, eine Logfile-Suche zu bauen. Dabei werden gängige Tools kurz vorgestellt und auch gerne Alternativen diskutiert. Unsere Erfahrungen stammen aus dem Aufbau eines ELK stacks bei FILIADATA.

Der Vortrag wurde beim inovex Search-Meetup in Karlsruhe am 29.01.2015 gehalten.
Speaker: Nico Heid (inovex), Timo Goebel (FILIADATA).

Mehr inovex-Meetups:
Karlsruhe: http://www.meetup.com/inovex-karlsruhe/
Köln: http://www.meetup.com/inovex-cologne
München: http://www.meetup.com/inovex-munich/

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
882
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
20
Aktionen
Geteilt
0
Downloads
1
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

ELK aus DevOps-Sicht: Zentralisierter Logserver

  1. 1. server redis logstash kibana user
  2. 2. bysematext.com
  3. 3. Monitoring ● Marvel by Elasticsearch ● Kopf - ES Plugin ○ https://github.com/lmenezes/elasticsearch-kopf ● Monitoring ○ Nagios, Zabbix, Icinga, Munin ….
  4. 4. why redis? - decoupling for scaling - more producer / consumer - buffer - softening spikes - downtime of logstash service
  5. 5. one Logstash to rule them all input { redis {} } output{ elasticsearch_http{} }
  6. 6. one Logstash to rule them all input { redis { tag => “filtertag123”} } output{ if “filtertag123” in [tags] { elasticsearch_http{} } }
  7. 7. Wald
  8. 8. Wald
  9. 9. Wald
  10. 10. cluster optimization - memory - amount - tuning for read or write - refresh interval of lucene index - disk performance - shards - sizes, amount, distribution
  11. 11. demo time - keep fingers crossed - fallback -> whiteboard?
  12. 12. nginx proxy
  13. 13. elasticsearch shield - coming soon ;) - realized as ES plugin - role based access - authentication support - encrypted communications - audit logging - at least gold subscription
  14. 14. Questions - Alternatives

×