server redis
logstash
kibana
user
bysematext.com
Monitoring
● Marvel
by Elasticsearch
● Kopf - ES Plugin
○ https://github.com/lmenezes/elasticsearch-kopf
● Monitoring
○ Na...
why redis?
- decoupling for scaling
- more producer / consumer
- buffer
- softening spikes
- downtime of logstash service
one Logstash to rule them all
input {
redis {}
}
output{
elasticsearch_http{}
}
one Logstash to rule them all
input {
redis { tag => “filtertag123”}
}
output{
if “filtertag123” in [tags] {
elasticsearch...
Wald
Wald
Wald
cluster optimization
- memory
- amount
- tuning for read or write
- refresh interval of lucene index
- disk performance
- ...
demo time
- keep fingers crossed
- fallback -> whiteboard?
nginx proxy
elasticsearch shield
- coming soon ;)
- realized as ES plugin
- role based access
- authentication support
- encrypted com...
Questions - Alternatives
ELK aus DevOps-Sicht: Zentralisierter Logserver
ELK aus DevOps-Sicht: Zentralisierter Logserver
ELK aus DevOps-Sicht: Zentralisierter Logserver
Nächste SlideShare
Wird geladen in …5
×

ELK aus DevOps-Sicht: Zentralisierter Logserver

846 Aufrufe

Veröffentlicht am

Welche Mittel benötigen wir, um ein zentralisiertes Logging mit ELK zu erstellen? Vom Daten sammeln und verarbeiten bis hin zur Skalierung und Absicherung werden ein paar Beispiele gezeigt, mit denen man es recht einfach schafft, eine Logfile-Suche zu bauen. Dabei werden gängige Tools kurz vorgestellt und auch gerne Alternativen diskutiert. Unsere Erfahrungen stammen aus dem Aufbau eines ELK stacks bei FILIADATA.

Der Vortrag wurde beim inovex Search-Meetup in Karlsruhe am 29.01.2015 gehalten.
Speaker: Nico Heid (inovex), Timo Goebel (FILIADATA).

Mehr inovex-Meetups:
Karlsruhe: http://www.meetup.com/inovex-karlsruhe/
Köln: http://www.meetup.com/inovex-cologne
München: http://www.meetup.com/inovex-munich/

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
846
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
20
Aktionen
Geteilt
0
Downloads
1
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

ELK aus DevOps-Sicht: Zentralisierter Logserver

  1. 1. server redis logstash kibana user
  2. 2. bysematext.com
  3. 3. Monitoring ● Marvel by Elasticsearch ● Kopf - ES Plugin ○ https://github.com/lmenezes/elasticsearch-kopf ● Monitoring ○ Nagios, Zabbix, Icinga, Munin ….
  4. 4. why redis? - decoupling for scaling - more producer / consumer - buffer - softening spikes - downtime of logstash service
  5. 5. one Logstash to rule them all input { redis {} } output{ elasticsearch_http{} }
  6. 6. one Logstash to rule them all input { redis { tag => “filtertag123”} } output{ if “filtertag123” in [tags] { elasticsearch_http{} } }
  7. 7. Wald
  8. 8. Wald
  9. 9. Wald
  10. 10. cluster optimization - memory - amount - tuning for read or write - refresh interval of lucene index - disk performance - shards - sizes, amount, distribution
  11. 11. demo time - keep fingers crossed - fallback -> whiteboard?
  12. 12. nginx proxy
  13. 13. elasticsearch shield - coming soon ;) - realized as ES plugin - role based access - authentication support - encrypted communications - audit logging - at least gold subscription
  14. 14. Questions - Alternatives

×