SlideShare ist ein Scribd-Unternehmen logo
www.netways.de
ElasticStack: Grundlagen der
zentralen Logdatenverwaltung
Webinar | Christian Stein, Thomas Widhalm | 15.04.2016
www.netways.de
• Über NETWAYS
• Überblick über den ElasticStack
• Anwendungsszenarien
• Live Demo
Agenda
www.netways.de
• Open Source Dienstleister
• Sitz in Nürnberg
• Aktuell 50 Mitarbeiter
• Spezialisierung in den Bereichen:
• Open Source Systems Management
• Open Source Datacenter
• Individuelle Open Source Lösungen
NETWAYS GmbH
www.netways.de
NETWAYS Produkte
GRAPHITE
www.netways.de
NETWAYS Schulungen
www.netways.de
Überblick über den ElasticStack
www.netways.de
• Event – und Logdateien in großen Mengen behandeln
• Analyse der Daten
• Anbindung an Monitoringsysteme
• Dashboards für Visualisierung und Analyse
• Weiterleitung der Daten an Drittsyteme
Ziele
www.netways.de
• 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666 "https://logstash.demo.netways.de/"
"Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140 "https://logstash.demo.netways.de/"
"Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
• 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
Problemstellung (am Beispiel Logfiles)
www.netways.de
• Regex Magic
^([d.]+) (S+) (S+) [([w:/]+s[+-]d{4})]
"(.+?)" (d{3}) (d+) "([^"]+)" "([^"]+)"
• Pro Logformat eine eigene Regex
• Aufwendig und zeitintensiv
• Nur für technisch Versierte
• Schlecht für die Teamarbeit
Vorgehen ohne Logmanagement
www.netways.de
• Vorher
• 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json HTTP/1.1" 200 788 "https://icinga-
private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101
Firefox/22.0"
• Nachher
• "http_clientip": "192.168.1.10",
• "http_ident": "-",
• "http_auth": "guest",
• "timestamp": "04/Dec/2013:08:54:23 +0100",
• "http_verb": "POST",
• "http_request": "/icinga-web/web/api/json",
• "http_httpversion": "1.1",
• "http_response": "200",
• "http_bytes": "788",
• "http_referrer": "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal",
• "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"
• Pattern
• "%{COMBINEDAPACHELOG}"
Filterung der Daten mit Logstash
www.netways.de
ElasticStack Architektur
Server
Switch
Webapplikation
• Input
• Output
• Key-Value
Store
• Puffer
• Input
• Filter
• Output
• Index
• Queries
www.netways.de
• Key-Value Store
• Einfache Installation
• Eingebaute Replikation
• Sehr schnell und stabil
• Schreibt auf die Festplatte, wenn der Speicher voll ist
• Einträge werden nach Abholung gelöscht
Redis
www.netways.de
• Effizientes Speichern von Daten
• Automatische Indexes
• RESTful API
• Hochverfügbar
• Clusterfähig (Nodes, Shards, Replika)
• Realtime Analyse der Daten
• Basiert auf Apache Lucene
• Empfohlener Output
Elasticsearch
www.netways.de
• Integration in nahezu jede Umgebungen
• Syslog
• TCP / UDP
• Lumberjack
• fertige Pattern
• Elasticsearch
• Beats
• Skalierbarkeit
• Auslagerung auf dedizierte Server
• Multiple Redis-Server
• Mehrere Logstash-Indexer möglich
• Auch Elasticsearch ist clusterfähig (Nodes, Shards, Replika)
Logstash
www.netways.de
• Integriert in Logstash
• Benötigt Elastic Search als Backend
• Javascript
• Alles wird vom Browser ausgeführt
• Queries direkt an Elasticsearch
• Visuelle Darstellung
Kibana Webinterface
www.netways.de
Anwendungsszenarien
www.netways.de
• Systemlogs (Problemanalyse)
• Webserver Access- und Errorlogs
• Logs der eigenen Applikation (Profiling)
• Alerts via Icinga, E-Mail, XMPP, …
• Statistiken (Graphite)
Anwendungsmöglichkeiten
www.netways.de
Live Demo
www.netways.de
Fragen und Antworten
www.netways.de
netways
netways
netways
www.netways.de
blog.netways.de
www.netways.org
Kontaktdaten

Weitere ähnliche Inhalte

Ähnlich wie Elastic Stack: Grundlagen der zentralen Logdatenverwaltung (Webinar vom 15. April 2016)

Foreman: Docker Integration (Webinar vom 05. Oktober_2016)
Foreman: Docker Integration (Webinar vom 05. Oktober_2016)Foreman: Docker Integration (Webinar vom 05. Oktober_2016)
Foreman: Docker Integration (Webinar vom 05. Oktober_2016)
NETWAYS
 
Warum Monitoring und warum Icinga 2 (Webinar vom 04.12.2013)
Warum Monitoring und warum Icinga 2 (Webinar vom 04.12.2013)Warum Monitoring und warum Icinga 2 (Webinar vom 04.12.2013)
Warum Monitoring und warum Icinga 2 (Webinar vom 04.12.2013)
NETWAYS
 
Icinga 2: Grundaufbau einer Monitoring Umgebung (Webinar vom 01. August 2018)
Icinga 2: Grundaufbau einer Monitoring Umgebung (Webinar vom 01. August 2018)Icinga 2: Grundaufbau einer Monitoring Umgebung (Webinar vom 01. August 2018)
Icinga 2: Grundaufbau einer Monitoring Umgebung (Webinar vom 01. August 2018)
NETWAYS
 
Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013
NETWAYS
 
Icinga Web 2: Das neue Interface (Webinar vom 09. Dezember 2015)
Icinga Web 2: Das neue Interface (Webinar vom 09. Dezember 2015)Icinga Web 2: Das neue Interface (Webinar vom 09. Dezember 2015)
Icinga Web 2: Das neue Interface (Webinar vom 09. Dezember 2015)
NETWAYS
 
Avoid Network-Issues and Polling
Avoid Network-Issues and PollingAvoid Network-Issues and Polling
Avoid Network-Issues and Polling
Kai Donato
 
Stackstorm – Event driven Automation
Stackstorm – Event driven AutomationStackstorm – Event driven Automation
Stackstorm – Event driven Automation
inovex GmbH
 
Cloud Deployment und (Auto)Scaling am Beispiel von Angrybird
Cloud Deployment und (Auto)Scaling am Beispiel von AngrybirdCloud Deployment und (Auto)Scaling am Beispiel von Angrybird
Cloud Deployment und (Auto)Scaling am Beispiel von Angrybird
AOE
 
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Peter Kirchner
 
Tk roadschow-icinga-pdeneu
Tk roadschow-icinga-pdeneuTk roadschow-icinga-pdeneu
Tk roadschow-icinga-pdeneuWerner Fischer
 
AKCP SP2+: Die Neuheiten und Icinga 2 Integration (Webinar vom 27. April 2017)
AKCP SP2+: Die Neuheiten und Icinga 2 Integration (Webinar vom 27. April 2017)AKCP SP2+: Die Neuheiten und Icinga 2 Integration (Webinar vom 27. April 2017)
AKCP SP2+: Die Neuheiten und Icinga 2 Integration (Webinar vom 27. April 2017)
NETWAYS
 
NETWAYS Cloud - Der Weg zur eigenen VM (Webinar vom 15. Juli 2016)
NETWAYS Cloud - Der Weg zur eigenen VM (Webinar vom 15. Juli 2016)NETWAYS Cloud - Der Weg zur eigenen VM (Webinar vom 15. Juli 2016)
NETWAYS Cloud - Der Weg zur eigenen VM (Webinar vom 15. Juli 2016)
NETWAYS
 
HTML5
HTML5HTML5
Icinga Director: Konfiguration leicht gemacht (Webinar vom 03. März 2016)
Icinga Director: Konfiguration leicht gemacht (Webinar vom 03. März 2016)Icinga Director: Konfiguration leicht gemacht (Webinar vom 03. März 2016)
Icinga Director: Konfiguration leicht gemacht (Webinar vom 03. März 2016)
NETWAYS
 
Icinga Director: Advanced Management (Webinar vom 24. Juni 2016)
Icinga Director: Advanced Management (Webinar vom 24. Juni 2016)Icinga Director: Advanced Management (Webinar vom 24. Juni 2016)
Icinga Director: Advanced Management (Webinar vom 24. Juni 2016)
NETWAYS
 
Puppet: Vorbereitung der Windows Integration (Webinar vom 03. Juni 2016)
Puppet: Vorbereitung der Windows Integration (Webinar vom 03. Juni 2016)Puppet: Vorbereitung der Windows Integration (Webinar vom 03. Juni 2016)
Puppet: Vorbereitung der Windows Integration (Webinar vom 03. Juni 2016)
NETWAYS
 
Developer Best Practices (Robotic Enterprise Framework REF) – Anwendung und d...
Developer Best Practices (Robotic Enterprise Framework REF) – Anwendung und d...Developer Best Practices (Robotic Enterprise Framework REF) – Anwendung und d...
Developer Best Practices (Robotic Enterprise Framework REF) – Anwendung und d...
Cristina Vidu
 
Graphing mit Graphite (Webinar vom 06.11.2013)
Graphing mit Graphite (Webinar vom 06.11.2013)Graphing mit Graphite (Webinar vom 06.11.2013)
Graphing mit Graphite (Webinar vom 06.11.2013)
NETWAYS
 
zmon.io – Not yet another Prometheus Talk
zmon.io – Not yet another Prometheus Talkzmon.io – Not yet another Prometheus Talk
zmon.io – Not yet another Prometheus Talk
inovex GmbH
 
Cinema in the Cloud
Cinema in the CloudCinema in the Cloud
Cinema in the Cloud
Oliver Michalski
 

Ähnlich wie Elastic Stack: Grundlagen der zentralen Logdatenverwaltung (Webinar vom 15. April 2016) (20)

Foreman: Docker Integration (Webinar vom 05. Oktober_2016)
Foreman: Docker Integration (Webinar vom 05. Oktober_2016)Foreman: Docker Integration (Webinar vom 05. Oktober_2016)
Foreman: Docker Integration (Webinar vom 05. Oktober_2016)
 
Warum Monitoring und warum Icinga 2 (Webinar vom 04.12.2013)
Warum Monitoring und warum Icinga 2 (Webinar vom 04.12.2013)Warum Monitoring und warum Icinga 2 (Webinar vom 04.12.2013)
Warum Monitoring und warum Icinga 2 (Webinar vom 04.12.2013)
 
Icinga 2: Grundaufbau einer Monitoring Umgebung (Webinar vom 01. August 2018)
Icinga 2: Grundaufbau einer Monitoring Umgebung (Webinar vom 01. August 2018)Icinga 2: Grundaufbau einer Monitoring Umgebung (Webinar vom 01. August 2018)
Icinga 2: Grundaufbau einer Monitoring Umgebung (Webinar vom 01. August 2018)
 
Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013
 
Icinga Web 2: Das neue Interface (Webinar vom 09. Dezember 2015)
Icinga Web 2: Das neue Interface (Webinar vom 09. Dezember 2015)Icinga Web 2: Das neue Interface (Webinar vom 09. Dezember 2015)
Icinga Web 2: Das neue Interface (Webinar vom 09. Dezember 2015)
 
Avoid Network-Issues and Polling
Avoid Network-Issues and PollingAvoid Network-Issues and Polling
Avoid Network-Issues and Polling
 
Stackstorm – Event driven Automation
Stackstorm – Event driven AutomationStackstorm – Event driven Automation
Stackstorm – Event driven Automation
 
Cloud Deployment und (Auto)Scaling am Beispiel von Angrybird
Cloud Deployment und (Auto)Scaling am Beispiel von AngrybirdCloud Deployment und (Auto)Scaling am Beispiel von Angrybird
Cloud Deployment und (Auto)Scaling am Beispiel von Angrybird
 
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
Spontan testen! Das eigene Test Lab, für jeden in der Cloud!
 
Tk roadschow-icinga-pdeneu
Tk roadschow-icinga-pdeneuTk roadschow-icinga-pdeneu
Tk roadschow-icinga-pdeneu
 
AKCP SP2+: Die Neuheiten und Icinga 2 Integration (Webinar vom 27. April 2017)
AKCP SP2+: Die Neuheiten und Icinga 2 Integration (Webinar vom 27. April 2017)AKCP SP2+: Die Neuheiten und Icinga 2 Integration (Webinar vom 27. April 2017)
AKCP SP2+: Die Neuheiten und Icinga 2 Integration (Webinar vom 27. April 2017)
 
NETWAYS Cloud - Der Weg zur eigenen VM (Webinar vom 15. Juli 2016)
NETWAYS Cloud - Der Weg zur eigenen VM (Webinar vom 15. Juli 2016)NETWAYS Cloud - Der Weg zur eigenen VM (Webinar vom 15. Juli 2016)
NETWAYS Cloud - Der Weg zur eigenen VM (Webinar vom 15. Juli 2016)
 
HTML5
HTML5HTML5
HTML5
 
Icinga Director: Konfiguration leicht gemacht (Webinar vom 03. März 2016)
Icinga Director: Konfiguration leicht gemacht (Webinar vom 03. März 2016)Icinga Director: Konfiguration leicht gemacht (Webinar vom 03. März 2016)
Icinga Director: Konfiguration leicht gemacht (Webinar vom 03. März 2016)
 
Icinga Director: Advanced Management (Webinar vom 24. Juni 2016)
Icinga Director: Advanced Management (Webinar vom 24. Juni 2016)Icinga Director: Advanced Management (Webinar vom 24. Juni 2016)
Icinga Director: Advanced Management (Webinar vom 24. Juni 2016)
 
Puppet: Vorbereitung der Windows Integration (Webinar vom 03. Juni 2016)
Puppet: Vorbereitung der Windows Integration (Webinar vom 03. Juni 2016)Puppet: Vorbereitung der Windows Integration (Webinar vom 03. Juni 2016)
Puppet: Vorbereitung der Windows Integration (Webinar vom 03. Juni 2016)
 
Developer Best Practices (Robotic Enterprise Framework REF) – Anwendung und d...
Developer Best Practices (Robotic Enterprise Framework REF) – Anwendung und d...Developer Best Practices (Robotic Enterprise Framework REF) – Anwendung und d...
Developer Best Practices (Robotic Enterprise Framework REF) – Anwendung und d...
 
Graphing mit Graphite (Webinar vom 06.11.2013)
Graphing mit Graphite (Webinar vom 06.11.2013)Graphing mit Graphite (Webinar vom 06.11.2013)
Graphing mit Graphite (Webinar vom 06.11.2013)
 
zmon.io – Not yet another Prometheus Talk
zmon.io – Not yet another Prometheus Talkzmon.io – Not yet another Prometheus Talk
zmon.io – Not yet another Prometheus Talk
 
Cinema in the Cloud
Cinema in the CloudCinema in the Cloud
Cinema in the Cloud
 

Elastic Stack: Grundlagen der zentralen Logdatenverwaltung (Webinar vom 15. April 2016)

  • 1. www.netways.de ElasticStack: Grundlagen der zentralen Logdatenverwaltung Webinar | Christian Stein, Thomas Widhalm | 15.04.2016
  • 2. www.netways.de • Über NETWAYS • Überblick über den ElasticStack • Anwendungsszenarien • Live Demo Agenda
  • 3. www.netways.de • Open Source Dienstleister • Sitz in Nürnberg • Aktuell 50 Mitarbeiter • Spezialisierung in den Bereichen: • Open Source Systems Management • Open Source Datacenter • Individuelle Open Source Lösungen NETWAYS GmbH
  • 7. www.netways.de • Event – und Logdateien in großen Mengen behandeln • Analyse der Daten • Anbindung an Monitoringsysteme • Dashboards für Visualisierung und Analyse • Weiterleitung der Daten an Drittsyteme Ziele
  • 8. www.netways.de • 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" • 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" Problemstellung (am Beispiel Logfiles)
  • 9. www.netways.de • Regex Magic ^([d.]+) (S+) (S+) [([w:/]+s[+-]d{4})] "(.+?)" (d{3}) (d+) "([^"]+)" "([^"]+)" • Pro Logformat eine eigene Regex • Aufwendig und zeitintensiv • Nur für technisch Versierte • Schlecht für die Teamarbeit Vorgehen ohne Logmanagement
  • 10. www.netways.de • Vorher • 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json HTTP/1.1" 200 788 "https://icinga- private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0" • Nachher • "http_clientip": "192.168.1.10", • "http_ident": "-", • "http_auth": "guest", • "timestamp": "04/Dec/2013:08:54:23 +0100", • "http_verb": "POST", • "http_request": "/icinga-web/web/api/json", • "http_httpversion": "1.1", • "http_response": "200", • "http_bytes": "788", • "http_referrer": "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", • "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0" • Pattern • "%{COMBINEDAPACHELOG}" Filterung der Daten mit Logstash
  • 11. www.netways.de ElasticStack Architektur Server Switch Webapplikation • Input • Output • Key-Value Store • Puffer • Input • Filter • Output • Index • Queries
  • 12. www.netways.de • Key-Value Store • Einfache Installation • Eingebaute Replikation • Sehr schnell und stabil • Schreibt auf die Festplatte, wenn der Speicher voll ist • Einträge werden nach Abholung gelöscht Redis
  • 13. www.netways.de • Effizientes Speichern von Daten • Automatische Indexes • RESTful API • Hochverfügbar • Clusterfähig (Nodes, Shards, Replika) • Realtime Analyse der Daten • Basiert auf Apache Lucene • Empfohlener Output Elasticsearch
  • 14. www.netways.de • Integration in nahezu jede Umgebungen • Syslog • TCP / UDP • Lumberjack • fertige Pattern • Elasticsearch • Beats • Skalierbarkeit • Auslagerung auf dedizierte Server • Multiple Redis-Server • Mehrere Logstash-Indexer möglich • Auch Elasticsearch ist clusterfähig (Nodes, Shards, Replika) Logstash
  • 15. www.netways.de • Integriert in Logstash • Benötigt Elastic Search als Backend • Javascript • Alles wird vom Browser ausgeführt • Queries direkt an Elasticsearch • Visuelle Darstellung Kibana Webinterface
  • 17. www.netways.de • Systemlogs (Problemanalyse) • Webserver Access- und Errorlogs • Logs der eigenen Applikation (Profiling) • Alerts via Icinga, E-Mail, XMPP, … • Statistiken (Graphite) Anwendungsmöglichkeiten