www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR | 07.11.2014
LOGSTASH: WINDOWS UND LINUX
LOGMANA...
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG MITARBEITER
■ Christian Stein
 Account Mana...
www.netways.de // blog.netways.de // @netways
We love Open Source
AGENDA
■ Vorstellung NETWAYS
■ Was ist Logstash
■ Logsta...
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
■ Firmengründung 1995
■ Open Source ...
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KOMPETENZEN
■ Monitoring
■ Graphing
■ Logmanagem...
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS PRODUKTE
GRAPHITE
www.netways.de // blog.netways.de // @netways
We love Open Source
■ Open Source Monitoring Conference
• 18. – 20. November...
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – MONITORING UND REPORTING
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – PUPPET KONFIGURATIONSMANAGEMENT
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS COMMUNITY
www.netways.org
■ NETWAYS Addons
■ NET...
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – CONSULTING (AUSZUG)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – HOSTING (AUSZUG)
www.netways.de // blog.netways.de // @netways
We love Open Source
UNSERE LEISTUNGEN IM ÜBERBLICK
■ Konzeptionierung und Pl...
www.netways.de // blog.netways.de // @netways
We love Open Source
OPEN SOURCE LOGMANAGEMENT
WAS IST LOGSTASH
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH
■ Ziele
 Logdateien in großen Mengen behandeln...
www.netways.de // blog.netways.de // @netways
We love Open Source
PROBLEMSTELLUNG
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 ...
www.netways.de // blog.netways.de // @netways
We love Open Source
VORGEHEN OHNE LOGMANGEMENT
■ Regex Magic
^([d.]+) (S+) (...
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
■ Zentrales Speichern von Logs und Eve...
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Logstash:
Pipe on Steroids
Input
Fi...
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG DER DATEN
■ Vorher
 192.168.1.10 – guest [04...
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Server
Switch
Webapplikation
• Inpu...
www.netways.de // blog.netways.de // @netways
We love Open Source
REDIS
■ Key-Value Store
■ Einfache Installation
■ Eingeb...
www.netways.de // blog.netways.de // @netways
We love Open Source
ELASTICSEARCH
■ Effizientes Speichern von Daten
■ Automa...
www.netways.de // blog.netways.de // @netways
We love Open Source
INTEGRATION IN DIE IT-LANDSCHAFT
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH PLUGINS UND FILTER
■ drupal_dblog
■ elasticsear...
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
■ Integration in nahezu jede Umgebunge...
www.netways.de // blog.netways.de // @netways
We love Open Source
ANWENDUNGSMÖGLICHKEITEN
■ Systemlogs (Problemanalyse)
■ ...
www.netways.de // blog.netways.de // @netways
We love Open Source
LIVE DEMO
www.netways.de // blog.netways.de // @netways
We love Open Source
FRAGEN UND ANTWORTEN
www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR KALENDER
■ Icinga Web 2: Modernes Web-Framework ...
www.netways.de // blog.netways.de // @netways
We love Open Source
KONTAKTDATEN
Vielen Dank für Ihre
Aufmerksamkeit!
NETWAY...
Nächste SlideShare
Wird geladen in …5
×

Logstash: Windows und Linux Logmanagement (Webinar vom 07.11.2014)

886 Aufrufe

Veröffentlicht am

Logstash ist eine schlanke Open Source Lösung welche es erlaubt bei entsprechender Hardware Millionen von Logdaten zu verarbeiten und genau so schnell wieder in einem Frontend - Kibana - darzustellen. Neben der Funktionsweise, der Architektur und den Möglichkeiten von Logstash, wollen wir in diesem Webinar zeigen, wie Windows und Linux Logmeldungen sauber integriert werden können.

Webinare
Archiv Link: https://www.netways.de/webinare/archiv/logstash_webinare/logstash_windows_und_linux_log_management/
Aktuell: https://www.netways.de/webinare/webinare_aktuell/

NETWAYS
Konferenzen: https://www.netways.de/events_schulungen/home/
Schulungen: https://www.netways.de/events_schulungen/schulungen/home/
Shop: https://shop.netways.de/
Blog: http://blog.netways.de/

Social Media
YouTube: https://www.youtube.com/channel/UC8nIBEFmjzXjXeJV_hkkeIQ
Facebook: https://www.facebook.com/netways
Google+: https://plus.google.com/+netways/
Twitter: https://twitter.com/netways

Veröffentlicht in: Technologie
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
886
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
462
Aktionen
Geteilt
0
Downloads
7
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Logstash: Windows und Linux Logmanagement (Webinar vom 07.11.2014)

  1. 1. www.netways.de // blog.netways.de // @netways We love Open Source WEBINAR | 07.11.2014 LOGSTASH: WINDOWS UND LINUX LOGMANAGEMENT THOMAS WIDHALM, CHRISTIAN STEIN | NETWAYS GMBH
  2. 2. www.netways.de // blog.netways.de // @netways We love Open Source VORSTELLUNG MITARBEITER ■ Christian Stein  Account Manager  Bei NETWAYS seit 2012 ■ Thomas Widhalm  Senior Consultant  Bei NETWAYS seit 2013
  3. 3. www.netways.de // blog.netways.de // @netways We love Open Source AGENDA ■ Vorstellung NETWAYS ■ Was ist Logstash ■ Logstash Architektur ■ Live Demo ■ Fragen und Antworten
  4. 4. www.netways.de // blog.netways.de // @netways We love Open Source VORSTELLUNG NETWAYS
  5. 5. www.netways.de // blog.netways.de // @netways We love Open Source VORSTELLUNG NETWAYS ■ Firmengründung 1995 ■ Open Source seit 1997 ■ Aktuell 40 Mitarbeiter ■ Spezialisierung in den Bereichen Open Source Systems Management und Open Source Datacenter
  6. 6. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS KOMPETENZEN ■ Monitoring ■ Graphing ■ Logmanagement ■ Konfigurationsmanagement ■ Reporting ■ Private Cloud ■ Backup ■ Projektmanagement ■ Consulting ■ Hosting ■ Managed Services ■ Development ■ Support ■ Betrieb ■ Schulungen ■ Konferenzen ■ Monitoring Hardware
  7. 7. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS PRODUKTE GRAPHITE
  8. 8. www.netways.de // blog.netways.de // @netways We love Open Source ■ Open Source Monitoring Conference • 18. – 20. November 2014 (Nürnberg) • 250 Teilnehmer (2013) • Monitoring Best Practices ■ OpenNebula Conference • 02. – 04. Dezember 2014 (Berlin) • 100 Teilnehmer (2013) • Cloud Virtualisierung NETWAYS KONFERENZEN
  9. 9. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS SCHULUNGEN – MONITORING UND REPORTING
  10. 10. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS SCHULUNGEN – PUPPET KONFIGURATIONSMANAGEMENT
  11. 11. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS COMMUNITY www.netways.org ■ NETWAYS Addons ■ NETWAYS Plugins www.icinga.org ■ Development ■ Hosting exchange.icinga.org ■ Icinga / Nagios Addons und Plugins ■ > 2000 Projekte
  12. 12. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS KUNDEN – CONSULTING (AUSZUG)
  13. 13. www.netways.de // blog.netways.de // @netways We love Open Source NETWAYS KUNDEN – HOSTING (AUSZUG)
  14. 14. www.netways.de // blog.netways.de // @netways We love Open Source UNSERE LEISTUNGEN IM ÜBERBLICK ■ Konzeptionierung und Planung ■ Workshops & Consulting zur Implementierung vor Ort ■ Betrieb  Komplette Logmanagementsysteme  Teilweise Betriebsunterstützung ■ Entwicklungsleistungen  Plugins und Filter  Systemintegration ■ Schulungen  Standardisierte Schulungsmodule  Individuell vor Ort ■ Support  Standardverträge  Individuelle Supportkonzepte ■ Konferenzen
  15. 15. www.netways.de // blog.netways.de // @netways We love Open Source OPEN SOURCE LOGMANAGEMENT WAS IST LOGSTASH
  16. 16. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH ■ Ziele  Logdateien in großen Mengen behandeln  Analyse der Daten  Anbindung an Monitoringsysteme  Dashboards für Visualisierung und Analyse  Weiterleitung der Daten an Drittsyteme
  17. 17. www.netways.de // blog.netways.de // @netways We love Open Source PROBLEMSTELLUNG ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
  18. 18. www.netways.de // blog.netways.de // @netways We love Open Source VORGEHEN OHNE LOGMANGEMENT ■ Regex Magic ^([d.]+) (S+) (S+) [([w:/]+s[+- ]d{4})] "(.+?)" (d{3}) (d+) "([^"]+)" "([^"]+)" ■ Pro Logformat eine eigene Regex ■ Aufwendig und zeitintensiv ■ Nur für technisch Versierte ■ Schlecht für die Teamarbeit
  19. 19. www.netways.de // blog.netways.de // @netways We love Open Source SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH
  20. 20. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH FEATURES ■ Zentrales Speichern von Logs und Events ■ Sammeln von verschiedenen Quellen ■ Logs verändern / strukturieren ■ Transportieren der Logs ■ Einfache Installation ■ Integration in bestehende Infrastruktur ■ Lightweight ■ Open Source
  21. 21. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH ARCHITEKTUR
  22. 22. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH ARCHITEKTUR Logstash: Pipe on Steroids Input Filter Output
  23. 23. www.netways.de // blog.netways.de // @netways We love Open Source SORTIERUNG DER DATEN ■ Vorher  192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga- web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0" ■ Nachher  "http_clientip": "192.168.1.10",  "http_ident": "-",  "http_auth": "guest",  "timestamp": "04/Dec/2013:08:54:23 +0100",  "http_verb": "POST",  "http_request": "/icinga-web/web/api/json",  "http_httpversion": "1.1",  "http_response": "200",  "http_bytes": "788",  "http_referrer": "https://icinga-private.demo.netways.de/icinga- web/modules/web/portal",  "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0" ■ Pattern  "%{COMBINEDAPACHELOG}"
  24. 24. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH ARCHITEKTUR Server Switch Webapplikation • Input • Output • Key-Value Store • Puffer • Input • Filter • Output • Index • Queries
  25. 25. www.netways.de // blog.netways.de // @netways We love Open Source REDIS ■ Key-Value Store ■ Einfache Installation ■ Eingebaute Replikation ■ Sehr schnell ■ Einträge werden nach Abholung gelöscht
  26. 26. www.netways.de // blog.netways.de // @netways We love Open Source ELASTICSEARCH ■ Effizientes Speichern von Daten ■ Automatische Indexes ■ RESTful API ■ Hochverfügbar ■ Clusterfähig (Nodes, Shards, Replika) ■ Realtime Analyse der Daten ■ Basiert auf Apache Lucene ■ Empfohlener Output
  27. 27. www.netways.de // blog.netways.de // @netways We love Open Source INTEGRATION IN DIE IT-LANDSCHAFT
  28. 28. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH PLUGINS UND FILTER ■ drupal_dblog ■ elasticsearch ■ eventlog ■ exec ■ file ■ ganglia ■ gelf ■ gemfire ■ generator ■ graphite ■ heroku ■ imap ■ irc ■ log4j ■ lumberjack ■ pipe ■ rabbitmq ■ redis ■ relp ■ s3 ■ snmptrap ■ sqlite ■ sqs ■ stdin ■ stomp ■ syslog ■ tcp ■ twitter ■ udp ■ unix ■ varnishlog ■ websocket ■ wmi ■ xmpp ■ zenoss ■ zeromq ■ advisor ■ alter ■ anonymize ■ checksum ■ cidr ■ cipher ■ clone ■ collate ■ csv ■ date ■ dns ■ drop ■ environment ■ extractnumbers ■ gelfify ■ geoip ■ grep ■ grok ■ grokdiscovery ■ json ■ json_encode ■ kv ■ metaevent ■ metrics ■ multiline ■ mutate ■ noop ■ prune ■ railsparallel- request ■ range ■ ruby ■ sleep ■ split ■ syslog_pri ■ translate ■ urldecode ■ useragent ■ uuid ■ xml ■ zeromq ■ boundary ■ circonus ■ cloudwatch ■ datadog ■ datadog_metrics ■ elasticsearch ■ elasticsearch_http ■ elasticsearch_river ■ email ■ exec ■ file ■ ganglia ■ gelf ■ gemfire ■ google_cloud_stor age ■ graphite ■ graphtastic ■ hipchat ■ http ■ irc ■ jira ■ juggernaut ■ librato ■ loggly ■ lumberjack ■ metriccatcher ■ mongodb ■ nagios ■ nagios_nsca ■ null ■ opentsdb ■ pagerduty ■ pipe ■ rabbitmq ■ redis ■ riak ■ riemann ■ s3 ■ sns ■ sqs ■ statsd ■ stdout ■ stomp ■ syslog ■ tcp ■ udp ■ websocket ■ xmpp ■ zabbix ■ zeromq Input (36) Filter (40) Output (50)
  29. 29. www.netways.de // blog.netways.de // @netways We love Open Source LOGSTASH FEATURES ■ Integration in nahezu jede Umgebungen  Syslog  TCP / UDP  Lumberjack  fertige Pattern  Elasticsearch ■ Skalierbarkeit  Auslagerung auf dedizierte Server  Multiple Redis-Server  Mehrere Logstash-Indexer möglich  Elasticsearch ist clusterfähig (Nodes, Shards, Replika)
  30. 30. www.netways.de // blog.netways.de // @netways We love Open Source ANWENDUNGSMÖGLICHKEITEN ■ Systemlogs (Problemanalyse) ■ Webserver Access- und Errorlogs ■ Logs der eigenen Applikation (Profiling) ■ Alerts via Icinga, E-Mail, XMPP, … ■ Statistiken (Graphite) ■ uvm.
  31. 31. www.netways.de // blog.netways.de // @netways We love Open Source LIVE DEMO
  32. 32. www.netways.de // blog.netways.de // @netways We love Open Source FRAGEN UND ANTWORTEN
  33. 33. www.netways.de // blog.netways.de // @netways We love Open Source WEBINAR KALENDER ■ Icinga Web 2: Modernes Web-Framework der nächsten Generation  25. November 2014 - 10:30 Uhr ■ Puppet: Windows Configuration Management  12. Dezember 2014 – 10:30 Uhr ■ NETWAYS: Jahresrückblick 2014  18. Dezember 2014 – 10:30 Uhr
  34. 34. www.netways.de // blog.netways.de // @netways We love Open Source KONTAKTDATEN Vielen Dank für Ihre Aufmerksamkeit! NETWAYS GmbH Deutschherrnstrasse 15-19 90429 Nürnberg Tel: +49 911 92885-0 Fax: +49 911 92885-77 E-Mail: info@netways.de Website: www.netways.de Twitter: twitter.com/netways Facebook: facebook.com/netways Blog: blog.netways.de

×