Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
„Ship logs from any source, parse them, index them, and search them“
Motivation
Motivation
●

Zentrale Logverwaltung

–

Strukturierbar

–

Zugänglich

–

Durchsuchbar

–

Überwachbar
Ziel
Aufbau
Server 1

Server 2

Server N

Logstash
shipper

Logstash
shipper

Logstash
shipper

Broker
Logstash parser

Graylog...
Shipper
●

Liest ein und übergibt an message queue

●

Besteht aus
–

fertigem Java Archiv

–

Konfiguration

–

(optional...
Broker

●

Key Value Store

●

Bereitstellung Input- und Output-Kanäle

●

Passwortgeschützte Übertragung
Logstash parser

●

Holt Daten aus dem message queue

●

Filtert Daten

●

Strukturiert Daten (z.B. JSON)

●

Übergibt Dat...
Graylog2-server

●

Verarbeitet

●

Speichert
→ Inhalte nach Elasticsearch
→ Meta Infos nach MongoDB
Elasticsearch

●

Echtzeit Volltextsuche (Apache Lucene)

●

Schemafrei

●

Per-operation persistent

●

Horizontal skalie...
MongoDB

●

Dokumenten basiert

●

Führende NoSQL DB

●

Horizontal skalierbar (Kapazität → Nodes)

●

HA
Webinterface

●

Suchen und filtern mit Regex support

●

Erzeugen von Streams

●

Blacklisting von Logeinträgen

●

Sende...
Danke für die Aufmerksamkeit!
Weiterführende Infos:
http://graylog2.org/
http://logstash.net/
http://www.elasticsearch.org...
Nächste SlideShare
Wird geladen in …5
×

Logfiles 2.0 - handle (apache) logfiles with logstash and graylog2

1.586 Aufrufe

Veröffentlicht am

„Ship logs from any source, parse them, index them, and search them“ - slides of session "logfiles2.0" @t3crr 2013

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Logfiles 2.0 - handle (apache) logfiles with logstash and graylog2

  1. 1. „Ship logs from any source, parse them, index them, and search them“
  2. 2. Motivation
  3. 3. Motivation ● Zentrale Logverwaltung – Strukturierbar – Zugänglich – Durchsuchbar – Überwachbar
  4. 4. Ziel
  5. 5. Aufbau Server 1 Server 2 Server N Logstash shipper Logstash shipper Logstash shipper Broker Logstash parser Graylog2-server Elasticsearch → messages MongoDB → statistics → graphs Graylog2 Web-Interface
  6. 6. Shipper ● Liest ein und übergibt an message queue ● Besteht aus – fertigem Java Archiv – Konfiguration – (optional Init-Skript) → sehr einfach zu installieren/deployen
  7. 7. Broker ● Key Value Store ● Bereitstellung Input- und Output-Kanäle ● Passwortgeschützte Übertragung
  8. 8. Logstash parser ● Holt Daten aus dem message queue ● Filtert Daten ● Strukturiert Daten (z.B. JSON) ● Übergibt Daten an Graylog2-server z.B. Apache Log Filter:
  9. 9. Graylog2-server ● Verarbeitet ● Speichert → Inhalte nach Elasticsearch → Meta Infos nach MongoDB
  10. 10. Elasticsearch ● Echtzeit Volltextsuche (Apache Lucene) ● Schemafrei ● Per-operation persistent ● Horizontal skalierbar (Kapazität → Nodes) ● RESTful (JSON over HTTP) ● HA
  11. 11. MongoDB ● Dokumenten basiert ● Führende NoSQL DB ● Horizontal skalierbar (Kapazität → Nodes) ● HA
  12. 12. Webinterface ● Suchen und filtern mit Regex support ● Erzeugen von Streams ● Blacklisting von Logeinträgen ● Senden von Reports und Alarms per Mail
  13. 13. Danke für die Aufmerksamkeit! Weiterführende Infos: http://graylog2.org/ http://logstash.net/ http://www.elasticsearch.org/ http://redis.io/ http://grokdebug.herokuapp.com/ http://www.mongodb.org/ http://www.lucenetutorial.com/lucene-query-syntax.html

×