„Ship logs from any source, parse them, index them, and search them“
Motivation
Motivation
●

Zentrale Logverwaltung

–

Strukturierbar

–

Zugänglich

–

Durchsuchbar

–

Überwachbar
Ziel
Aufbau
Server 1

Server 2

Server N

Logstash
shipper

Logstash
shipper

Logstash
shipper

Broker
Logstash parser

Graylog...
Shipper
●

Liest ein und übergibt an message queue

●

Besteht aus
–

fertigem Java Archiv

–

Konfiguration

–

(optional...
Broker

●

Key Value Store

●

Bereitstellung Input- und Output-Kanäle

●

Passwortgeschützte Übertragung
Logstash parser

●

Holt Daten aus dem message queue

●

Filtert Daten

●

Strukturiert Daten (z.B. JSON)

●

Übergibt Dat...
Graylog2-server

●

Verarbeitet

●

Speichert
→ Inhalte nach Elasticsearch
→ Meta Infos nach MongoDB
Elasticsearch

●

Echtzeit Volltextsuche (Apache Lucene)

●

Schemafrei

●

Per-operation persistent

●

Horizontal skalie...
MongoDB

●

Dokumenten basiert

●

Führende NoSQL DB

●

Horizontal skalierbar (Kapazität → Nodes)

●

HA
Webinterface

●

Suchen und filtern mit Regex support

●

Erzeugen von Streams

●

Blacklisting von Logeinträgen

●

Sende...
Danke für die Aufmerksamkeit!
Weiterführende Infos:
http://graylog2.org/
http://logstash.net/
http://www.elasticsearch.org...
Nächste SlideShare
Wird geladen in …5
×

Logfiles 2.0 - handle (apache) logfiles with logstash and graylog2

1.422 Aufrufe

Veröffentlicht am

„Ship logs from any source, parse them, index them, and search them“ - slides of session "logfiles2.0" @t3crr 2013

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.422
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
4
Aktionen
Geteilt
0
Downloads
11
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Logfiles 2.0 - handle (apache) logfiles with logstash and graylog2

  1. 1. „Ship logs from any source, parse them, index them, and search them“
  2. 2. Motivation
  3. 3. Motivation ● Zentrale Logverwaltung – Strukturierbar – Zugänglich – Durchsuchbar – Überwachbar
  4. 4. Ziel
  5. 5. Aufbau Server 1 Server 2 Server N Logstash shipper Logstash shipper Logstash shipper Broker Logstash parser Graylog2-server Elasticsearch → messages MongoDB → statistics → graphs Graylog2 Web-Interface
  6. 6. Shipper ● Liest ein und übergibt an message queue ● Besteht aus – fertigem Java Archiv – Konfiguration – (optional Init-Skript) → sehr einfach zu installieren/deployen
  7. 7. Broker ● Key Value Store ● Bereitstellung Input- und Output-Kanäle ● Passwortgeschützte Übertragung
  8. 8. Logstash parser ● Holt Daten aus dem message queue ● Filtert Daten ● Strukturiert Daten (z.B. JSON) ● Übergibt Daten an Graylog2-server z.B. Apache Log Filter:
  9. 9. Graylog2-server ● Verarbeitet ● Speichert → Inhalte nach Elasticsearch → Meta Infos nach MongoDB
  10. 10. Elasticsearch ● Echtzeit Volltextsuche (Apache Lucene) ● Schemafrei ● Per-operation persistent ● Horizontal skalierbar (Kapazität → Nodes) ● RESTful (JSON over HTTP) ● HA
  11. 11. MongoDB ● Dokumenten basiert ● Führende NoSQL DB ● Horizontal skalierbar (Kapazität → Nodes) ● HA
  12. 12. Webinterface ● Suchen und filtern mit Regex support ● Erzeugen von Streams ● Blacklisting von Logeinträgen ● Senden von Reports und Alarms per Mail
  13. 13. Danke für die Aufmerksamkeit! Weiterführende Infos: http://graylog2.org/ http://logstash.net/ http://www.elasticsearch.org/ http://redis.io/ http://grokdebug.herokuapp.com/ http://www.mongodb.org/ http://www.lucenetutorial.com/lucene-query-syntax.html

×