Monitoring Logs and Traps with EventDB @ Monitoring Workshop Hamburg

1. www.netways.de
Marius Hein
20.06.2013 | Monitoring Workshop
Neuerungen EventDB und
EventDB Correlator

3. Kurzvorstellung

4. www.netways.de
 High Availability & Clustering
 Cloud Computing
 Load Balancing
 Virtualization
 Database Management
NETWAYS Expertise
OPEN SOURCE
SYSTEMS MANAGEMENT
OPEN SOURCE
DATA CENTER
MANAGED SERVICES MONITORING HARDWARE KONFERENZEN
 Monitoring & Reporting
 Configuration Management
 Service Management
 Knowledge Management
 Backup & Recovery

5. www.netways.de
Open Source Monitoring Conference
23. – 24. Oktober 2013
Veranstalter der Open Source Monitoring
Conference
Teilnehmer 2012: 260
2 Tracks mit Vorträgen & Workshops
NETWAYS Konferenzen

6. Events

7. www.netways.de
Events sind
Unvorhergesehene Ereignisse
SNMP Traps, Syslog, MS Eventlog, Emails
Undefiniert und Unbekannt
Softwareprobleme
Hardware Defekt
Infrastrukturfehler
Müssen trotzdem überwacht werden!
Events in Icinga / Nagios

8. www.netways.de
Nur aktive Überprüfung möglich (aktiver Gegenpart)
Erfordern genaue Definition des Problems
Hoher administrativer Aufwand
Keine Priorisierung möglich
Events in Icinga / Nagios

9. EventDB

10. www.netways.de
2005 Projektstart
Prototypen und Tests
2006 Single Page PHP Version
2007 Typo3 Extension
2010 Cronk für Icinga-Web
2013 EventDB Correlator
EventDB / Das Projekt

11. Die Idee

12. www.netways.de
„unspezifizierter Datentopf“
EventDB / Die Idee

13. www.netways.de
EventDB / Die Idee

14. www.netways.de
Erstmal alles sammeln
Dann entscheiden was gebraucht wird
Aktiver Icinga check entscheidet was er braucht
Z.B. alle Events eines Hosts
Probleme einer bestimmten Quelle
Webinterface erlaubt Interaktion
Verfolgen von Problemen
Bestätigung gesehener Meldungen
EventDB / Die Idee

15. www.netways.de
Exemplarischer Pluginaufruf:
# ./check_eventdb.py
-H localhost
-w 1
-c 5
-m "%auth%"
OK 6 critical and 6 warning matches
found.|matches=6 count=839c
message filter: %auth%
reset regexp:
EventDB / Die Idee / check plugin

16. EventDB Correlator

17. www.netways.de
EventDB Correlator
Aggregationsschicht eingezogen

18. www.netways.de
EventDB Correlator
Agent für die EventDB
Pipe basierte Empfänger für Dateiformate
Bau von eigenen Rezeptoren möglich
Aggregation von Events
„Clearance“ von Events
Auch per Timeout
Patter Matching für gleichartige Events
Z.B. Port UP/DOWN

19. www.netways.de
EventDB Correlator

20. www.netways.de
EventDB Correlator
Einfache Aggergation
Mit „clearing“ Event

21. www.netways.de
EventDB Correlator / Quellen
[text-pipe]
class: receptor
type: pipe
path: /tmp/text.pipe
format: @text-transformer
[text-transformer]
class: transformer
type: string
format: (?P<PRIORITY>d+) (?P<FACILITY>d+) (?P<MESSAGE>.*)$
fixed:
program=example,host=localhost,host_address=127.0.0.1,type=example
[text-aggregator]
class: processor
type: aggregation
datasource: @mysql
acknowldge_on_clear: True
matcher: message REGEXP 'Port (?P<NUM>d+)/(?P<SUM>d+) (UP|DOWN)'
clear: message REGEXP 'Port d+/d+ UP'
aggregateMessage: Switchport $NUM/$SUM is DOWN ($_COUNT events)

22. www.netways.de
EventDB Correlator / Kleber
[text-chain]
in: @text-pipe
to_1: @text-aggregator
to_2: @mysql

23. www.netways.de
EventDB Correlator / Syntax
[text-chain]
in: @text-pipe
to_1: @text-aggregator
to_1[CLEAR|PASS|AGGR]_1: @group_acknowledger
to_2: @mysql
[example-processor]
class: processor
type: modifier
matcher: host STARTS WITH ‚db‘ and message
REGEXP ‚Type: (?P<TEST>w+)$‘
Overwrite: facility=$TEST

24. DEMO

25. www.netways.de
Dokumentation und Quellen
http://docs.netways.org/
http://git.netways.org/eventdb
https://www.netways.org/projects/eventdb

26. Fragen und Antworten

27. www.netways.de
NETWAYS GmbH
Deutschherrnstrasse 15-19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
Email: info@netways.de
Twitter: twitter.com/netways
Blog: blog.netways.de
?Fragen und
Antworten