it@m betreibt als zentraler IT-Dienstleister die gesamte heterogene Landschaft der Landeshauptstadt München mit ca. 1500 Hosts und 15000 Services. Um den wachsenden Anforderungen und Ansprüchen gerecht zu werden, wurde eine komplette Überarbeitung und Neustrukturierung des bestehenden Monitoring durchgeführt. Der Vortrag beschreibt die Monitoring-Landschaft auf Basis von OMD, welche mittels Mod-Gearman verschiedenste Aufgaben (PNP4Nagios, dedizierte Plugin-Worker, ...) auf einzelne Worker auslagert und somit eine fließende Skalierbarkeit gewährleistet. Die notwendige Konfiguration wird mehrmals täglich automatisch aus verschiedenen Quellen (u.a. CMDB) generiert und mit Hilfe von GIT revisionssicher dem Nagios-Core bereitgestellt. Die Landeshauptstadt setzt hierzu im gesamten Projekt auf Opensource Produkte.

1. Monitoring-Landschaft auf Basis von OMD
Referent: Reiko Streng – IT@M Betrieb
Nürnberg, 21.10.13

2. 2Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Vorstellung it@M
●
Stadt München als größter kommunaler Arbeitgeber in Deutschland
mit 30.000 Beschäftigten und 27.000 PC-Arbeitsplätzen
●
it@M als zentraler Dienstleister für Informations- und
Telekommunikationstechnik in der Landeshauptstadt München
●
Gründung Eigenbetrieb am 01.01.2011, 600 Mitarbeiter
●
Monitoring als zentraler Punkt im Betrieb um IT-Services für
Referate und Eigenbetriebe überwachen zu können

3. 3Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Inhalt
Bisherige Nagios-LandschaftBisherige Nagios-Landschaft
Neugestaltung mit Hilfe von OMDNeugestaltung mit Hilfe von OMD
Monitoring-Landschaft im ÜberblickMonitoring-Landschaft im Überblick
KonfigurationKonfiguration

4. 4Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Inhalt
Bisherige Nagios-LandschaftBisherige Nagios-Landschaft
Neugestaltung mit Hilfe von OMDNeugestaltung mit Hilfe von OMD
Monitoring-Landschaft im ÜberblickMonitoring-Landschaft im Überblick
KonfigurationKonfiguration

5. 5Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Bisherige Nagios-Landschaft (1)

6. 6Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Bisherige Nagios-Landschaft (2)
●
Zentrales Nagiossystem für alle Systeme bei der LHM
●
Dezentrales Nagios aus Sicht der Referate
●
Eingesetzte Komponenten: Nagios, Plugins, NRPE, Check-Mk,
ndo, PNP, Nagvis, NSCA, snmptt …
●
Gewachsene Probleme mit der Zeit → Lastverteilung, Wildwuchs,
keine einheitlichen Standards in der Überwachung

7. 7Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Inhalt
Bisherige Nagios-LandschaftBisherige Nagios-Landschaft
Neugestaltung mit Hilfe von OMDNeugestaltung mit Hilfe von OMD
Monitoring-Landschaft im ÜberblickMonitoring-Landschaft im Überblick
KonfigurationKonfiguration

8. 8Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Neugestaltung Monitoring-Landschaft
●
Neuaufbau einer flexiblen Landschaft
●
Einfach erweiterbar
●
Anbindung an Fremdsysteme (CMDB, Reporting, DMZ-Worker)
●
Schaffung von Monitoring-Standards
●
Revisionssicher

9. 9Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Neugestaltung Monitoring-Landschaft

10. 10Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
OMD - Open Monitoring Distribution (1)
Apache
PNP4Nagi
os
NagVis
Thruk
JMX4Perl
livestatus
NSCA
RRDTool /
RRDCach
eD
Plugins
usw…

11. 11Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
OMD - Open Monitoring Distribution (2)
●
Alle geforderten Komponenten „on board“
●
Durch die jeweiligen Maintainer gepflegt
●
Ein einzelnes Paket
●
Sicherer Update Pfad
●
OMD LHM Addon Paket für die Speziellen Anforderung (z.B. SNMP
Worker, Plugins, DB Clients, GUI-Customizing...) der
Landeshauptstadt München

12. 12Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Inhalt
Bisherige Nagios-LandschaftBisherige Nagios-Landschaft
Neugestaltung mit Hilfe von OMDNeugestaltung mit Hilfe von OMD
Monitoring-Landschaft im ÜberblickMonitoring-Landschaft im Überblick
KonfigurationKonfiguration

13. 13Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Die Monitoring Umgebung (1)

14. 14Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Mod Gearman (1)

15. 15Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Mod Gearman (2)
●
Messaging Bus
●
Verschlüsselt mit AES 256
●
Worker beliebig erweiterbar (Dynamisch)
●
„abgesetzte“ Worker möglich (z.B. DMZ/Standorte)  Monitoring
aus Kundensicht möglich

16. 16Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Die Monitoring Umgebung (2)
●
Plugin-Worker führen die
eigentlichen Checks aus
●
Lastverteilung durch mehrere
Worker
●
Plugin-Worker flexibel erweiterbar

17. 17Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Die Monitoring Umgebung (3)
●
Reporting-Worker um Ergebnisse
der Checks in Datenbank zu
schreiben
●
Monitoring somit Datenquelle für
separates Reporting

18. 18Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Die Monitoring Umgebung (4)
●
DMZ-Überwachung mit Hilfe von
Gearman-Proxy
●
Vorteile für DMZ: Nur eine
FW-Regel, umgekehrte Traffic
Richtung möglich (Server zu
Worker)

19. 19Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Die Monitoring Umgebung (5)
●
Zugriff über mobile Endgeräte mit
Hilfe der Mobile-Thruk-GUI
problemlos möglich

20. 20Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Umgebung Pro / Contra

21. 21Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Inhalt
Bisherige Nagios-LandschaftBisherige Nagios-Landschaft
Neugestaltung mit Hilfe von OMDNeugestaltung mit Hilfe von OMD
Monitoring-Landschaft im ÜberblickMonitoring-Landschaft im Überblick
KonfigurationKonfiguration

22. 22Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Konfiguration der Objekte (1)

23. 23Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Konfiguration der Objekte (2)
●
ODS Files können von jedem bearbeitet werden
●
Admins benötigen keine Kenntnisse über Nagios
●
Nur CMDB Relevante Daten und Thresholds werden eingepflegt

24. 24Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Konfiguration der Objekte (3)
●
Coshsh framework zur einfachen Generierung von Konfigurationen
durch Coshsh-Klassen und Coshsh-Templates:

25. 25Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Konfiguration der Objekte (4)
●
Applikationen werden durch Details beschrieben
 Immer Paar aus Name/Type
●
Klasse als Bindeglied zum Template: Je Type eine Klasse (Linux,
Windows, Oracle, Loadbalancer, Apache usw.)
●
Template ist ein Satz von vorgefertigten Services
●
Vorführung

26. 26Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Konfiguration der Objekte (5)

27. 27Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Konfiguration der Objekte (6)
●
statische- und dynamische Nagios-Konfiguration
●
Statische Daten werden durch Nagios-Admin gepflegt:
Timeperiods, Templates, Commands
●
Dynamische Daten werden durch coshsh erstellt:
Hosts, Services, Kontakte

28. 28Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Konfiguration der Objekte (7)
●
Automatische Generierung lässt keine „Ausreißer“ zu  Hoher
Grad an standardisierte Überwachung je Klasse
●
standardisierte Service-Namen (Ping PING ICMP)
●
Thresholds werden an die Admins ausgelagert  im ODS NICHT
durch die Nagios Admins
●
Servicepacks/Templates bleiben in der Hoheit der Nagios Admins

29. 29Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Konfiguration der Objekte (8)
●
Konfiguration wird mit Hilfe von GIT Repository verwaltet
●
Coshsh generiert Konfiguration direkt ins GIT
●
OMD Init-Hook beim Start von Nagios  Git Pull der Konfiguration
●
Nagios Pre-Flight-Check lädt nur lauffähige Konfiguration

30. 30Monitoring-Landschaft auf Basis von OMD · Reiko Streng · 21.10.13
Fragen?

31. Herzlichen Dank für Ihre Aufmerksamkeit!
Reiko Streng
Landeshauptstadt München
it@M
Geschäftsbereich Betrieb
Servicebereich B1
Serviceteam B11
Herzogspitalstraße 24
80331 München
Tel.: +49 89 233 21321
E-Mail: reiko.streng@muenchen.de