DATEV ist Deutschlands führender Anbieter von Online Anwendungen, Softwarelösungen und Dienstleistungen für Steuerberater, Rechtsanwälte, Wirtschaftsprüfer und deren Mandanten. Dieses Angebot basiert zum Großteil auf einer Vielzahl von IT-Services, welche wiederum durch die verschiedensten IT-Komponenten abgebildet werden. Zielgerichtetes Monitoring dient der Vermeidung von Ausfällen bzw. einer schnelleren Entstörung. Dies bedeutet eine bessere Servicequalität, somit zufriedene Kunden und am langen Ende auch niedrigere Aufwände. Die Open Source Software Icinga ist ein zentraler Baustein der Monitoring Umgebung der DATEV. Der Vortrag betrachtet den Werdegang dieser Erfolgsgeschichte. Angefangen von den ersten Gehversuchen auf den PCs einzelner Mitarbeiter bis hin zur Mehrinstanzen Umgebung mit ca. 14.000 Hosts. Besonderes Augenmerk wird dabei auf die Integration von Icinga in die bestehende IT Service Management Tool und Prozesslandschaft gelegt.

1. Seite
© DATEV eG, alle
Rechte vorbehalten
Icinga@DATEV
Gunter Geib

2. Seite
© DATEV eG, alle
Rechte vorbehalten
 Über DATEV
 Motivation / Ausgangslage
 Realisierung
 Integration in ITSM-Prozesse
 Ausblick
OSMC 2016
Agenda
2

3. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
Das Unternehmen
Nürnberg
DATEV eG
Hauptsitz: Nürnberg
Gründung: 1966
Berufsständische EDV-
Dienstleistungsorganisation
in Europa für:
 Steuerberater
 Rechtsanwälte
 Vereidigte Buchprüfer
 Wirtschaftsprüfer
3

4. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
Software Service Beratung / Wissen
Leistungsspektrum
ca. 2.5 Mio. Finanz-
buchführungen und über
12 Mio. Lohnabrech-
nungen pro Monat
ca. 1.138 Mitarbeiter
leisteten ca. 1,79 Mio.
Servicekontakte
im Jahr 2015
ca. 200.000 Seminar-
teilnehmer (Präsenz-
und Online-Seminare)
im Jahr 2015
z.B.
 Rechnungswesen
 Abschlussprüfung
 Personalwirtschaft
 Wirtschaftsberatung
 Kanzleiorganisation
z.B.
 Persönlicher Service
 Anwendungen
 IT Support
 Druck- und
Versandleistungen
z.B.
 Consulting
 Training
 Weiterbildung
 Fachliteratur
 Datenbanken
4

5. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
Überblick der Geschäftsjahre 2011 - 2015
Geschäftszahlen
Jahr
Umsatz
(Mio. €)
Mitarbeiter Mitglieder
Investition
(Mio. €)
2015
2014
2013
2012
2011
881
844
803
760
731
6.839
6.780
6.606
6.411
6.110
40.501
40.393
40.274
40.013
39.771
61,7
107,9
66,0
61,0
44,7 5

6. Seite
© DATEV eG, alle
Rechte vorbehalten
Über mich
 Gunter Geib (40)
 Dipl.Ing. (FH) Daten- und Informationstechnik / GSO 2001
 DATEV seit 16 Jahren
 Fachberater für Monitoring / Event Management
 Verheiratet, zwei Söhne (6)
OSMC 2016
6

7. Seite
© DATEV eG, alle
Rechte vorbehalten
Motivation
Das Rechenzentrum der DATEV ist als Datendrehscheibe Basis für einen
Großteil der Produkte und Services.
Der DATEV IT-Betrieb benötigt zuverlässige Monitoring Informationen über
alle Komponenten.
OSMC 2016
7

8. Seite
© DATEV eG, alle
Rechte vorbehalten
Ausgangslage 2011
Alerting System
(DATEVnotify)
Event Management
System
(IBM Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server
Tivoli Netview,
AdminsFriend,
DATEVeigen, uvm.
IT-Komponenten
OSMC 2016
8

9. Seite
© DATEV eG, alle
Rechte vorbehalten
Ausgangslage 2011
Alerting System
(DATEVnotify)
Event Management
System
(IBM Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server
Tivoli Netview,
AdminsFriend,
DATEVeigen, uvm.
IT-Komponenten
OSMC 2016
9

10. Seite
© DATEV eG, alle
Rechte vorbehalten
Ausgangslage 2011
Alerting System
(DATEVnotify)
Event Management
System
(IBM Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server
Tivoli Netview,
AdminsFriend,
DATEVeigen, uvm.
IT-Komponenten
OSMC 2016
10

11. Seite
© DATEV eG, alle
Rechte vorbehalten
Ausgangslage 2011
 Manuelles, dezentrales IT-Komponenten (Router, Switches, Firewalls,
Middleware usw.) Monitoring mittels einem „Zoo“ von Werkzeugen:
 IBM Tivoli NetView
 Admins Friend
 Nagios
 DATEVeigen
 usw.
OSMC 2016
11

12. Seite
© DATEV eG, alle
Rechte vorbehalten
Ausgangslage 2011
Alerting System
(DATEVnotify)
Event Management
System
(IBM Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server
Tivoli Netview,
AdminsFriend,
DATEV-eigen, uvm.
IT-Komponenten
OSMC 2016
12

13. Seite
© DATEV eG, alle
Rechte vorbehalten
Realisierung
Projekt – neues IT-Komponenten Monitoring Werkzeug
Anforderungen
 Gesamtsicht
 Automatische Konfiguration
 Hochverfügbar & DMZ kompatibel
 Integration
 in bestehende Werkzeuglandschaft
 in betroffene ITSM-Prozesse
OSMC 2016
13

14. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
14

15. Seite
© DATEV eG, alle
Rechte vorbehalten
Realisierung
Aufbau
 Zentrales Serverpaar
 je zwei Icinga Instanzen
 Icinga-Web
 MySQL Cluster
 AddOns:
– Business Process
– pnp4Nagios
– Ingraph (Backend)
– Lconf
 Satellitenpaare
 Je eine Icinga Instanz
 Generell
 „Bleche“
 Hochverfügbarkeit mittels VRRP
(Virtual Router Redundancy
Protocol)
 Csync
OSMC 2016
15

16. Seite
© DATEV eG, alle
Rechte vorbehalten
Realisierung
DMZs
OSMC 2016
Zentrale
DMZ1
DMZ2
DMZ3
DMZ4DMZ5
DMZ6
DMZ
16

17. Seite
© DATEV eG, alle
Rechte vorbehalten
Realisierung
Alerting System
(DATEVnotify)
Event Management
System
(IBM Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server IT-Komponenten
OSMC 2016
17

18. Seite
© DATEV eG, alle
Rechte vorbehalten
Realisierung
Eckdaten
 14 Icinga Server
 ~ 14.000 Hosts
 ~ 70.000 Checks
 ~ 45.000.000 Performance Werte pro Tag
OSMC 2016
18

19. Seite
© DATEV eG, alle
Rechte vorbehalten
Realisierung
Lessons learned
Komplexität nur aufwendig handhabbar
 Viele Einzelkomponenten
 Funktioniert
 Empfindlich
 Keine Prozessor Skalierung
 MySQL Cluster anfällig
 Reload und Icinga-Web langsam
OSMC 2016
19

20. Seite
© DATEV eG, alle
Rechte vorbehalten
ITSM-Prozesse
Wer braucht Icinga warum und wieso?
 Der IT-Bereich hat bestehende zielgerichtete Abläufe und Aktivitäten
(nach ITIL: IT Service Management Prozesse).
 Die Aktivitäten der ITSM-Prozesse werden meist durch Werkzeuge
unterstützt.
 ITSM-Prozesse sind bilateral von einander abhängig.
OSMC 2016
20

21. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
ITSM-Prozesse
Service Asset and Configuration Management (SACM)
Prozessziel: Informationen über die IT
Alerting System
(DATEVnotify)
Event Management
System
(IBM Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server IT-Komponenten
SACM
21

22. Seite
© DATEV eG, alle
Rechte vorbehalten
ITSM-Prozesse
Service Asset and Configuration Management (SACM)
und Icinga
OSMC 2016
CMDBCMDB
Infrastruktur
CMDB(s)
Monitoring
CMDB
Perl Trafo
LCONF
Directory
• Hosts
• Services / Checks
• Gruppen
• Business Processes
• Variablen
• Satelliten Zuweisung
SACM
22

23. Seite
© DATEV eG, alle
Rechte vorbehalten
Event Management
ITSM-Prozesse
Event Management
Prozessziel: Wichtige Ereignisse ermitteln und handhaben
Alerting System
(DATEVnotify)
Event Management
System
(IBM Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server IT-Komponenten
SACM
OSMC 2016
23

24. Seite
© DATEV eG, alle
Rechte vorbehalten
ITSM-Prozesse
Event Management
und Icinga
OSMC 2016
Event Management
Monitoring /
Alarmierung
Anforderung
EM Team prüft und
erstellt Checks,
Cronks usw.
Resultierendes
Event steht zur
Verfügung
24

25. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
Event Management
ITSM-Prozesse
Incident Management
Prozessziel: Entstörung
Alerting System
(DATEVnotify)
Event Management
System
(Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server IT-Komponenten
Incident Management
SACM
25

26. Seite
© DATEV eG, alle
Rechte vorbehalten
ITSM-Prozesse
Incident Management
und Icinga
OSMC 2016
Incident Management
26
Icinga
generiert
Event als
Notification
Omnibus
korreliert
Event wird
ggf.
alarmiert
First-Level-
Support
reagiert
Icinga dient
zur Analyse

27. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
Event Management
ITSM-Prozesse
Capacity Management
Prozessziel: genug IT-Ressourcen
Alerting System
(DATEVnotify)
Event Management
System
(Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server IT-Komponenten
Incident Management
Capacity
Management
SACM
27

28. Seite
© DATEV eG, alle
Rechte vorbehalten
ITSM-Prozesse
Capacity Management
und Icinga
OSMC 2016
Performance
Daten
Ingraph
Backend
• Speicher
• Festplatten
• Netzwerk
• CPU
• usw.
Reporting und
weitere
Verarbeitung
28
Capacity
Management

29. Seite
© DATEV eG, alle
Rechte vorbehalten
ITSM-Prozesse
Qualitätskreislauf
OSMC 2016
Monitoring
Service Asset
and
Configuration
Management
Capacity
Management
Event
Management
Incident
Management
29

30. Seite
© DATEV eG, alle
Rechte vorbehalten
ITSM-Prozesse
Lessons learned
Prozessintegration „A und O“
 Orientierung an Use Cases
 „Mitnehmen, nicht vorschreiben“
 Mehrwerte vermitteln
 Verankerung in der Organisation OSMC 2016
30

31. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
Monitoring@DATEV
aktuell
31
Alerting System
(DATEVnotify)
Event Management
System
Inkl. IT-Service
Monitoring
(Omnibus)
DATEV ProAgent
Anwendungen
DATEVitmAgent
Server IT-Komponenten
SCOM
MS-Komponenten
Splunk
Logfiles
Spezial Monitoring

32. Seite
© DATEV eG, alle
Rechte vorbehalten
32
2

33. Seite
© DATEV eG, alle
Rechte vorbehalten
Ausblick
Icinga2@DATEV
 Einführung geplant für Q2 2017
 Reduzierung Komplexität
 Verfügbarkeit
 Satellitenkonzept
 Bessere Ausnutzung der Server
 „SACM ready“
 Flexible, performante Oberfläche (Custom Attribute)
OSMC 2016
33

34. Seite
© DATEV eG, alle
Rechte vorbehalten
Icinga@DATEV
OSMC 2016
34

35. Seite
© DATEV eG, alle
Rechte vorbehalten
OSMC 2016
35