Die über Jahre gewachsene Monitoring-Infrastruktur in einem großen Unternehmen wie der ING-DiBa ist ein sensibles und komplexes Konstrukt. Um unseren Fachteams einen flexiblen und robusten Monitoring-Service anbieten zu können, haben wir uns dazu entschlossen, unser Monitoring Tool gegen Icinga einzutauschen. Dieser Vortrag wird zeigen, welchen Weg wir eingeschlagen haben und welchen Herausforderungen wir bei diesem Migrationsprojekt gegenüberstanden. Das Projekt war jederzeit ein voller Erfolg. Wir haben aber auch gelernt, dass wir nicht nur technologische Herausforderungen zu lösen hatten. Bei der hohen Anzahl an beteiligten Fachteams waren vor allem die richtige Kommunikation sowie ein angemessenes Risiko- und Erwartungsmanagement ausschlaggebend. Anhand konkreter Beispiele werden wir zeigen, wie wir jederzeit die richtige Balance gefunden und das Projekt zum gewünschten Termin umgesetzt haben.

1. Nürnberg – 17.10.2012
www.ing-diba.de
Dr. Sven Wohlfarth (s.wohlfarth@ing-diba.de)
Teamleiter ING-DiBa Command Center
Corporate IT Monitoring
Bei der ING-DiBa AG

2. 2 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
ING-DiBa im Überblick
Nürnberg HannoverFrankfurt
7,4 Mio. Kunden
109 Mrd. Euro Bilanzsumme
2.986 Mitarbeiterinnen und Mitarbeiter
170 Mrd. Euro Geschäftsvolumen
Standorte Frankfurt, Nürnberg, Hannover

3. 3 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
■ Überwachung aller
geschäftskritischen Applikationen
und Systeme
■ Fokus der Überwachung
› Banking Services
› Bank Processing
› Service Center
› IT Services
■ Eskalation von Major Incidents an
unsere Kunden und die IT
■ Koordination und Unterstützung bei
der Problemlösung
Command Center im Überblick

4. 4 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Agenda
■ Ziele und Architektur
■ Evaluation der Alternativen
■ Pilotierung und Durchführung
■ Live-Sample
■ Zusammenfassung und Diskussion

5. 5 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Ausgangspunkt und Ziele des Projekts
Ausgangspunkt
■ Gewachsene, passive Systemarchitektur
■ Black-Box Überwachung von Applikationen
■ Marginale Funktions- oder Performance-
Checks
■ Geringe Flexibilität
■ Hoher Aufwand und hohe Kosten für Betrieb
und Weiterentwicklung
■ Unterschiedliche Überwachungssysteme in
der IT
Ziele und Anforderungen
■ Flexibles und gut erweiterbares Monitoring-
System (z.B. bei neuen Komponenten,
Customized Views, etc.)
■ Monitoring von Anwendungen und
Prozesse (inkl. Performance-Messwerten)
■ Integration und Vereinheitlichung der
Monitoring Systeme
■ Gute Wartbarkeit und geringe
Abhängigkeiten
■ Verhältnismäßigkeit der benötigten
Ressourcen und Aufwand
(Invest, Aufbau, Betrieb, Lizenzen,
Wartung)
■ Ausfallsicherheit

6. 6 17.10.2012
Ist-Architektur: Passives Prozess- und Applikations-Monitoring
„Umbrella“ Monitoring im Command Center
Bank-ProzesseBank-ApplikationenInfrastruktur
Monitoring durch
Fachteams
Monitoring durch
Fachteams
Monitoring durch
Fachteams
Unterschiedliche Tools, Know-How und Inventory bei Fachteams
Corporate IT Monitoring bei der ING-DiBa AG

7. 7 17.10.2012
Soll-Architektur: Aktives Prozess- und Applikations-Monitoring
Bank-ProzesseBank-ApplikationenInfrastruktur
Fachliche Konfiguration
durch Fachteams
Fachliche Konfiguration
durch Fachteams
Fachliche Konfiguration
durch Fachteams
Aktive Monitoring-Plattform im Command Center
Corporate IT Monitoring bei der ING-DiBa AG

8. 8 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Agenda
■ Ziele und Architektur
■ Evaluation der Alternativen
■ Pilotierung und Durchführung
■ Live-Sample
■ Zusammenfassung und Diskussion

9. 9 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Evaluation der Alternativen
Alternative 1: Passiver Betrieb mit Nagios/Icinga
Austausch von Active Friend
Alternative 2: Aktiver Betrieb mit Nagios/Icinga
Aufbau einer aktiven Überwachung, schrittweiser Übergang
Alternative 3: HP Business Service Management
Aufbau einer aktiven Überwachung, Fokus Prozess Monitoring
Kriterien: Flexibilität, Anwendungsmonitoring, Integrationsaufwand,
Wartung und Lizenzkosten

10. 10 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Projekt-Zeitplan
12/09 03/10 06/10 09/10 12/10 03/11 06/11 09/11 12/11 03/12 06/12 09/12
Suche nach
Alternativen
Pilotierung
Alternativensuche
Migration Teil 1
Suche nach
Alternativen
abgeschlossen
Meilensteine
Pilotierung
abgeschlossen
50% der
Überwachungen
migriert
Projekt-
abschluss
Pilotierung
Migration Teil 2
Teil 1
Teil 2

11. 11 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Agenda
■ Ziele und Architektur
■ Evaluation der Alternativen
■ Pilotierung und Durchführung
■ Live-Sample
■ Zusammenfassung und Diskussion

12. 12 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
■ Pilotierung
› Fokus: Lauffähigkeit des aktiven Monitoring-Konzepts und der Service-Prozesse unter
realen Bedingungen testen
› Pilotierung auf der späteren Produktionshardware
■ Livestellung
› Komplette Neuinstallation mit Erfahrungen aus Pilotierung
› Migration nach Teams (26/4)
› Vorgehen: Kickoff, Feinplanung je Team, Endekriterien
› Maximal 3 Migrationsbranches parallel
› Beginn der Migration mit Pilotteilnehmern
Konzeption Pilotierung und Livestellung

13. 13 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Architektur des Icinga-Systems
■ Cluster für Integrations- u. Produktions-Umgebung
■ Betriebssystem Linux Red Hat
■ Cluster-Lösung Pacemaker
■ Datenhaltung lokal und gespiegelt (DRBD)
■ Command Center ist Application-Owner
■ Persistenz
› Zunächst: Anbindung an Multi-Instanz-DB (Oracle)
› Wechsel in 09/12 auf MySQL lokal und gespiegelt
Aufbau Cluster

14. 14 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Konfiguration der Applikation Icinga und Icinga-Web
■ Installation
› Icinga Core (1.3  1.7.2), Icinga-Web (1.3  1.8)
› Add-ons: EventDB, PNP4Nagios, LConf
■ Starker Fokus auf Benutzerfreundlichkeit
› Aggregation und automatische Filterung von Events
› Vereinfachung von Workflow
› Ausblendung von Funktionen, vorbelegte Felder
■ Top-Level View
› Drill-Down mit Event-Filterung
› Statusorientierte Anzeige (Farben, Effekte, Ausblendung)
› Integration der EventDB, VA, Copy2Clip (Icinga Web/ EDB)
› Editor: Baumstruktur, Einbindung an Host, Services und Gruppen

15. 15 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Icinga-Web und Top-Level-View

16. 16 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Fachliche Zentralisierung des Monitoring Prozesses
■ Vorgaben an Monitoring Prozess durch CC
› Verknüpfung Überwachung mit Verfahren
› Ausfallsicherheit bei Einsatz 3rd Party Monitoring
› Organisatorische Anforderungen des CC
■ Nutzung verschiedener Umgebungen
› Entwicklung (je Team)
› Test (je Team)
› Integration (CC)
› Produktion (CC)
■ Fachliche Verantwortung bleibt bei
den jeweiligen Fachteams

17. 17 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Projekt-Zeitplan
12/09 03/10 06/10 09/10 12/10 03/11 06/11 09/11 12/11 03/12 06/12 09/12
Suche nach
Alternativen
Pilotierung
Alternativensuche
Migration Teil 1
Suche nach
Alternativen
abgeschlossen
Meilensteine
Pilotierung
abgeschlossen
50% der
Überwachungen
migriert
Projekt-
abschluss
Pilotierung
Migration Teil 2
Teil 1
Teil 2

18. 18 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Agenda
■ Ziele und Architektur
■ Evaluation der Alternativen
■ Pilotierung und Durchführung
■ Live-Sample
■ Zusammenfassung und Diskussion

19. 19 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Screenshots

20. 20 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Screenshots

21. 21 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Screenshots

22. 22 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Screenshots

23. 23 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Agenda
■ Ziele und Architektur
■ Evaluation der Alternativen
■ Pilotierung und Durchführung
■ Live-Sample
■ Zusammenfassung und Diskussion

24. 24 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Ergebnis der Migration
Ausgangspunkt 2010
■ Ca. 1.500 Server (passiv)
■ 10.000 Messpunkte
■ 100 User
■ 2.000 Events pro Tag
Icinga 2012
■ 3.000 Server (Hosts)
■ 27.000 Messpunkte (Services)
■ Ca. 350 User
■ 4.000 Events pro Tag

25. 25 17.10.2012 Corporate IT Monitoring bei der ING-DiBa AG
Fazit der Migration auf das Monitoring-System Icinga

Monitoring- und Service-Prozesse neu gestaltet
Kosten- & Zeitplan eingehalten
Modernes, flexibles Monitoring-System implementiert
Bei Fragen stehe ich Euch gern zur Verfügung:
Dr. Sven Wohlfarth
s.wohlfarth@ing-diba.de
+49.151.16733610