Wurden in der Vergangenheit, bedingt durch die analoge lineare Produktion, immer wieder rein proprietäre Ansätze gewählt, um ein umfassendes jedoch in der Regel systembezogenes Monitoring zu etablieren, haben sich in den vergangenen Jahren mit dem Siegeszug der Digitalen Produktion auch die technischen Voraussetzungen für ein standardisiertes Monitoring auf Basis SNMP immer mehr durchgesetzt. Anhand der Entstehungsgeschichte eines Proof of Concept und dem ersten Einsatz auf Basis Nagios wird der Werdegang einer heute an den Hauptstandorten Bonn und Berlin geclusterten Icinga Lösungsarchitektur vorgestellt. Insbesondere werden Erfahrungen mit Clustering, dem LConf / LConf Cronk und dem BPV / BPV Editor kritisch beleuchtet und zukünftige Potentiale aufgezeigt. Neben infrastrukturellen Icinga-Themen sollen selbstverständlich Spezialthemen aus den Bereichen Studioproduktion, Sendeabwicklung und Ausstrahlung nicht zu kurz kommen.

1. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der Deutschen Welle

2. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der Deutschen Welle
Deutsche Welle „Eine Rundfunkanstalt – Das sind wir“
Geschäftsprozesse „Beispiel DW-TV“
Studioimpressionen
Icinga Monitoring bei der Deutschen Welle
 Der Ursprung
 Systemdesign
 TV Komponente Lynx
 mail2eventDB
 Anforderungen & Wunschliste

3. | Technik Support | Holger Daasch | Projektbüro
Deutsche Welle – Eine Rundfunkanstalt
Was ist die Deutsche Welle
• Rundfunkanstalt nach Bundesrecht
• Finanzierung über Ministerium Kultur und Medien
Jährliche Etat: ca. 270 Millionen Euro
• „Chef“ ist ein gewählter Intendant
• Rundfunk- und Verwaltungsrat als Aufsichtsgremien
• Auftrag
• Deutschland als europäisch gewachsene Kulturnation und freiheitlich
verfassten demokratischen Rechtsstaat verständlich machen. Und das
Verständnis und den Austausch der Kulturen und Völker fördern.

4. | Technik Support | Holger Daasch | Projektbüro
Deutsche Welle: Das sind wir
• Die „Sparten“ DW-TV / DW-Radio / DW-WORLD.DE / DW-AKADEMIE
• Standorte: Bonn, Berlin – Außenstudios in Washington, Brüssel und Moskau
• Werte und Visionen – Das Leitbild
• Wir produzieren Fernseh-, Hörfunk- und Internet-Angebote in Deutsch
und vielen weiteren Sprachen für Menschen im Ausland.
• Wir vermitteln deutsche und andere Sichtweisen.
• Wir fördern den Dialog der Kulturen und setzen uns für
Völkerverständigung und Toleranz ein.
• Wir vermitteln die Werte freiheitlicher Demokratie und setzen uns für
die Menschenrechte ein.
Mehr unter: www.dw-world.de

5. | Technik Support | Holger Daasch | Projektbüro

6. | Technik Support | Holger Daasch | Projektbüro
Iciniga Monitoring bei der DW - Studio

7. | Technik Support | Holger Daasch | Projektbüro
Iciniga Monitoring bei der DW - Regie

8. | Technik Support | Holger Daasch | Projektbüro
Incinga Monitoring bei der DW – Kamera

9. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – Hardware & Anwendungen
• TV Technologie
• Kreuzschienen (Signalverteiler)
• Evertz Multiviewer, Lynx Signalverteiler, Transportstromanalyser
• Hybridsysteme
• VPMS, DIAS, Media Grid, Orad, Avid, Mittschnittsysteme
• Teleprompter, Agenturen, Filetransfer, Encoder, Cutlistserver
• Infrastrukturmonitoring
• Server, Cisco und Brocade Komponenten, Racks, alle OS und
Dienste, Massenspeicher HP EVA, Tivoli, Jobs, Riverbed
Hoher Anteil Passivmonitoring bei betriebswichtigen Anlagen

10. | Technik Support | Holger Daasch | Projektbüro
• Globales Alarm System orientiert an proprietären Lösungen
• Hoher Aufwand für Implementierung und Betrieb vieler
Einzelsysteme
• Keine globale Konfiguration und Alarmierung, etc.
• Anforderungskatalog, Marktanalyse, Vorauswahl
• Pilotierung mit Nagios 3.0.x
• Idee einer zentralen Plattform ggf. mit Umbrella (BPV & NagVis) zur
Integration weiterer Anwendungen
Icinga Monitoring bei der DW – Der Ursprung

11. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – Systemdesign alt

12. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – Fakten Setup
• 1200 Hosts & 9.000 Service Checks / Midrange Server
• Icinga Core & Icinga Web 1.3
• Pilotierung und Patching 1.5.2 / Parallelinstallation
• Pilotierung NagVis 1.6rc3 – Aktuell 1.5.5
• Nagios AddOn BPV 0.9.6
• pnp4nagios 0.6.10
• Performanceoptimierung mit Alternative PHP Cache (APC)

13. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – Systemdesign
EMS (Enterprise Monitoring) Systemdesign
Cluster Komponenten: Corosync, Pacemaker, DRBD – SLES 11 SP1
ems01 ems02 emsdb
Cluster Dienste Icinga, npcd, IP Adressen,
Lynxdaemon
MySQL DB Icinga, Icinga-web,
eventDB
Aktive Dienste MySQL, apache2, SNMP,
Syslog-ng, ido2db,
mail2eventDB, Postfix
DRBD Icinga, pnp4nagios, Nagvis
Icinga-web, nagiosbp
 Jasper Report Server
 Lconf (LDAP Repl.)
 Backup Instanz
 MySQL Slave zu ems02
• eventDB
• icinga
• icingaweb
• jasperserver

14. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – TV Komponenten Lynx / Evertz

15. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – TV Komponente Lynx Traphandling
- snmptrap: .1.3.6.1.4.1.14755.3.1 Normal "Status Events"- 1 0 0 7
Wrong Type (should be IpAddress): "C0 A8 4B DE "
192.168.75.222:1.0.0.7 2 error 2 on SDI Input 1: No Input DVD5620
HD/SD DigitalVideoDAmp 2243
- Hilfestellung OK-Meldung: snmptrap: .1.3.6.1.4.1.14755.3.1 Normal
"Status Events"- 1 0 0 7 Wrong Type (should be IpAddress): "C0 A8
4B DE " 192.168.75.222:1.0.0.7 2 cleared 2 off SDI Input 1: No Input
-> OK DVD5620 HD/SD DigitalVideoDAmp 2243
Kaskadiertes Bussystem (Stack -> Frame)

16. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – TV Komponente Lynx

17. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – TV Komponente Lynx Lconf

18. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – TV Komponente Lynx
• Lynx Daemon liest Lconf Konfiguration
• Erhält über snmptrapd alle Traps der Vendor ID
• Verarbeitet erhaltene Traps
• Schreibt entsprechend der Konfig in Nagios Queue

19. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – eventDB
Mail

20. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – eventDB auf Basis mySQL

21. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – mail2eventDB Work in Progress
- MTA (Postfix)
- Adressierung über Subdomain, der Lokal-Teil der Mail-Adresse
(xyz@...) füllt die "program" Spalte der EventDB
- EventDB Mail Agent / MIME Parser
- Erhält die Mails von Postfix per STDIN, wertet Header und Body
aus. Besondere Herausforderungen dabei:
- Received Header zerlegen, Server-IP und -Hostname
ermitteln
- Subject ist immer Bestandteil der "Message", bei Multipart-
Mails wird, zudem der entsprechende Text-Teil benutzt

22. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – mail2eventDB Hooks
Hooks
- Hooks ermöglichen es, abhängig von beliebigen Filtern eine
eigene Logik zu implementieren.
- Hooks erhalten Zugriff auf die Mail-Struktur und können
Einfluss auf die daraus resultierenden EventDB-Einträge haben

23. | Technik Support | Holger Daasch | Projektbüro
Icinga Monitoring bei der DW – mail2eventDB Hooks
- Hooks können Nachrichten ausfiltern
- Hooks können Nachrichten natürlich auch selbst
weiterverarbeiten
- Angedacht für Harris: der entsprechende Hook liefert den Mail-
Inhalt, entsprechend aufbereitet an einen LYNX-ähnlichen
Daemon.

24. | Technik Support | Holger Daasch | Projektbüro
Incinga Monitoring bei der DW – Anforderungen I
•Flexible Zielgruppenorientierung (Techniker /
Nichttechniker)
• Dezentrale Administration & Monitoring in 15 Fachteams
•Konsequente Ausrichtung von Iicinga-Web
• Keep-It-Simple für den Admin
(RollOut, Adaption u. Update)
• Intuitiv und ergonomisch für den „Anwender“

25. | Technik Support | Holger Daasch | Projektbüro
Incinga Monitoring bei der DW – Anforderungen II
•Selektive Servicezuordnung z. B. bezogen auf Hardware
und Anwendungen für unterschiedliche interne Kunden
(GUI & Alarm.) durch mögliche Kombination von
• Hostgruppen und
• Custom Vars
•Verbesserung BPV Cronk - der Bearbeitungsstatus des
Services muss angezeigt werden
•Verbesserung des BPV Editors, sonst keine „vi-
Alternative“

26. | Technik Support | Holger Daasch | Projektbüro
Incinga Monitoring bei der DW – Wunschliste I
•Bessere Integration BPV
Z. b. Ackn. Und Downtimes auf Host bzw. Service „vererbbar“
•Host- & Action URL (als Patch im Code)
•Weitere Optimierungen eventDB (SNMP)
•Installations- und Updateroutine
(Modulabhängigkeiten, Patches)

27. | Technik Support | Holger Daasch | Projektbüro
Incinga Monitoring bei der DW – Wunschliste II
•Kontextsensitive Hilfe an neuralgischen Punkten für
„Nicht Insider“
•Hilfetext bei Spaltenkonfiguration
•Menü „User Preferences“, Meldungen n. vorh. Perfdata
•QS (z. B. Übersetzungsfehler – Delete User / Cronk)

28. | Technik Support | Holger Daasch | Projektbüro
Vielen Dank!
www.dw-world.de