SlideShare ist ein Scribd-Unternehmen logo
Icinga2 Scale-Out
Monitoring großer Umgebungen
09.11.2018
Jens Schanz
Müller Holding Ltd. & Co. KG Seite 2
Jens Schanz
●Beruflich
●Teamleiter 2nd Level Support „Linux- und Filials
●Linux- / Unix-Admin seit 1999
●Senior System Engineer und Infrastructure Arch
●Privat
●Verheiratet, 2 Kinder, keine Zeit
●Smarthome-Builder
● jens@jensschanz.de
● @jensschanz
Über mich
Müller Holding Ltd. & Co. KG Seite 3
Müller in Zahlen
Firmenname: Müller Holding Ltd. & Co. KG
Firmensitz (Verwaltung): 89081 Ulm-Jungingen,
Albstraße 92
Geschäftsführer: Erwin Müller
Zahl der Mitarbeiter: rund 35.000 (überwiegend
Fachkräfte)
Zahl der Auszubildenden: rund 950
Gesamtzahl Filialen: derzeit 828, davon 540 in
Deutschland, 55 in der Schweiz, 81 in
Österreich, 12 in Spanien, 18 in Slowenien, 36
in Ungarn, 86 in Kroatien
Filialen mit Naturshop: derzeit 210 davon 132 in
Deutschland, 8 in der Schweiz, 37 in Österreich, 8
in Slowenien 13 in Ungarn und 12 in Kroatien
Filialgröße: 400 bis über 4.500 m² Verkaufsfläche
Gesamtlagerfläche: 246.416 m², davon 17.998 m²
Lager Ungarn, 9.251 m² Lager Schweiz, 1.080 m²
Lager Spanien
Arealgröße Konzern: 546.945 m²
Abteilungen / Fachmärkte
Drogerie (ca. 50.000 Artikel)
Multi-Media (ca. 42.000 Artikel)
Parfümerie (ca. 28.000 Artikel)
Spielwaren (ca. 20.000 Artikel)
Schreibwaren (ca. 19.000 Artikel)
Haushalt und Ambiente (ca. 11.000 Artikel)
Strümpfe (ca. 7.500 Artikel)
Naturkosmetik (ca. 4.000 Artikel)
Handarbeit (ca. 2.400 Artikel)
OTC (ca. 1.500 Artikel)
Bio Nahrung (ca. 3.000 Artikel)
Sortimentsvielfalt:
ca. 188.000 Artikel
Müller Holding Ltd. & Co. KG Seite 4
Agenda
- Müller IT in Zahlen -
- Projekt-Historie -
- Anforderungen -
- Umsetzung -
- Ausblick -
Müller Holding Ltd. & Co. KG Seite 5
Müller IT in Zahlen
•3 Rechenzentren am Standort Ulm
–(noch) 4 getrennte Monitoring-Umgebungen
•1x Icinga
•3x Icinga2
–ca. 1800 Linux-Hosts
•~ 52.000 Service-Checks
–ca. 500 Windows-Hosts
•~ 2.200 Service-Checks
–ca. 650 aktive Netzwerkkomponenten
•~ 2700 Service-Checks
Müller Holding Ltd. & Co. KG Seite 6
Müller IT in Zahlen
•~ 830 Filialen
–ca. 17.000 Hosts
–ca. 207.000 Services
•ca. 2.700 Systeme vom Typ „PC“
•ca. 4.300 Systeme vom Typ „Kasse“
•ca. 3.500 Systeme vom Typ „EC-Terminal“
•ca. 2.450 Systeme vom Typ „Drucker“
•ca. 1.800 Systeme vom Typ „Router“
•ca. 2.400 System vom Typ „Switch“
Müller Holding Ltd. & Co. KG Seite 7
Historie
Historie
Müller Holding Ltd. & Co. KG Seite 8
Historie
•2002
–Projektbeginn und Entscheidung für Nagios
•2003
–„Proof of Concept“ in 5 Filialen
•2004
–Rollout Nagios 1.2 in ca. 350 Filialen mit
selbstgeschriebenem Transport-Modul
•2008
–Umstellung von Nagios 1.2 auf Nagios 3 mit ndoutils als
DB-und „Transport“-Backend und selbstgeschriebenem
zentralen „Müller-Monitoring-Center“
•2009
Müller Holding Ltd. & Co. KG Seite 9
Historie
•2011
–Migration auf Icinga
•2014/2015
–Migration auf Icinga2
•Umstellung aller 800 Filialen
•Migration den zentralen Icinga-Server auf Icinga2
•2015/2016
–Umstellung auf „Top-Down-Config-Sync“ auf den Filial-
Systemen
•2018
–Scale-Out auf mehrere Satelliten
Müller Holding Ltd. & Co. KG Seite 10
Anforderungen
Anforderungen
an
ein Monitoring-System
Müller Holding Ltd. & Co. KG Seite 11
Anforderungen (fachlich)
„Wir müssen merken,
wenn etwas nicht funktioniert
NICHT der Kunde!“
•Monitoring möglichst aller an den Business-Prozessen
beteiligten Komponenten und Services
•Verfügbarkeitsauswertung einzelner Komponenten
•Erkennung fehlerhafter Komponenten die mehrfach
Störungen aufweisen
•Hilfe liefern bei der Beseitigung von Incidents
•„Three-green“-Philosophie bei Software-Auslieferungen
Müller Holding Ltd. & Co. KG Seite 12
Anforderungen (technisch)
Keep it Simple!
•Hoher Automatisierungsgrad
–ca. 17.000 Hosts (Assets)
–ca. 200.000 Service-Checks
•Erweiterbar, Skalierbar und Flexibel
–7 Länder
–>800 Filialen
–Zentrales Management
–(instabile) WAN-Abindung über DSL, LTE, etc.
•Einfach zu verwalten und zu betreiben
–Kein qualifizierter Zugriff vor Ort möglich
Müller Holding Ltd. & Co. KG Seite 13
Umsetzung
Umsetzung (fachlich)
Müller Holding Ltd. & Co. KG Seite 14
Umsetzung (fachlich)
Monitoring möglichst aller an den Business-Prozessen
beteiligten Komponenten und Services
•„Manage Infrastructures NOT Servers“
•Klassifizierung der Systeme in Klassen
–PCs, Kassen, Switche, Router, etc.
•CMS / CMDBs als (gemeinsame) Quelle möglichst aller
Assets
•Automatisiertes anlegen und entfernen von Assets
–Saisonkassen, Switchaustauch (2x 24 Port gegen 1x 48
Port) → Soll-Zustand abbilden und überwachen
Müller Holding Ltd. & Co. KG Seite 15
Umsetzung (fachlich)
Monitoring möglichst aller an den Business-Prozessen
beteiligten Komponenten und Services
Müller Holding Ltd. & Co. KG Seite 16
Umsetzung (fachlich)
Verfügbarkeitsauswertung einzelner Komponenten
•Aufgrund der Menge Hosts und Services kein klassisches
SLA-Monitoring möglich
•Daten sammeln um Fehler und Ursachen erklärbar zu
machen
•Anomalien sichtbar machen
Müller Holding Ltd. & Co. KG Seite 17
Umsetzung (fachlich)
Verfügbarkeitsauswertung einzelner Komponenten
Müller Holding Ltd. & Co. KG Seite 18
Umsetzung (fachlich)
Erkennung fehlerhafter Komponenten die mehrfach
Störungen aufweisen
•Schnelle Identifizierung und Beseitigung wiederkehrender
Hardware-Probleme über die Historie im Icingweb2
•Schnelles Erkennen von Software-Problemen (z.B.
Druckerfehler, Scannerfehler, …)
•Gruppierung von Fehlern (nach Hardware, etc.) um
problematische Komponenten zu erkennen
Müller Holding Ltd. & Co. KG Seite 19
Umsetzung (fachlich)
Erkennung fehlerhafter Komponenten die mehrfach
Störungen aufweisen
Müller Holding Ltd. & Co. KG Seite 20
Umsetzung (fachlich)
Hilfe liefern bei der Beseitigung von Incidents
•Anbindung Ticket-System an Icingaweb2
–Verlinkung ins Ticket-System über „icingaweb2-module-
generictts“
•Anzeige des Icinga2 Host- und Servicestatus der CMDB-
Komponente im Ticketsystem (aktuell noch über iframe,
künftig direkt über API und JSON)
•Hilfestellung bieten bei den Service-Checks
Müller Holding Ltd. & Co. KG Seite 21
Umsetzung (fachlich)
Hilfe liefern bei der Beseitigung von Incidents
Müller Holding Ltd. & Co. KG Seite 22
Umsetzung (fachlich)
Hilfe liefern bei der Beseitigung von Incidents
•„Standard“-Plugins entsprechend so mit Informationen
erweitern, dass ein(e) Nicht-Techniker(in) im User-Helpdesk
die Ausgabe versteht und handeln kann.
•check_smart vs. check_smart_extended
Müller Holding Ltd. & Co. KG Seite 23
Umsetzung (fachlich)
Hilfe liefern bei der Beseitigung von Incidents
•Bemerkungsfeld im Icingaweb2 nutzen und Hilfestellung zur
Bearbeitung oder Beseitigung des Fehlers geben
Müller Holding Ltd. & Co. KG Seite 24
Umsetzung (fachlich)
„Three-green“-Philosophie bei Software-Auslieferungen
•Servicegruppen bauen und prüfen ob Änderungen die
gewünschte Wirkung haben.
Müller Holding Ltd. & Co. KG Seite 25
Umsetzung (fachlich)
Herausforderungen
•Informations-Overkill ...
Müller Holding Ltd. & Co. KG Seite 26
Umsetzung (fachlich)
Herausforderungen
•Informations-Overkill durch …
–… volatile Hosts und Services
–… Services die nicht im eigenen Zuständigkeitsbereich
liegen, aber wichtig für die Business-Prozesse sind (z.B.
Fiskalisierung, Kartenzahlungsprovider, …)
–… die Menge an Hosts und Services. Multiplizierung der
Probleme.
–… 24x7 Betrieb mit nicht 24x7-Komponenten und „alte“
Hardware
Müller Holding Ltd. & Co. KG Seite 27
Umsetzung (fachlich)
Herausforderungen
–Wirklich wichtige Dinge herausfiltern, welche unmittelbar
Auswirkungen auf den Geschäftsbetrieb haben (z.B.
Kassensystem nicht erreichbar, Kassensoftware läuft nicht,
etc.).
–Den Rest nur als Information nutzen, wenn ein Incident
gemeldet wird ...
•„Alle Festplattenfehler auf allen Systemen zu beseitigen ist
ein Ding der Unmöglichkeit“
–Nur unbedingt notwendige Dinge automatisiert ins Ticket-
System übernehmen
–Automatische Alarmierung nur für kritische Komponenten
(z.B. Router, Switche, …)
Müller Holding Ltd. & Co. KG Seite 28
Umsetzung
Umsetzung (technisch)
Müller Holding Ltd. & Co. KG Seite 29
Umsetzung (technisch)
Software-Stack
•Kein Feenstaub, nur 5 Komponenten:
–Icinga2 (Core-Komponente, Server und Agent gleichzeitig)
–Icingaweb2 (Visualisierung)
–Idoutils (Historie)
–InfluxDB (Metriken)
–Grafana (Metriken)
Müller Holding Ltd. & Co. KG Seite 30
Umsetzung (technisch)
Hoher Automatisierungsgrad
•Anbindung eines CMS / mehrerer CMDBs an Icinga2 über
Icingaweb2-Director
–Möglichkeiten der Importquellen (SQL, LDAP, Fileshipper,
…) nutzen
–Unpassende Daten mit „Modifikatoren“ manipulieren
–Konsolidierung der Importquellen über
Synchronisationsregel
Müller Holding Ltd. & Co. KG Seite 31
Umsetzung (technisch)
Hoher Automatisierungsgrad
•Möglichkeit der Importquellen und Synchronisationsregel
vollständig ausnutzen
Müller Holding Ltd. & Co. KG Seite 32
Umsetzung (technisch)
Hoher Automatisierungsgrad
•Modifikatoren im Import-Prozess nutzen um Daten
anzupassen oder anzureichern
Müller Holding Ltd. & Co. KG Seite 33
Umsetzung (technisch)
•„Manage Infrastructures
NOT Servers“
•Möglichst Host-Templates in
unterschiedlicher
Ausprägung generieren (und
vererben).
•Custom-Vars intensiv nutzen
und Host-Objekte anreichern
object Host "Kasse 1" {
import "template-host-linux-kasse"
Address = "127.0.0.1"
notes = "Filiale 1334 | Blaubeurerstr. 95 | 89077 Ulm | +49 731 /
93299-0"
groups = [ "F1334", "Umgebung 1" ]
vars.adress_city = "Ulm"
vars.contact_mail = "...@mueller.de"
vars.country_long = "Deutschland"
vars.country_short = "DE"
vars.dependencies = [
"Switch 1",
"Switch 2",
"Switch 3"
]
vars.store = "1334"
vars.vmcode = "KASSE01"
}
Müller Holding Ltd. & Co. KG Seite 34
Umsetzung (technisch)
•Host-Templates „vererben“
möglich → Vorsicht!
–z.B. Variablen die für alle
Host-Checks benötigt
werden, wie z.B. Ping /
ICMP-Check
Müller Holding Ltd. & Co. KG Seite 35
•Service-Sets anstelle
einzelner Zuweisungen
verwenden
•Evtl. Service-Sets in
unterschiedlicher
Ausprägung „stapeln“ und
kombinieren
•Apply-Regeln nutzen und
Service-Sets zuweisen
apply Service "Kasse - Fiskalisierung: Modul" {
• import "pos-at-fiscal-module"
assign where match("kasse.*.domain.tld", host.name)
&&
host.vars.country_long == "Österreich"
import DirectorOverrideTemplate
}
Umsetzung (technisch)
Müller Holding Ltd. & Co. KG Seite 36
Umsetzung (technisch)
Erweiterbar, Skalierbar und Flexibel
•Icinga2-Stack ausnutzen
–Master
–Satelliten
–Agents
•Aber → High-Availability über Virtualisierungsmittel oder
Infrastruktur umsetzen
•Top-Down-Config-Sync nutzen
Müller Holding Ltd. & Co. KG Seite 37
Umsetzung (technisch)
Erweiterbar, Skalierbar und Flexibel
https://icinga.com/docs/icinga2/latest/doc/06-distributed-monitoring/
Filialen
Kroatien
Zone AT Zone DEZone CH Zone ES Zone HU Zone SI Zone HRZone ST
Zone AT Zone DEZone CH Zone ES Zone HU Zone SI Zone HRZone ST
director
ido
influx
Icingaweb2
Icingaweb2
Load-Balancer
Grafana
Filialen
Staging
Filialen
Österreich
Filialen
Schweiz
Filialen
Spanien
Filialen
Deutschland
Filialen
Ungarn
Filialen
Slowenien
Icinga2
Master
Müller Holding Ltd. & Co. KG Seite 38
Umsetzung (technisch)
Erweiterbar, Skalierbar und Flexibel
•Herausforderungen
–Hardware
•CPU, RAM und Disk-I/O
–Software
•MariaDB → Tuning für möglichst viele Queries/Second
(qps) → Netzwerk-Traffic beachten!
•Icingaweb2 → ido-Schema → Abfragen / Index
–Fachlich
•Anzahl Service-Checks pro Minute → Inserts, Updates und
Deletes auf der DB → Performance
Müller Holding Ltd. & Co. KG Seite 39
Umsetzung (technisch)
Erweiterbar, Skalierbar und Flexibel
•Herausforderungen
–Anzahl Verbindungen zum Master
•Not all Endpoints can't reconnect due to "Client TLS
handshake failed" error after "reload or restart" #6517
(https://github.com/Icinga/icinga2/issues/6517)
•→ Fixed in 2.10.0!
–Maximal 2 „Kommando-Endpunkte“ pro Zone möglich
•>2 ergibt Warnung im Logfile und ziemlich wirres Zeugs
–Check-Scheduling bei SNMP-Checks (u.a.
check_nwc_health)
Müller Holding Ltd. & Co. KG Seite 40
Umsetzung (technisch)
Herausforderungen
•Endpoint → logduration → Bandbreite!
object Endpoint "icinga2-client1.localdomain" {
host = "192.168.56.111"
port = 5665
log_duration = 1d
}
Optional. Duration for keeping replay logs on connection loss. Defaults to 1d
(86400 seconds). Attribute is specified in seconds. If log_duration is set to 0,
replaying logs is disabled. You could also specify the value in human readable
format like 10m for 10 minutes or 1h for one hour.
•Abwärts- und Inkompatibilität(en)
•Agent lassen sich ggf. auf alten Systemen nicht mehr
kompilieren
•Icinga2 vs. Icingaweb2-Director
Müller Holding Ltd. & Co. KG Seite 41
Umsetzung (technisch)
Herausforderungen
•Notifications
–Checks laufen 24x7
–Notifications nur zu Servicedesk-Zeiten zwischen 06:00
und 22:00 Uhr oder nur für Tagschicht zwischen 06:00 und
15:30 Uhr oder Freitag irgendwas komplett anderes ...
•Aber auch nur wenn Host länger als 3 Stunden im Status
DOWN
apply Notification "Servicedesk - Host: Kasse (Nicht erreichbar)" to Host {
• import "notification-host-by-icinga2-valuemation-template"
• times = {
• begin = 3h
• }
• period = "Servicedesk (Tag-Schicht) - [Mo-Do: 06:00 - 15:30, Fr: 06:00 - 13:00]"
• assign where match("kassen*.*.domain.tld", host.name)
Müller Holding Ltd. & Co. KG Seite 42
Umsetzung (technisch)
Einfach zu verwalten und zu betreiben
•Automatisierung Client-Installation
–Minimale Agent-Konfiguration
•Minimale Features aktivieren
–Api
–Checker
–Mainlog
•Api-User anlegen
•Enpunkt(e) und (Director-)Zone(n) konfigurieren
Müller Holding Ltd. & Co. KG Seite 43
Umsetzung (technisch)
Einfach zu verwalten und zu betreiben
•Keine lokale und seperate Konfiguration auf den Clients
vorhalten
–Keine zusätzlichen conf-Dateien
–Kein NRPE!
Müller Holding Ltd. & Co. KG Seite 44
Umsetzung (technisch)
Herausforderung
•(Eigene) Monitoring-Plugins
–Installation über Repository → Apt und Zypper nutzen
–Build-Prozess aufsetzen und eigene RPM- oder Deb-
Pakete aus VCS-Projekt erstellen und im Repository
bereitstellen
•Abhängigkeiten (Router, Switches)
–Dependency über Custom-Vars und Conf-Datei
–apply Dependency "host-to-parent-router" for (parent in host.vars.dependencies) to Host {
– parent_host_name = parent
– disable_notifications = true
– ignore_soft_states = false
– assign where host.vars.dependencies && match("router.*.domain.tld", host.name)
Müller Holding Ltd. & Co. KG Seite 45
Umsetzung (technisch)
Fazit
Müller Holding Ltd. & Co. KG Seite 46
Gegenwart
Müller Holding Ltd. & Co. KG Seite 47
Zukunft
Müller Holding Ltd. & Co. KG Seite 48
Fragen?
- Danke für die Aufmerksamkeit -
… Fragen?

Weitere ähnliche Inhalte

Ähnlich wie OSMC 2018 | Icinga2 Scale-Out – Monitoring großer Umgebungen by Jens Schanz

Continuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF ProjektenContinuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF Projektenenpit GmbH & Co. KG
 
Splunk für alle: Optimierte Prozesse für eine zuverlässige und störungsfreie ...
Splunk für alle: Optimierte Prozesse für eine zuverlässige und störungsfreie ...Splunk für alle: Optimierte Prozesse für eine zuverlässige und störungsfreie ...
Splunk für alle: Optimierte Prozesse für eine zuverlässige und störungsfreie ...Splunk EMEA
 
SMART SUPPORT / BPM Veranstaltung Berlin 2009 10 15 - BPM
SMART SUPPORT / BPM Veranstaltung Berlin 2009 10 15 - BPMSMART SUPPORT / BPM Veranstaltung Berlin 2009 10 15 - BPM
SMART SUPPORT / BPM Veranstaltung Berlin 2009 10 15 - BPMNETFOX AG
 
FME als zentrales Element der GIS-Infrastruktur in der Autonomen Provinz Bozen
FME als zentrales Element der GIS-Infrastruktur in der Autonomen Provinz BozenFME als zentrales Element der GIS-Infrastruktur in der Autonomen Provinz Bozen
FME als zentrales Element der GIS-Infrastruktur in der Autonomen Provinz BozenSafe Software
 
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...NETWAYS
 
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?FromDual GmbH
 
T&p lisa.lims - metras
T&p   lisa.lims - metrasT&p   lisa.lims - metras
T&p lisa.lims - metraswernerweninger
 
Webcast: Prozess Monitoring in Azure (und on premise) mit dem IntelliMon
Webcast: Prozess Monitoring in Azure (und on premise) mit dem IntelliMonWebcast: Prozess Monitoring in Azure (und on premise) mit dem IntelliMon
Webcast: Prozess Monitoring in Azure (und on premise) mit dem IntelliMonQUIBIQ Hamburg
 
BITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
BITKOM_Präsentation Data Intelligence Hub -Schwarz-KourilBITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
BITKOM_Präsentation Data Intelligence Hub -Schwarz-KourilStefan Schwarz
 
Nefos - Effizienzplus für den Vertrieb: Weltweite Salesforce-Einführung bei...
Nefos - Effizienzplus für den Vertrieb: Weltweite Salesforce-Einführung bei...Nefos - Effizienzplus für den Vertrieb: Weltweite Salesforce-Einführung bei...
Nefos - Effizienzplus für den Vertrieb: Weltweite Salesforce-Einführung bei...Salesforce Deutschland
 
OSMC 2010 | Neues bei den Nagios Business Process AddOns by Bernd Strößenreuther
OSMC 2010 | Neues bei den Nagios Business Process AddOns by Bernd StrößenreutherOSMC 2010 | Neues bei den Nagios Business Process AddOns by Bernd Strößenreuther
OSMC 2010 | Neues bei den Nagios Business Process AddOns by Bernd StrößenreutherNETWAYS
 
OSMC 2013 | Monitoring als Quelle der Wahrheit im Wellendeployment einer dyna...
OSMC 2013 | Monitoring als Quelle der Wahrheit im Wellendeployment einer dyna...OSMC 2013 | Monitoring als Quelle der Wahrheit im Wellendeployment einer dyna...
OSMC 2013 | Monitoring als Quelle der Wahrheit im Wellendeployment einer dyna...NETWAYS
 
Projektsteckbrief Perlen Papier
Projektsteckbrief Perlen PapierProjektsteckbrief Perlen Papier
Projektsteckbrief Perlen Papierargvis GmbH
 
Wertstromanalyse 4.0 –Startpunkt und Roadmap zur Smart Factory
Wertstromanalyse 4.0 –Startpunkt und Roadmap zur Smart FactoryWertstromanalyse 4.0 –Startpunkt und Roadmap zur Smart Factory
Wertstromanalyse 4.0 –Startpunkt und Roadmap zur Smart FactoryLean Knowledge Base UG
 
Chancen und Potential von BPM/E
Chancen und Potential von BPM/EChancen und Potential von BPM/E
Chancen und Potential von BPM/Edluebke
 
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...Markus Flechtner
 
OSMC 2015 | Enterprise Monitoring @ Bank Vontobel AG by Marco Weber
OSMC 2015 | Enterprise Monitoring @ Bank Vontobel AG by Marco WeberOSMC 2015 | Enterprise Monitoring @ Bank Vontobel AG by Marco Weber
OSMC 2015 | Enterprise Monitoring @ Bank Vontobel AG by Marco WeberNETWAYS
 

Ähnlich wie OSMC 2018 | Icinga2 Scale-Out – Monitoring großer Umgebungen by Jens Schanz (20)

Continuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF ProjektenContinuous Delivery in Oracle ADF Projekten
Continuous Delivery in Oracle ADF Projekten
 
Splunk für alle: Optimierte Prozesse für eine zuverlässige und störungsfreie ...
Splunk für alle: Optimierte Prozesse für eine zuverlässige und störungsfreie ...Splunk für alle: Optimierte Prozesse für eine zuverlässige und störungsfreie ...
Splunk für alle: Optimierte Prozesse für eine zuverlässige und störungsfreie ...
 
SMART SUPPORT / BPM Veranstaltung Berlin 2009 10 15 - BPM
SMART SUPPORT / BPM Veranstaltung Berlin 2009 10 15 - BPMSMART SUPPORT / BPM Veranstaltung Berlin 2009 10 15 - BPM
SMART SUPPORT / BPM Veranstaltung Berlin 2009 10 15 - BPM
 
FME als zentrales Element der GIS-Infrastruktur in der Autonomen Provinz Bozen
FME als zentrales Element der GIS-Infrastruktur in der Autonomen Provinz BozenFME als zentrales Element der GIS-Infrastruktur in der Autonomen Provinz Bozen
FME als zentrales Element der GIS-Infrastruktur in der Autonomen Provinz Bozen
 
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
 
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?
 
T&p lisa.lims - metras
T&p   lisa.lims - metrasT&p   lisa.lims - metras
T&p lisa.lims - metras
 
Webcast: Prozess Monitoring in Azure (und on premise) mit dem IntelliMon
Webcast: Prozess Monitoring in Azure (und on premise) mit dem IntelliMonWebcast: Prozess Monitoring in Azure (und on premise) mit dem IntelliMon
Webcast: Prozess Monitoring in Azure (und on premise) mit dem IntelliMon
 
CWMC Insights 2020|06 - Umsetzung Industrie 4.0 mit SAP S/4HANA und SAP ME
CWMC Insights 2020|06 - Umsetzung Industrie 4.0 mit SAP S/4HANA und SAP MECWMC Insights 2020|06 - Umsetzung Industrie 4.0 mit SAP S/4HANA und SAP ME
CWMC Insights 2020|06 - Umsetzung Industrie 4.0 mit SAP S/4HANA und SAP ME
 
BITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
BITKOM_Präsentation Data Intelligence Hub -Schwarz-KourilBITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
BITKOM_Präsentation Data Intelligence Hub -Schwarz-Kouril
 
Nefos - Effizienzplus für den Vertrieb: Weltweite Salesforce-Einführung bei...
Nefos - Effizienzplus für den Vertrieb: Weltweite Salesforce-Einführung bei...Nefos - Effizienzplus für den Vertrieb: Weltweite Salesforce-Einführung bei...
Nefos - Effizienzplus für den Vertrieb: Weltweite Salesforce-Einführung bei...
 
OSMC 2010 | Neues bei den Nagios Business Process AddOns by Bernd Strößenreuther
OSMC 2010 | Neues bei den Nagios Business Process AddOns by Bernd StrößenreutherOSMC 2010 | Neues bei den Nagios Business Process AddOns by Bernd Strößenreuther
OSMC 2010 | Neues bei den Nagios Business Process AddOns by Bernd Strößenreuther
 
OSMC 2013 | Monitoring als Quelle der Wahrheit im Wellendeployment einer dyna...
OSMC 2013 | Monitoring als Quelle der Wahrheit im Wellendeployment einer dyna...OSMC 2013 | Monitoring als Quelle der Wahrheit im Wellendeployment einer dyna...
OSMC 2013 | Monitoring als Quelle der Wahrheit im Wellendeployment einer dyna...
 
Projektsteckbrief Perlen Papier
Projektsteckbrief Perlen PapierProjektsteckbrief Perlen Papier
Projektsteckbrief Perlen Papier
 
Process Monitoring mit Camunda
Process Monitoring mit Camunda Process Monitoring mit Camunda
Process Monitoring mit Camunda
 
Wertstromanalyse 4.0 –Startpunkt und Roadmap zur Smart Factory
Wertstromanalyse 4.0 –Startpunkt und Roadmap zur Smart FactoryWertstromanalyse 4.0 –Startpunkt und Roadmap zur Smart Factory
Wertstromanalyse 4.0 –Startpunkt und Roadmap zur Smart Factory
 
Chancen und Potential von BPM/E
Chancen und Potential von BPM/EChancen und Potential von BPM/E
Chancen und Potential von BPM/E
 
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...
Die Datenbank ist nicht immer Schuld - Gründe warum Datenbank-Migration schei...
 
Iico2013 handout m-herkens(1)
Iico2013 handout m-herkens(1)Iico2013 handout m-herkens(1)
Iico2013 handout m-herkens(1)
 
OSMC 2015 | Enterprise Monitoring @ Bank Vontobel AG by Marco Weber
OSMC 2015 | Enterprise Monitoring @ Bank Vontobel AG by Marco WeberOSMC 2015 | Enterprise Monitoring @ Bank Vontobel AG by Marco Weber
OSMC 2015 | Enterprise Monitoring @ Bank Vontobel AG by Marco Weber
 

OSMC 2018 | Icinga2 Scale-Out – Monitoring großer Umgebungen by Jens Schanz

  • 1. Icinga2 Scale-Out Monitoring großer Umgebungen 09.11.2018 Jens Schanz
  • 2. Müller Holding Ltd. & Co. KG Seite 2 Jens Schanz ●Beruflich ●Teamleiter 2nd Level Support „Linux- und Filials ●Linux- / Unix-Admin seit 1999 ●Senior System Engineer und Infrastructure Arch ●Privat ●Verheiratet, 2 Kinder, keine Zeit ●Smarthome-Builder ● jens@jensschanz.de ● @jensschanz Über mich
  • 3. Müller Holding Ltd. & Co. KG Seite 3 Müller in Zahlen Firmenname: Müller Holding Ltd. & Co. KG Firmensitz (Verwaltung): 89081 Ulm-Jungingen, Albstraße 92 Geschäftsführer: Erwin Müller Zahl der Mitarbeiter: rund 35.000 (überwiegend Fachkräfte) Zahl der Auszubildenden: rund 950 Gesamtzahl Filialen: derzeit 828, davon 540 in Deutschland, 55 in der Schweiz, 81 in Österreich, 12 in Spanien, 18 in Slowenien, 36 in Ungarn, 86 in Kroatien Filialen mit Naturshop: derzeit 210 davon 132 in Deutschland, 8 in der Schweiz, 37 in Österreich, 8 in Slowenien 13 in Ungarn und 12 in Kroatien Filialgröße: 400 bis über 4.500 m² Verkaufsfläche Gesamtlagerfläche: 246.416 m², davon 17.998 m² Lager Ungarn, 9.251 m² Lager Schweiz, 1.080 m² Lager Spanien Arealgröße Konzern: 546.945 m² Abteilungen / Fachmärkte Drogerie (ca. 50.000 Artikel) Multi-Media (ca. 42.000 Artikel) Parfümerie (ca. 28.000 Artikel) Spielwaren (ca. 20.000 Artikel) Schreibwaren (ca. 19.000 Artikel) Haushalt und Ambiente (ca. 11.000 Artikel) Strümpfe (ca. 7.500 Artikel) Naturkosmetik (ca. 4.000 Artikel) Handarbeit (ca. 2.400 Artikel) OTC (ca. 1.500 Artikel) Bio Nahrung (ca. 3.000 Artikel) Sortimentsvielfalt: ca. 188.000 Artikel
  • 4. Müller Holding Ltd. & Co. KG Seite 4 Agenda - Müller IT in Zahlen - - Projekt-Historie - - Anforderungen - - Umsetzung - - Ausblick -
  • 5. Müller Holding Ltd. & Co. KG Seite 5 Müller IT in Zahlen •3 Rechenzentren am Standort Ulm –(noch) 4 getrennte Monitoring-Umgebungen •1x Icinga •3x Icinga2 –ca. 1800 Linux-Hosts •~ 52.000 Service-Checks –ca. 500 Windows-Hosts •~ 2.200 Service-Checks –ca. 650 aktive Netzwerkkomponenten •~ 2700 Service-Checks
  • 6. Müller Holding Ltd. & Co. KG Seite 6 Müller IT in Zahlen •~ 830 Filialen –ca. 17.000 Hosts –ca. 207.000 Services •ca. 2.700 Systeme vom Typ „PC“ •ca. 4.300 Systeme vom Typ „Kasse“ •ca. 3.500 Systeme vom Typ „EC-Terminal“ •ca. 2.450 Systeme vom Typ „Drucker“ •ca. 1.800 Systeme vom Typ „Router“ •ca. 2.400 System vom Typ „Switch“
  • 7. Müller Holding Ltd. & Co. KG Seite 7 Historie Historie
  • 8. Müller Holding Ltd. & Co. KG Seite 8 Historie •2002 –Projektbeginn und Entscheidung für Nagios •2003 –„Proof of Concept“ in 5 Filialen •2004 –Rollout Nagios 1.2 in ca. 350 Filialen mit selbstgeschriebenem Transport-Modul •2008 –Umstellung von Nagios 1.2 auf Nagios 3 mit ndoutils als DB-und „Transport“-Backend und selbstgeschriebenem zentralen „Müller-Monitoring-Center“ •2009
  • 9. Müller Holding Ltd. & Co. KG Seite 9 Historie •2011 –Migration auf Icinga •2014/2015 –Migration auf Icinga2 •Umstellung aller 800 Filialen •Migration den zentralen Icinga-Server auf Icinga2 •2015/2016 –Umstellung auf „Top-Down-Config-Sync“ auf den Filial- Systemen •2018 –Scale-Out auf mehrere Satelliten
  • 10. Müller Holding Ltd. & Co. KG Seite 10 Anforderungen Anforderungen an ein Monitoring-System
  • 11. Müller Holding Ltd. & Co. KG Seite 11 Anforderungen (fachlich) „Wir müssen merken, wenn etwas nicht funktioniert NICHT der Kunde!“ •Monitoring möglichst aller an den Business-Prozessen beteiligten Komponenten und Services •Verfügbarkeitsauswertung einzelner Komponenten •Erkennung fehlerhafter Komponenten die mehrfach Störungen aufweisen •Hilfe liefern bei der Beseitigung von Incidents •„Three-green“-Philosophie bei Software-Auslieferungen
  • 12. Müller Holding Ltd. & Co. KG Seite 12 Anforderungen (technisch) Keep it Simple! •Hoher Automatisierungsgrad –ca. 17.000 Hosts (Assets) –ca. 200.000 Service-Checks •Erweiterbar, Skalierbar und Flexibel –7 Länder –>800 Filialen –Zentrales Management –(instabile) WAN-Abindung über DSL, LTE, etc. •Einfach zu verwalten und zu betreiben –Kein qualifizierter Zugriff vor Ort möglich
  • 13. Müller Holding Ltd. & Co. KG Seite 13 Umsetzung Umsetzung (fachlich)
  • 14. Müller Holding Ltd. & Co. KG Seite 14 Umsetzung (fachlich) Monitoring möglichst aller an den Business-Prozessen beteiligten Komponenten und Services •„Manage Infrastructures NOT Servers“ •Klassifizierung der Systeme in Klassen –PCs, Kassen, Switche, Router, etc. •CMS / CMDBs als (gemeinsame) Quelle möglichst aller Assets •Automatisiertes anlegen und entfernen von Assets –Saisonkassen, Switchaustauch (2x 24 Port gegen 1x 48 Port) → Soll-Zustand abbilden und überwachen
  • 15. Müller Holding Ltd. & Co. KG Seite 15 Umsetzung (fachlich) Monitoring möglichst aller an den Business-Prozessen beteiligten Komponenten und Services
  • 16. Müller Holding Ltd. & Co. KG Seite 16 Umsetzung (fachlich) Verfügbarkeitsauswertung einzelner Komponenten •Aufgrund der Menge Hosts und Services kein klassisches SLA-Monitoring möglich •Daten sammeln um Fehler und Ursachen erklärbar zu machen •Anomalien sichtbar machen
  • 17. Müller Holding Ltd. & Co. KG Seite 17 Umsetzung (fachlich) Verfügbarkeitsauswertung einzelner Komponenten
  • 18. Müller Holding Ltd. & Co. KG Seite 18 Umsetzung (fachlich) Erkennung fehlerhafter Komponenten die mehrfach Störungen aufweisen •Schnelle Identifizierung und Beseitigung wiederkehrender Hardware-Probleme über die Historie im Icingweb2 •Schnelles Erkennen von Software-Problemen (z.B. Druckerfehler, Scannerfehler, …) •Gruppierung von Fehlern (nach Hardware, etc.) um problematische Komponenten zu erkennen
  • 19. Müller Holding Ltd. & Co. KG Seite 19 Umsetzung (fachlich) Erkennung fehlerhafter Komponenten die mehrfach Störungen aufweisen
  • 20. Müller Holding Ltd. & Co. KG Seite 20 Umsetzung (fachlich) Hilfe liefern bei der Beseitigung von Incidents •Anbindung Ticket-System an Icingaweb2 –Verlinkung ins Ticket-System über „icingaweb2-module- generictts“ •Anzeige des Icinga2 Host- und Servicestatus der CMDB- Komponente im Ticketsystem (aktuell noch über iframe, künftig direkt über API und JSON) •Hilfestellung bieten bei den Service-Checks
  • 21. Müller Holding Ltd. & Co. KG Seite 21 Umsetzung (fachlich) Hilfe liefern bei der Beseitigung von Incidents
  • 22. Müller Holding Ltd. & Co. KG Seite 22 Umsetzung (fachlich) Hilfe liefern bei der Beseitigung von Incidents •„Standard“-Plugins entsprechend so mit Informationen erweitern, dass ein(e) Nicht-Techniker(in) im User-Helpdesk die Ausgabe versteht und handeln kann. •check_smart vs. check_smart_extended
  • 23. Müller Holding Ltd. & Co. KG Seite 23 Umsetzung (fachlich) Hilfe liefern bei der Beseitigung von Incidents •Bemerkungsfeld im Icingaweb2 nutzen und Hilfestellung zur Bearbeitung oder Beseitigung des Fehlers geben
  • 24. Müller Holding Ltd. & Co. KG Seite 24 Umsetzung (fachlich) „Three-green“-Philosophie bei Software-Auslieferungen •Servicegruppen bauen und prüfen ob Änderungen die gewünschte Wirkung haben.
  • 25. Müller Holding Ltd. & Co. KG Seite 25 Umsetzung (fachlich) Herausforderungen •Informations-Overkill ...
  • 26. Müller Holding Ltd. & Co. KG Seite 26 Umsetzung (fachlich) Herausforderungen •Informations-Overkill durch … –… volatile Hosts und Services –… Services die nicht im eigenen Zuständigkeitsbereich liegen, aber wichtig für die Business-Prozesse sind (z.B. Fiskalisierung, Kartenzahlungsprovider, …) –… die Menge an Hosts und Services. Multiplizierung der Probleme. –… 24x7 Betrieb mit nicht 24x7-Komponenten und „alte“ Hardware
  • 27. Müller Holding Ltd. & Co. KG Seite 27 Umsetzung (fachlich) Herausforderungen –Wirklich wichtige Dinge herausfiltern, welche unmittelbar Auswirkungen auf den Geschäftsbetrieb haben (z.B. Kassensystem nicht erreichbar, Kassensoftware läuft nicht, etc.). –Den Rest nur als Information nutzen, wenn ein Incident gemeldet wird ... •„Alle Festplattenfehler auf allen Systemen zu beseitigen ist ein Ding der Unmöglichkeit“ –Nur unbedingt notwendige Dinge automatisiert ins Ticket- System übernehmen –Automatische Alarmierung nur für kritische Komponenten (z.B. Router, Switche, …)
  • 28. Müller Holding Ltd. & Co. KG Seite 28 Umsetzung Umsetzung (technisch)
  • 29. Müller Holding Ltd. & Co. KG Seite 29 Umsetzung (technisch) Software-Stack •Kein Feenstaub, nur 5 Komponenten: –Icinga2 (Core-Komponente, Server und Agent gleichzeitig) –Icingaweb2 (Visualisierung) –Idoutils (Historie) –InfluxDB (Metriken) –Grafana (Metriken)
  • 30. Müller Holding Ltd. & Co. KG Seite 30 Umsetzung (technisch) Hoher Automatisierungsgrad •Anbindung eines CMS / mehrerer CMDBs an Icinga2 über Icingaweb2-Director –Möglichkeiten der Importquellen (SQL, LDAP, Fileshipper, …) nutzen –Unpassende Daten mit „Modifikatoren“ manipulieren –Konsolidierung der Importquellen über Synchronisationsregel
  • 31. Müller Holding Ltd. & Co. KG Seite 31 Umsetzung (technisch) Hoher Automatisierungsgrad •Möglichkeit der Importquellen und Synchronisationsregel vollständig ausnutzen
  • 32. Müller Holding Ltd. & Co. KG Seite 32 Umsetzung (technisch) Hoher Automatisierungsgrad •Modifikatoren im Import-Prozess nutzen um Daten anzupassen oder anzureichern
  • 33. Müller Holding Ltd. & Co. KG Seite 33 Umsetzung (technisch) •„Manage Infrastructures NOT Servers“ •Möglichst Host-Templates in unterschiedlicher Ausprägung generieren (und vererben). •Custom-Vars intensiv nutzen und Host-Objekte anreichern object Host "Kasse 1" { import "template-host-linux-kasse" Address = "127.0.0.1" notes = "Filiale 1334 | Blaubeurerstr. 95 | 89077 Ulm | +49 731 / 93299-0" groups = [ "F1334", "Umgebung 1" ] vars.adress_city = "Ulm" vars.contact_mail = "...@mueller.de" vars.country_long = "Deutschland" vars.country_short = "DE" vars.dependencies = [ "Switch 1", "Switch 2", "Switch 3" ] vars.store = "1334" vars.vmcode = "KASSE01" }
  • 34. Müller Holding Ltd. & Co. KG Seite 34 Umsetzung (technisch) •Host-Templates „vererben“ möglich → Vorsicht! –z.B. Variablen die für alle Host-Checks benötigt werden, wie z.B. Ping / ICMP-Check
  • 35. Müller Holding Ltd. & Co. KG Seite 35 •Service-Sets anstelle einzelner Zuweisungen verwenden •Evtl. Service-Sets in unterschiedlicher Ausprägung „stapeln“ und kombinieren •Apply-Regeln nutzen und Service-Sets zuweisen apply Service "Kasse - Fiskalisierung: Modul" { • import "pos-at-fiscal-module" assign where match("kasse.*.domain.tld", host.name) && host.vars.country_long == "Österreich" import DirectorOverrideTemplate } Umsetzung (technisch)
  • 36. Müller Holding Ltd. & Co. KG Seite 36 Umsetzung (technisch) Erweiterbar, Skalierbar und Flexibel •Icinga2-Stack ausnutzen –Master –Satelliten –Agents •Aber → High-Availability über Virtualisierungsmittel oder Infrastruktur umsetzen •Top-Down-Config-Sync nutzen
  • 37. Müller Holding Ltd. & Co. KG Seite 37 Umsetzung (technisch) Erweiterbar, Skalierbar und Flexibel https://icinga.com/docs/icinga2/latest/doc/06-distributed-monitoring/ Filialen Kroatien Zone AT Zone DEZone CH Zone ES Zone HU Zone SI Zone HRZone ST Zone AT Zone DEZone CH Zone ES Zone HU Zone SI Zone HRZone ST director ido influx Icingaweb2 Icingaweb2 Load-Balancer Grafana Filialen Staging Filialen Österreich Filialen Schweiz Filialen Spanien Filialen Deutschland Filialen Ungarn Filialen Slowenien Icinga2 Master
  • 38. Müller Holding Ltd. & Co. KG Seite 38 Umsetzung (technisch) Erweiterbar, Skalierbar und Flexibel •Herausforderungen –Hardware •CPU, RAM und Disk-I/O –Software •MariaDB → Tuning für möglichst viele Queries/Second (qps) → Netzwerk-Traffic beachten! •Icingaweb2 → ido-Schema → Abfragen / Index –Fachlich •Anzahl Service-Checks pro Minute → Inserts, Updates und Deletes auf der DB → Performance
  • 39. Müller Holding Ltd. & Co. KG Seite 39 Umsetzung (technisch) Erweiterbar, Skalierbar und Flexibel •Herausforderungen –Anzahl Verbindungen zum Master •Not all Endpoints can't reconnect due to "Client TLS handshake failed" error after "reload or restart" #6517 (https://github.com/Icinga/icinga2/issues/6517) •→ Fixed in 2.10.0! –Maximal 2 „Kommando-Endpunkte“ pro Zone möglich •>2 ergibt Warnung im Logfile und ziemlich wirres Zeugs –Check-Scheduling bei SNMP-Checks (u.a. check_nwc_health)
  • 40. Müller Holding Ltd. & Co. KG Seite 40 Umsetzung (technisch) Herausforderungen •Endpoint → logduration → Bandbreite! object Endpoint "icinga2-client1.localdomain" { host = "192.168.56.111" port = 5665 log_duration = 1d } Optional. Duration for keeping replay logs on connection loss. Defaults to 1d (86400 seconds). Attribute is specified in seconds. If log_duration is set to 0, replaying logs is disabled. You could also specify the value in human readable format like 10m for 10 minutes or 1h for one hour. •Abwärts- und Inkompatibilität(en) •Agent lassen sich ggf. auf alten Systemen nicht mehr kompilieren •Icinga2 vs. Icingaweb2-Director
  • 41. Müller Holding Ltd. & Co. KG Seite 41 Umsetzung (technisch) Herausforderungen •Notifications –Checks laufen 24x7 –Notifications nur zu Servicedesk-Zeiten zwischen 06:00 und 22:00 Uhr oder nur für Tagschicht zwischen 06:00 und 15:30 Uhr oder Freitag irgendwas komplett anderes ... •Aber auch nur wenn Host länger als 3 Stunden im Status DOWN apply Notification "Servicedesk - Host: Kasse (Nicht erreichbar)" to Host { • import "notification-host-by-icinga2-valuemation-template" • times = { • begin = 3h • } • period = "Servicedesk (Tag-Schicht) - [Mo-Do: 06:00 - 15:30, Fr: 06:00 - 13:00]" • assign where match("kassen*.*.domain.tld", host.name)
  • 42. Müller Holding Ltd. & Co. KG Seite 42 Umsetzung (technisch) Einfach zu verwalten und zu betreiben •Automatisierung Client-Installation –Minimale Agent-Konfiguration •Minimale Features aktivieren –Api –Checker –Mainlog •Api-User anlegen •Enpunkt(e) und (Director-)Zone(n) konfigurieren
  • 43. Müller Holding Ltd. & Co. KG Seite 43 Umsetzung (technisch) Einfach zu verwalten und zu betreiben •Keine lokale und seperate Konfiguration auf den Clients vorhalten –Keine zusätzlichen conf-Dateien –Kein NRPE!
  • 44. Müller Holding Ltd. & Co. KG Seite 44 Umsetzung (technisch) Herausforderung •(Eigene) Monitoring-Plugins –Installation über Repository → Apt und Zypper nutzen –Build-Prozess aufsetzen und eigene RPM- oder Deb- Pakete aus VCS-Projekt erstellen und im Repository bereitstellen •Abhängigkeiten (Router, Switches) –Dependency über Custom-Vars und Conf-Datei –apply Dependency "host-to-parent-router" for (parent in host.vars.dependencies) to Host { – parent_host_name = parent – disable_notifications = true – ignore_soft_states = false – assign where host.vars.dependencies && match("router.*.domain.tld", host.name)
  • 45. Müller Holding Ltd. & Co. KG Seite 45 Umsetzung (technisch) Fazit
  • 46. Müller Holding Ltd. & Co. KG Seite 46 Gegenwart
  • 47. Müller Holding Ltd. & Co. KG Seite 47 Zukunft
  • 48. Müller Holding Ltd. & Co. KG Seite 48 Fragen? - Danke für die Aufmerksamkeit - … Fragen?