Building and automating distributed Icinga 2 environments with Puppet. The talk contains an introduction into distributed monitoring with Icinga 2, the integration of Icinga with Puppet, and automating the monitoring of hosts as well as different services.

1. www.netways.de
Verteilte Icinga 2-Umgebungen
realisieren und automatisieren mit
Puppet
Lennart Betz & Janina Tritschler | 23.11.2017

2. www.netways.de
• Monitoring mit Icinga 2
• Automatisierung mit Puppet
• Icinga 2 Puppetmodul
• Live Demo
Agenda

3. www.netways.de
Monitoring mit Icinga 2

4. www.netways.de
• Open Source Monitoring Framework (GPL v2)
• Multi-Threading für tausende Checks pro Sekunde
• Cluster-Protokoll für verteiltes Monitoring
• Tausende Plugins verfügbar
Icinga 2 - Open Source Monitoring

5. www.netways.de
• Icinga 2 Core
• Icinga Web 2 (Webinterface)
• IDO DB auf MySQL / PostgreSQL
• Überwachung per Plugins
• Icinga 2 Agent für eine sichere Verbindung
(Linux und Windows)
Icinga 2 - Architektur

6. www.netways.de
• Warum?
• Netzwerksicherheit
• Standorte
• Skalierung
• Wie?
• Mehrere Icinga 2 Instanzen
• Sichere Kommunikation (TLS, CA)
• Satelliten als Proxy
• Zentrale Konfiguration
Icinga 2 - Verteiltes Monitoring

7. www.netways.de
• Master
object Endpoint "master.tld" {
}
object Endpoint "satellite.tld" {
host = "x.x.x.x"
}
object Zone "dmz" {
endpoints = ["satellite.tld"]
parent = "master"
}
object Zone "master" {
endpoints = ["master.tld"]
}
Icinga 2 - Cluster-Konfiguration
• Satellite
object Endpoint "master.tld" {
host = "x.x.x.x"
}
object Endpoint "satellite.tld" {
}
object Zone "dmz" {
endpoints = ["satellite.tld"]
parent = "master"
}
object Zone "master" {
endpoints = ["master.tld"]
}

8. www.netways.de
Icinga 2 - Agenten-Konfiguration
• Agent
object Endpoint "agent.tld" {
}
object Endpoint "satellite.tld" {
host = "x.x.x.x"
}
object Zone "dmz" {
endpoints = ["satellite.tld"]
}
object Zone "agent.tld" {
endpoints = ["agent.tld"]
partent = "dmz"
}
• Konfiguration (Master)
object Endpoint "agent.tld" {
}
object Zone "agent.tld" {
endpoints = ["agent.tld"]
partent = "dmz"
}
object Host "agent.tld" {
import "generic-host"
address = "x.x.x.x"
}

9. www.netways.de
Icinga 2 - Cluster-Kommunikation
• Datenaustausch nur über Zonen
• Konfiguration vom Parent
• Checkresultate zum Parent

10. www.netways.de
• Installation
• Icinga 2
• Plugins
• Konfiguration
• Cluster-Anbindung
• Monitoring zentral auf Master
• Beziehen von Zertifikaten
Icinga 2 – Aufwand

11. www.netways.de
Automatisierung mit Puppet

12. www.netways.de
• Prozess zur Etablierung der Konfigurationen auf beliebigen Systemen
koordiniert angewendet und überprüft
• Einheitlich
• Reproduzierbar
• Effizient
• Nachvollziehbar
Konfigurationsmanagement

13. www.netways.de
Puppet - Workflow
SSL-Verschlüsselung
bei jedem
Datentransport

14. www.netways.de
• Puppet nutzt Facter um Daten über das Hostsystem zu sammeln
• Liste von Key-Value Paaren
Puppet - Facts

15. www.netways.de
• Resource – Einzelner Baustein
• Jede Resource hat einen type, einen title und einen Satz an Attributen mit Werten
• Main Resources: package, file, service, user, group, host, …
• Defined Resources: selbst definierte types, z.B. icinga2::object::host
• Dependencies: Reihenfolge festlegen zwischen einzelnen Resources
Puppet - DSL (Domain Specific Language)

16. www.netways.de
Puppet - deklarativ

17. www.netways.de
Puppet - RAL (Resource Abstraction Layer)

18. www.netways.de
• Definiert Abhängigkeiten zwischen
Resources auf unterschiedlichen Knoten
• Erfordert Feature „Stored Config“, d.h.
PuppetDB
• Virtuelle Deklaration auf Exporter,
Realisierung auf Collector
Puppet - Exported Resources

19. www.netways.de
• Klasse - Zusammenfassung von Resourcen
Puppet - Klassen

20. www.netways.de
• Trennung von Code und Daten (Hiera)
• Verschlüsselung sensibler Daten in Hiera (eyaml oder gpg)
• Versionskontrolle (z.B. git)
• Dynamische Environments für Staging (Branch = Code Stage, r10k)
• Konzept „Roles & Profiles“
Puppet - Best Practices

21. www.netways.de
Puppet - Roles & Profiles

22. www.netways.de
• Vorgegebene Struktur, die Klassen und Daten zusammenfasst
• „Auto loading“ von Klassen
• „File serving“ von Daten und Templates
• Erweiterungen von Puppet, z.B. eigene Facts, Funktionen, etc.
• Einfaches Teilen mit anderen
• Puppet Forge
• https://forge.puppet.com
Puppet - Module

23. www.netways.de
• Verzeichnisstruktur
Puppet - Module

24. www.netways.de
Icinga 2 Puppetmodul

25. www.netways.de
• Bezugsquellen
• https://github.com/icinga/puppet-icinga2
• https://forge.puppet.com/icinga/icinga2
• Dokumentation
• README.md
• Blogserie auf https://blog.netways.de
• Beispielverzeichnis ./examples im Modul
Bezugsquellen & Dokumentation

26. www.netways.de
Konzept
• Zentrale Konfiguration auf Icinga 2 Master
• Informationen befinden sich aber am Puppet Agent
• Konfiguration muss vom Puppet Agenten zum Icinga 2 Master
• Stored Configuration (PuppetDB)
• Installation/Konfiguration Icinga 2 Pakete
• Verbindung Satellit und Master
• Verbindung Agent und Master/Satellit

27. www.netways.de
Konfiguration Icinga 2 Master
• Feature MySQL IDO DB

28. www.netways.de
Konfiguration Icinga 2 Master
• API Feature und Zonen Konfiguration

29. www.netways.de
Live Demo I

30. www.netways.de
• Puppet Konfiguration
Konfiguration Host

31. www.netways.de
• Icinga 2 Konfiguration für Host „agent.example.org“
Konfiguration Host

32. www.netways.de
• Service „ping4“
Konfiguration Service

33. www.netways.de
• Entscheidet wann und was gequotet wird, Trennung durch Leerzeichen
• +, -, &&, ||, etc.
• attr => 'string1 + string2 – string3‚
• attr => '3 * (value1 - value2) / 2‚
• attr => 'function(param1, param2, ...)‚
• true, false
• Konstanten, z.B. NodeName, ZoneName
• alle Attribute und Custom Attribute
• Attribute aus anderem Kontext, z.B. host.address oder service.name
• Zahlen: 2.5, 2h, …

Abschalten des Parsers mit Prefix -:

Eigene Konfigurationsdateien als file-Resource mit Tag icinga2::config::file
Konfigurations-Parser

34. www.netways.de
Live Demo II

35. www.netways.de
Fragen und Antworten

36. www.netways.de
netways
netways
netways
www.netways.de
blog.netways.de
www.netways.org
Kontaktdaten