OSMC 2008 | Nagios Hochverfügbar mit hearbeat V2 by Jan Dennis Bungart

Nagios hochverfügbar mit Heartbeat v2
Vortrag auf der Netways Nagios Konferenz 08
B1 Systems GmbH
http://www.b1-systems.de
c B1 Systems GmbH 2008. Heartbeat 2.1.3 aus SLES10 SP2

Das Linux HA Projekt
Das Linux High Availability Project, kurz Linux HA, hat sich das Ziel
gesteckt, eine hochverfügbare, redundante und servicefähige
Cluster-Software zu entwickeln, die auf jeder Linuxdistribution
eingesetzt werden kann.

Das Linux HA Projekt
Diese generische Software ist in der Lage,
sämtliche initskriptgesteuerten Vorgänge auf jedem Knoten des
Clusters zu kontrollieren
im Bedarfsfall Ressourcen auf andere Knoten auszulagern
(Fencing)

RAS steht für ...
Reliability
Availability – Verwaltung von Ressourcengruppen,
Serviceabhängigkeiten, Prioritätssteuerung und
Clustermitgliedschaften
Serviceability – Optimiert für den Einsatz von bis zu 16
Knoten innerhalb des HA Clusters

Features von Heartbeat
Heartbeat V2 wird nach dem Open Cluster Framework
(OpenCF) entwickelt und integriert die Verfügbarkeit sowie die
Verwaltung von gemeinsamen Ressourcengruppen,
Serviceabhängigkeiten und Prioritätssteuerung.
Auch die Clustermitgliedschaft wird über Heartbeat V2
verwaltet.
Es sind bis zu 16 Knoten innerhalb eines Linux HA-Clusters
möglich.

Betriebsarten
Heartbeat kann auf zwei Arten oder einer Mischung aus beiden
betrieben werden:
Aktiv-Aktiv als Loadsharing-Cluster
Aktiv-Passiv als Hochverfügbarkeitscluster
Bei einer Loadsharing-Installation werden Ressourcen durch Gruppen
über mehrere Knoten hinweg zur Lastverteilung platziert.

Basiskonfiguration
Die Konfiguration geschieht an zwei Punkten:
Statische Konfiguration unterhalb von /etc/ha.d/
Dynamische Konfiguration: wird in der Cluster Information Base
(kurz CIB) abgelegt

CIB — Laufzeitreplikation
die CIB wird zur Laufzeit auf alle im Cluster beﬁndlichen Knoten
repliziert
Änderungen an der Konﬁguration via Heartbeat GUI werden
daher sehr schnell und ohne Neustart wirksam
die CIB wird in XML (Extensible Markup Language) verwaltet

Basis Konfiguration
Die statische Konfiguration wird in den folgenden Dateien unterhalb
von /etc/ha.d/ definiert ...

/etc/ha.d/ha.cf
Festlegen der Kommunikationsschnittstelle (/dev/ttyX, ethX
etc.)
Einstellen der Übertragungsart bei Verwendung von Ethernet
(Bcast, Ucast, Mcast)

/etc/ha.d/ha.cf
Hier werden das Kommunikationsinterface und die
Kommunikationsart (Broadcast, Multicast oder Unicast) festgelegt,
die für die Übermittlung von Keep-Alive Nachrichten verwendet
werden sollen. Man bedenke dass stets redundante Netzwerkpfade zu
anderen Knoten genutzt werden um „single point of failure“-Szenarien
zu vermeiden.
Es ist sinnvoll, ein separates Interface nur für die
Heartbeat-Kommunikation zu verwenden. Dies gewährleistet dass die
Kommunikation nicht durch Netzwerklast unterbrochen und eine
Inkonsistenz des Clusters riskiert wird.

/etc/ha.d/authkeys
Schlüssel und dessen Algorithmus festlegen (CRC, MD5,
SHA1)
Hier wird der Algorithmus für die interne Kommunikation sowie ein
Schlüsselwort festgelegt, mit dem sich die Clusterknoten verständigen.

/etc/ha.d/authkeys
Dieser Datei ist besonders dann Aufmerksamkeit zu schenken, wenn
es um DoS-Attacken in produktiven Umgebungen geht.
Mögliche Algorithmen bei der Authentiﬁzierung:
CRC – Einfaches Verfahren für Fehlererkennung
MD5 – Hashing Algorithmus mit Verschlüsselung (128 bit)
SHA1 – sinnvollster Algorithmus (160 bit)

/etc/logd.conf
Hier werden loglevel-speziﬁsche Optionen wie zum Beispiel die zu
verwendende syslog facility und der Pfad zur Logdatei eingetragen.
Beispiel:
debugfile /var/log/ha-debug
logfacility local0

Watchdog
Damit sichergestellt ist, dass die Prozesskommunikation auf dem
Knoten auch einwandfrei funktioniert, bedarf es einer zusätzlichen
Komponente:
Watchdog – bei einer zu hohen Systemlast wird das System
neu gestartet / heruntergefahren

Watchdog – „softdog“
der am meisten genutzte Watchdog unter Linux ist „softdog“
eine auf Software basierende Implementation eines Watchdogs
im Linux-Kernel
diese Erweiterung ist in produktiven Umgebungen erforderlich,
um jeden Knoten vor eigenen Fehlern zu schützen, die eine zu
hohe Systemlast erzeugen

Heartbeat-Tools
Die gängigsten Tools, die Heartbeat bereitstellt, im Überblick:
crm_resource: modifiziert Clusterressourcen
crm_standby: ändert den Status von Knoten
crm_uuid: empfängt und ändert eindeutige
Clusteridentifikationen
crm_verify: verifiziert Einträge der CIB
cl_status: zeigt Knoten-Verbindungsstatus

Heartbeat Tools – hb_gui
hb_gui – die graﬁsche Heartbeat Administrationskonsole
Das graﬁsche Administrationsinterface kann von jedem Knoten des
Clusters aus aufgerufen werden. Um dieses Feature jedoch nutzen zu
können, muss auf jedem Knoten, von dem diese Konsole erreichbar
sein soll, das Passwort für den hacluster-Benutzer gesetzt sein! Um
bei mehren Clustern eine zentrale Verteilung der
Benutzerdaten/Kennwörter zu ermöglichen, bieten sich NIS oder
LDAP an.

Screenshot – hb_gui

Ressourcen
Dienste werden nicht mehr durch Runlevel sondern durch
Heartbeat selbst organisiert
Innerhalb von Heartbeat werden Dienste als Ressourcen behandelt,
welche unter Konten hin- und hergeschoben werden können.
Für jede Ressource bedarf es eines passenden Initskripts unterhalb
/etc/ha.d/resource.d/, mit dem Heartbeat die gewünschten
Operationen auf den Knoten verwalten/ansprechen kann.

Arten von Ressourcen
LSB – Linux Standard Base Resource
LSB-Ressourcen sind normale Initialisierungsskripte wie zum Beispiel
die von Nagios und Apache2 unterhalb von /etc/init.d/. Sie
unterstützen keine Übergabe von zusätzlichen Attributen und sind
daher recht unﬂexibel.

Arten von Ressourcen
OCFR – Open Cluster Framework Ressource
Open Cluster Framework Ressourcen sind ﬂexibler, jedoch können
diese nicht ohne Cluster Information Base (CIB) eingesetzt werden.

Vorteil – OCF Ressourcen
Falls vorhanden, immer OCF Ressourcen verwenden, da diese ﬂexibler
konﬁgurierbar sind.

Live Konfiguration
Aufzeigen der Clusterkonfiguration
Erläuterung zu den Konfigurationsdateien / GUI
Simulation eines Ausfalls des ersten Knoten
Es wird ein simpler Aktiv-Passiv Cluster für die Hochverfügbarkeit
von DRBD, Nagios und Apache2 eingerichtet. Danach wird ein
Ausfall des ersten Knoten simuliert.

Knotenkonﬁguration (Xen)
Beide Knoten werden identisch eingerichtet, angefangen bei der
Partitionierung bis hin zu den Netzwerkgeräten. Die Hostsysteme, auf
denen die Knoten abgebildet sind, werden mittels Xen 3.2.0 als
dessen Gäste virtualisiert.
Konﬁgurationsübersicht:
Partitionierung
Netzwerkgeräte & Netzwerksetup
Softwareversionen

Partitionierung
Das Partitionierungsschema für die Umgebung ist recht simpel
gehalten:
Erstes Laufwerk mit 4GB für swap & root Partition
Zweites Laufwerk mit 1GB für den DRBD-Netzwerkspiegel
(/etc/nagios/)

Netzwerkgeräte & Netzwerksetup
Es werden zwei (para-)virtualisierte Netzwerkadapter für jeden
Knoten bereitgestellt. Der erste Adapter eth0 wird für die öﬀentliche
Anbindung und den DRBD Datentransfer benutzt.
Der sekundäre Adapter eth1 wird lediglich für die Cluster
Kommunikation unter den Knoten verwendet. Die Hostnamen werden
in der aufgelisteten Reihenfolge in die /etc/hosts eingetragen
(knoten*-intern für Heartbeat-Kommunikation)
hostname knoten1: eth0 192.168.3.10/24
hostname knoten1-intern: eth1 192.168.4.10/24
hostname knoten2: eth0 192.168.3.20/24
hostname knoten2-intern: eth1 192.168.4.20/24

Verwendete Software
Für die Knoten werden die in SLES10 SP2 mitgelieferten Software
Versionen verwendet.
heartbeat – 2.1.3-0.9
nagios – 2.6-13.16
nagios-www – 2.6-13.16
apache2 – 2.2.3-16.18
apache2-prefork – 2.2.3-16.18

Live Demonstration
Live demo

Bevor es losgehen kann . . .
müssen die Voraussetzungen für den Cluster geschaﬀen werden.
Zeitabgleich via NTP (entfällt bei Xen Gästen da
Synchronisation über Dom0)
Eindeutige Knoten Namen mit IP Zuordnung in der Datei
/etc/hosts für intern/extern
Im Produktivbetrieb die DNS Konﬁguration sicherstellen um
externe Erreichbarkeit zu gewährleisten

Live Demonstration
Nun wird folgendes demonstriert:
Backup des Ordners /etc/nagios/ nach
/etc/nagios_backup/
Eintragen des /dev/drbd0 Geräts in die /etc/fstab
(einhängen auf /etc/nagios/)

Live Demonstration
Konﬁguration von DRBD auf beiden Knoten
Heartbeat-Konﬁguration

Live Demonstration
Synchronisation der Konﬁgurationsdateien zwischen beiden
Nodes
Runlevel für heartbeat, nagios, apache2 und drbd anpassen

Live Demonstration
Ressourcen Konﬁguration mittels Heartbeat GUI
nach erfolgreicher Konﬁguration Ausfall des ersten Knoten
simulieren

Erläuterung zu den Konﬁgurationsdateien
Und nun einen ausführlichen Blick auf die Konﬁgurationsdateien:
/etc/hosts
/etc/fstab
/etc/drbd.conf
/etc/ha.d/ha.cf
/etc/ha.d/authkeys
Nagios und Apache2 behalten ihre Standardeinstellungen bei da es
hier lediglich darum geht, die Erreichbarkeit des Nagios Web Interface
zu demonstrieren.

Abschließende Hinweise zu Heartbeat
Beim Durchstarten des Clusters sollte immer der Knoten zuerst
gestartet werden der zuletzt als aktiver am Netz war und den
aktuellen Nutzdaten Bestand hat.
Bei einem Neustart des Systems wird von DRBD gefragt
welchen Status der nun gestartete Knoten haben soll. In aller
Regel wird diese Frage auf dem zuletzt primären Knoten mit
„Yes“ beantwortet.

„STONITH“ ist ein Akronym für „Shoot The Other Node In The
Head“
Hardware Varianten können Stromleisten (APC) mit Ethernet
Schnittstelle oder Netzwerk Switches mit verwaltbarer
Stromzufuhr sein

STONITH Geräte können auch durch eine SSH Verbindung
nachgebildet werden welche den defekten Knoten im Ernstfall
herunterfährt (Nicht für produktive Umgebung geeignet!)
externe Hardware Variante ist sicherer da diese im Ernstfall dem
Knoten den „Saft“ abdreht und somit auch Nutzdaten schützt,
da der Knoten nicht mehr mit anderen Knoten kommunizieren
kann

The end...
Vielen Dank für Ihre Aufmerksamkeit ;-)

OSMC 2008 | Nagios Hochverfügbar mit hearbeat V2 by Jan Dennis Bungart

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (7)

Ähnlich wie OSMC 2008 | Nagios Hochverfügbar mit hearbeat V2 by Jan Dennis Bungart

Ähnlich wie OSMC 2008 | Nagios Hochverfügbar mit hearbeat V2 by Jan Dennis Bungart (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (6)

OSMC 2008 | Nagios Hochverfügbar mit hearbeat V2 by Jan Dennis Bungart