Cold-Standby-Server sind eine anerkannte Methode zur Realisierung hochverfügbarer Umgebungen. Will man damit mehrere Produktiv-Server absichern, steht schnell viel ungenutzte Hardware im Rechenzentrum herum. Mit Virtuellen Maschinen und einem SAN lässt sich dieser Overhead deutlich reduzieren. Dabei wird ein Linux-Server aus dem SAN gestartet, so daß das System auf einer dedizierten Hardware und in einer Virtuellen Maschine lauffähig ist. Beim Ausfall der Hardware kann die VM das System sofort übernehmen, ohne daß Daten kopiert werden müssen. Die Vorteile eines SAN kommen hierbei zum tragen und ermöglich erst die Gestaltung dieser Lösung. Am Beispiel SuSE Linux Enterprise Server wird die Technologie und die Implementierung vorgestellt. Hintergrundinformationen zur Kundenumgebung, in der die Lösung entwickelt wurde, runden den Vortrag ab.

1. Th
e
Si
m
Lin ple
ux H
Fil igh
e
Se Ava
rv ila
er bl
e
Virtuelle Cold-Standby
Server mit Linux
Schlomo Schapiro
Principal Consultant
Leitung Virtualisierung & Open Source
28.05.2008

2. Agenda
Hintergrundinformationen
The Simple High Available Linux File Server
Vorteile: Virtuelle Cold-Standby Server
Seite 2 probusiness group © 2008

3. Kundensituation
Landesvermessung und Geobasisinformation Brandenburg
Katasterdaten des Landes Brandenburg
Amtliche Karten, Luftbilder usw.
Sammelt, speichert und verarbeitet Geoinformationsdaten
In Potsdam und Frankfurt / Oder
Heavily IT dependant
HP ist Hauptlieferant
3 EVA (~40 TB)
> 100 Server
Seite 3 probusiness group © 2008

4. Die Problemsituation
Viele Systeme speichern Daten auf vielen Fileserver und
lokal
Viele komplexe Datenbeziehungen mit viel FTP und Kopien
zwischen UNIX/Linux Servern und Windows Systemen
Z.T. sehr große Datenvolumina, Performanceprobleme
Lokale Benutzeraccounts auf vielen Systemen
(UNIX/Linux)
Lösung: Storage Konsolidierung
Laufendes Projekt
Seite 4 probusiness group © 2008

5. Ziele der Storage Konsolidierung
Einheitliches Storage für UNIX/Linux und Windows
Zentralisiertes Storage
Hochverfügbarkeit & Notfallwiederherstellung
Gute Unterstützung der Protokolle
CIFS:
Windows ACL, Access Based Enumeration, DFS Replication,
AD Integration
NFS:
Version 2 und 3, Posix ACL, AD Integration mit RFC2307
FTP, RSYNC, SCP
Seite 5 probusiness group © 2008

6. Entscheidungsprozess & Kriterien
Wirtschaftliche und technische Argumente
Wichtige Kriterien
Investitionen und Betriebskosten für 3 Jahre (bis 2010)
Verfügbarkeit und Zuverlässigkeit (Lösungen ohne eigenes
Storage benutzen die vorhandene EVA 8xxx)
„Qualität“ der CIFS und NFS Implementieren, Interoperabilität
Einfache Nutzung und Verwaltung
Effizientes Backup mit CommVault Galaxy, präferiert LAN-free
Optionale Kriterien
Asynchrone Protokolle unterstützt (RSYNC, FTP ...)
Integrierte Replikation zu einem unabhängigen 2. Storage
Zukünftige Storage Strategie stärken
Seite 6 probusiness group © 2008

7. Ergebnis: Linux File Server
Positiv
Sehr redundant
NFS und CIFS ACL Integration
Beste und weiteste Protokollunterstützung
Backup (CommVault Galaxy) mit LAN-free Agent
Integrierte Replikation der Daten auf 2. Storage
Keine Implikation für Storage Strategie
Linux Wissen kann genutzt werden
Negativ
Unvollständige CIFS-Unterstützung (Samba)
Verwaltung mit Shell Kommandos
Seite 7 probusiness group © 2008

8. Agenda
Hintergrundinformationen
The Simple High Available Linux File Server
Vorteile: Virtuelle Cold-Standby Server
Seite 8 probusiness group © 2008

9. The Simple High Available Linux File Server
VMware ESX Server
HARDWARE
FAILOVER
Lokales
Storage
via SAS
(bootable) SAN Storage
via FC Verbindung
STORAGE SAN Boot auf HW
FAILOVER oder VM (mit RDM)
Seite 9 probusiness group © 2008

10. Komponenten
Hardware (alles von HP)
DL 380 G5
EVA 8000 (30TB)
4x MSA60 (36TB)
mehrere DL Server als ESX Server (für das Rechenzentrum)
Software
SuSE Enterprise Linux 10 SP1
Samba, NFS
LVM, LVM Snapshots (smbsnap)
rsync
Virtuelle Maschine auf VMware ESX 3 (normalerweise aus)
Seite 10 probusiness group © 2008

11. Aufgaben – SAN Boot
SAN Boot mit Multipathing (DM-MPIO)
Möglich mit SLES10SP1
dm-multipath bereits Teil der initrd
Installation in der VM
Siehe auch Artikel in i'X 04/2008 p. 142
Dual Boot Hardware und Virtuelle Maschine (Treiber ...)
Den versehentlichen Boot der VM verhindern (per ISO Image)
Seite 11 probusiness group © 2008

12. Aufgaben – Lokales Storage
Lokales Storage verwalten
Automatisches Cloning des Produktionssystems auf das lokale
Storage
Modifikationen des Boot Prozesses vom lokalen Storage
(RAID-1)
Lokales Storage an Stelle des SAN Storage (ro) mounten
Nächtliches rsync aller Daten aus dem SAN zum lokalen
Storage
Vorbereitung des lokalen Systems, als Produktivsystem
genutzt zu werden (mit manueller Rückkopie)
Seite 12 probusiness group © 2008

13. Vorteile
2 Ebenen der Redundanz
Hardware und VM laufen mit dem selben System und denselben
Daten – Failover ohne Datenverlust
SAN Storage auf lokales Storage repliziert
Wiederherstellung ~ 5 Min für HW oder Storage Probleme
Sofortiges Disaster Recovery – auch mit vielen TB Daten
Sehr einfache Lösung – keine komplexe Clusterkonfiguration
Failover: HW neu booten (Storage) oder VM boot (Hardware)
Administrator behält alles im Griff
Sehr bezahlbare Lösung – keine Extrakosten für
Hochverfügbarkeit
Seite 13 probusiness group © 2008

14. System & Samba Setup
Lokales Storage
GPT (>2TB)
System auf RAID-1 (MD)
LILO (GPT, MD) passdb backend = tdbsam
smb ports = 445
Alles andere via LVM disable netbios = Yes
name resolve order = wins
rsync script mit inherit acls = Yes
hide unreadable = Yes
Sicherheitsprüfungen idmap backend = ad
idmap uid = 100-20000000
idmap gid = 100-20000000
winbind enum users = Yes
AD Integration via RFC2307 winbind enum groups = Yes
winbind use default domain = Yes
Volume Shadow Copy winbind nss info = rfc2307
use sendfile = yes
Map BUILTIN Accounts
Seite 14 probusiness group © 2008

15. Performance Tuning
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
Benchmarks (1GBit): net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_no_metrics_save = 1
125 MB/s (NFS) net.ipv4.tcp_moderate_rcvbuf = 1
100 MB/s (CIFS) net.core.netdev_max_backlog = 2500
(>2 streams)
Nutzen XFS (auf SLES gut unterstützt)
sysctl.conf (auch auf dem client)
USE_KERNEL_NFSD_NUMBER="16"
Bonding für redundante Netzwerkanbindung
Jumbo Frames hatten keinen meßbaren Effekt auf den
Durchsatz, CPU Last um ca. 50% reduziert
Seite 15 probusiness group © 2008

16. Ausblick
Automatisiertes Failover
Heartbeat in der initrd vor dem Mounten
Storage und Netzwerk überwachen – schwierige Entscheidung
MD oder LVM Mirror zwischen SAN und lokalem Storage (ist
aber kein Disaster Recovery !) als Alternative zu rsync
Onlinespiegelung
Für Datenbanken usw.
Multipathing SAN Boot mit RHEL/CentOS, Ubuntu ...
Seite 16 probusiness group © 2008

17. Agenda
Hintergrundinformationen
The Simple High Available Linux File Server
Virtuelle Cold-Standby Server
Seite 17 probusiness group © 2008

18. Cold Standby
Günstigste und einfachste Form der Hochverfügbarkeit
Klassischerweise problematisch wegen
doppelte Hardwarekosten
Datenreplikation vom aktiven zum passiven (=stromlosen)
System
Daher keine Lösung für alle Server im Rechenzentrum
Seite 18 probusiness group © 2008

19. Virtuelle Cold-Standby Server
Ist ein Betriebskonzept, das die Vorteile der Virtualisierung
auch für klassische Hardwareserver nutzt.
Cold-Standby als günstiges Ausfallkonzept für alle Systeme
Nebeneffekt:
Nachweis der Virtualisierbarkeit eines Systems
Bei Ausfall der Hardware – Produktivnutzung als VM
Das ist primär eine Idee und eine Denkweise
Schickt mir Emails mit Details Eurer Implementierung
Seite 19 probusiness group © 2008

20. Fragen & Antworten
Mehr Open Source Software (schapiro.org/schlomo/projects)
Relax & Recover (Linux Disaster Recovery)
RSYNC BACKUP MADE EASY
(Backup Software mit Hardlinks)
Halle
7.2b OpenVPN Gateway Builder
Stand (Linux Router selber bauen mit zentraler Verwaltung)
102 easyVCB (VMware VI3 Backup, w.i.p.)
Schlomo Schapiro probusiness Berlin AG
Principal Consultant Potsdamer Platz 11
Leitung Virtualisierung und Open Source D-10785 Berlin
sschapiro@probusiness.de berlin@probusiness.de
+49 160 97846168 +49 30 259378 0
Seite 20 probusiness group © 2008