EinVortrag von Carsten Hensiek
Aufbau einer Private-Cloud mit Eucalyptus
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
INHALT
• In eigener Sache
• Eucalyptus
• Gründe für Eucalyptus
• Architektur und Komponenten
• Aufbau und Betrieb
• Fazit
2
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
IN EIGENER SACHE
• Carsten Hensiek
• Berufserfahrung
• Fachinformatiker/Systemintegration
• Studium der Wirtschaftsinformatik
• Open Source Software
• Ca. 12 Jahren Erfahrung
• Themenschwerpunkte
• Webhosting
• Virtualisierung
• Cloud Computing
3
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011Bild: JouJou / Pixelio 4
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
SCHICHTENMODELL
5
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
EUCALYPTUS
• Entwicklung an der UC Santa Barbara
• Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems
• Kompatibel zu AWS EC2- und der S3-API
• Hybrid-Cloud
• Verwendung von AWS-Tools möglich
• Seit Ubuntu 9.04 fester Bestandteil der Distribution
• Eucalyptus (Open Source) und Eucalyptus EE (kommerziell)
6
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
GRÜNDE FÜR EUCALYPTUS
• Open Source
• Einfache Implementierung
• Bietet Entwicklern viele Möglichkeiten
• Kompatibel zu AWS
• Kein Ersatz für AWS
• Schutz vor „Vendor lock-in“
• Es ist eine Private-Cloud
7
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
BEKANNTE ANWENDER
• Puma (puma.com, Entwicklung,Affiliate-Marketing)
• USAspending.gov (Staatsausgaben)
• National Informatics Center India (Nationale Cloud)
8
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011Bild: Niko Korte / Pixelio 9
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
Cloud
Controller
Storage
Controller
Walrus
EBS S3EC2
Elastic
Compute
Elastic
Block Store
Storage
INFRASTRUKTUR
10
Amazon AWS
Eucalyptus
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011 11Bild: Harry Hautumm / Pixelio
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
INFRASTRUKTUR
12
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
PLANUNG
• Welche Softwarekomponenten?
• Distribution
• Hypervisor
• Welche Speichermechanismen?
• Walrus
• EBS
• Wie groß wird die Private-Cloud?
• Welche Images sollen angeboten werden?
• Welcher Networking Mode?
13
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
NETWORK MODES
14
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011 15Planung ist alles.
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
INSTALLATION
• Installation des Cluster- und Storage-Controllers
• aptitude install eucalyptus-cloud eucalyptus-cc 
eucalyptus-sc eucalyptus-walrus
• Installation der Nodes
• aptitude install eucalyptus-nc
16
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011 17Bild: S. Hofschlaeger / Pixelio
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
KONFIGURATION I
• Nodes
• /etc/eucalyptus/eucalyptus-nc.conf # Cluster-Name
• /etc/eucalyptus/eucalyptus.conf # Hypervisor, VirtIO
• Cluster Controller
• /etc/eucalyptus/eucalyptus-cc.conf # Cluster-Name
• /etc/eucalyptus/eucalyptus.conf # Netzwerk-Modus, Scheduling
18
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
KONFIGURATION II
• Walrus und Cluster Controller registrieren
• euca2ools installieren
• Credentials herunterladen und entpacken
• Nodes definieren
• euca_conf --discover-nodes
• SSH-Key für Instanzen erstellen
• euca-add-keypair
19
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
IMAGE EINBINDEN
• Herunterladen eines fertigen Images (Ubuntu, Debian, Fedora, CentOS)
• Modifizieren (optional)
• Zusammenstellen (bundle)
• Hochladen
• Registrieren
20
euca-bundle-image -i <kernel file> --kernel true
euca-upload-bundle -b <kernel bucket> -m /tmp/<kernel file>.manifest.xml
euca-register <kernel-bucket>/<kernel file>.manifest.xml
euca-bundle-image -i <vm image file>
euca-upload-bundle -b <image bucket> -m /tmp/<vm image file>.manifest.xml
euca-register <image bucket>/<vm image file>.manifest.xml
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011 21
carstenh@cl1cc1:~# euca-describe-availability-zones verbose
AVAILABILITYZONE cluster1 cl1cc1
AVAILABILITYZONE |- vm types free / max cpu ram disk
AVAILABILITYZONE |- m1.small 0004 / 0004 1 128 2
AVAILABILITYZONE |- c1.medium 0004 / 0004 1 192 5
AVAILABILITYZONE |- m1.large 0002 / 0002 2 256 10
AVAILABILITYZONE |- m1.xlarge 0002 / 0002 2 512 20
AVAILABILITYZONE |- c1.xlarge 0000 / 0000 4 1024 20
INSTANZ STARTEN
carstenh@cl1cc1:~# euca-run-instances -t m1.small -k carstenh emi-DD6D105F ⤦
RESERVATION r-41A507E1 adminadmin-default
INSTANCE i-44B807BF emi-DD6D105F 0.0.0.0 0.0.0.0 pending admin 0 ⤦ m1.small ⤦
2011-02-21T12:13:01.229Z cluster1 eki-F3A210E1 eri-07E0113D
carstenh@cl1cc1:~# euca-describe-instances
RESERVATION r-4F230943 admindefault
INSTANCE i-44B807BF emi-DD6D105F 192.168.1.160 172.19.1.2 running carstenh ⤦ ⤦
0 m1.small 2011-02-21T12:13:25.284Z cluster1 eki-F3A210E1 eri-07E0113D
carstenh@cl1cc1:~# ssh -i eucalyptus/keys/carstenh.pk ubuntu@172.19.1.2
ubuntu@ip-172-19-1-2:~$
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011 22
carstenh@cl1cc1:~# euca-create-volume -s 10 -z cluster1
VOLUME vol-591C0627 10 creating 2011-02-21T12:45:35.493Z
carstenh@cl1cc1:~# euca-attach-volume -i i-44B807BF -d /dev/vda vol-591C0627
VOLUME vol-591C0627
VOLUMES EINBINDEN
• Persistenter Speicher für die Instanz
• /var/lib/eucalyptus/volumes
• Per iSCSI als Blockdevice in der Instanz verfügbar
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
IMAGES KONVERTIEREN
• Download AMI von Amazon S3 (viele .part-Dateien)
• Umwandeln in ein großes Bundle (mit EC2-Credentials)
• In ein Eucalyptus-Image zusammenstellen (bundle)
• Neues Image hochladen und registrieren
23
Images generisch halten und bei Bedarf eigene Images erstellen!
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
INSTANZENVERWALTEN
• Konsole
• euca2ools
• EC2-API-Tools
• GUITools
• Hybridfox
• Rightscale
24
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011Bild: Peter Hoffmann / Pixelio 25
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
TROUBLESHOOTING
• Logfiles
• /var/log/eucalyptus/nc.log # Node
• /var/log/eucalyptus/cc.log # Cluster Controller
• euca-get-console-output
• Community
• http://open.eucalyptus.com/forum
• http://open.eucalyptus.com/wiki/EucalyptusTroubleshooting_v2.0
26
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
PROBLEME
• Fehleranalyse teilweise schwierig
• Nicht vollständig kompatibel zu AWS
• VMWare nur in EE
• Einschränkungen durch EE (NASA)
• Viele Paketabhängigkeiten
• Nachläufer
• Beschränkte Ressourcen
27Bild: Klicker / Pixelio
Carsten Hensiek | Open Source Data Center Conference | 07.04.2011
FAZIT
• Bewährte Private-Cloud-Lösung
• Wird stark weiterentwickelt
• Monitoring und Reporting
• HA-Produkt
• Einfach zu implementieren, dafür nicht einfach zu konfigurieren
• Interessant für Entwickler
• Zusammenarbeit mit OpenStack
• Fester Bestandteil von Ubuntu
28
VIELEN DANK
w w w. x i n g . c o m / P r o fi l e / C a r s t e n _ H e n s i e k

OSDC 2011 | Aufbau einer Private Cloud mit Eucalyptus by Carsten Hensiek

  • 1.
    EinVortrag von CarstenHensiek Aufbau einer Private-Cloud mit Eucalyptus
  • 2.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 INHALT • In eigener Sache • Eucalyptus • Gründe für Eucalyptus • Architektur und Komponenten • Aufbau und Betrieb • Fazit 2
  • 3.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 IN EIGENER SACHE • Carsten Hensiek • Berufserfahrung • Fachinformatiker/Systemintegration • Studium der Wirtschaftsinformatik • Open Source Software • Ca. 12 Jahren Erfahrung • Themenschwerpunkte • Webhosting • Virtualisierung • Cloud Computing 3
  • 4.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011Bild: JouJou / Pixelio 4
  • 5.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 SCHICHTENMODELL 5
  • 6.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 EUCALYPTUS • Entwicklung an der UC Santa Barbara • Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems • Kompatibel zu AWS EC2- und der S3-API • Hybrid-Cloud • Verwendung von AWS-Tools möglich • Seit Ubuntu 9.04 fester Bestandteil der Distribution • Eucalyptus (Open Source) und Eucalyptus EE (kommerziell) 6
  • 7.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 GRÜNDE FÜR EUCALYPTUS • Open Source • Einfache Implementierung • Bietet Entwicklern viele Möglichkeiten • Kompatibel zu AWS • Kein Ersatz für AWS • Schutz vor „Vendor lock-in“ • Es ist eine Private-Cloud 7
  • 8.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 BEKANNTE ANWENDER • Puma (puma.com, Entwicklung,Affiliate-Marketing) • USAspending.gov (Staatsausgaben) • National Informatics Center India (Nationale Cloud) 8
  • 9.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011Bild: Niko Korte / Pixelio 9
  • 10.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 Cloud Controller Storage Controller Walrus EBS S3EC2 Elastic Compute Elastic Block Store Storage INFRASTRUKTUR 10 Amazon AWS Eucalyptus
  • 11.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 11Bild: Harry Hautumm / Pixelio
  • 12.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 INFRASTRUKTUR 12
  • 13.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 PLANUNG • Welche Softwarekomponenten? • Distribution • Hypervisor • Welche Speichermechanismen? • Walrus • EBS • Wie groß wird die Private-Cloud? • Welche Images sollen angeboten werden? • Welcher Networking Mode? 13
  • 14.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 NETWORK MODES 14
  • 15.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 15Planung ist alles.
  • 16.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 INSTALLATION • Installation des Cluster- und Storage-Controllers • aptitude install eucalyptus-cloud eucalyptus-cc eucalyptus-sc eucalyptus-walrus • Installation der Nodes • aptitude install eucalyptus-nc 16
  • 17.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 17Bild: S. Hofschlaeger / Pixelio
  • 18.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 KONFIGURATION I • Nodes • /etc/eucalyptus/eucalyptus-nc.conf # Cluster-Name • /etc/eucalyptus/eucalyptus.conf # Hypervisor, VirtIO • Cluster Controller • /etc/eucalyptus/eucalyptus-cc.conf # Cluster-Name • /etc/eucalyptus/eucalyptus.conf # Netzwerk-Modus, Scheduling 18
  • 19.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 KONFIGURATION II • Walrus und Cluster Controller registrieren • euca2ools installieren • Credentials herunterladen und entpacken • Nodes definieren • euca_conf --discover-nodes • SSH-Key für Instanzen erstellen • euca-add-keypair 19
  • 20.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 IMAGE EINBINDEN • Herunterladen eines fertigen Images (Ubuntu, Debian, Fedora, CentOS) • Modifizieren (optional) • Zusammenstellen (bundle) • Hochladen • Registrieren 20 euca-bundle-image -i <kernel file> --kernel true euca-upload-bundle -b <kernel bucket> -m /tmp/<kernel file>.manifest.xml euca-register <kernel-bucket>/<kernel file>.manifest.xml euca-bundle-image -i <vm image file> euca-upload-bundle -b <image bucket> -m /tmp/<vm image file>.manifest.xml euca-register <image bucket>/<vm image file>.manifest.xml
  • 21.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 21 carstenh@cl1cc1:~# euca-describe-availability-zones verbose AVAILABILITYZONE cluster1 cl1cc1 AVAILABILITYZONE |- vm types free / max cpu ram disk AVAILABILITYZONE |- m1.small 0004 / 0004 1 128 2 AVAILABILITYZONE |- c1.medium 0004 / 0004 1 192 5 AVAILABILITYZONE |- m1.large 0002 / 0002 2 256 10 AVAILABILITYZONE |- m1.xlarge 0002 / 0002 2 512 20 AVAILABILITYZONE |- c1.xlarge 0000 / 0000 4 1024 20 INSTANZ STARTEN carstenh@cl1cc1:~# euca-run-instances -t m1.small -k carstenh emi-DD6D105F ⤦ RESERVATION r-41A507E1 adminadmin-default INSTANCE i-44B807BF emi-DD6D105F 0.0.0.0 0.0.0.0 pending admin 0 ⤦ m1.small ⤦ 2011-02-21T12:13:01.229Z cluster1 eki-F3A210E1 eri-07E0113D carstenh@cl1cc1:~# euca-describe-instances RESERVATION r-4F230943 admindefault INSTANCE i-44B807BF emi-DD6D105F 192.168.1.160 172.19.1.2 running carstenh ⤦ ⤦ 0 m1.small 2011-02-21T12:13:25.284Z cluster1 eki-F3A210E1 eri-07E0113D carstenh@cl1cc1:~# ssh -i eucalyptus/keys/carstenh.pk ubuntu@172.19.1.2 ubuntu@ip-172-19-1-2:~$
  • 22.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 22 carstenh@cl1cc1:~# euca-create-volume -s 10 -z cluster1 VOLUME vol-591C0627 10 creating 2011-02-21T12:45:35.493Z carstenh@cl1cc1:~# euca-attach-volume -i i-44B807BF -d /dev/vda vol-591C0627 VOLUME vol-591C0627 VOLUMES EINBINDEN • Persistenter Speicher für die Instanz • /var/lib/eucalyptus/volumes • Per iSCSI als Blockdevice in der Instanz verfügbar
  • 23.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 IMAGES KONVERTIEREN • Download AMI von Amazon S3 (viele .part-Dateien) • Umwandeln in ein großes Bundle (mit EC2-Credentials) • In ein Eucalyptus-Image zusammenstellen (bundle) • Neues Image hochladen und registrieren 23 Images generisch halten und bei Bedarf eigene Images erstellen!
  • 24.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 INSTANZENVERWALTEN • Konsole • euca2ools • EC2-API-Tools • GUITools • Hybridfox • Rightscale 24
  • 25.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011Bild: Peter Hoffmann / Pixelio 25
  • 26.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 TROUBLESHOOTING • Logfiles • /var/log/eucalyptus/nc.log # Node • /var/log/eucalyptus/cc.log # Cluster Controller • euca-get-console-output • Community • http://open.eucalyptus.com/forum • http://open.eucalyptus.com/wiki/EucalyptusTroubleshooting_v2.0 26
  • 27.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 PROBLEME • Fehleranalyse teilweise schwierig • Nicht vollständig kompatibel zu AWS • VMWare nur in EE • Einschränkungen durch EE (NASA) • Viele Paketabhängigkeiten • Nachläufer • Beschränkte Ressourcen 27Bild: Klicker / Pixelio
  • 28.
    Carsten Hensiek |Open Source Data Center Conference | 07.04.2011 FAZIT • Bewährte Private-Cloud-Lösung • Wird stark weiterentwickelt • Monitoring und Reporting • HA-Produkt • Einfach zu implementieren, dafür nicht einfach zu konfigurieren • Interessant für Entwickler • Zusammenarbeit mit OpenStack • Fester Bestandteil von Ubuntu 28
  • 29.
    VIELEN DANK w ww. x i n g . c o m / P r o fi l e / C a r s t e n _ H e n s i e k