S. Freitag


DGRZR
               Erweiterung einer D-Grid Ressource um eine
OpenNebula             Compute Cloud Schnitts...
S. Freitag


DGRZR

OpenNebula     1 D-Grid Resourcen Zentrum Ruhr
am DGRZR

Grid und
Cloud am
DGRZR          2 OpenNebula...
Hardware


  S. Freitag


DGRZR

OpenNebula
am DGRZR

Grid und           256 Blades, je 8 Cores, 16 GByte RAM
Cloud am
DGR...
Dienste


  S. Freitag
               Starke Anlehnung an die D-Grid Referenz-Installation1
DGRZR               Drei Compu...
Compute Middlewares – Schichtenansicht


  S. Freitag


DGRZR                      UNICORE     gLite       WS
OpenNebula  ...
Durchgef¨hrte Erweiterung – Schichtenansicht
                       u


  S. Freitag


DGRZR

OpenNebula
                 ...
OpenNebula


  S. Freitag

               Auszug aus der Beschreibung (http://www.opennebula.org)
DGRZR

OpenNebula       ...
OpenNebula am DGRZR


  S. Freitag


DGRZR

OpenNebula        Angepasster ONE 1.4 GIT Snapshot (M¨rz 2010)
               ...
Executions Hosts


  S. Freitag


DGRZR

OpenNebula
am DGRZR

Grid und
Cloud am
DGRZR

Cloud
Computing
und D-Grid
Virtuelle Netzwerke


  S. Freitag


DGRZR

OpenNebula
am DGRZR

Grid und
Cloud am
DGRZR

Cloud
Computing
und D-Grid
Virtuelle Maschinen


  S. Freitag


DGRZR

OpenNebula
am DGRZR

Grid und
Cloud am
DGRZR

Cloud
Computing
und D-Grid
Worker Node Template


  S. Freitag
               NAME = udo−wn300
DGRZR
               VCPU = 8
               MEMORY = ...
Szenario 1: Private Cloud


  S. Freitag


DGRZR          Deployment von Grid Worker Nodes mittels ONE
OpenNebula
am DGRZR...
Szenario 2: Public Cloud


  S. Freitag


DGRZR
               Hauptunterschied zu Szenario 1
OpenNebula
am DGRZR         ...
Integration in D-Grid


  S. Freitag


DGRZR          Ein Ziel von D-Grid (Quelle: Wikipedia)
OpenNebula
am DGRZR       Cr...
Ausblick


  S. Freitag


DGRZR

OpenNebula
               DGRZR
am DGRZR
                   Kontextualisierung
Grid und
C...
Nächste SlideShare
Wird geladen in …5
×

Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle

1.283 Aufrufe

Veröffentlicht am

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.283
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
6
Aktionen
Geteilt
0
Downloads
7
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle

  1. 1. S. Freitag DGRZR Erweiterung einer D-Grid Ressource um eine OpenNebula Compute Cloud Schnittstelle am DGRZR Grid und 3. DFN-Forum 2010 Kommunikationstechnologien Cloud am DGRZR Verteilte Systeme im Wissenschaftsbereich Cloud Computing und D-Grid Stefan Freitag Institut f¨r Roboterforschung u Technische Universit¨t Dortmund a 26. Mai 2010
  2. 2. S. Freitag DGRZR OpenNebula 1 D-Grid Resourcen Zentrum Ruhr am DGRZR Grid und Cloud am DGRZR 2 OpenNebula am DGRZR Cloud Computing und D-Grid 3 Grid und Cloud am DGRZR 4 Cloud Computing und D-Grid
  3. 3. Hardware S. Freitag DGRZR OpenNebula am DGRZR Grid und 256 Blades, je 8 Cores, 16 GByte RAM Cloud am DGRZR SLES 10 SP3 mit Xen 3.2 Kernel Cloud Computing 100 TByte Massenspeicher sowie 25 TByte SFS 3.1 und D-Grid (Lustre 1.6) D-Grid und LCG Ressource seit April 2008
  4. 4. Dienste S. Freitag Starke Anlehnung an die D-Grid Referenz-Installation1 DGRZR Drei Compute Middlewares OpenNebula am DGRZR gLite 3.1 (lcg-CE) und 3.2 (CREAM-CE, BDII) Grid und UNICORE 5 und 6 Cloud am Globus Toolkit 4.0.8 (in Vorbereitung GT 5) DGRZR Cloud Zwei Storage Middlewares Computing dCache 1.9.5 und D-Grid OGSA-DAI WSRF 2.2 Zus¨tzlich a LDAP MySQL DB f¨r OGSA-DAI u Alle Dienste laufen in Xen VMs. Derzeit Evaluation von Xen 4.0. 1 http://dgiref.d-grid.de/wiki/Introduction
  5. 5. Compute Middlewares – Schichtenansicht S. Freitag DGRZR UNICORE gLite WS OpenNebula VSite CE GRAM am DGRZR Grid und Cloud am Globus Toolkit DGRZR Cloud Computing Batchsystem Server und D-Grid Torque & Maui Worker Nodes Platform Virtualization
  6. 6. Durchgef¨hrte Erweiterung – Schichtenansicht u S. Freitag DGRZR OpenNebula UNICORE gLite WS am DGRZR VSite CE GRAM Grid und Cloud am DGRZR Globus Toolkit Cloud Computing Batchsystem Server und D-Grid Torque & MAUI Open Worker Nodes Nebula Platform Virtualization
  7. 7. OpenNebula S. Freitag Auszug aus der Beschreibung (http://www.opennebula.org) DGRZR OpenNebula Standard-based open-source toolkit to build private, public am DGRZR and hybrid clouds. The toolkit provides flexible Grid und Cloud am architecture, interfaces and components that fit into any DGRZR existing data center. Cloud Computing Key features der Version 1.4 und D-Grid Unterst¨tzung f¨r Xen, KVM und VMware u u Zugang zu Amazon EC2 und ElasticHosts libvirt, EC2 Query API und OCCI Schnittstellen Analog zu Eucalyptus: Unternehmensgr¨ndung (C12G Labs) u zur Bereistellung von value-added enterprise-solutions und commercial support
  8. 8. OpenNebula am DGRZR S. Freitag DGRZR OpenNebula Angepasster ONE 1.4 GIT Snapshot (M¨rz 2010) a am DGRZR Einbindung physischer Partitionen in Worker Nodes Grid und Cloud am file statt tap:aio aufgrund Xen Bug DGRZR Cloud Xen Infrastructure und SSH Transfer Computing und D-Grid Abbilder/ Templates f¨r SL 5.4 Worker Nodes u In Vorbereitung u. a. gLite CREAM-CE, siteBDII Nutzerinteraktion mit ONE via CLI und ONE MC Unterst¨tzung von OCCI via HTTPS u
  9. 9. Executions Hosts S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  10. 10. Virtuelle Netzwerke S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  11. 11. Virtuelle Maschinen S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  12. 12. Worker Node Template S. Freitag NAME = udo−wn300 DGRZR VCPU = 8 MEMORY = 13312 OpenNebula am DGRZR Grid und OS = [ b o o t l o a d e r = ”/ r o o t / b i n / domUloader . py ” ] Cloud am DGRZR DISK = [ s o u r c e = <path >/ w n s l 5 4 x 8 6 6 4 . img ” , Cloud Computing t a r g e t = ” xvda ” , r e a d o n l y = ” no ” ] und D-Grid DISK = [ t y p e = swap , s i z e = 1 0 2 4 , t a r g e t = ” xvdb ” , r e a d o n l y = ” no ” ] DISK = [ t y p e = ” b l o c k ” , c l o n e = ” y e s ” , s o u r c e = ”/ dev / c c i s s / c0d0p4 ” , t a r g e t = ” x v d c ” , r e a d o n l y = ” no ” ] NIC = [ NETWORK = ” DGRZRWorkernodes ” , IP = 1 2 9 . 2 1 7 . 2 4 2 . 1 6 6 ]
  13. 13. Szenario 1: Private Cloud S. Freitag DGRZR Deployment von Grid Worker Nodes mittels ONE OpenNebula am DGRZR Homogen (derzeit im Einsatz) Grid und Heterogen (bereits in small scale getestet 2 ) Cloud am DGRZR Annahme: VO Anforderungen sind durch VO-spezifische Cloud Worker Nodes erf¨llbar u Computing 1:1 Abbildung von Worker Node Typen auf LRMS Queues und D-Grid ¨ Uberpr¨fung der F¨llstands jeder Queue u u Leere Queue → Reduktion der zugewiesenen Worker Nodes Vergabe der freigewordenen Ressourcen an andere (overcrowded) Queues 2 B. Konrad: Dynamic management of VMs on HPC resources of TU Dortmund (Diplomarbeit, 2009)
  14. 14. Szenario 2: Public Cloud S. Freitag DGRZR Hauptunterschied zu Szenario 1 OpenNebula am DGRZR Zugriff auf Cloudschnittstellen f¨r externe Nutzer u Grid und Cloud am Verwaltung von VLANs 3 , VMs und VStorage DGRZR Cloud Computing Spaltung der physischen Ressourcen in Cloud & Grid Partition und D-Grid ¨ Dynamische Anderung der Partitionsgr¨ße o Verdr¨ngung (Suspendierung) von z. B. VMs a Welche VM sind anzuhalten? → Priorisierung Job Typ: simple batch jobs, MPI jobs, services Kundenstatus: z. B. Normal, Premium und Platin 3 VLANS != ONE virtual networks
  15. 15. Integration in D-Grid S. Freitag DGRZR Ein Ziel von D-Grid (Quelle: Wikipedia) OpenNebula am DGRZR Create sustainable & longterm Grid infrastructure in Germany Grid und Cloud am → D-Grid ist fokussiert auf Grid Nutzung. Was ist mit Clouds? DGRZR Cloud Cloud Schnittstellen erlauben einen neuen und einfacheren Computing und D-Grid Zugang zu entfernten Ressourcen Offene Probleme f¨r eine m¨gliche Integration in D-Grid u o Nutzerverwaltung Autorisation Accounting/ Billing Monitoring Informationssystem
  16. 16. Ausblick S. Freitag DGRZR OpenNebula DGRZR am DGRZR Kontextualisierung Grid und Cloud am Zugriff uber OCCI f¨r externe Nutzer ¨ u DGRZR Cloud Ausweitung der Cloud uber die UAMR ¨ Computing und D-Grid D-Grid Erweiterung des D-Grid Portfolio um IaaS Protoypische Integration neuer Technologien KMUinnovativ Projekt D-Grid IaaS“(Start: 01.06.2010) ”

×