SlideShare ist ein Scribd-Unternehmen logo
S. Freitag


DGRZR
               Erweiterung einer D-Grid Ressource um eine
OpenNebula             Compute Cloud Schnittstelle
am DGRZR

Grid und
                 3. DFN-Forum 2010 Kommunikationstechnologien
Cloud am
DGRZR
                     Verteilte Systeme im Wissenschaftsbereich
Cloud
Computing
und D-Grid
                                  Stefan Freitag

                             Institut f¨r Roboterforschung
                                       u
                           Technische Universit¨t Dortmund
                                                a


                                  26. Mai 2010
S. Freitag


DGRZR

OpenNebula     1 D-Grid Resourcen Zentrum Ruhr
am DGRZR

Grid und
Cloud am
DGRZR          2 OpenNebula am DGRZR
Cloud
Computing
und D-Grid
               3 Grid und Cloud am DGRZR


               4 Cloud Computing und D-Grid
Hardware


  S. Freitag


DGRZR

OpenNebula
am DGRZR

Grid und           256 Blades, je 8 Cores, 16 GByte RAM
Cloud am
DGRZR              SLES 10 SP3 mit Xen 3.2 Kernel
Cloud
Computing          100 TByte Massenspeicher sowie 25 TByte SFS 3.1
und D-Grid
                   (Lustre 1.6)
                   D-Grid und LCG Ressource seit April 2008
Dienste


  S. Freitag
               Starke Anlehnung an die D-Grid Referenz-Installation1
DGRZR               Drei Compute Middlewares
OpenNebula
am DGRZR
                            gLite 3.1 (lcg-CE) und 3.2 (CREAM-CE, BDII)
Grid und
                            UNICORE 5 und 6
Cloud am                    Globus Toolkit 4.0.8 (in Vorbereitung GT 5)
DGRZR

Cloud
                      Zwei Storage Middlewares
Computing                   dCache 1.9.5
und D-Grid
                            OGSA-DAI WSRF 2.2
                      Zus¨tzlich
                         a
                            LDAP
                            MySQL DB f¨r OGSA-DAI
                                      u
               Alle Dienste laufen in Xen VMs. Derzeit Evaluation von Xen
               4.0.

                 1
                     http://dgiref.d-grid.de/wiki/Introduction
Compute Middlewares – Schichtenansicht


  S. Freitag


DGRZR                      UNICORE     gLite       WS
OpenNebula                   VSite      CE        GRAM
am DGRZR

Grid und
Cloud am                                Globus Toolkit
DGRZR

Cloud
Computing                       Batchsystem Server
und D-Grid                       Torque & Maui

                                  Worker Nodes

                               Platform Virtualization
Durchgef¨hrte Erweiterung – Schichtenansicht
                       u


  S. Freitag


DGRZR

OpenNebula
                                  UNICORE        gLite       WS
am DGRZR                            VSite         CE        GRAM
Grid und
Cloud am
DGRZR
                                                  Globus Toolkit
Cloud
Computing                                Batchsystem Server
und D-Grid
                                          Torque & MAUI

                         Open
                                            Worker Nodes
                         Nebula

                                  Platform Virtualization
OpenNebula


  S. Freitag

               Auszug aus der Beschreibung (http://www.opennebula.org)
DGRZR

OpenNebula         Standard-based open-source toolkit to build private, public
am DGRZR
                   and hybrid clouds. The toolkit provides flexible
Grid und
Cloud am           architecture, interfaces and components that fit into any
DGRZR
                   existing data center.
Cloud
Computing          Key features der Version 1.4
und D-Grid
                        Unterst¨tzung f¨r Xen, KVM und VMware
                                 u      u
                        Zugang zu Amazon EC2 und ElasticHosts
                        libvirt, EC2 Query API und OCCI Schnittstellen
               Analog zu Eucalyptus: Unternehmensgr¨ndung (C12G Labs)
                                                      u
               zur Bereistellung von value-added enterprise-solutions und
               commercial support
OpenNebula am DGRZR


  S. Freitag


DGRZR

OpenNebula        Angepasster ONE 1.4 GIT Snapshot (M¨rz 2010)
                                                     a
am DGRZR
                      Einbindung physischer Partitionen in Worker Nodes
Grid und
Cloud am              file statt tap:aio aufgrund Xen Bug
DGRZR

Cloud
                  Xen Infrastructure und SSH Transfer
Computing
und D-Grid        Abbilder/ Templates f¨r SL 5.4 Worker Nodes
                                       u
                  In Vorbereitung u. a. gLite CREAM-CE, siteBDII
                  Nutzerinteraktion mit ONE via CLI und ONE MC
                  Unterst¨tzung von OCCI via HTTPS
                         u
Executions Hosts


  S. Freitag


DGRZR

OpenNebula
am DGRZR

Grid und
Cloud am
DGRZR

Cloud
Computing
und D-Grid
Virtuelle Netzwerke


  S. Freitag


DGRZR

OpenNebula
am DGRZR

Grid und
Cloud am
DGRZR

Cloud
Computing
und D-Grid
Virtuelle Maschinen


  S. Freitag


DGRZR

OpenNebula
am DGRZR

Grid und
Cloud am
DGRZR

Cloud
Computing
und D-Grid
Worker Node Template


  S. Freitag
               NAME = udo−wn300
DGRZR
               VCPU = 8
               MEMORY = 13312
OpenNebula
am DGRZR

Grid und       OS = [ b o o t l o a d e r = ”/ r o o t / b i n / domUloader . py ” ]
Cloud am
DGRZR
               DISK = [ s o u r c e = <path >/ w n s l 5 4 x 8 6 6 4 . img ” ,
Cloud
Computing
                 t a r g e t = ” xvda ” , r e a d o n l y = ” no ” ]
und D-Grid     DISK = [ t y p e = swap , s i z e = 1 0 2 4 ,
                 t a r g e t = ” xvdb ” , r e a d o n l y = ” no ”
               ]
               DISK = [ t y p e = ” b l o c k ” , c l o n e = ” y e s ” ,
                 s o u r c e = ”/ dev / c c i s s / c0d0p4 ” ,
                 t a r g e t = ” x v d c ” , r e a d o n l y = ” no ”
               ]
               NIC = [ NETWORK = ” DGRZRWorkernodes ” ,
                 IP = 1 2 9 . 2 1 7 . 2 4 2 . 1 6 6
               ]
Szenario 1: Private Cloud


  S. Freitag


DGRZR          Deployment von Grid Worker Nodes mittels ONE
OpenNebula
am DGRZR
                      Homogen (derzeit im Einsatz)
Grid und              Heterogen (bereits in small scale getestet 2 )
Cloud am
DGRZR                     Annahme: VO Anforderungen sind durch VO-spezifische
Cloud                     Worker Nodes erf¨llbar
                                           u
Computing                 1:1 Abbildung von Worker Node Typen auf LRMS Queues
und D-Grid
                          ¨
                          Uberpr¨fung der F¨llstands jeder Queue
                                 u          u
                          Leere Queue → Reduktion der zugewiesenen Worker Nodes
                          Vergabe der freigewordenen Ressourcen an andere
                          (overcrowded) Queues



                  2
                   B. Konrad: Dynamic management of VMs on HPC resources of TU
               Dortmund (Diplomarbeit, 2009)
Szenario 2: Public Cloud


  S. Freitag


DGRZR
               Hauptunterschied zu Szenario 1
OpenNebula
am DGRZR               Zugriff auf Cloudschnittstellen f¨r externe Nutzer
                                                       u
Grid und
Cloud am               Verwaltung von VLANs 3 , VMs und VStorage
DGRZR

Cloud
Computing      Spaltung der physischen Ressourcen in Cloud & Grid Partition
und D-Grid
                                ¨
                    Dynamische Anderung der Partitionsgr¨ße
                                                         o
                       Verdr¨ngung (Suspendierung) von z. B. VMs
                            a
                       Welche VM sind anzuhalten? → Priorisierung
                            Job Typ: simple batch jobs, MPI jobs, services
                            Kundenstatus: z. B. Normal, Premium und Platin


                  3
                      VLANS != ONE virtual networks
Integration in D-Grid


  S. Freitag


DGRZR          Ein Ziel von D-Grid (Quelle: Wikipedia)
OpenNebula
am DGRZR       Create sustainable & longterm Grid infrastructure in Germany
Grid und
Cloud am       → D-Grid ist fokussiert auf Grid Nutzung. Was ist mit Clouds?
DGRZR

Cloud              Cloud Schnittstellen erlauben einen neuen und einfacheren
Computing
und D-Grid
                   Zugang zu entfernten Ressourcen
                   Offene Probleme f¨r eine m¨gliche Integration in D-Grid
                                     u         o
                        Nutzerverwaltung
                        Autorisation
                        Accounting/ Billing
                        Monitoring
                        Informationssystem
Ausblick


  S. Freitag


DGRZR

OpenNebula
               DGRZR
am DGRZR
                   Kontextualisierung
Grid und
Cloud am           Zugriff uber OCCI f¨r externe Nutzer
                          ¨          u
DGRZR

Cloud              Ausweitung der Cloud uber die UAMR
                                        ¨
Computing
und D-Grid     D-Grid
                   Erweiterung des D-Grid Portfolio um IaaS
                   Protoypische Integration neuer Technologien
                   KMUinnovativ Projekt D-Grid IaaS“(Start: 01.06.2010)
                                       ”

Weitere ähnliche Inhalte

Andere mochten auch

Grafenstein rms urlaub im radio
Grafenstein rms urlaub im radioGrafenstein rms urlaub im radio
Vortrag 'Service-Definition und Service-Katalog' 2012-08-23 V01.00.00
Vortrag 'Service-Definition und Service-Katalog' 2012-08-23 V01.00.00Vortrag 'Service-Definition und Service-Katalog' 2012-08-23 V01.00.00
Vortrag 'Service-Definition und Service-Katalog' 2012-08-23 V01.00.00
servicEvolution
 
MUM Produktpräsentation 2010
MUM Produktpräsentation 2010MUM Produktpräsentation 2010
MUM Produktpräsentation 2010
Philip Axmann
 
Images underwater eilat israe2l
Images underwater eilat israe2lImages underwater eilat israe2l
Images underwater eilat israe2l
filipj2000
 
Obiee 11 g upgrade from 11116x to 11117 on linux
Obiee 11 g upgrade from 11116x to 11117 on linuxObiee 11 g upgrade from 11116x to 11117 on linux
Obiee 11 g upgrade from 11116x to 11117 on linux
Ravi Kumar Lanke
 
Atelier08 - Prospect 2009 - House Nowack
Atelier08 - Prospect 2009 - House Nowack  Atelier08 - Prospect 2009 - House Nowack
Atelier08 - Prospect 2009 - House Nowack Armin Widmann
 
'Certified Service Consumer Consultant' ZP05_2017 V01.01.00
'Certified Service Consumer Consultant' ZP05_2017 V01.01.00'Certified Service Consumer Consultant' ZP05_2017 V01.01.00
'Certified Service Consumer Consultant' ZP05_2017 V01.01.00
servicEvolution
 
Tenis
TenisTenis
Social TV made in Switzerland
Social TV made in SwitzerlandSocial TV made in Switzerland
Social TV made in Switzerland
Nicolas Noth
 
innosabi Case Study: Medical Valley Innovation – Eine innosabi Crowdsourced I...
innosabi Case Study: Medical Valley Innovation – Eine innosabi Crowdsourced I...innosabi Case Study: Medical Valley Innovation – Eine innosabi Crowdsourced I...
innosabi Case Study: Medical Valley Innovation – Eine innosabi Crowdsourced I...
innosabi GmbH
 
Vorlesung Servicemanagement I - Blockvorlesung 07 - 2013-01-22 V01.03.00
Vorlesung Servicemanagement I - Blockvorlesung 07 - 2013-01-22 V01.03.00Vorlesung Servicemanagement I - Blockvorlesung 07 - 2013-01-22 V01.03.00
Vorlesung Servicemanagement I - Blockvorlesung 07 - 2013-01-22 V01.03.00
servicEvolution
 
'Certified Chief Servuction Officer' ZP10_2017 V01.01.00
'Certified Chief Servuction Officer' ZP10_2017 V01.01.00'Certified Chief Servuction Officer' ZP10_2017 V01.01.00
'Certified Chief Servuction Officer' ZP10_2017 V01.01.00
servicEvolution
 

Andere mochten auch (15)

Grafenstein rms urlaub im radio
Grafenstein rms urlaub im radioGrafenstein rms urlaub im radio
Grafenstein rms urlaub im radio
 
Vortrag 'Service-Definition und Service-Katalog' 2012-08-23 V01.00.00
Vortrag 'Service-Definition und Service-Katalog' 2012-08-23 V01.00.00Vortrag 'Service-Definition und Service-Katalog' 2012-08-23 V01.00.00
Vortrag 'Service-Definition und Service-Katalog' 2012-08-23 V01.00.00
 
MUM Produktpräsentation 2010
MUM Produktpräsentation 2010MUM Produktpräsentation 2010
MUM Produktpräsentation 2010
 
Images underwater eilat israe2l
Images underwater eilat israe2lImages underwater eilat israe2l
Images underwater eilat israe2l
 
Obiee 11 g upgrade from 11116x to 11117 on linux
Obiee 11 g upgrade from 11116x to 11117 on linuxObiee 11 g upgrade from 11116x to 11117 on linux
Obiee 11 g upgrade from 11116x to 11117 on linux
 
Atelier08 - Prospect 2009 - House Nowack
Atelier08 - Prospect 2009 - House Nowack  Atelier08 - Prospect 2009 - House Nowack
Atelier08 - Prospect 2009 - House Nowack
 
Franken vs. bayern
Franken vs. bayernFranken vs. bayern
Franken vs. bayern
 
'Certified Service Consumer Consultant' ZP05_2017 V01.01.00
'Certified Service Consumer Consultant' ZP05_2017 V01.01.00'Certified Service Consumer Consultant' ZP05_2017 V01.01.00
'Certified Service Consumer Consultant' ZP05_2017 V01.01.00
 
Stockholm Gay Guide, German
Stockholm Gay Guide, GermanStockholm Gay Guide, German
Stockholm Gay Guide, German
 
Tenis
TenisTenis
Tenis
 
Social TV made in Switzerland
Social TV made in SwitzerlandSocial TV made in Switzerland
Social TV made in Switzerland
 
innosabi Case Study: Medical Valley Innovation – Eine innosabi Crowdsourced I...
innosabi Case Study: Medical Valley Innovation – Eine innosabi Crowdsourced I...innosabi Case Study: Medical Valley Innovation – Eine innosabi Crowdsourced I...
innosabi Case Study: Medical Valley Innovation – Eine innosabi Crowdsourced I...
 
Vorlesung Servicemanagement I - Blockvorlesung 07 - 2013-01-22 V01.03.00
Vorlesung Servicemanagement I - Blockvorlesung 07 - 2013-01-22 V01.03.00Vorlesung Servicemanagement I - Blockvorlesung 07 - 2013-01-22 V01.03.00
Vorlesung Servicemanagement I - Blockvorlesung 07 - 2013-01-22 V01.03.00
 
Stockholm Lesbian Guide, German
Stockholm Lesbian Guide, GermanStockholm Lesbian Guide, German
Stockholm Lesbian Guide, German
 
'Certified Chief Servuction Officer' ZP10_2017 V01.01.00
'Certified Chief Servuction Officer' ZP10_2017 V01.01.00'Certified Chief Servuction Officer' ZP10_2017 V01.01.00
'Certified Chief Servuction Officer' ZP10_2017 V01.01.00
 

Ähnlich wie Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle

Zusammenfassung Open Issue Session "Cloud Computing im Kontext des D-Grid"
Zusammenfassung Open Issue Session "Cloud Computing im Kontext des D-Grid"Zusammenfassung Open Issue Session "Cloud Computing im Kontext des D-Grid"
Zusammenfassung Open Issue Session "Cloud Computing im Kontext des D-Grid"Stefan Freitag
 
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GISGeoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Peter Löwe
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
QAware GmbH
 
Cloud Computing
Cloud ComputingCloud Computing
Cloud Computing
Thomas Krampe
 
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-ComputingTipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Jörn Dinkla
 
XenServer und Storage
XenServer und StorageXenServer und Storage
XenServer und Storage
André Dannbacher
 
Cloud Computing ­- eine Revolution? by Hartmut Streppel
Cloud Computing ­- eine Revolution? by Hartmut StreppelCloud Computing ­- eine Revolution? by Hartmut Streppel
Cloud Computing ­- eine Revolution? by Hartmut Streppel
Medien Meeting Mannheim
 
Citrix Day 2014: HDX 3D for Professional Graphics
Citrix Day 2014: HDX 3D for Professional GraphicsCitrix Day 2014: HDX 3D for Professional Graphics
Citrix Day 2014: HDX 3D for Professional Graphics
Digicomp Academy AG
 
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
data://disrupted®
 
Ist Gradle auch für die APEX-Projekte?
Ist Gradle auch für die APEX-Projekte?Ist Gradle auch für die APEX-Projekte?
Ist Gradle auch für die APEX-Projekte?
MT AG
 
Verteilte Anwendungen bei Azure mit Docker und Kubernetes
Verteilte Anwendungen bei Azure mit Docker und KubernetesVerteilte Anwendungen bei Azure mit Docker und Kubernetes
Verteilte Anwendungen bei Azure mit Docker und Kubernetes
Gregor Biswanger
 
Cloud-Native ohne Vendor Lock-in mit Kubernetes
Cloud-Native ohne Vendor Lock-in mit KubernetesCloud-Native ohne Vendor Lock-in mit Kubernetes
Cloud-Native ohne Vendor Lock-in mit Kubernetes
ConSol Consulting & Solutions Software GmbH
 
Enterprise Cloud Native ist das neue Normal
Enterprise Cloud Native ist das neue NormalEnterprise Cloud Native ist das neue Normal
Enterprise Cloud Native ist das neue Normal
QAware GmbH
 
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
OPITZ CONSULTING Deutschland
 
Data Virtualization - Supernova
Data Virtualization - SupernovaData Virtualization - Supernova
Data Virtualization - Supernova
Torsten Glunde
 
Multi-GPU-Computing: Eins, zwei, drei, ganz viele
Multi-GPU-Computing: Eins, zwei, drei, ganz vieleMulti-GPU-Computing: Eins, zwei, drei, ganz viele
Multi-GPU-Computing: Eins, zwei, drei, ganz viele
Jörn Dinkla
 
IPv6 Integration im Datacenter - wie komplex ist es wirklich?
IPv6 Integration im Datacenter - wie komplex ist es wirklich?IPv6 Integration im Datacenter - wie komplex ist es wirklich?
IPv6 Integration im Datacenter - wie komplex ist es wirklich?
Swiss IPv6 Council
 
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & Co
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & CoReady for the Future: Jakarta EE in Zeiten von Cloud Native & Co
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & Co
OPEN KNOWLEDGE GmbH
 
Das Runde muss in das Eckige - Java-Anwendungen für Kubernetes entwickeln und...
Das Runde muss in das Eckige - Java-Anwendungen für Kubernetes entwickeln und...Das Runde muss in das Eckige - Java-Anwendungen für Kubernetes entwickeln und...
Das Runde muss in das Eckige - Java-Anwendungen für Kubernetes entwickeln und...
gedoplan
 
Cloud Native & Java EE: Freund oder Feind?
Cloud Native & Java EE: Freund oder Feind?Cloud Native & Java EE: Freund oder Feind?
Cloud Native & Java EE: Freund oder Feind?
QAware GmbH
 

Ähnlich wie Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle (20)

Zusammenfassung Open Issue Session "Cloud Computing im Kontext des D-Grid"
Zusammenfassung Open Issue Session "Cloud Computing im Kontext des D-Grid"Zusammenfassung Open Issue Session "Cloud Computing im Kontext des D-Grid"
Zusammenfassung Open Issue Session "Cloud Computing im Kontext des D-Grid"
 
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GISGeoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
Geoinformatik-Kolloquium Juni 2012: High Performance Computing Cluster GIS
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
 
Cloud Computing
Cloud ComputingCloud Computing
Cloud Computing
 
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-ComputingTipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
Tipps & Tricks für den erfolgreichen Einsatz von GPU-Computing
 
XenServer und Storage
XenServer und StorageXenServer und Storage
XenServer und Storage
 
Cloud Computing ­- eine Revolution? by Hartmut Streppel
Cloud Computing ­- eine Revolution? by Hartmut StreppelCloud Computing ­- eine Revolution? by Hartmut Streppel
Cloud Computing ­- eine Revolution? by Hartmut Streppel
 
Citrix Day 2014: HDX 3D for Professional Graphics
Citrix Day 2014: HDX 3D for Professional GraphicsCitrix Day 2014: HDX 3D for Professional Graphics
Citrix Day 2014: HDX 3D for Professional Graphics
 
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
 
Ist Gradle auch für die APEX-Projekte?
Ist Gradle auch für die APEX-Projekte?Ist Gradle auch für die APEX-Projekte?
Ist Gradle auch für die APEX-Projekte?
 
Verteilte Anwendungen bei Azure mit Docker und Kubernetes
Verteilte Anwendungen bei Azure mit Docker und KubernetesVerteilte Anwendungen bei Azure mit Docker und Kubernetes
Verteilte Anwendungen bei Azure mit Docker und Kubernetes
 
Cloud-Native ohne Vendor Lock-in mit Kubernetes
Cloud-Native ohne Vendor Lock-in mit KubernetesCloud-Native ohne Vendor Lock-in mit Kubernetes
Cloud-Native ohne Vendor Lock-in mit Kubernetes
 
Enterprise Cloud Native ist das neue Normal
Enterprise Cloud Native ist das neue NormalEnterprise Cloud Native ist das neue Normal
Enterprise Cloud Native ist das neue Normal
 
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
Tipps & Tricks zum Aufbau einer Unternehmenscloud mit CC13
 
Data Virtualization - Supernova
Data Virtualization - SupernovaData Virtualization - Supernova
Data Virtualization - Supernova
 
Multi-GPU-Computing: Eins, zwei, drei, ganz viele
Multi-GPU-Computing: Eins, zwei, drei, ganz vieleMulti-GPU-Computing: Eins, zwei, drei, ganz viele
Multi-GPU-Computing: Eins, zwei, drei, ganz viele
 
IPv6 Integration im Datacenter - wie komplex ist es wirklich?
IPv6 Integration im Datacenter - wie komplex ist es wirklich?IPv6 Integration im Datacenter - wie komplex ist es wirklich?
IPv6 Integration im Datacenter - wie komplex ist es wirklich?
 
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & Co
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & CoReady for the Future: Jakarta EE in Zeiten von Cloud Native & Co
Ready for the Future: Jakarta EE in Zeiten von Cloud Native & Co
 
Das Runde muss in das Eckige - Java-Anwendungen für Kubernetes entwickeln und...
Das Runde muss in das Eckige - Java-Anwendungen für Kubernetes entwickeln und...Das Runde muss in das Eckige - Java-Anwendungen für Kubernetes entwickeln und...
Das Runde muss in das Eckige - Java-Anwendungen für Kubernetes entwickeln und...
 
Cloud Native & Java EE: Freund oder Feind?
Cloud Native & Java EE: Freund oder Feind?Cloud Native & Java EE: Freund oder Feind?
Cloud Native & Java EE: Freund oder Feind?
 

Mehr von Stefan Freitag

Globus Toolkit Status @ bwGrid F2F
Globus Toolkit Status @ bwGrid F2FGlobus Toolkit Status @ bwGrid F2F
Globus Toolkit Status @ bwGrid F2FStefan Freitag
 
Vorstellung IGE bei bwGrid Face2Face Meeting
Vorstellung IGE bei bwGrid Face2Face MeetingVorstellung IGE bei bwGrid Face2Face Meeting
Vorstellung IGE bei bwGrid Face2Face Meeting
Stefan Freitag
 
D-Grid Infrastructure
D-Grid InfrastructureD-Grid Infrastructure
D-Grid Infrastructure
Stefan Freitag
 
Cloud Computing in D-Grid
Cloud Computing in D-GridCloud Computing in D-Grid
Cloud Computing in D-Grid
Stefan Freitag
 
Talk at the Security Workshop, GridKA Summerschool 2010
Talk at the Security Workshop, GridKA Summerschool 2010Talk at the Security Workshop, GridKA Summerschool 2010
Talk at the Security Workshop, GridKA Summerschool 2010
Stefan Freitag
 
gLite Administration Workshop, Slides
gLite Administration Workshop, SlidesgLite Administration Workshop, Slides
gLite Administration Workshop, Slides
Stefan Freitag
 
Virtuelle Organisation dgOps - Status
Virtuelle Organisation dgOps - StatusVirtuelle Organisation dgOps - Status
Virtuelle Organisation dgOps - StatusStefan Freitag
 
Integration of Cloud and Grid Middleware at DGRZR
Integration of Cloud and Grid Middleware at DGRZRIntegration of Cloud and Grid Middleware at DGRZR
Integration of Cloud and Grid Middleware at DGRZR
Stefan Freitag
 

Mehr von Stefan Freitag (8)

Globus Toolkit Status @ bwGrid F2F
Globus Toolkit Status @ bwGrid F2FGlobus Toolkit Status @ bwGrid F2F
Globus Toolkit Status @ bwGrid F2F
 
Vorstellung IGE bei bwGrid Face2Face Meeting
Vorstellung IGE bei bwGrid Face2Face MeetingVorstellung IGE bei bwGrid Face2Face Meeting
Vorstellung IGE bei bwGrid Face2Face Meeting
 
D-Grid Infrastructure
D-Grid InfrastructureD-Grid Infrastructure
D-Grid Infrastructure
 
Cloud Computing in D-Grid
Cloud Computing in D-GridCloud Computing in D-Grid
Cloud Computing in D-Grid
 
Talk at the Security Workshop, GridKA Summerschool 2010
Talk at the Security Workshop, GridKA Summerschool 2010Talk at the Security Workshop, GridKA Summerschool 2010
Talk at the Security Workshop, GridKA Summerschool 2010
 
gLite Administration Workshop, Slides
gLite Administration Workshop, SlidesgLite Administration Workshop, Slides
gLite Administration Workshop, Slides
 
Virtuelle Organisation dgOps - Status
Virtuelle Organisation dgOps - StatusVirtuelle Organisation dgOps - Status
Virtuelle Organisation dgOps - Status
 
Integration of Cloud and Grid Middleware at DGRZR
Integration of Cloud and Grid Middleware at DGRZRIntegration of Cloud and Grid Middleware at DGRZR
Integration of Cloud and Grid Middleware at DGRZR
 

Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle

  • 1. S. Freitag DGRZR Erweiterung einer D-Grid Ressource um eine OpenNebula Compute Cloud Schnittstelle am DGRZR Grid und 3. DFN-Forum 2010 Kommunikationstechnologien Cloud am DGRZR Verteilte Systeme im Wissenschaftsbereich Cloud Computing und D-Grid Stefan Freitag Institut f¨r Roboterforschung u Technische Universit¨t Dortmund a 26. Mai 2010
  • 2. S. Freitag DGRZR OpenNebula 1 D-Grid Resourcen Zentrum Ruhr am DGRZR Grid und Cloud am DGRZR 2 OpenNebula am DGRZR Cloud Computing und D-Grid 3 Grid und Cloud am DGRZR 4 Cloud Computing und D-Grid
  • 3. Hardware S. Freitag DGRZR OpenNebula am DGRZR Grid und 256 Blades, je 8 Cores, 16 GByte RAM Cloud am DGRZR SLES 10 SP3 mit Xen 3.2 Kernel Cloud Computing 100 TByte Massenspeicher sowie 25 TByte SFS 3.1 und D-Grid (Lustre 1.6) D-Grid und LCG Ressource seit April 2008
  • 4. Dienste S. Freitag Starke Anlehnung an die D-Grid Referenz-Installation1 DGRZR Drei Compute Middlewares OpenNebula am DGRZR gLite 3.1 (lcg-CE) und 3.2 (CREAM-CE, BDII) Grid und UNICORE 5 und 6 Cloud am Globus Toolkit 4.0.8 (in Vorbereitung GT 5) DGRZR Cloud Zwei Storage Middlewares Computing dCache 1.9.5 und D-Grid OGSA-DAI WSRF 2.2 Zus¨tzlich a LDAP MySQL DB f¨r OGSA-DAI u Alle Dienste laufen in Xen VMs. Derzeit Evaluation von Xen 4.0. 1 http://dgiref.d-grid.de/wiki/Introduction
  • 5. Compute Middlewares – Schichtenansicht S. Freitag DGRZR UNICORE gLite WS OpenNebula VSite CE GRAM am DGRZR Grid und Cloud am Globus Toolkit DGRZR Cloud Computing Batchsystem Server und D-Grid Torque & Maui Worker Nodes Platform Virtualization
  • 6. Durchgef¨hrte Erweiterung – Schichtenansicht u S. Freitag DGRZR OpenNebula UNICORE gLite WS am DGRZR VSite CE GRAM Grid und Cloud am DGRZR Globus Toolkit Cloud Computing Batchsystem Server und D-Grid Torque & MAUI Open Worker Nodes Nebula Platform Virtualization
  • 7. OpenNebula S. Freitag Auszug aus der Beschreibung (http://www.opennebula.org) DGRZR OpenNebula Standard-based open-source toolkit to build private, public am DGRZR and hybrid clouds. The toolkit provides flexible Grid und Cloud am architecture, interfaces and components that fit into any DGRZR existing data center. Cloud Computing Key features der Version 1.4 und D-Grid Unterst¨tzung f¨r Xen, KVM und VMware u u Zugang zu Amazon EC2 und ElasticHosts libvirt, EC2 Query API und OCCI Schnittstellen Analog zu Eucalyptus: Unternehmensgr¨ndung (C12G Labs) u zur Bereistellung von value-added enterprise-solutions und commercial support
  • 8. OpenNebula am DGRZR S. Freitag DGRZR OpenNebula Angepasster ONE 1.4 GIT Snapshot (M¨rz 2010) a am DGRZR Einbindung physischer Partitionen in Worker Nodes Grid und Cloud am file statt tap:aio aufgrund Xen Bug DGRZR Cloud Xen Infrastructure und SSH Transfer Computing und D-Grid Abbilder/ Templates f¨r SL 5.4 Worker Nodes u In Vorbereitung u. a. gLite CREAM-CE, siteBDII Nutzerinteraktion mit ONE via CLI und ONE MC Unterst¨tzung von OCCI via HTTPS u
  • 9. Executions Hosts S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  • 10. Virtuelle Netzwerke S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  • 11. Virtuelle Maschinen S. Freitag DGRZR OpenNebula am DGRZR Grid und Cloud am DGRZR Cloud Computing und D-Grid
  • 12. Worker Node Template S. Freitag NAME = udo−wn300 DGRZR VCPU = 8 MEMORY = 13312 OpenNebula am DGRZR Grid und OS = [ b o o t l o a d e r = ”/ r o o t / b i n / domUloader . py ” ] Cloud am DGRZR DISK = [ s o u r c e = <path >/ w n s l 5 4 x 8 6 6 4 . img ” , Cloud Computing t a r g e t = ” xvda ” , r e a d o n l y = ” no ” ] und D-Grid DISK = [ t y p e = swap , s i z e = 1 0 2 4 , t a r g e t = ” xvdb ” , r e a d o n l y = ” no ” ] DISK = [ t y p e = ” b l o c k ” , c l o n e = ” y e s ” , s o u r c e = ”/ dev / c c i s s / c0d0p4 ” , t a r g e t = ” x v d c ” , r e a d o n l y = ” no ” ] NIC = [ NETWORK = ” DGRZRWorkernodes ” , IP = 1 2 9 . 2 1 7 . 2 4 2 . 1 6 6 ]
  • 13. Szenario 1: Private Cloud S. Freitag DGRZR Deployment von Grid Worker Nodes mittels ONE OpenNebula am DGRZR Homogen (derzeit im Einsatz) Grid und Heterogen (bereits in small scale getestet 2 ) Cloud am DGRZR Annahme: VO Anforderungen sind durch VO-spezifische Cloud Worker Nodes erf¨llbar u Computing 1:1 Abbildung von Worker Node Typen auf LRMS Queues und D-Grid ¨ Uberpr¨fung der F¨llstands jeder Queue u u Leere Queue → Reduktion der zugewiesenen Worker Nodes Vergabe der freigewordenen Ressourcen an andere (overcrowded) Queues 2 B. Konrad: Dynamic management of VMs on HPC resources of TU Dortmund (Diplomarbeit, 2009)
  • 14. Szenario 2: Public Cloud S. Freitag DGRZR Hauptunterschied zu Szenario 1 OpenNebula am DGRZR Zugriff auf Cloudschnittstellen f¨r externe Nutzer u Grid und Cloud am Verwaltung von VLANs 3 , VMs und VStorage DGRZR Cloud Computing Spaltung der physischen Ressourcen in Cloud & Grid Partition und D-Grid ¨ Dynamische Anderung der Partitionsgr¨ße o Verdr¨ngung (Suspendierung) von z. B. VMs a Welche VM sind anzuhalten? → Priorisierung Job Typ: simple batch jobs, MPI jobs, services Kundenstatus: z. B. Normal, Premium und Platin 3 VLANS != ONE virtual networks
  • 15. Integration in D-Grid S. Freitag DGRZR Ein Ziel von D-Grid (Quelle: Wikipedia) OpenNebula am DGRZR Create sustainable & longterm Grid infrastructure in Germany Grid und Cloud am → D-Grid ist fokussiert auf Grid Nutzung. Was ist mit Clouds? DGRZR Cloud Cloud Schnittstellen erlauben einen neuen und einfacheren Computing und D-Grid Zugang zu entfernten Ressourcen Offene Probleme f¨r eine m¨gliche Integration in D-Grid u o Nutzerverwaltung Autorisation Accounting/ Billing Monitoring Informationssystem
  • 16. Ausblick S. Freitag DGRZR OpenNebula DGRZR am DGRZR Kontextualisierung Grid und Cloud am Zugriff uber OCCI f¨r externe Nutzer ¨ u DGRZR Cloud Ausweitung der Cloud uber die UAMR ¨ Computing und D-Grid D-Grid Erweiterung des D-Grid Portfolio um IaaS Protoypische Integration neuer Technologien KMUinnovativ Projekt D-Grid IaaS“(Start: 01.06.2010) ”