INITIATIVE FOR GLOBUS IN EUROPE




            Stefan Freitag
       stefan.freitag@udo.edu
   Technische Universität Dortmund
                                  Karlsruhe, 16. Dezember 2011
INITIATIVE FOR GLOBUS IN EUROPE

                       Derzeitige Dienste in Globus 5.x (aus März 2011)




                                                                      2
INITIATIVE FOR GLOBUS IN EUROPE

                                                Status des Globus Toolkit

Globus Release-Datum
Toolkit Heute bzw. kommende Woche
5.2
              Aktuell
              Version 5.1.3 (letzte Beta)
                                      GRAM 5 (Fork, PBS, SGE, Condor)
              Komponenten             GridFTP
                                      MyProxy
                                      GSI-OpenSSH

                                      Einfachere Integration in
              Native OS-              Linux-Distributionen
              Pakete

                                                                        3
INITIATIVE FOR GLOBUS IN EUROPE

                                      Status des Globus Toolkit


Unterstützte Linux-Derivate (Auszug)
• RPM
  • CentOS 5, Fedora 13-15
  • RedHat 5, Scientific Linux 5.5 und 6.1
• deb
  • Debian 5.0 und 6.0
  • Ubuntu 10.10 und 11.04

Mac/ Windows  Source-Installation für
(noch) nicht unterstütze Betriebssysteme
                                                              4
INITIATIVE FOR GLOBUS IN EUROPE

                                          Beispiel: Installation des GridFTP-Servers



%yum groupinstall globus-gridftp
(Installation des Servers)

%chkconfig globus-gridftp-server on
(Aktivieren des Servers bei Systemstart)

%yum install globus-online-trustroots
(Installation der CA-Zertifikate)




                                                                                   5
INITIATIVE FOR GLOBUS IN EUROPE

                                         IGE Globus Toolkit 5 Virtual Appliances




http://marketplace.stratuslab.eu/metadata
                                                                               6
INITIATIVE FOR GLOBUS IN EUROPE

                                         GRAM 5

Reduzierte Speicher- und CPU-Nutzung
 • 1JM-Prozess je Nutzer für alle Jobs
Verbessertes Job Manager Logging
Durchreichen von Job Exit Codes
Usage Statistics
Aktualisierte Dokumentaion



                                             7
INITIATIVE FOR GLOBUS IN EUROPE

                                       IGE Testbett (aus März 2011)

• Betriebene Dienste
  • GRAM5, GridFTP, gsiSSH
  • Gridway, Globus Statistics Collector
  • VOMS/ VOMRS Server
  • Nagios Monitoring
  • Integrated Information Service (in Arbeit)
• Zugang möglich!
  • Testen von Applikationen gegen GT 5.x/ IIS


                                                                  8
INITIATIVE FOR GLOBUS IN EUROPE

                                      Globus Toolkit Informationsdienst




            Warum kein MDS2/ MDS4 mehr?


• Resource monitoring and discovery system
• WSRF-basierter Informationsdienst
• GLUE1.3-Schema (aus 2007)

Web 2.0 und REST offer a compelling new
paradigm for distributed information sharing that
wasn’t as obvious when MDS2 and MDS4 were
developed.
                                                                    9
INITIATIVE FOR GLOBUS IN EUROPE

                                        Integrated Information Service

•   Discovery von e-Infrastructure durch Nutzer & Dienste
•   Publikation von Ressourceneigenschaften
•   Verteilte, skalierbare, fehlertolerante Architektur
•   Drei Komponenten: Registry, Schema und Servlet

•   Fortgesetzte Verwendung von XML & XSD
•   Informationsaustausch/ Discovery durch REST APIs
•   Implementierung
    • Apache CXF JAX-RS Schnittstelle
    • Dateisystem-basierte bzw. XML DB (eXist) vs. in-memory



                                                                   10
INITIATIVE FOR GLOBUS IN EUROPE
                                                         Integrated Information Services Server
                                                                                   Architektur




                                                          Tomcat servlet
                                                  HTTP
                                                                Application
                                                  HTTPS           Logic
                                                                                 Configs



                                                            FS Registries     DB Registries




   Jede Registry entspricht einem Wald aus XML-Dokumenten,
                  die dasselbe Schema nutzen
Aus: Integrated Information Services,
Von: JP Navarro, Aaron Diestelkamp

                                                                                              11
INITIATIVE FOR GLOBUS IN EUROPE

                                          Registry und Servlet

• Registry
 • Verwaltet Schema-konforme XML-Dokumente
 • Verfügbare XML Schemata
    •     Capability Schema
    •     GLUE2.0 Schema (teil-implementiert)
• Servlet
 • Exponiert deployed registries
    •     CLI + REST- Schnittstelle
    •     Methoden: GET, PUT, POST und DELETE
    •     Rollenbasierter Zugriff
                                                           12
INITIATIVE FOR GLOBUS IN EUROPE

                        Integrated Information Service – Stand und Ausblick

Aktueller Stand
  • Evaluation in XSEDE
  • IIS in Beta-Test, Version 0.3
  • Architektur und feature set stabil
Ausblick
  • Voll-Implementierung GLUE2.0 Schemas
    (Q1/2012)
  • Entwicklung von GRAM-Adaptern (I/2012)
  • WS-* Unterstützung (vielleicht)
  • Globus Toolkit Paketierung
                                                                        13
INITIATIVE FOR GLOBUS IN EUROPE

     Integrated Information Service – Weiterführende Informationen


   Web home
   • http://www.ci.uchicago.edu/wiki/bin/view/IIS/WebHome




        Software
        • Download: http://www.ci.uchicago.edu/iis/
        • Browse: https://trac.ci.uchicago.edu/iis/browser



        E-mail
        • iis-user@globus.org
        • iis-dev@globus.org



   Veröffentlichung
   • TeraGrid's integrated information service
     Proceedings of the 5th Grid Computing Environments Workshop (2009)



                                                                          14
INITIATIVE FOR GLOBUS IN EUROPE




Danke für Ihre Aufmerksamkeit!




                                      15

Globus Toolkit Status @ bwGrid F2F

  • 1.
    INITIATIVE FOR GLOBUSIN EUROPE Stefan Freitag stefan.freitag@udo.edu Technische Universität Dortmund Karlsruhe, 16. Dezember 2011
  • 2.
    INITIATIVE FOR GLOBUSIN EUROPE Derzeitige Dienste in Globus 5.x (aus März 2011) 2
  • 3.
    INITIATIVE FOR GLOBUSIN EUROPE Status des Globus Toolkit Globus Release-Datum Toolkit Heute bzw. kommende Woche 5.2 Aktuell Version 5.1.3 (letzte Beta) GRAM 5 (Fork, PBS, SGE, Condor) Komponenten GridFTP MyProxy GSI-OpenSSH Einfachere Integration in Native OS- Linux-Distributionen Pakete 3
  • 4.
    INITIATIVE FOR GLOBUSIN EUROPE Status des Globus Toolkit Unterstützte Linux-Derivate (Auszug) • RPM • CentOS 5, Fedora 13-15 • RedHat 5, Scientific Linux 5.5 und 6.1 • deb • Debian 5.0 und 6.0 • Ubuntu 10.10 und 11.04 Mac/ Windows  Source-Installation für (noch) nicht unterstütze Betriebssysteme 4
  • 5.
    INITIATIVE FOR GLOBUSIN EUROPE Beispiel: Installation des GridFTP-Servers %yum groupinstall globus-gridftp (Installation des Servers) %chkconfig globus-gridftp-server on (Aktivieren des Servers bei Systemstart) %yum install globus-online-trustroots (Installation der CA-Zertifikate) 5
  • 6.
    INITIATIVE FOR GLOBUSIN EUROPE IGE Globus Toolkit 5 Virtual Appliances http://marketplace.stratuslab.eu/metadata 6
  • 7.
    INITIATIVE FOR GLOBUSIN EUROPE GRAM 5 Reduzierte Speicher- und CPU-Nutzung • 1JM-Prozess je Nutzer für alle Jobs Verbessertes Job Manager Logging Durchreichen von Job Exit Codes Usage Statistics Aktualisierte Dokumentaion 7
  • 8.
    INITIATIVE FOR GLOBUSIN EUROPE IGE Testbett (aus März 2011) • Betriebene Dienste • GRAM5, GridFTP, gsiSSH • Gridway, Globus Statistics Collector • VOMS/ VOMRS Server • Nagios Monitoring • Integrated Information Service (in Arbeit) • Zugang möglich! • Testen von Applikationen gegen GT 5.x/ IIS 8
  • 9.
    INITIATIVE FOR GLOBUSIN EUROPE Globus Toolkit Informationsdienst Warum kein MDS2/ MDS4 mehr? • Resource monitoring and discovery system • WSRF-basierter Informationsdienst • GLUE1.3-Schema (aus 2007) Web 2.0 und REST offer a compelling new paradigm for distributed information sharing that wasn’t as obvious when MDS2 and MDS4 were developed. 9
  • 10.
    INITIATIVE FOR GLOBUSIN EUROPE Integrated Information Service • Discovery von e-Infrastructure durch Nutzer & Dienste • Publikation von Ressourceneigenschaften • Verteilte, skalierbare, fehlertolerante Architektur • Drei Komponenten: Registry, Schema und Servlet • Fortgesetzte Verwendung von XML & XSD • Informationsaustausch/ Discovery durch REST APIs • Implementierung • Apache CXF JAX-RS Schnittstelle • Dateisystem-basierte bzw. XML DB (eXist) vs. in-memory 10
  • 11.
    INITIATIVE FOR GLOBUSIN EUROPE Integrated Information Services Server Architektur Tomcat servlet HTTP Application HTTPS Logic Configs FS Registries DB Registries Jede Registry entspricht einem Wald aus XML-Dokumenten, die dasselbe Schema nutzen Aus: Integrated Information Services, Von: JP Navarro, Aaron Diestelkamp 11
  • 12.
    INITIATIVE FOR GLOBUSIN EUROPE Registry und Servlet • Registry • Verwaltet Schema-konforme XML-Dokumente • Verfügbare XML Schemata • Capability Schema • GLUE2.0 Schema (teil-implementiert) • Servlet • Exponiert deployed registries • CLI + REST- Schnittstelle • Methoden: GET, PUT, POST und DELETE • Rollenbasierter Zugriff 12
  • 13.
    INITIATIVE FOR GLOBUSIN EUROPE Integrated Information Service – Stand und Ausblick Aktueller Stand • Evaluation in XSEDE • IIS in Beta-Test, Version 0.3 • Architektur und feature set stabil Ausblick • Voll-Implementierung GLUE2.0 Schemas (Q1/2012) • Entwicklung von GRAM-Adaptern (I/2012) • WS-* Unterstützung (vielleicht) • Globus Toolkit Paketierung 13
  • 14.
    INITIATIVE FOR GLOBUSIN EUROPE Integrated Information Service – Weiterführende Informationen Web home • http://www.ci.uchicago.edu/wiki/bin/view/IIS/WebHome Software • Download: http://www.ci.uchicago.edu/iis/ • Browse: https://trac.ci.uchicago.edu/iis/browser E-mail • iis-user@globus.org • iis-dev@globus.org Veröffentlichung • TeraGrid's integrated information service Proceedings of the 5th Grid Computing Environments Workshop (2009) 14
  • 15.
    INITIATIVE FOR GLOBUSIN EUROPE Danke für Ihre Aufmerksamkeit! 15