Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Integrated Rule-Oriented Data System (iRODS) Tobias Schlauch <Tobias.Schlauch@dlr.de> Tech-Talk, DLR Braunschweig,  13.05....
Einleitung Definitionen <ul><li>Grid </li></ul><ul><li>Zusammenschluss verschiedener Systeme in einem virtuellen Netzwerk ...
Einleitung Spezielle Herausforderungen im Data-Grid <ul><li>Interaktion mit heterogenen Speicherressourcen </li></ul><ul><...
iRODS Überblick <ul><li>iRODS ist eine Data-Grid-Management-System </li></ul><ul><li>Nachfolger des Storage Resource Broke...
iRODS Kernfunktionalitäten <ul><li>Organisation verteilter Daten in gemeinsamen Collections </li></ul><ul><li>Virtuelles D...
iRODS Kernfunktionalitäten (Fortsetzung) <ul><li>Automatisierte Anwendung von Management-Policies </li></ul><ul><li>Abbild...
iRODS Komponenten <ul><li>Zentraler Metadatenkatalog (iCAT) </li></ul><ul><li>Speicherung von Attributen der Datenobjekte ...
iRODS  Peer-to-Peer-Server-Architektur <ul><li>Grafik ist dem iRODS-Manual entnommen: http://indico.in2p3.fr/getFile.py/ac...
iRODS Datenfluss beim   Zugriff auf eine Datei <ul><li>Grafik basiert auf http://www.vislab.uq.edu.au/research/SRB/backgro...
iRODS Kommunikation zwischen Client und Server   <ul><li>Proprietäres Protokoll zur Kommunikation zwischen Client und Serv...
<ul><li>Authentifizierungsmechanismen   </li></ul><ul><li>Benutzername & Passwort, GSI-Authentifizierung </li></ul><ul><li...
iRODS Data-Grid-Föderationen <ul><li>Föderationen sind Zusammenschlüsse von Data-Grids </li></ul><ul><li>Erlaubt den Austa...
iRODS Beispiel einer Föderation
iRODS Regeln <ul><li>Micro-Services bilden Bausteine für Regeln </li></ul><ul><li>Kleine, wohl-definierte Prozeduren (C-Fu...
iRODS Regel-Engine <ul><li>Grafik ist dem iRODS-Wiki entnommen: https://www.irods.org/index.php/Rule_Engine </li></ul>
iRODS Client-Schnittstellen <ul><li>Programmierschnittstellen (APIs) </li></ul><ul><li>C, Java, Python, PHP, …. </li></ul>...
iRODS Kollaborationen & Anwendungsprojekte <ul><li>ARCS Data Fabric </li></ul><ul><li>Datenservice für Wissenschaftler </l...
Zusammenfassung <ul><li>Data-Grid </li></ul><ul><li>Definitionen und Herausforderungen </li></ul><ul><li>iRODS: eine Data-...
<ul><li>Vielen Dank für die Aufmerksamkeit! Fragen?? </li></ul>
Nächste SlideShare
Wird geladen in …5
×

Tech-Talk: iRods

1.691 Aufrufe

Veröffentlicht am

  • Als Erste(r) kommentieren

Tech-Talk: iRods

  1. 1. Integrated Rule-Oriented Data System (iRODS) Tobias Schlauch <Tobias.Schlauch@dlr.de> Tech-Talk, DLR Braunschweig, 13.05.2009 Folie
  2. 2. Einleitung Definitionen <ul><li>Grid </li></ul><ul><li>Zusammenschluss verschiedener Systeme in einem virtuellen Netzwerk </li></ul><ul><li>Data-Grid </li></ul><ul><li>Zugriff auf verteilte Datenressourcen </li></ul><ul><ul><li>Daten sind verteilt auf verschiedene administrative Domänen und Speicherressourcen </li></ul></ul><ul><ul><li>Schwerpunkt liegt auf der kontrollierten, gemeinsamen Nutzung der Daten </li></ul></ul><ul><li>Data-Grid-Management-System </li></ul><ul><li>Software-Middleware zum Zugriff auf verteilte Datenressourcen </li></ul>
  3. 3. Einleitung Spezielle Herausforderungen im Data-Grid <ul><li>Interaktion mit heterogenen Speicherressourcen </li></ul><ul><li>Umsetzung der Client-Aktionen auf verschiedene Zugriffsprotokolle </li></ul><ul><li>Einheitliche Authentifizierungs- und Zugriffskontrollmechanismen </li></ul><ul><li>Umsetzung auf verschiedene Identitätssysteme </li></ul><ul><li>Einheitliche Management-Policies </li></ul><ul><li>Kontrolle von Datenverwendung, -Verbreitung, -Aufbewahrung, … </li></ul><ul><li>Effiziente WAN-Zugriffe </li></ul><ul><li>Optimierung des Transfers z.B. für große Dateien, hohe Anzahl kleiner Dateien </li></ul>
  4. 4. iRODS Überblick <ul><li>iRODS ist eine Data-Grid-Management-System </li></ul><ul><li>Nachfolger des Storage Resource Brokers (SRB) </li></ul><ul><li>Erweiterung des SRB um regelbasierte Management-Policies </li></ul><ul><li>Kompletter „Re-Write“ </li></ul><ul><li>Entwicklung durch DICE und internationale Kooperationen </li></ul><ul><ul><li>CCIN2P3, eScience, ARCS, Shaman, … </li></ul></ul><ul><li>Verfügbar als Open-Source-Software (BSD-Lizenz) </li></ul><ul><li>Aktueller Release: 2.0.1 </li></ul><ul><li>Projektseite: http://www.irods.org/ </li></ul>
  5. 5. iRODS Kernfunktionalitäten <ul><li>Organisation verteilter Daten in gemeinsamen Collections </li></ul><ul><li>Virtuelles Dateisystem </li></ul><ul><ul><li>Verwendung logischer Bezeichner für: </li></ul></ul><ul><ul><ul><li>Datenobjekte, </li></ul></ul></ul><ul><ul><ul><li>Benutzer & Gruppen </li></ul></ul></ul><ul><ul><ul><li>und Speicherressourcen </li></ul></ul></ul><ul><ul><li>„ Infrastrukturunabhängigkeit“ </li></ul></ul><ul><li>Verwaltung von Metadaten in Form von Name-Value-Unit-Tripel für Datenobjekte </li></ul>
  6. 6. iRODS Kernfunktionalitäten (Fortsetzung) <ul><li>Automatisierte Anwendung von Management-Policies </li></ul><ul><li>Abbildung der Policies auf Regeln in einer Regelbasis </li></ul><ul><li>Auswertung der Regelbasis durch eine Regel-Engine </li></ul><ul><li>Durchführung aller Aktionen (z.B. Anlegen einer Collection, Einstellen einer Datei, …) unter Kontrolle der Regel-Engine </li></ul><ul><li>Anpassung der Policies ohne Anpassung der Server-Software! </li></ul><ul><li>Automatisierte Validierung von Bewertungskriterien </li></ul><ul><li>Überprüfung der Übereinstimmung des Systemstatus mit den Policies </li></ul>
  7. 7. iRODS Komponenten <ul><li>Zentraler Metadatenkatalog (iCAT) </li></ul><ul><li>Speicherung von Attributen der Datenobjekte und Zustandsinformationen </li></ul><ul><li>Autorisierung </li></ul><ul><li>iRODS-Server </li></ul><ul><li>Installation auf jeder Speicherressource </li></ul><ul><li>Regel-Engine zur Kontrolle der Aktionen </li></ul><ul><li>Regel-Basis </li></ul><ul><ul><li>Repliziert oder bewusst unterschiedlich </li></ul></ul><ul><ul><li>Zukünftig: Aktualisierung anhand der Regelbasis des Metadatenkatalogs angedacht </li></ul></ul><ul><li>Clients </li></ul><ul><li>Zugriff auf Daten </li></ul><ul><li>Administration </li></ul>
  8. 8. iRODS Peer-to-Peer-Server-Architektur <ul><li>Grafik ist dem iRODS-Manual entnommen: http://indico.in2p3.fr/getFile.py/access?contribId=25&sessionId=1&resId=1&materialId=paper&confId=1234 </li></ul>iRODS Server Rule Engine iRODS Server Rule Engine Metadata Catalog Rule Base DB
  9. 9. iRODS Datenfluss beim Zugriff auf eine Datei <ul><li>Grafik basiert auf http://www.vislab.uq.edu.au/research/SRB/background.html </li></ul>
  10. 10. iRODS Kommunikation zwischen Client und Server <ul><li>Proprietäres Protokoll zur Kommunikation zwischen Client und Server </li></ul><ul><li>Spezieller Port zur Kommunikation erforderlich (konfigurierbar) </li></ul><ul><li>Automatische Bestimmung des Datentransfermodus (konfigurierbar) </li></ul><ul><li>Sequentieller Datentransfer (Dateigröße < 32 MB) </li></ul><ul><li>Paralleler Datentransfer (Dateigröße > 32MB, multi-threaded) </li></ul><ul><li>Reliable Blast UDP (RBUDP) </li></ul><ul><ul><li>UDP-basierend </li></ul></ul><ul><ul><li>Performancegewinn 10-20%, setzt robustes Netzwerk voraus </li></ul></ul>
  11. 11. <ul><li>Authentifizierungsmechanismen </li></ul><ul><li>Benutzername & Passwort, GSI-Authentifizierung </li></ul><ul><li>Zukünftig: Integration von Shibboleth-Authentifizierung (ASPiS-Projekt) </li></ul><ul><li>Bisher Umweg über SLCS-Server und GSI erforderlich </li></ul><ul><li>Verwaltung von Access Control Lists (ACLs) auf Datenobjekte </li></ul><ul><li>Rechte: Lesen, Schreiben, Administrieren </li></ul>iRODS Authentifizierung & Zugriffskontrolle Benutzer SLCS iRODS 1. IDP-Account 2. SLCS-Zertifikat 3. SLCS- Zertifikat
  12. 12. iRODS Data-Grid-Föderationen <ul><li>Föderationen sind Zusammenschlüsse von Data-Grids </li></ul><ul><li>Erlaubt den Austausch von Daten und Metadaten zwischen verschiedenen Data-Grids </li></ul><ul><li>Jedes iRODS-Data-Grid (Zone) repräsentiert eigene administrative Domäne und besitzt einen separaten iCAT </li></ul><ul><li>Über die Policies „Umgang“ mit anderen Zonen definierbar </li></ul><ul><li>Verfügbar ab Version 2.0.0 </li></ul><ul><li>Geringerer Synchronisationsaufwand gegenüber SRB-Implementierung </li></ul><ul><li>Föderationsmodelle </li></ul><ul><li>Peer-To-Peer-Model </li></ul><ul><li>Hierarchisches Model </li></ul><ul><li>Replikations-Model </li></ul>
  13. 13. iRODS Beispiel einer Föderation
  14. 14. iRODS Regeln <ul><li>Micro-Services bilden Bausteine für Regeln </li></ul><ul><li>Kleine, wohl-definierte Prozeduren (C-Funktionen) </li></ul><ul><li>z.B. createCollection, replicateObject </li></ul><ul><li>Regeln bestimmen Aktionen, die durch den Server auszuführen sind. </li></ul><ul><li>Aktionen bestehen aus Kette von Micro-Services bzw. anderer Regeln </li></ul><ul><li>Eintritt unter definierten Bedingungen / Ereignissen </li></ul><ul><li>Regelformat: </li></ul><ul><li>actionDef|condition|workflow-chain|recovery-chain </li></ul><ul><li>Beispiel: </li></ul><ul><li>helloWorld||print_hello|nop </li></ul>
  15. 15. iRODS Regel-Engine <ul><li>Grafik ist dem iRODS-Wiki entnommen: https://www.irods.org/index.php/Rule_Engine </li></ul>
  16. 16. iRODS Client-Schnittstellen <ul><li>Programmierschnittstellen (APIs) </li></ul><ul><li>C, Java, Python, PHP, …. </li></ul><ul><li>Datenzugriffsschnittstellen </li></ul><ul><li>FUSE – Mounten von Collections im Dateisystem </li></ul><ul><li>WebDAV (ARCS-Projekt) </li></ul><ul><li>Zukünftig: GridFTP über Data Storage Interface (DSI) </li></ul><ul><li>Grafische Benutzer Oberflächen (GUIs) </li></ul><ul><li>Web-Schnittstelle </li></ul><ul><li>Explorer für Windows </li></ul><ul><li>i-Commands – Kommandozeilen-Schnittstelle </li></ul><ul><li>Vielzahl projektspezifischer GUIs </li></ul>
  17. 17. iRODS Kollaborationen & Anwendungsprojekte <ul><li>ARCS Data Fabric </li></ul><ul><li>Datenservice für Wissenschaftler </li></ul><ul><li>SRB/iRODS-WebDAV-Gateway </li></ul><ul><li>Projektseite: http://www.arcs.org.au/ </li></ul><ul><li>ASPiS-Projekt </li></ul><ul><li>Shibboleth-iRODS-Integration </li></ul><ul><li>Provenance-iRODS-Integration </li></ul><ul><li>Projektseite: http://www.kcl.ac.uk/iss/cerch/projects/portfolio/aspis.html </li></ul><ul><li>SHAMAN </li></ul><ul><li>Ziel ist Bereitstellung eines „ next-generation Digital Preservation framework” </li></ul><ul><li>Projektseite: http://shaman-ip.eu/shaman/ </li></ul>
  18. 18. Zusammenfassung <ul><li>Data-Grid </li></ul><ul><li>Definitionen und Herausforderungen </li></ul><ul><li>iRODS: eine Data-Grid-Technologie </li></ul><ul><li>Überblick </li></ul><ul><li>Architektur </li></ul><ul><li>Datentransfers </li></ul><ul><li>Security </li></ul><ul><li>Regel-Engine </li></ul><ul><li>Client-Schnittstellen </li></ul><ul><li>Anwendungsprojekte </li></ul>
  19. 19. <ul><li>Vielen Dank für die Aufmerksamkeit! Fragen?? </li></ul>

×