Integrated Rule-Oriented Data System (iRODS) Tobias Schlauch <Tobias.Schlauch@dlr.de> Tech-Talk, DLR Braunschweig,  13.05....
Einleitung Definitionen <ul><li>Grid </li></ul><ul><li>Zusammenschluss verschiedener Systeme in einem virtuellen Netzwerk ...
Einleitung Spezielle Herausforderungen im Data-Grid <ul><li>Interaktion mit heterogenen Speicherressourcen </li></ul><ul><...
iRODS Überblick <ul><li>iRODS ist eine Data-Grid-Management-System </li></ul><ul><li>Nachfolger des Storage Resource Broke...
iRODS Kernfunktionalitäten <ul><li>Organisation verteilter Daten in gemeinsamen Collections </li></ul><ul><li>Virtuelles D...
iRODS Kernfunktionalitäten (Fortsetzung) <ul><li>Automatisierte Anwendung von Management-Policies </li></ul><ul><li>Abbild...
iRODS Komponenten <ul><li>Zentraler Metadatenkatalog (iCAT) </li></ul><ul><li>Speicherung von Attributen der Datenobjekte ...
iRODS  Peer-to-Peer-Server-Architektur <ul><li>Grafik ist dem iRODS-Manual entnommen: http://indico.in2p3.fr/getFile.py/ac...
iRODS Datenfluss beim   Zugriff auf eine Datei <ul><li>Grafik basiert auf http://www.vislab.uq.edu.au/research/SRB/backgro...
iRODS Kommunikation zwischen Client und Server   <ul><li>Proprietäres Protokoll zur Kommunikation zwischen Client und Serv...
<ul><li>Authentifizierungsmechanismen   </li></ul><ul><li>Benutzername & Passwort, GSI-Authentifizierung </li></ul><ul><li...
iRODS Data-Grid-Föderationen <ul><li>Föderationen sind Zusammenschlüsse von Data-Grids </li></ul><ul><li>Erlaubt den Austa...
iRODS Beispiel einer Föderation
iRODS Regeln <ul><li>Micro-Services bilden Bausteine für Regeln </li></ul><ul><li>Kleine, wohl-definierte Prozeduren (C-Fu...
iRODS Regel-Engine <ul><li>Grafik ist dem iRODS-Wiki entnommen: https://www.irods.org/index.php/Rule_Engine </li></ul>
iRODS Client-Schnittstellen <ul><li>Programmierschnittstellen (APIs) </li></ul><ul><li>C, Java, Python, PHP, …. </li></ul>...
iRODS Kollaborationen & Anwendungsprojekte <ul><li>ARCS Data Fabric </li></ul><ul><li>Datenservice für Wissenschaftler </l...
Zusammenfassung <ul><li>Data-Grid </li></ul><ul><li>Definitionen und Herausforderungen </li></ul><ul><li>iRODS: eine Data-...
<ul><li>Vielen Dank für die Aufmerksamkeit! Fragen?? </li></ul>
Nächste SlideShare
Wird geladen in …5
×

Tech-Talk: iRods

1.314 Aufrufe

Veröffentlicht am

0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.314
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
6
Aktionen
Geteilt
0
Downloads
9
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Tech-Talk: iRods

  1. 1. Integrated Rule-Oriented Data System (iRODS) Tobias Schlauch <Tobias.Schlauch@dlr.de> Tech-Talk, DLR Braunschweig, 13.05.2009 Folie
  2. 2. Einleitung Definitionen <ul><li>Grid </li></ul><ul><li>Zusammenschluss verschiedener Systeme in einem virtuellen Netzwerk </li></ul><ul><li>Data-Grid </li></ul><ul><li>Zugriff auf verteilte Datenressourcen </li></ul><ul><ul><li>Daten sind verteilt auf verschiedene administrative Domänen und Speicherressourcen </li></ul></ul><ul><ul><li>Schwerpunkt liegt auf der kontrollierten, gemeinsamen Nutzung der Daten </li></ul></ul><ul><li>Data-Grid-Management-System </li></ul><ul><li>Software-Middleware zum Zugriff auf verteilte Datenressourcen </li></ul>
  3. 3. Einleitung Spezielle Herausforderungen im Data-Grid <ul><li>Interaktion mit heterogenen Speicherressourcen </li></ul><ul><li>Umsetzung der Client-Aktionen auf verschiedene Zugriffsprotokolle </li></ul><ul><li>Einheitliche Authentifizierungs- und Zugriffskontrollmechanismen </li></ul><ul><li>Umsetzung auf verschiedene Identitätssysteme </li></ul><ul><li>Einheitliche Management-Policies </li></ul><ul><li>Kontrolle von Datenverwendung, -Verbreitung, -Aufbewahrung, … </li></ul><ul><li>Effiziente WAN-Zugriffe </li></ul><ul><li>Optimierung des Transfers z.B. für große Dateien, hohe Anzahl kleiner Dateien </li></ul>
  4. 4. iRODS Überblick <ul><li>iRODS ist eine Data-Grid-Management-System </li></ul><ul><li>Nachfolger des Storage Resource Brokers (SRB) </li></ul><ul><li>Erweiterung des SRB um regelbasierte Management-Policies </li></ul><ul><li>Kompletter „Re-Write“ </li></ul><ul><li>Entwicklung durch DICE und internationale Kooperationen </li></ul><ul><ul><li>CCIN2P3, eScience, ARCS, Shaman, … </li></ul></ul><ul><li>Verfügbar als Open-Source-Software (BSD-Lizenz) </li></ul><ul><li>Aktueller Release: 2.0.1 </li></ul><ul><li>Projektseite: http://www.irods.org/ </li></ul>
  5. 5. iRODS Kernfunktionalitäten <ul><li>Organisation verteilter Daten in gemeinsamen Collections </li></ul><ul><li>Virtuelles Dateisystem </li></ul><ul><ul><li>Verwendung logischer Bezeichner für: </li></ul></ul><ul><ul><ul><li>Datenobjekte, </li></ul></ul></ul><ul><ul><ul><li>Benutzer & Gruppen </li></ul></ul></ul><ul><ul><ul><li>und Speicherressourcen </li></ul></ul></ul><ul><ul><li>„ Infrastrukturunabhängigkeit“ </li></ul></ul><ul><li>Verwaltung von Metadaten in Form von Name-Value-Unit-Tripel für Datenobjekte </li></ul>
  6. 6. iRODS Kernfunktionalitäten (Fortsetzung) <ul><li>Automatisierte Anwendung von Management-Policies </li></ul><ul><li>Abbildung der Policies auf Regeln in einer Regelbasis </li></ul><ul><li>Auswertung der Regelbasis durch eine Regel-Engine </li></ul><ul><li>Durchführung aller Aktionen (z.B. Anlegen einer Collection, Einstellen einer Datei, …) unter Kontrolle der Regel-Engine </li></ul><ul><li>Anpassung der Policies ohne Anpassung der Server-Software! </li></ul><ul><li>Automatisierte Validierung von Bewertungskriterien </li></ul><ul><li>Überprüfung der Übereinstimmung des Systemstatus mit den Policies </li></ul>
  7. 7. iRODS Komponenten <ul><li>Zentraler Metadatenkatalog (iCAT) </li></ul><ul><li>Speicherung von Attributen der Datenobjekte und Zustandsinformationen </li></ul><ul><li>Autorisierung </li></ul><ul><li>iRODS-Server </li></ul><ul><li>Installation auf jeder Speicherressource </li></ul><ul><li>Regel-Engine zur Kontrolle der Aktionen </li></ul><ul><li>Regel-Basis </li></ul><ul><ul><li>Repliziert oder bewusst unterschiedlich </li></ul></ul><ul><ul><li>Zukünftig: Aktualisierung anhand der Regelbasis des Metadatenkatalogs angedacht </li></ul></ul><ul><li>Clients </li></ul><ul><li>Zugriff auf Daten </li></ul><ul><li>Administration </li></ul>
  8. 8. iRODS Peer-to-Peer-Server-Architektur <ul><li>Grafik ist dem iRODS-Manual entnommen: http://indico.in2p3.fr/getFile.py/access?contribId=25&sessionId=1&resId=1&materialId=paper&confId=1234 </li></ul>iRODS Server Rule Engine iRODS Server Rule Engine Metadata Catalog Rule Base DB
  9. 9. iRODS Datenfluss beim Zugriff auf eine Datei <ul><li>Grafik basiert auf http://www.vislab.uq.edu.au/research/SRB/background.html </li></ul>
  10. 10. iRODS Kommunikation zwischen Client und Server <ul><li>Proprietäres Protokoll zur Kommunikation zwischen Client und Server </li></ul><ul><li>Spezieller Port zur Kommunikation erforderlich (konfigurierbar) </li></ul><ul><li>Automatische Bestimmung des Datentransfermodus (konfigurierbar) </li></ul><ul><li>Sequentieller Datentransfer (Dateigröße < 32 MB) </li></ul><ul><li>Paralleler Datentransfer (Dateigröße > 32MB, multi-threaded) </li></ul><ul><li>Reliable Blast UDP (RBUDP) </li></ul><ul><ul><li>UDP-basierend </li></ul></ul><ul><ul><li>Performancegewinn 10-20%, setzt robustes Netzwerk voraus </li></ul></ul>
  11. 11. <ul><li>Authentifizierungsmechanismen </li></ul><ul><li>Benutzername & Passwort, GSI-Authentifizierung </li></ul><ul><li>Zukünftig: Integration von Shibboleth-Authentifizierung (ASPiS-Projekt) </li></ul><ul><li>Bisher Umweg über SLCS-Server und GSI erforderlich </li></ul><ul><li>Verwaltung von Access Control Lists (ACLs) auf Datenobjekte </li></ul><ul><li>Rechte: Lesen, Schreiben, Administrieren </li></ul>iRODS Authentifizierung & Zugriffskontrolle Benutzer SLCS iRODS 1. IDP-Account 2. SLCS-Zertifikat 3. SLCS- Zertifikat
  12. 12. iRODS Data-Grid-Föderationen <ul><li>Föderationen sind Zusammenschlüsse von Data-Grids </li></ul><ul><li>Erlaubt den Austausch von Daten und Metadaten zwischen verschiedenen Data-Grids </li></ul><ul><li>Jedes iRODS-Data-Grid (Zone) repräsentiert eigene administrative Domäne und besitzt einen separaten iCAT </li></ul><ul><li>Über die Policies „Umgang“ mit anderen Zonen definierbar </li></ul><ul><li>Verfügbar ab Version 2.0.0 </li></ul><ul><li>Geringerer Synchronisationsaufwand gegenüber SRB-Implementierung </li></ul><ul><li>Föderationsmodelle </li></ul><ul><li>Peer-To-Peer-Model </li></ul><ul><li>Hierarchisches Model </li></ul><ul><li>Replikations-Model </li></ul>
  13. 13. iRODS Beispiel einer Föderation
  14. 14. iRODS Regeln <ul><li>Micro-Services bilden Bausteine für Regeln </li></ul><ul><li>Kleine, wohl-definierte Prozeduren (C-Funktionen) </li></ul><ul><li>z.B. createCollection, replicateObject </li></ul><ul><li>Regeln bestimmen Aktionen, die durch den Server auszuführen sind. </li></ul><ul><li>Aktionen bestehen aus Kette von Micro-Services bzw. anderer Regeln </li></ul><ul><li>Eintritt unter definierten Bedingungen / Ereignissen </li></ul><ul><li>Regelformat: </li></ul><ul><li>actionDef|condition|workflow-chain|recovery-chain </li></ul><ul><li>Beispiel: </li></ul><ul><li>helloWorld||print_hello|nop </li></ul>
  15. 15. iRODS Regel-Engine <ul><li>Grafik ist dem iRODS-Wiki entnommen: https://www.irods.org/index.php/Rule_Engine </li></ul>
  16. 16. iRODS Client-Schnittstellen <ul><li>Programmierschnittstellen (APIs) </li></ul><ul><li>C, Java, Python, PHP, …. </li></ul><ul><li>Datenzugriffsschnittstellen </li></ul><ul><li>FUSE – Mounten von Collections im Dateisystem </li></ul><ul><li>WebDAV (ARCS-Projekt) </li></ul><ul><li>Zukünftig: GridFTP über Data Storage Interface (DSI) </li></ul><ul><li>Grafische Benutzer Oberflächen (GUIs) </li></ul><ul><li>Web-Schnittstelle </li></ul><ul><li>Explorer für Windows </li></ul><ul><li>i-Commands – Kommandozeilen-Schnittstelle </li></ul><ul><li>Vielzahl projektspezifischer GUIs </li></ul>
  17. 17. iRODS Kollaborationen & Anwendungsprojekte <ul><li>ARCS Data Fabric </li></ul><ul><li>Datenservice für Wissenschaftler </li></ul><ul><li>SRB/iRODS-WebDAV-Gateway </li></ul><ul><li>Projektseite: http://www.arcs.org.au/ </li></ul><ul><li>ASPiS-Projekt </li></ul><ul><li>Shibboleth-iRODS-Integration </li></ul><ul><li>Provenance-iRODS-Integration </li></ul><ul><li>Projektseite: http://www.kcl.ac.uk/iss/cerch/projects/portfolio/aspis.html </li></ul><ul><li>SHAMAN </li></ul><ul><li>Ziel ist Bereitstellung eines „ next-generation Digital Preservation framework” </li></ul><ul><li>Projektseite: http://shaman-ip.eu/shaman/ </li></ul>
  18. 18. Zusammenfassung <ul><li>Data-Grid </li></ul><ul><li>Definitionen und Herausforderungen </li></ul><ul><li>iRODS: eine Data-Grid-Technologie </li></ul><ul><li>Überblick </li></ul><ul><li>Architektur </li></ul><ul><li>Datentransfers </li></ul><ul><li>Security </li></ul><ul><li>Regel-Engine </li></ul><ul><li>Client-Schnittstellen </li></ul><ul><li>Anwendungsprojekte </li></ul>
  19. 19. <ul><li>Vielen Dank für die Aufmerksamkeit! Fragen?? </li></ul>

×