SlideShare ist ein Scribd-Unternehmen logo
Provenance-Aufzeichnung und -Analyse  für Grid-Workflows Grid Workflow Workshop 2009 (5./6.3.2009, Berlin) Andreas Schreiber < Andreas.Schreiber@dlr.de> Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR), Köln-Porz http://www.dlr.de/sc
Überblick ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Definition „Provenance“
Was ist „Provenance“? Das sagen Wörterbücher… ,[object Object],[object Object],[object Object],[object Object]
Bestimmungen und Konformität Hintergrundwissen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Provenance in der Informatik Was wir darunter verstehen … ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Provenance Von der Anwendung zur Repräsentation ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Dokumentation  des Prozesses: „Provenance“- Informationen  dazu notwendig
Anwendung auf verteilte Business Prozesse  Standardisierte Dokumentation  von Business  Prozessen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Provenance Store Record Query Apply Medizin Logistik Finanzwesen Luftfahrt Klima Pharmazie
Anwendungsgebiete
Anwendungsbereiche ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Provenance in der Medizin ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Lab_1 Lab_2 Lab_3 Hospital A (donor side) Hospital B (recipient side) Hospital C Lab_A Lab_B OTA General Practice Center Transplant Unit Transplant Unit Transplant Unit General Practice Center Hospital D WL WL WL WL EHCR EHCR EHCR EHCR EHCR
Provenance in den Ingenieurwissenschaften ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Frage: “Was ist passiert?” ,[object Object],[object Object],SIMULATION FAILED
Provenance in den Ingenieurwissenschaften  Fragestellungen zur   Nutzung der Informationen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Provenance in der Klimaforschung ,[object Object],[object Object],[object Object],[object Object],[object Object]
Provenance Model
Provenance-Konzepte is an execution of Application Services Provenance ( concept ) Data product produces Process  Documentation P - structure has a structure operates over P - assertions consists of contains assert Process documents is defined as a past Provenance  ( representation ) is represented by Provenance  Query is obtained by has
Anwendungen „Provenance-Aware“ machen Provenance Store Provenance von Daten ermitteln durch Stellen  von Abfragen Administration von Store und Inhalt Anwendung Daten (Ergebnis) P-Assertions feststellen und als Prozess-Dokumentation aufzeichnen
Service Orientiere Architekturen ,[object Object],[object Object],[object Object],[object Object],[object Object]
Prozess-Dokumentation und P-Assertions (1) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Prozess-Dokumentation und P-Assertions (2) M1 M2 M3 M4 M3 = f1(M1) M2 = f2(M1,M4) M2 is in reply to M1 I received M1, M4 I sent M2, M3 Interaction  p-assertions Relationship p-assertions Service state p-assertions I received M1 at time t I used algorithm x.y.z f1 f2
Datenfluss ,[object Object],[object Object],[object Object]
P-Assertion XML-Schema
P-Structure (1)  ,[object Object],[object Object],Receiver’s view Sender’s view Extensibility (other views or signatures)
P-Structure (2) All p-assertions asserted by a given actor participating in an interaction Asserter identity
Aufzeichnung
Provenance-Architektur ,[object Object],[object Object]
Provenance-Store Beispiel-Implementierung IBM RecordPort XQueryPort XPathPort XPathFactoryPort Provenance Service eXist XML Database OGSA-DAI ProvenanceServiceResourceHome Uses Uses Manages ProvenanceService GT4 Container Tomcat/GT4  Container ProvenanceAuthorizationPDP PStoreDatabase OGSA-DAI Client API ProvenanceStoreResource PStoreDatabase OGSA-DAI Client API ProvenanceStoreResource PStoreDatabase OGSA-DAI Client API ProvenanceServiceResource ProvenanceStoreFactory ProvenanceStoreFactoryPortType ACL File
Client Side Library Implementierungen in Java und Python ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Provenance Aware Application API Utilities Server API Provenance Service Client Side Library
Analyse
Beispiel-Workflow 2D-CFD-Simulation mit Parametervariation
Mapping von Workflow auf Provenance-Modell  “ caused_by” Beziehungen  (Relationship P-Assertions) Interaktionen Events zwischen Anwendungskomponenten Aktoren Anwendungskomponenten  (z.B. integrierte 3 rd -Party Software)  Provenance-Modell Workflow
Beispiel Provenance-Informationen in Simulations-Workflows Interaktionen: Konfiguration Prozessablauf  Monitoring Datentransfer Relationen: - r0:  i0  causes  i1 - r1:  i1  causes  i2 - r2:  i2  causes  i3 - r3:  i2  causes  i4 - r4:  i3  causes  i2 - r5:  i2  causes  m1 - r6:  i2  causes d1 - r7:  i0  causes d2 Status Akteur Process control File-Server Pre- Processing Parameter variation Simulation Visualization i0 i1 i2 i3 i4 m1 d1 d2 c1  c-1 c2  c-2 c3  c-3 c4 c-4
Visualisierung: Process Portlet
Visualisierung: Relationship Portlet
Weitere Visualisierungskonzepte (1) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Weitere Visualisierungskonzepte (2) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Ausblick
Weitere Themen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Compliance Oriented Architecture Einhaltung von Regularien ,[object Object],[object Object],[object Object],Provenance Store Query  Provenance of data Record documentation of execution Anwendung Regularien- Prüfung
Einbettung in Arbeits-Umgebung Integration mit weiteren Tools ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Provenance Store generate workflow execute workflow feedback analysis trace  workflow execution trace  user  action Expert System Data & Workflow Management
Provenance in D-Grid ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Credits & Informationsquellen ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Fragen?

Weitere ähnliche Inhalte

Andere mochten auch

Criminalized for Creativity: The Story of Ahmed Mohamed
Criminalized for Creativity: The Story of Ahmed MohamedCriminalized for Creativity: The Story of Ahmed Mohamed
Criminalized for Creativity: The Story of Ahmed Mohamed
Ryker616
 
Recommendation Letters
Recommendation LettersRecommendation Letters
Recommendation LettersGina Doney
 
Presentación en prezi de power poin
Presentación en prezi de power poinPresentación en prezi de power poin
Presentación en prezi de power poin
XINIA BONILLA
 
Social Networking for Non-Profits
Social Networking for Non-ProfitsSocial Networking for Non-Profits
Social Networking for Non-Profits
nvvrajesh
 
Study of Average Hourly Variations of Radio Refractivity Variations across So...
Study of Average Hourly Variations of Radio Refractivity Variations across So...Study of Average Hourly Variations of Radio Refractivity Variations across So...
Study of Average Hourly Variations of Radio Refractivity Variations across So...
iosrjce
 
Nueche de bruxas
Nueche de bruxasNueche de bruxas
Nueche de bruxas
marbalmori
 
Formal Observation 2009-2014
Formal Observation 2009-2014Formal Observation 2009-2014
Formal Observation 2009-2014Gina Doney
 
Hadoop For Enterprises
Hadoop For EnterprisesHadoop For Enterprises
Hadoop For Enterprises
nvvrajesh
 
Long la propuesta de inverco
Long la propuesta de invercoLong la propuesta de inverco
Long la propuesta de inverco
ManfredNolte
 
(338)long cuaderno de bitacora
(338)long cuaderno de bitacora(338)long cuaderno de bitacora
(338)long cuaderno de bitacora
ManfredNolte
 
Motivaton
MotivatonMotivaton
Motivaton
Ritesh choudhary
 

Andere mochten auch (11)

Criminalized for Creativity: The Story of Ahmed Mohamed
Criminalized for Creativity: The Story of Ahmed MohamedCriminalized for Creativity: The Story of Ahmed Mohamed
Criminalized for Creativity: The Story of Ahmed Mohamed
 
Recommendation Letters
Recommendation LettersRecommendation Letters
Recommendation Letters
 
Presentación en prezi de power poin
Presentación en prezi de power poinPresentación en prezi de power poin
Presentación en prezi de power poin
 
Social Networking for Non-Profits
Social Networking for Non-ProfitsSocial Networking for Non-Profits
Social Networking for Non-Profits
 
Study of Average Hourly Variations of Radio Refractivity Variations across So...
Study of Average Hourly Variations of Radio Refractivity Variations across So...Study of Average Hourly Variations of Radio Refractivity Variations across So...
Study of Average Hourly Variations of Radio Refractivity Variations across So...
 
Nueche de bruxas
Nueche de bruxasNueche de bruxas
Nueche de bruxas
 
Formal Observation 2009-2014
Formal Observation 2009-2014Formal Observation 2009-2014
Formal Observation 2009-2014
 
Hadoop For Enterprises
Hadoop For EnterprisesHadoop For Enterprises
Hadoop For Enterprises
 
Long la propuesta de inverco
Long la propuesta de invercoLong la propuesta de inverco
Long la propuesta de inverco
 
(338)long cuaderno de bitacora
(338)long cuaderno de bitacora(338)long cuaderno de bitacora
(338)long cuaderno de bitacora
 
Motivaton
MotivatonMotivaton
Motivaton
 

Ähnlich wie Provenance-Aufzeichnung und -Analyse für Grid-Workflows

Provenance für Daten und Prozesse
Provenance für Daten und ProzesseProvenance für Daten und Prozesse
Provenance für Daten und Prozesse
Andreas Schreiber
 
Sicherheitsprüfung für HP NonStop Systeme
Sicherheitsprüfung für HP NonStop SystemeSicherheitsprüfung für HP NonStop Systeme
Sicherheitsprüfung für HP NonStop Systeme
Peter Haase
 
07 06 Xpertivy (Office 2003)
07 06 Xpertivy (Office 2003)07 06 Xpertivy (Office 2003)
07 06 Xpertivy (Office 2003)soreco
 
Python in der Luft- und Raumfahrt
Python in der Luft- und RaumfahrtPython in der Luft- und Raumfahrt
Python in der Luft- und Raumfahrt
Andreas Schreiber
 
Event Driven Architecture - OPITZ CONSULTING - Schmutz - Winterberg
Event Driven Architecture - OPITZ CONSULTING - Schmutz - WinterbergEvent Driven Architecture - OPITZ CONSULTING - Schmutz - Winterberg
Event Driven Architecture - OPITZ CONSULTING - Schmutz - Winterberg
OPITZ CONSULTING Deutschland
 
BARC Was Datenmanagement Messbar Dazu Beitragen Kann
BARC Was Datenmanagement Messbar Dazu Beitragen KannBARC Was Datenmanagement Messbar Dazu Beitragen Kann
BARC Was Datenmanagement Messbar Dazu Beitragen Kann
DataValueTalk
 
PAVONElive und PAVONE PCS für Java EE
PAVONElive und PAVONE PCS für Java EEPAVONElive und PAVONE PCS für Java EE
PAVONElive und PAVONE PCS für Java EE
Bjoern Reinhold
 
SeHF 2013 | Kosten und Risiken der Archivanbindung minimieren dank zertifizie...
SeHF 2013 | Kosten und Risiken der Archivanbindung minimieren dank zertifizie...SeHF 2013 | Kosten und Risiken der Archivanbindung minimieren dank zertifizie...
SeHF 2013 | Kosten und Risiken der Archivanbindung minimieren dank zertifizie...
Swiss eHealth Forum
 
SaaS Web 2.0 Dokumentenmanagement
SaaS Web 2.0 Dokumentenmanagement SaaS Web 2.0 Dokumentenmanagement
SaaS Web 2.0 Dokumentenmanagement
Bjoern Reinhold
 
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-ToolsSoftware-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
Andreas Schreiber
 
Konzeption und Implementierung eines Multi- Agentensystems zur Informationsge...
Konzeption und Implementierung eines Multi- Agentensystems zur Informationsge...Konzeption und Implementierung eines Multi- Agentensystems zur Informationsge...
Konzeption und Implementierung eines Multi- Agentensystems zur Informationsge...
Daniel Brügge
 
Python, Plone und Zope in der Luft- und Raumfahrtforschung
Python, Plone und Zope in der Luft- und RaumfahrtforschungPython, Plone und Zope in der Luft- und Raumfahrtforschung
Python, Plone und Zope in der Luft- und Raumfahrtforschung
Andreas Schreiber
 
Dokumentenmanagement als SaaS, Dokumentenmanagement SaaS
Dokumentenmanagement als SaaS, Dokumentenmanagement SaaSDokumentenmanagement als SaaS, Dokumentenmanagement SaaS
Dokumentenmanagement als SaaS, Dokumentenmanagement SaaS
GBS PAVONE Groupware GmbH
 
SplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case HelvetiaSplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case Helvetia
Georg Knon
 
SplunkLive! Frankfurt 2016 - Helvetia Use Case
SplunkLive! Frankfurt 2016 - Helvetia Use CaseSplunkLive! Frankfurt 2016 - Helvetia Use Case
SplunkLive! Frankfurt 2016 - Helvetia Use Case
Splunk
 
SplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case HelvetiaSplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case Helvetia
Splunk
 
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
DataValueTalk
 
Kennst du ein Unternehmen, dass erfolgreich die QS outtasked hat?“
Kennst du einUnternehmen, dass erfolgreichdie QS outtasked hat?“Kennst du einUnternehmen, dass erfolgreichdie QS outtasked hat?“
Kennst du ein Unternehmen, dass erfolgreich die QS outtasked hat?“
hpaustria
 
Compliance-Themen im PLM-Kontext
Compliance-Themen im PLM-KontextCompliance-Themen im PLM-Kontext
Compliance-Themen im PLM-Kontext
Intelliact AG
 
Process Partner Fokustag 2017: 06_Digitalisierung in der Praxis_xft e_dossier...
Process Partner Fokustag 2017: 06_Digitalisierung in der Praxis_xft e_dossier...Process Partner Fokustag 2017: 06_Digitalisierung in der Praxis_xft e_dossier...
Process Partner Fokustag 2017: 06_Digitalisierung in der Praxis_xft e_dossier...
Natasha Senn
 

Ähnlich wie Provenance-Aufzeichnung und -Analyse für Grid-Workflows (20)

Provenance für Daten und Prozesse
Provenance für Daten und ProzesseProvenance für Daten und Prozesse
Provenance für Daten und Prozesse
 
Sicherheitsprüfung für HP NonStop Systeme
Sicherheitsprüfung für HP NonStop SystemeSicherheitsprüfung für HP NonStop Systeme
Sicherheitsprüfung für HP NonStop Systeme
 
07 06 Xpertivy (Office 2003)
07 06 Xpertivy (Office 2003)07 06 Xpertivy (Office 2003)
07 06 Xpertivy (Office 2003)
 
Python in der Luft- und Raumfahrt
Python in der Luft- und RaumfahrtPython in der Luft- und Raumfahrt
Python in der Luft- und Raumfahrt
 
Event Driven Architecture - OPITZ CONSULTING - Schmutz - Winterberg
Event Driven Architecture - OPITZ CONSULTING - Schmutz - WinterbergEvent Driven Architecture - OPITZ CONSULTING - Schmutz - Winterberg
Event Driven Architecture - OPITZ CONSULTING - Schmutz - Winterberg
 
BARC Was Datenmanagement Messbar Dazu Beitragen Kann
BARC Was Datenmanagement Messbar Dazu Beitragen KannBARC Was Datenmanagement Messbar Dazu Beitragen Kann
BARC Was Datenmanagement Messbar Dazu Beitragen Kann
 
PAVONElive und PAVONE PCS für Java EE
PAVONElive und PAVONE PCS für Java EEPAVONElive und PAVONE PCS für Java EE
PAVONElive und PAVONE PCS für Java EE
 
SeHF 2013 | Kosten und Risiken der Archivanbindung minimieren dank zertifizie...
SeHF 2013 | Kosten und Risiken der Archivanbindung minimieren dank zertifizie...SeHF 2013 | Kosten und Risiken der Archivanbindung minimieren dank zertifizie...
SeHF 2013 | Kosten und Risiken der Archivanbindung minimieren dank zertifizie...
 
SaaS Web 2.0 Dokumentenmanagement
SaaS Web 2.0 Dokumentenmanagement SaaS Web 2.0 Dokumentenmanagement
SaaS Web 2.0 Dokumentenmanagement
 
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-ToolsSoftware-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
 
Konzeption und Implementierung eines Multi- Agentensystems zur Informationsge...
Konzeption und Implementierung eines Multi- Agentensystems zur Informationsge...Konzeption und Implementierung eines Multi- Agentensystems zur Informationsge...
Konzeption und Implementierung eines Multi- Agentensystems zur Informationsge...
 
Python, Plone und Zope in der Luft- und Raumfahrtforschung
Python, Plone und Zope in der Luft- und RaumfahrtforschungPython, Plone und Zope in der Luft- und Raumfahrtforschung
Python, Plone und Zope in der Luft- und Raumfahrtforschung
 
Dokumentenmanagement als SaaS, Dokumentenmanagement SaaS
Dokumentenmanagement als SaaS, Dokumentenmanagement SaaSDokumentenmanagement als SaaS, Dokumentenmanagement SaaS
Dokumentenmanagement als SaaS, Dokumentenmanagement SaaS
 
SplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case HelvetiaSplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case Helvetia
 
SplunkLive! Frankfurt 2016 - Helvetia Use Case
SplunkLive! Frankfurt 2016 - Helvetia Use CaseSplunkLive! Frankfurt 2016 - Helvetia Use Case
SplunkLive! Frankfurt 2016 - Helvetia Use Case
 
SplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case HelvetiaSplunkLive! Zürich 2016 - Use Case Helvetia
SplunkLive! Zürich 2016 - Use Case Helvetia
 
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference
 
Kennst du ein Unternehmen, dass erfolgreich die QS outtasked hat?“
Kennst du einUnternehmen, dass erfolgreichdie QS outtasked hat?“Kennst du einUnternehmen, dass erfolgreichdie QS outtasked hat?“
Kennst du ein Unternehmen, dass erfolgreich die QS outtasked hat?“
 
Compliance-Themen im PLM-Kontext
Compliance-Themen im PLM-KontextCompliance-Themen im PLM-Kontext
Compliance-Themen im PLM-Kontext
 
Process Partner Fokustag 2017: 06_Digitalisierung in der Praxis_xft e_dossier...
Process Partner Fokustag 2017: 06_Digitalisierung in der Praxis_xft e_dossier...Process Partner Fokustag 2017: 06_Digitalisierung in der Praxis_xft e_dossier...
Process Partner Fokustag 2017: 06_Digitalisierung in der Praxis_xft e_dossier...
 

Mehr von Andreas Schreiber

Provenance-based Security Audits and its Application to COVID-19 Contact Trac...
Provenance-based Security Audits and its Application to COVID-19 Contact Trac...Provenance-based Security Audits and its Application to COVID-19 Contact Trac...
Provenance-based Security Audits and its Application to COVID-19 Contact Trac...
Andreas Schreiber
 
Visualization of Software Architectures in Virtual Reality and Augmented Reality
Visualization of Software Architectures in Virtual Reality and Augmented RealityVisualization of Software Architectures in Virtual Reality and Augmented Reality
Visualization of Software Architectures in Virtual Reality and Augmented Reality
Andreas Schreiber
 
Provenance as a building block for an open science infrastructure
Provenance as a building block for an open science infrastructureProvenance as a building block for an open science infrastructure
Provenance as a building block for an open science infrastructure
Andreas Schreiber
 
Raising Awareness about Open Source Licensing at the German Aerospace Center
Raising Awareness about Open Source Licensing at the German Aerospace CenterRaising Awareness about Open Source Licensing at the German Aerospace Center
Raising Awareness about Open Source Licensing at the German Aerospace Center
Andreas Schreiber
 
Open Source Licensing for Rocket Scientists
Open Source Licensing for Rocket ScientistsOpen Source Licensing for Rocket Scientists
Open Source Licensing for Rocket Scientists
Andreas Schreiber
 
Interactive Visualization of Software Components with Virtual Reality Headsets
Interactive Visualization of Software Components with Virtual Reality HeadsetsInteractive Visualization of Software Components with Virtual Reality Headsets
Interactive Visualization of Software Components with Virtual Reality Headsets
Andreas Schreiber
 
Provenance for Reproducible Data Science
Provenance for Reproducible Data ScienceProvenance for Reproducible Data Science
Provenance for Reproducible Data Science
Andreas Schreiber
 
Visualizing Provenance using Comics
Visualizing Provenance using ComicsVisualizing Provenance using Comics
Visualizing Provenance using Comics
Andreas Schreiber
 
Quantified Self Comics
Quantified Self ComicsQuantified Self Comics
Quantified Self Comics
Andreas Schreiber
 
Nachvollziehbarkeit mit Hinblick auf Privacy-Verletzungen
Nachvollziehbarkeit mit Hinblick auf Privacy-VerletzungenNachvollziehbarkeit mit Hinblick auf Privacy-Verletzungen
Nachvollziehbarkeit mit Hinblick auf Privacy-Verletzungen
Andreas Schreiber
 
Reproducible Science with Python
Reproducible Science with PythonReproducible Science with Python
Reproducible Science with Python
Andreas Schreiber
 
Python at Warp Speed
Python at Warp SpeedPython at Warp Speed
Python at Warp Speed
Andreas Schreiber
 
A Provenance Model for Quantified Self Data
A Provenance Model for Quantified Self DataA Provenance Model for Quantified Self Data
A Provenance Model for Quantified Self Data
Andreas Schreiber
 
Open Source im DLR
Open Source im DLROpen Source im DLR
Open Source im DLR
Andreas Schreiber
 
Tracking after Stroke: Doctors, Dogs and All The Rest
Tracking after Stroke: Doctors, Dogs and All The RestTracking after Stroke: Doctors, Dogs and All The Rest
Tracking after Stroke: Doctors, Dogs and All The Rest
Andreas Schreiber
 
High Throughput Processing of Space Debris Data
High Throughput Processing of Space Debris DataHigh Throughput Processing of Space Debris Data
High Throughput Processing of Space Debris Data
Andreas Schreiber
 
Bericht von der QS15 Conference & Exposition
Bericht von der QS15 Conference & ExpositionBericht von der QS15 Conference & Exposition
Bericht von der QS15 Conference & Exposition
Andreas Schreiber
 
Telemedizin: Gesundheit, messbar für jedermann
Telemedizin: Gesundheit, messbar für jedermannTelemedizin: Gesundheit, messbar für jedermann
Telemedizin: Gesundheit, messbar für jedermann
Andreas Schreiber
 
Big Python
Big PythonBig Python
Big Python
Andreas Schreiber
 
Quantified Self mit Wearable Devices und Smartphone-Sensoren
Quantified Self mit Wearable Devices und Smartphone-SensorenQuantified Self mit Wearable Devices und Smartphone-Sensoren
Quantified Self mit Wearable Devices und Smartphone-Sensoren
Andreas Schreiber
 

Mehr von Andreas Schreiber (20)

Provenance-based Security Audits and its Application to COVID-19 Contact Trac...
Provenance-based Security Audits and its Application to COVID-19 Contact Trac...Provenance-based Security Audits and its Application to COVID-19 Contact Trac...
Provenance-based Security Audits and its Application to COVID-19 Contact Trac...
 
Visualization of Software Architectures in Virtual Reality and Augmented Reality
Visualization of Software Architectures in Virtual Reality and Augmented RealityVisualization of Software Architectures in Virtual Reality and Augmented Reality
Visualization of Software Architectures in Virtual Reality and Augmented Reality
 
Provenance as a building block for an open science infrastructure
Provenance as a building block for an open science infrastructureProvenance as a building block for an open science infrastructure
Provenance as a building block for an open science infrastructure
 
Raising Awareness about Open Source Licensing at the German Aerospace Center
Raising Awareness about Open Source Licensing at the German Aerospace CenterRaising Awareness about Open Source Licensing at the German Aerospace Center
Raising Awareness about Open Source Licensing at the German Aerospace Center
 
Open Source Licensing for Rocket Scientists
Open Source Licensing for Rocket ScientistsOpen Source Licensing for Rocket Scientists
Open Source Licensing for Rocket Scientists
 
Interactive Visualization of Software Components with Virtual Reality Headsets
Interactive Visualization of Software Components with Virtual Reality HeadsetsInteractive Visualization of Software Components with Virtual Reality Headsets
Interactive Visualization of Software Components with Virtual Reality Headsets
 
Provenance for Reproducible Data Science
Provenance for Reproducible Data ScienceProvenance for Reproducible Data Science
Provenance for Reproducible Data Science
 
Visualizing Provenance using Comics
Visualizing Provenance using ComicsVisualizing Provenance using Comics
Visualizing Provenance using Comics
 
Quantified Self Comics
Quantified Self ComicsQuantified Self Comics
Quantified Self Comics
 
Nachvollziehbarkeit mit Hinblick auf Privacy-Verletzungen
Nachvollziehbarkeit mit Hinblick auf Privacy-VerletzungenNachvollziehbarkeit mit Hinblick auf Privacy-Verletzungen
Nachvollziehbarkeit mit Hinblick auf Privacy-Verletzungen
 
Reproducible Science with Python
Reproducible Science with PythonReproducible Science with Python
Reproducible Science with Python
 
Python at Warp Speed
Python at Warp SpeedPython at Warp Speed
Python at Warp Speed
 
A Provenance Model for Quantified Self Data
A Provenance Model for Quantified Self DataA Provenance Model for Quantified Self Data
A Provenance Model for Quantified Self Data
 
Open Source im DLR
Open Source im DLROpen Source im DLR
Open Source im DLR
 
Tracking after Stroke: Doctors, Dogs and All The Rest
Tracking after Stroke: Doctors, Dogs and All The RestTracking after Stroke: Doctors, Dogs and All The Rest
Tracking after Stroke: Doctors, Dogs and All The Rest
 
High Throughput Processing of Space Debris Data
High Throughput Processing of Space Debris DataHigh Throughput Processing of Space Debris Data
High Throughput Processing of Space Debris Data
 
Bericht von der QS15 Conference & Exposition
Bericht von der QS15 Conference & ExpositionBericht von der QS15 Conference & Exposition
Bericht von der QS15 Conference & Exposition
 
Telemedizin: Gesundheit, messbar für jedermann
Telemedizin: Gesundheit, messbar für jedermannTelemedizin: Gesundheit, messbar für jedermann
Telemedizin: Gesundheit, messbar für jedermann
 
Big Python
Big PythonBig Python
Big Python
 
Quantified Self mit Wearable Devices und Smartphone-Sensoren
Quantified Self mit Wearable Devices und Smartphone-SensorenQuantified Self mit Wearable Devices und Smartphone-Sensoren
Quantified Self mit Wearable Devices und Smartphone-Sensoren
 

Provenance-Aufzeichnung und -Analyse für Grid-Workflows

  • 1. Provenance-Aufzeichnung und -Analyse für Grid-Workflows Grid Workflow Workshop 2009 (5./6.3.2009, Berlin) Andreas Schreiber < Andreas.Schreiber@dlr.de> Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR), Köln-Porz http://www.dlr.de/sc
  • 2.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 10.
  • 11.
  • 12. Lab_1 Lab_2 Lab_3 Hospital A (donor side) Hospital B (recipient side) Hospital C Lab_A Lab_B OTA General Practice Center Transplant Unit Transplant Unit Transplant Unit General Practice Center Hospital D WL WL WL WL EHCR EHCR EHCR EHCR EHCR
  • 13.
  • 14.
  • 15.
  • 16.
  • 18. Provenance-Konzepte is an execution of Application Services Provenance ( concept ) Data product produces Process Documentation P - structure has a structure operates over P - assertions consists of contains assert Process documents is defined as a past Provenance ( representation ) is represented by Provenance Query is obtained by has
  • 19. Anwendungen „Provenance-Aware“ machen Provenance Store Provenance von Daten ermitteln durch Stellen von Abfragen Administration von Store und Inhalt Anwendung Daten (Ergebnis) P-Assertions feststellen und als Prozess-Dokumentation aufzeichnen
  • 20.
  • 21.
  • 22. Prozess-Dokumentation und P-Assertions (2) M1 M2 M3 M4 M3 = f1(M1) M2 = f2(M1,M4) M2 is in reply to M1 I received M1, M4 I sent M2, M3 Interaction p-assertions Relationship p-assertions Service state p-assertions I received M1 at time t I used algorithm x.y.z f1 f2
  • 23.
  • 25.
  • 26. P-Structure (2) All p-assertions asserted by a given actor participating in an interaction Asserter identity
  • 28.
  • 29. Provenance-Store Beispiel-Implementierung IBM RecordPort XQueryPort XPathPort XPathFactoryPort Provenance Service eXist XML Database OGSA-DAI ProvenanceServiceResourceHome Uses Uses Manages ProvenanceService GT4 Container Tomcat/GT4 Container ProvenanceAuthorizationPDP PStoreDatabase OGSA-DAI Client API ProvenanceStoreResource PStoreDatabase OGSA-DAI Client API ProvenanceStoreResource PStoreDatabase OGSA-DAI Client API ProvenanceServiceResource ProvenanceStoreFactory ProvenanceStoreFactoryPortType ACL File
  • 30.
  • 33. Mapping von Workflow auf Provenance-Modell “ caused_by” Beziehungen (Relationship P-Assertions) Interaktionen Events zwischen Anwendungskomponenten Aktoren Anwendungskomponenten (z.B. integrierte 3 rd -Party Software) Provenance-Modell Workflow
  • 34. Beispiel Provenance-Informationen in Simulations-Workflows Interaktionen: Konfiguration Prozessablauf Monitoring Datentransfer Relationen: - r0: i0 causes i1 - r1: i1 causes i2 - r2: i2 causes i3 - r3: i2 causes i4 - r4: i3 causes i2 - r5: i2 causes m1 - r6: i2 causes d1 - r7: i0 causes d2 Status Akteur Process control File-Server Pre- Processing Parameter variation Simulation Visualization i0 i1 i2 i3 i4 m1 d1 d2 c1 c-1 c2 c-2 c3 c-3 c4 c-4
  • 37.
  • 38.
  • 40.
  • 41.
  • 42.
  • 43.
  • 44.