Validierung, Tools und Plugins - Workflowoptimierung durch Automatisierung

13.09.2016MathiasGeerdsen,intrandaGmbH
1
Validierung, Tools und Plugins
Workflowoptimierung durch Automatisierung
3. intranda Goobi Tag

2
Ausgangssituation

3
Workflow
Input Verarbeitung Output

4
Ziele
● Fehler frühzeitig erkennen / korrigieren / vorbeugen
– Dateinamen
– fehlerhafte Bilder oder Metadaten
– Bilddaten die nicht den Vorgaben entsprechen

5
Ziele
– Dateinamen
● Aufwand reduzieren
– Konzentration auf eigentliche Kompetenzen

6
Ziele
– Dateinamen
● Aufwand reduzieren
– Konzentration auf eigentliche Kompetenzen
● Systemauslastung gestalten
– Lastspitzen durch parallele Ausführung
– rechenintensive Schrite

7
Lösungsansätze
● Validierung
● Automatisierung von Aufgaben
● Lastverteilung

8
Datenquellen Input

9
Harvesting
● externe Datenquellen automatisiert abfragen

10
Harvesting
● z.B. Anfragen an OAI-PMH Schnitstellen oder Internet Archive

11
Harvesting
● z.B. Anfragen an OAI-PMH Schnitstellen oder Internet Archive

12
FTP Upload

13
FTP Upload
● Bereitstellung eines FTP Zugangs für externe Datenlieferungen

14
FTP Upload
● automatische Übernahme der Bilddaten in vorhandene Vorgänge

15
FTP Upload
● teilweise Übernahme von mitgelieferten Metadaten

16
FTP Upload
● teilweise Übernahme von mitgelieferten Metadaten
● mögliche Sicherheitsmaßnahmen:
– separates System
– Virenscan
– Quarantänebereich

17
Datenverarbeitung Verarbeitung

18
Validierung der Dateinamen
● Kontrolle der Dateinamen in Bildordnern an Hand eines regulären
Ausdruckes, bereits im Arbeitsschrit

19
Validierung der Dateinamen
● Kontrolle der Dateinamen in Bildordnern an Hand eines regulären
Ausdruckes, bereits im Arbeitsschrit

20
Bildvalidierung
● Validierung mitels jpylyzer und JHOVE
http://jhove.openpreservation.org/ http://jpylyzer.openpreservation.org/

21
Bildvalidierung
● Sicherung des generierten Outputs im Dateisystem

22
Bildvalidierung
● Sicherung des generierten Outputs im Dateisystem
● Prüfung gegen Vorgaben/Profile

23
Bildvalidierung - JHOVE
● Format:
<format>TIFF</format>
● Validität:
<status>Well-Formed and valid</status>
● Farbraum:
<mix:colorSpace>2</mix:colorSpace>
● Komprimierung:
<mix:compressionScheme>7</mix:compressionScheme>
● Auflösung – Liste möglicher Werte oder auch Intervall

24
Qualitätssicherung
● Kontrolle der Bilddaten innerhalb der Goobi-Oberfläche
● ggf. Korrektur der Orientierung, Entfernen von Dateien, ...

25

26
Prozessierung

27
Prozessierung
● nur ein Skript pro Workflowschrit
→ erleichtert die Fehlersuche

28
Prozessierung
● nur ein Skript pro Workflowschrit
→ erleichtert die Fehlersuche
● Verbesserung der verwendeten Tools
– Optimierung der Skripte
– Konvertierung mitels GraphicsMagick

29
Validierung von Metadaten

30
Validierung von Metadaten
● Vorgabemöglichkeit für einzelne Datenfelder im Regelsatz, z.B.
– Datumsfelder
<validationExpression>
d{4}(-d{2}){0,2}
</validationExpression>
– reine Zahlenwerte
<validationExpression>
d+
</validationExpression>
– …
● Frühzeitige Erkennung von falsch formatierten Eingaben, vor
Sichtbarkeit in der Präsentation oder Fehlermeldung bei der
Indexierung (z.B. muss BandNr-Sortierung eine Zahl sein)

31
Input Verarbeitung

32
Input Verarbeitung

33
Export Output

34
individuelle Exporte
● Exportplugins in Goobi ermöglichen individuellen Output
● verschiedene TaskManager Plugins für Ingests
● intranda viewer
● SDB/Preservica
● Roseta
● MyCoRe

35
Lastverteilung Verarbeitung Output

36
Auslagerung
● TaskManager erlaubt die Ausführung in einer Warteschlange
→ kontinuierliche Abarbeitung stat Lastspitzen

37
Auslagerung
● Ausführung auf einem anderen Server
→ Minimierung rechenintensiver Tätigkeiten auf Goobi System

38
Auslagerung
● Ausführung auf einem anderen Server
→ Minimierung rechenintensiver Tätigkeiten auf Goobi System
● Kontrolle über einzelne Warteschlangen
– Anzahl paralleler Jobs pro Warteschlange konfigurierbar
– Warteschlangen können pausiert werden

39

40
TaskManager
● mitlerweile sehr viele unterschiedliche Nutzungen:
– Download aus dem Internet Archive
– Bildkonvertierung (JPEG / JPEG2000)
– Bildvalidierung
– LayoutWizzard
– OCR
– PDF Erzeugung
– Normdatenerkennung
– MyCore, Roseta, SDB/Preservica
● Schwerpunkt: lang laufende und/oder rechenintensive Aufgaben

41
Zusammenfassung

42
Zusammenfassung
● Harvester
● FTP-Upload
Input
Verarbeitung
Output
● Validierung von Dateinamen, Bilddateien,
Metadatenfeldern
● QA Plugin
● serielle Abarbeitung
● Auslagerung von Arbeitsschriten
● Goobi Export Plugins
● TaskManager Plugins für Ingests

43
Input Verarbeitung Output

Validierung, Tools und Plugins - Workflowoptimierung durch Automatisierung

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Andere mochten auch

Andere mochten auch (9)

Mehr von intranda GmbH

Mehr von intranda GmbH (20)

Validierung, Tools und Plugins - Workflowoptimierung durch Automatisierung