Goobi-Tage 2019 - Goobi 19.09 under the Hood - Technische Neuerungen an Goobi workflow, Oliver Paetzel (intranda)

1. Goobi 19.09 under the hood
Technische Neuerungen an Goobi workflow
1
Oliver
Paetzel,
intranda
GmbH
25.09.2019

2. Was haben wir verbessert?
1. Build-System und Arbeitsweise
2. Integration mit anderen Tools
3. Performance und Skalierbarkeit
2
Oliver
Paetzel,
intranda
GmbH
25.09.2019

3. Build-System und Arbeitsweise
Maven, gitea und pull-requests
3
Oliver
Paetzel,
intranda
GmbH
25.09.2019

4. Maven
Maven ist ein Build-Management-Tool für Java Projekte, das sich auch um
Abhängigkeiten und deren
Versionen kümmert.
Durch die Nutzung von Maven haben wir folgendes gewonnen:
Besserer Überblick über Abhängigkeiten und deren Versionen
Goobi workflow hat mit jedem release eine feste Version
Plugins hängen direkt von einer Goobi workflow Version ab
4
Oliver
Paetzel,
intranda
GmbH
25.09.2019

5. Plugin-Übersicht
5
Oliver
Paetzel,
intranda
GmbH
25.09.2019

6. Gitea
...ist unser neuer Git-Hosting-Dienst. Hier haben wir die Möglichkeit
von pull-requests und code-
reviews gewonnen.
6
Oliver
Paetzel,
intranda
GmbH
25.09.2019

7. Gitea
7
Oliver
Paetzel,
intranda
GmbH
25.09.2019

8. Neue Arbeitsweise mit Gitea
8
Oliver
Paetzel,
intranda
GmbH
25.09.2019

9. Integration mit anderen Tools
HTTP, CORS, REST, JSON...
9
Oliver
Paetzel,
intranda
GmbH
25.09.2019

10. Neue Schritte-Art: HTTP-Schritt
10
Oliver
Paetzel,
intranda
GmbH
25.09.2019

11. HTTP-Schritt: Möglichkeiten
Schritt schließen / warten
HTTP Methode wählen:
POST
PUT
PATC
HTTP body mit ersetzten Goobi-Variablen
HTTP body als JSON einlesen und Variablen als JSON escapen
11
Oliver
Paetzel,
intranda
GmbH
25.09.2019

12. REST-API: neue endpoints
Es gibt mehrere neue endpoints für die REST-API. Zwei davon sind
besonders nett:
GET/POST /api/processes/search
POST /api/processes
12
Oliver
Paetzel,
intranda
GmbH
25.09.2019

13. POST /api/processes/search
{
"filterProjects": [
"Sample project"
],
"metadataFilters": [
{
"conjunctive": true,
"filters": [
{
"field": "Author",
"relation": "LIKE",
"value": "Max Muster"
},
{
"field": "Author",
"relation": "NEQUAL",
"value": "Max Musterfrau"
}
]
},
{
"conjunctive": false,
"filters": [
{
"field": "PlaceOfPublication",
"relation": "NLIKE",
"value": "Berlin"
},
{
"field": "PublicationYear",
"relation": "EQUAL",
"value": "1887"
}
]
}
],
"metadataConjunctive": false,
"sortField": "Author",
"sortDescending": false,
"limit": 0,
"offset": 0,
"wantedFields": [
"PlaceOfPublication",
"TitleDocMain",
"PublisherName",
"Author"
]
}
13
Oliver
Paetzel,
intranda
GmbH
25.09.2019

14. Antwort
[
{
"id": 122,
"name": null,
"ruleset": "ruleset_wellcome.xml",
"metadata": {
"AccessLicense": [
{
"value": "PDM",
"labels": {
"de": "Zugriffslizenz",
"en": "Access license",
"es": "Licencia de acceso"
},
"authorityID": null,
"authorityValue": null,
"authorityURI": null
}
],
"AccessStatus": [
{
"value": "Open",
"labels": {
"de": "Zugriffsstatus",
"en": "Access status"
},
"authorityID": null,
"authorityValue": null,
"authorityURI": null
}
],
"AdditionalInformation": [
{
"value": "Consists of lists of members of the Committee of Visitors for the Stafford and Burntwood asylums, report of the Committee of Visitors for Stafford (Wrottesley, chairman) [...]",
"labels": {
"de": "Weitere Informationen",
"en": "Additinal information",
"es": "Additinal information"
},
"authorityID": null,
"authorityValue": null,
"authorityURI": null
}
]
}
}
]
14
Oliver
Paetzel,
intranda
GmbH
25.09.2019

15. POST /api/processes
{
"identifier": "2002001",
"templateId": 47,
"logicalDSType": "Monograph",
"properties": {
"barcode": "98764343210",
"consignment_no": "P0001"
},
"metadata": {
"PublisherName": "MyPublisher",
"TitleDocMain": "My fine title"
}
}
Antwort:
{
"result": "success",
"errorText": null,
"processName": "2002001",
"processId": 4243
}
15
Oliver
Paetzel,
intranda
GmbH
25.09.2019

16. REST-API: CORS einfach konfigurierbar
<restConfig>
<endpoint path="/processes/search">
<cors>
<method>GET</method>
<method>POST</method>
<origin>http://intranda.com</origin>
<origin>https://intranda.com</origin>
</cors>
<method name="get">
<allow netmask="0:0:0:0:0:0:0:1/128" token="geheim"/>
<allow netmask="::2/128" token="geheim"/>
<header name="ollis-super-header">
<value>bla</value>
<value>blubb</value>
</header>
</method>
</endpoint>
</restConfig>
16
Oliver
Paetzel,
intranda
GmbH
25.09.2019

17. Performance und Skalierbarkeit
Dateisystem, Thumbnails und Warteschlangen
17
Oliver
Paetzel,
intranda
GmbH
25.09.2019

18. Diverse Performance Verbesserungen
Verbesserte SQL queries
Weniger Dateisystemzugriffe
Jpeg2000 Anzeige mit openJPEG
18
Oliver
Paetzel,
intranda
GmbH
25.09.2019

19. Thumbnails
Goobi workflow benutzt ab jetzt für sämtliche Bildauslieferungen (sofern
vorhanden) Thumbnail-
Ordner mit vorher skalierten Bildern.
19
Oliver
Paetzel,
intranda
GmbH
25.09.2019

20. Beispiel-Vorgangs-Ordner
├── images
│ ├── adnartni1403_media
│ │ ├── 00000001.jpg
│ │ ├── 00000002.jpg
│ │ ├── 00000003.jpg
│ │ ├── 00000004.jpg
│ │ └── 00000005.jpg
│ └── master_adnartni1403_media
│ ├── 00000001.tif
│ ├── 00000002.tif
│ ├── 00000003.tif
│ ├── 00000004.tif
│ └── 00000005.tif
└── thumbs
├── adnartni1403_media_400
│ ├── 00000001.jpg
│ ├── 00000002.jpg
│ ├── 00000003.jpg
│ ├── 00000004.jpg
│ └── 00000005.jpg
└── adnartni1403_media_800
├── 00000001.jpg
├── 00000002.jpg
├── 00000003.jpg
├── 00000004.jpg
└── 00000005.jpg
20
Oliver
Paetzel,
intranda
GmbH
25.09.2019

21. Warteschlangen
Die GoobiScript-Warteschlange wurde Thread-safe gemacht, d.h. es
können jetzt ohne Angst vor
Fehlern neue GoobiScripte gestartet
werden, während andere noch laufen.
21
Oliver
Paetzel,
intranda
GmbH
25.09.2019

22. Warteschlangen
Die GoobiScript-Warteschlange wurde Thread-safe gemacht, d.h. es
können jetzt ohne Angst vor
Fehlern neue GoobiScripte gestartet
werden, während andere noch laufen.
trotzdem...
22
Oliver
Paetzel,
intranda
GmbH
25.09.2019

23. Skalierbarkeit: ActiveMQ message queue
ActiveMQ bringt viele praktische Dinge mit:
Recovery wenn ein consumer ausfällt
Retry mit backoff-multiplier
Persistenz ins Dateisystem oder in die Datenbank
23
Oliver
Paetzel,
intranda
GmbH
25.09.2019

24. Automatische Schritte direkt in die Queue
24
Oliver
Paetzel,
intranda
GmbH
25.09.2019

25. Message Queue Ansicht
25
Oliver
Paetzel,
intranda
GmbH
25.09.2019

26. Ende
26
Oliver
Paetzel,
intranda
GmbH
25.09.2019