Judaica link und der FID Jüdische Studien

WISS Research Group | JudaicaLink und der FID Jüdische Studien - 75 Jahre BI - 8. Dezember 2017 - Hochschule der Medien, Stuttgart
JudaicaLink und der FID
Jüdische Studien
Prof. Dr. Kai Eckert
http://www.judaicalink.org
1

FID Jüdische Studien
Erstellung eines Fach-Informations-Dienstes für Jüdische
Studien und Israel-Studien.
Unsere Aufgabe:
● Metadatenintegration and -anreicherung.
● Multilinguale Datenintegration.
2
Funding by
Consortium

Portal
Ziele:
● Zentraler Anlaufpunkt
● Zugang zu einer umfassenden
Sammlung von Informationen und
Ressourcen.
Auch:
● Kontextualisierung der digitalen
Judaica Sammlungen
● Anreicherung der Metadaten
● Verlinkung mit Linked Open Data
3

Portal
4

WISS Research Group | JudaicaLink und der FID Jüdische Studien - 75 Jahre BI - 8. Dezember 2017 - Hochschule der Medien, Stuttgart 5

Portal
6
Ziele:
Ressourcen.
Auch:
Judaica Sammlungen

Re-Transliteration
7
● Automatische Retro-Konversion
von romanisiertem hebräischem Text.
● Verbesserte Suche auf Hebräisch.
● Voraussetzung für die Verknüpfung
von Daten über Sprach- und
Schriftgrenzen hinweg.
Aaron Christianson

Retro-Konversion von
romanisiertem hebräischem Text
lĕqahaḥ t teḥ qst ʿivrî bĕ-taʿătîq lātîḥnî
‫עבוריות‬ ‫לאותיות‬ ‫אותו‬ ‫ולהפוך‬
8

‫המלא‬ ‫הסיפור‬
‫ֵא‬‫ל‬ ָ‫מ‬ַ‫ה‬ ‫רּ‬ ‫ו‬ִ‫ס‬ַ‫ה‬
9

Probleme
● Kein Hebräisch im Katalog vor 2011
● verschiedene Standards zur Romanisierung
● Mehrdeutigkeiten: Der selbe lateinische Buchstabe kann
sich auf mehrere Hebräische beziehen.
● Datenimporte aus anderen Katalogen
● Die Transliteration ist fehlerbehaftet
(ja, sogar Bibliothekare machen - selten - Fehler)
10

Der Plan
1. Generierung aller möglichen
Kandidaten in “naiver” Weise.
2. Matching mit bekannten
Hebräischen Namen und
Begriffen.
3. Aus Matches Trainingsdaten
für Machine Learning
generieren.
11

Portal
12
Ziele:
Ressourcen.
Auch:
Judaica Sammlungen

Kontextualisierung
● Relevante Datenquellen finden
● Darin passende / identische
Ressourcen finden
● Informationen extrahieren
● Informationen zum Portal hinzufügen
13
Maral Dadvar

It’s all about Labels!
● Labels (Bezeichnungen, Zeichenketten) sind
die erste Quelle, um Kandidaten
für das Matching zu generieren.
● Jedes weitere Label ist ein möglicher Einstiegs-
punkt in unsere Daten.
● Problem: Mehr Labels führen auch zu
mehr falschen Treffern. Weitere Daten
sind zur Disambiguierung erforderlich.
14

● Unstrukturierte Daten
wie z.B. Online-
Enzyklopädien als
strukturierte Daten
verfügbar machen.
● Relevante Teilmengen
allgemeiner
Wissensbasen wie z.B.
DBpedia identifizieren
und sammeln.
● Als Hub-Funktion und
zentraler Einstieg für
den Kontextualisierungs-
prozess.
16

Hauptaufgaben
1. Neue beschreibende Daten finden - mit Labeln!
2. Neue Label (und andere Daten) für bekannte Ressourcen
finden.
3. Verbindungen und Duplikate innerhalb der bekannten
Ressourcen finden.
4. Die Daten für andere zur Nachnutzung und
Kontextualisierung bereitstellen.
17

Beispiel 1: YIVO Encyclopedia
18

Was gibt es hier an Daten?
● Ein Titel
● Beschreibung
● Links im Text
"Surface form" => Konzept
● Bilder
● Bildbeschreibungen
19

Surface Forms nutzen
Der Artikel über Minsk verlinkt auf Poland before 1795,
nennt es aber Polish-Lithuanian Commonwealth.
Polish-Lithuanian Commonwealth ist ein Unterabschnitt im
Abschnitt Poland before 1795 im Artikel Poland.
Aber das gilt auch für Demography…
Surface forms sind also Hinweise auf Label.
20

Beispiel 2: Biographisches Handbuch der Rabbiner
● Das Biographische Handbuch der Rabbiner ist eine Online-Enzyklopädie des
Salomon L. Steinheim-Institut für Deutsch-Jüdische Geschichte an der
Universität Duisburg-Essen, herausgegeben von Michael Brocke and Julius
Carlebach.
● Das Ziel ist ein komplettes Verzeichnis aller Rabbiner seit der Aufklärung, die
im deutschsprachigen Raum lebten und wirkten oder aus diesem stammten.
● http://www.steinheim-institut.de/wiki/index.php/Biographisches_Handbuch_de
r_Rabbiner_%28BHR%29
21

Verfügbar
als PDF.
22

● PDF ist fantastisch um das visuelle Layout eines Textes
konsistent über Systemgrenzen hinweg darzustellen.
● Für alles andere, insbesondere, was den Zugang zu den
Inhalten angeht, ist es schrecklich.
● Digital-born PDFs (wie in unserem Fall) sind PDFs die
direkt aus einer Software heraus erstellt wurden.
● Noch schlimmer: PDFs aus Scans (mit OCR).
Ein Exkurs zu PDF-Quellen
23

Biographisches Portal der Rabbiner
Erfreulicherweise haben Mitarbeiter des Steinheim Instituts eine Datenbank der
Inhalte erstellt:
http://www.steinheim-institut.de:50580/cgi-bin/bhr#i0001
Diese URL ist im Browser sichtbar, wenn man den Eintrag zu Aach, Löb aufruft.
Großartig:
● Semi-strukturierte Form des Eintrags
● “Link” zum Handbuch durch Angabe des Bands und der Seitennummer.
● Referenz auf die Nummer des Eintrags, die auch im Handbuch aufgeführt ist..
● Eine GND-Nummer!!!
Nicht ganz so großartig:
● Wir können auf die Datenbank nicht verlinken wegen der Hash-URL.
25

Lösung
In weiteren Gesprächen stellte sich heraus, dass es eine undokumentierte
Möglichkeit gibt, Einträge über ihre ID (die Nummer bei jedem Eintrag) aufzurufen:
http://steinheim-institut.de:50580/cgi-bin/bhr?id=1
26

Beispiel 3: DBpedia
Erstellung eines DBpedia Teilgraphen.
1. “Focused Crawling” der DBpedia, um
a. “relevante” Ressourcen zu identifizieren und
b. “relevante” Informationen zu extrahieren.
2. Trotzdem weiter die gesamte DBpedia nutzen, um
a. “relevante” Information und Ressourcen zu
extrahieren.
27

Cross-linguale Datenintegration
Je mehr Quellen wir haben, umso mehr Links können wir erstellen - auch indirekt.
28

Architektur und Deployment
Triple Store und SPARQL Endpoint: Apache Jena Fuseki
Linked Data Front-End (URI Dereferenzierung, HTML Ansichten):
Pubby (DM2E Version)
Statische HTML-Seiten der Website: Hugo
Versionierung und Workflow: GitHub
Suche: Elasticsearch (geplant)
29

Datensatz-Beschreibung in Markdown
mit Metadaten im Frontmatter
+++
author = "Kai Eckert"
title = "Yivo Encyclopedia"
website = "http://www.yivoencyclopedia.org"
example = "http://data.judaicalink.org/data/yivo/Moscow"
graph = "http://data.judaicalink.org/data/yivo"
loaded = true
[[files]]
url = "http://data.judaicalink.org/dumps/yivo/current/yivo.n3.gz"
description = "Extraction from YIVO Encyclopediae"
+++
The YIVO Encyclopedia of Jews in Eastern Europe, courtesy of the YIVO Institute of
Jewish Research, NY.

...
30

Die ganze Website wird über GitHub verwaltet
31

Jeder neue Commit wird auf den Web-Server
gepushed.
Über den Static Site Generator Hugo werden alle HTML-Seiten generiert.
32
+++
author = "Kai Eckert"
title = "Yivo Encyclopedia"
website = "http://www.yivoencyclopedia.org"
example =
"http://data.judaicalink.org/data/yivo/Moscow"
graph = "http://data.judaicalink.org/data/yivo"
loaded = true
[[files]]
url =
"http://data.judaicalink.org/dumps/yivo/current/
yivo.n3.gz"
description = "Extraction from YIVO
Encyclopediae"
+++
The YIVO Encyclopedia of Jews in Eastern Europe,
courtesy of the YIVO Institute of Jewish
Research, NY.

...

Ein Python-Skript liest die Metadaten der Datensätze
und lädt, bzw. löscht Datensätze automatisch.
Vorteile:
● Niemand braucht Zugang zum Server.
● Schreibzugriff kann über GitHub verwaltet werden.
● Dumps aller Datensätze sind immer verfügbar.
● Beschreibung, Dumps und geladene Daten sind immer synchron.
● Geschichte aller Datensätze ist verfügbar.
● Fehler können leicht korrigiert werden, indem eine vorherige Version
wiederhergestellt wird.
Jeder neue Commit wird auf den Web-Server
gepushed.
33

Vielen Dank.
http://slideshare.net/kaiec
http://www.wisslab.org
34

Judaica link und der FID Jüdische Studien

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Judaica link und der FID Jüdische Studien

Ähnlich wie Judaica link und der FID Jüdische Studien (20)

Mehr von Kai Eckert

Mehr von Kai Eckert (20)

Judaica link und der FID Jüdische Studien