Downloaden Sie, um offline zu lesen
Hochgeladen vonMax Kaiser
Austrian Books Online - Digitaler Workflow und Access
Das Dokument beschreibt den Fortschritt und die Ziele des Projekts zur digitalen Erfassung des historischen Buchbestands der Österreichischen Nationalbibliothek, bei dem bereits über 185.000 Bände digitalisiert wurden. Es hebt die Bedeutung der digitalen Zugänglichkeit für die Forschung hervor und erläutert den technischen Workflow sowie die Herausforderungen in der Digitalisierung. Zudem wird auf zukünftige Entwicklungen und die Integration von Volltextsuche und neuen Recherchemöglichkeiten in digitale Forschungswerkzeuge eingegangen.
![Aprender a aprender[1].2_listo](https://cdn.slidesharecdn.com/ss_thumbnails/aprenderaaprender1-2listo-111205075559-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
Austrian Books Online - Digitaler Workflow und Access
- 1. @maxkaiser Austrian Books Online DigitalerWorkflow und Access Max Kaiser Leiter Forschung & Entwicklung Österreichische Nationalbibliothek „Nationale Initiativen zur digitalen Information“ Wien, 4. Oktober 2013
- 2.
- 3.
- 4. @maxkaiser Überblick → Projektziele → StatusQuo → Workflow: Bücher / Daten → Access / Volltextsuche → Ausblick
- 5. @maxkaiser Digitalisierung des gesamten historischen Buchbestandsder Österreichischen Nationalbibliothek
- 6.
- 7. @maxkaiser 16. Jahrhundert Zweite Hälfte 19.Jahrhundert
- 8.
- 9.
- 10. @maxkaiser → Urheberrecht → Ausschließlichgemeinfreie Werke → Nicht-Exklusivität → Digitalisierung auch mit anderen Partnern möglich → Transparenz → Öffentliche Ausschreibung → Detaillierte FAQs online
- 11. @maxkaiser@maxkaiser@maxkaiser → Zugänglichkeit derDigitalisate → Weltweit und kostenfrei für nicht- kommerzielle Nutzung → Europeana und andere Plattformen → Weitergabe an Forschungspartner
- 12. @maxkaiser 70+ MitarbeiterInnen der ÖsterreichischenNationalbibliothek Davon 20+ ausschließlich für Projekt → Bücher-Logistik → Anpassung Metadaten → Katalogisierung → Konservierung / Restaurierung → Qualitätskontrolle → Software-Entwicklung → Projektmanagement
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19. @maxkaiser Frühjahr 2013 Launch Bookviewerund Volltextsuche
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35. @maxkaiser → → @maxkaiser Bereit fürdie Digitalisierung … →Digitalisierungszentrum in Deutschland →Bücher ~ 3 Monate nicht benützbar
- 36.
- 37.
- 38.
- 39. @maxkaiser Workflow in ADOCO DownloadDatenpaket von Google GRIN via HTTP Entschlüsseln des Pakets via gnupg Paket in Verzeichnis entpacken MD5-Kontrolle aller Dateien (QA) Ablage in Pairtree-Verzeichnis (NAS Shares) GRIN-Metadaten mit aktuellem Zeitstempel aktualisieren
- 40.
- 41. @maxkaiser Datenmenge Durchschnitt pro Datenpaket(~Buch): 101 MB 101 MB * 600.000 = 60 TB
- 42. @maxkaiser Datenspeicherung & Access →Datenspeicherung: inhouse → Daten redundant gespeichert → Access-Kopien aus JPEG2000 Master Files on-the-fly generiert
- 43. @maxkaiser Download und Speicherung ADOCO JPEG2000 HOCR METS TXT ABONAS-Speicher Pair Tree-Algorithmus ca. 60 TB
- 44.
- 45. @maxkaiser ÖNB Hadoop-Cluster: LaufenderBetrieb → Regelmäßige MD5-Prüfsummenkontrolle aller Dateien → Summation sämtlicher Dateigrößen zur Steuerung der Speicherplanung → Abfragen über die METS Metadaten → Verteiltes METS-Parsen, Abfragen über HIVE (HiveQL)
- 46. @maxkaiser →Gezielte Experimente mit TavernaWorkflows →MapReduce in der Qualitätskontrolle →Ermittlung von Kenngrößen in großen Datenmengen ONB Hadoop Cluster: Use Cases Beispiel: JPEG000-Validierung
- 47. @maxkaiser → Bildvergleich zurAnalyse von Unterschieden zweier Versionen eines digitalisierten Buchs → z.B. bei Re-Download von Digitalisaten → Tool: Matchbox (EU-Projekt SCAPE) ONB Hadoop Cluster: Bildvergleich
- 48.
- 49. @maxkaiser →Automatisierte Routinen →Repräsentative Stichproben →EDV-unterstütztesFinden von Fehler- Clustern →Fehler-Kandidaten manuell überprüft →Suche nach systematischen und kritischen Fehlern
- 50.
- 51.
- 52.
- 53.
- 54. @maxkaiser Langzeitarchivierung →Methoden zum Managementgroßer Datenmengen →Integration der Qualitätskontrolle in Workflow und Werkzeuge →Bereitstellung über Permalinks →Metadaten für Langzeitarchivierung
- 55.
- 56. @maxkaiser Katalog / “Quick Search” Volltextsuche ABO BookViewer ANNO Zeitungsportal
- 57.
- 58. @maxkaiser JPEG2000 HOCR METS TXT ADOCO METS-Generierung Speicherung auf UDM- Storage ALEPH X-Server ANNO Europeana Newspapers <<metadata>> UDM HoltMETS- und OCR-Daten - Indexierung mit SOLR/Lucene Gespiegelter Index für Suche INDEXER Suchserver <<poll updates>> <DocID+METS> <replication> METS Beinhalten URLs (auf Content Delivery Service zeigend) zu OCR-Files
- 59. @maxkaiser CDS Content Delivery Service UDM (Speicher) Quick Search / Primo Book- viewer ABO-NAS ImageServer: JPEG2000JPG Konvertierung IIP
- 60. @maxkaiser Verlinkung durch Permalinks →Persistente Verlinkung → Auflösung über Resolver der ÖNB: → Beispiel: http://data.onb.ac.at/ABO/%2BZ167203406 → Leitet um auf http://digital.onb.ac.at/OnbViewer/viewer .faces?doc=ABO_Z167203406
- 61. @maxkaiser ABO Verbund Primo → Pro Buch (Barcode) → Format der Datenlieferung: AC02030899 655o L $$mV:AT-OBV;B:AT- OeNB$$qapplication/html$$uhttp://data.onb .ac.at/ABO/%2BZ164219105$$xONB- ABO$$3Volltext → Liste als Feed an OBVSG → Laden in ca. 30.000er Paketen nach ACC01 → Über ACC-Pipe PRIMO
- 62.
- 63.
- 64.
- 67.
- 68.
- 69. @maxkaiser →Volltextsuche in historischenTextquellen der Österreichischen Nationalbibliothek →Bücher, Zeitungen, Zeitschriften →Integration in Quick Search / Primo →Produktiv seit April 2013
- 70. @maxkaiser Volltextindex: aktueller Stand →350.000 Dokumente →150.000 Bücher →200.000 Zeitungsausgaben → 52 Millionen Seiten → 1 Milliarde unterschiedliche Terme → Volltextindex 280 GB
- 73.
- 74.
- 82.
- 94.
- 95. @maxkaiser →Mobilversion des Book-Viewers →Volltext:neue Möglichkeiten für Forschung →Suche nach Synonymen, Named Entities (Personen und Orte) →Linked Data →Services für „datenzentrierte“ Forschung in Kultur- und Sozialwissenschaften →„Digital Humanities“
- 96. @maxkaiser → Tagung: „Was könnenund wollen Digital Humanities“ 25. Oktober 2013 → Österreichische Nationalbibliothek → http://dhtagungwien.eventbrite.de/
- 97.
- 98.