1. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT Demo Dag KB 16 februari 2011
Twitter: #impactdemo
Hildelies Balk, Project Director
2. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Introductie
De uitdaging en het ontstaan van het project
Het IMPACT Consortium
De IMPACT Visie
De IMPACT oplossingen
KB in IMPACT
Overzicht van de Demo dag
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 2
3. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Achtergrond: Massadigitalisering in de KB
Uit beleidsplan: KB IN 2013:
– 10% van alle Nederlandse boeken, kranten en tijdschriften gedigitaliseerd (75 miljoen
pagina’s)
– Full text collecties zo aangeboden dat zij direct gebruikt kunnen worden door onderzoekers
– 20 miljoen gebruikers per jaar komen bij zoekactie uit op KB-informatie
Uitdaging
– Groot deel van de gedigitaliseerde collectie voor 1900
– Gedrukte tekst wordt omgezet naar een werkelijk digitale tekst door middel van OCR (optical
character recognition)
– Huidige software voor OCR geeft geen goed resultaat voor historische tekst – soms al voor
1950
– Heel veel problemen, varierend van oude lettertypen en beschadigd materiaal tot complexe
structuur en spellingsvarianten
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 3
4. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Uitdaging: OCR van historische tekst voldoet niet
VVt Venetien den 1.Junij, Anno 1618.
DJgn i f paffato te S' aö'Jifeert mo?üen/bah .)etgi'uotbciraetail)i.r/JtmelchontDecht te /
sbnbe bele btr felbrr geiufttceert baer bnber eeniglje jprant o^fen/bie ftcb .met
beSpaenfcbeu enbeeemgljen bifet Cbeiiupcen berbonbru befe
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 4
5. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Uitdaging: scans van historische documenten
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 5
6. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Uitdaging: Spellingsvarianten, historische verbuigingen, en
nog veel meer..
Historical variants of the Dutch word ‘wereld’ (world):
werelt weerelt wereld weerelds wereldt werelden weereld werrelts waerelds weerlyt
wereldts vveerelts waereld weerelden waerelden weerlt werlt werelds sweerels
zwerlys swarels swerelts werelts swerrels weirelts tsweerelds werret vverelt werlts
werrelt worreld werlden wareld weirelt weireld waerelt werreld werld vvereld weerelts
werlde tswerels werreldts weereldt wereldje waereldje weurlt wald weëled
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 6
7. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Uitdaging voor de instelling: gebrek aan kennis en ervaring
het wiel wordt steeds weer uitgevonden
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 7
8. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Ontstaan van het project in 2007
Problemen gelden voor alle collectiehouders die historische tekst digitaliseren
Internationale samenwerking bij oplossing ligt voor de hand
2007: EU lanceert Zevende Kaderprogramma voor Research & Development
– met visie op Europese Digital Library: alle erfgoed digitaal online
– Subsidie voor projecten die hieraan bijdragen
Groep van bibliotheken, universiteiten en bedrijven vormt consortium en dient voorstel in
Gehonoreerd door EU
Start 1 januari 2008
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 8
9. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Ontstaan van het project in 2007
BRAINSTORM in KB
FEBRUARI 2007
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 9
10. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Het IMPACT Consortium
8 bibliotheken 6 Universiteiten & Onderzoekcentra
– National Library of the Netherlands (KB) – Dutch Institute for Lexicology (INL)
– The British Library (BL) – National Centre for Scientific Research –
– Bibliothèque nationale de France (BNF) Demokritos (NCSR)
– German National Library (DNB) – University of Salford (USAL)
– Bavarian State Library (BSB) – University of Munich (CIS group)
– Göttingen State and University Library – University of Innsbruck (InfMath group)
(UGOE) – University of Bath (UKOLN)
– Austrian National Library (ONB)
– University of Innsbruck Library (UIBK)* 2 Bedrijven
– IBM (Haifa Research Lab)
– ABBYY (Moscow)
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 10
11. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT Consortium – uitbreiding 2010
Bibliotheken Universiteiten & Onderzoekcentra
– National Library of Spain (BNE) – ATILF / University of Nancy (ATILF)
– National Library of Bulgaria (NLB) – University of Alicante (UA)
– National and University Library of Slovenia – Poznan Supercomputing Centre (PSNC)
(NUK) – University of Warsaw (UW DFL)
– National Library of the Czech Republic – Bulgarian Academy of Sciences (BAS)
(NKC) – Jožef Stefan Institute (JSI)
– Biblioteca Virtual Miguel de Cervantes – Charles University Prague (CUP)
(BVC)
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 11
12. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 12
13. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 13
14. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT visie
• Digitalisering van historische tekst beter,
sneller, goedkoper
• Innovatie van software en methoden voor
verbetering van tekstherkenning
Producten worden GEBRUIKT en
VERDER ONTWIKKELD minstens drie
jaar na afloop project
Vijf resultaten van het project om deze visie te realiseren
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 14
15. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 15
16. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Op 1 januari 2012 levert IMPACT
Een Centre of Competence voor
digitalisering van tekst met een
business model dat zich 3 jaar kan
bedruipen
De strategische middelen om
digitisalisering van historische tekst in
Europa beter, sneller, goedkoper te
maken
Software, services en bronnen om
tekstherkenning in te verbeteren in
massaproductie
Innovatieve software die de State of
the Art op dit gebied vooruit brengt
Een gratis en Open Source
Interoperability Framework voor
doorgaande innovatie van
digitalisering
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 16
17. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Verbeterde tekstherkenning in massaproductie
ABBYY Finereader (IMPACT versie)
IBM Adaptive OCR
CONCERT (correctie mbv crowdsourcing)
Functional Extension Parser (structurele metadata)
Lexical Resources (bronnen voor herkenning historische tekst in 9 talen)
Post Correction Modules (na-correctie)
Wordspotting (alternatief voor OCR)
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 17
18. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Innovatieve software
Image Enhancement Toolkit (beeldverbetering)
Segmentation Toolkit (segmentatie)
Experimental Prototypes (alternatieve OCR en OCR voor getypte tekst)
Tools for Lexicon Building (voor computerlinguisten, om lexica te bouwen in andere
talen )
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 18
19. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Interoperability Framework
Maakt web services van alle tools
Koppelt deze aan elkaar
Research dataset en Evaluation tools om oplossingen te testen - ook van buiten
IMPACT
Vruchtbare samenwerking met MyGrid-project in UK
Workflow management systeem voor evaluatie
Ook te gebruiken voor productie in digitalisering en duurzame opslag van
bestanden
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 19
20. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Rol KB in IMPACT
Coördinatie van het hele project en verspreiding resultaten
Aanspreekpunt EU
Technische architectuur en integratie
Deelname in werkpakketten:
- Klankbordgroep bibliotheken
- Strategische hulpmiddelen (o.a. handleidingen, case studies)
- Collaborative Correction: correctie met crowdsourcing CONCERT
- Demonstration: testen en demonstreren van oplossingen met eigen materiaal
- Centre of Competence: duurzame exploitatie van de resultaten
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 20
21. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
KB IMPACT team
Hildelies Balk, project director
Clemens Neudecker, technisch project manager, Framework en integratie
Lieke Ploeger, manager Project Office,
regelt communicatie over IMPACT
Lotte Wilms, werkt aan de demonstratie &
documentatie van projectresultaten
Astrid Verheusen, lid van de klankbordgroep van IMPACT
bibliotheken, werkt aan de gebruikerseisen en richtlijnen
Hans Jansen, voorzitter van de
IMPACT General Assembly (stuurgroep)
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 21
22. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
En nu: demonstratie van oplossingen voor elk onderdeel van de workflow
scan beeld
kennisbank verbeterd OCR
correctie lexica correctie structuur
evaluatie framework
Hildelies Balk Intro IMPACT Demo Dag KB 16-02-2011 22