Prezentacja na VIII Zebranie Uczestników ŚBC

1. Prezentacja pakietu oprogramowania DInGO !
oraz jego przyszłych perspektyw rozwoju!
dLibra, dMuseion, dLab, dArceo!
Tomasz Parkoła
Poznańskie Centrum Supercomputerowo-Sieciowe
Dział Bibliotek Cyfrowych i Platform Wiedzy

2. Wprowadzenie!
• obejmuje
planowanie,
kontrolowanie,
monitorowanie
oraz
wykonywanie
czynności
związanych
z
ucyfrowieniem
obiektów,
np.
książki,
mapy,
nagrania
Definicje!
Proces
digitalizacji
• to
działanie
którego
celem
jest
to,
by
cyfrowa
kopia
obiektu
była
zrozumiała
i
możliwa
do
odczytu
przez
docelowych
użytkowników
dziś,
jutro,
za
rok,
dziesięć
lat,
itd.
Długoterminowe
przechowywanie
• umożliwia
użytkownikom
dotarcie
do
cyfrowych
reprezentacji
obiektów
przez
Internet
Udostępnianie
online
• obejmuje
wszelkie
działania
dotyczące
modyfikacji
obiektów
w
postaci
cyfrowej,
w
tym
udoskonalania,
dostosowywania
do
potrzeb
instytucji
czy
użytkownika
końcowego,
np.
OCR,
korekta
geometryczna
Przetwarzanie
dokumentów

3. Proces digitalizacji!
przygotowanie
obiektu
cyfrowego
konserwacja,
ucyfrowienie,
standaryzacja
selekcja
obiektów
do
digitalizacji
archiwizacja
udostępnienie
obiektu
on-­‐line

4. Pakiet oprogramowania DInGO!
system
do
budowy
muzeów
cyfrowych
DInGO
system
do
budowy
bibliotek
i
repozytoriów
cyfrowych
system
do
zarządzania
procesem
digitalizacji
system
do
długoterminowego
przechowywania
danych
źródłowych
Digitize and Go!!

5. Proces digitalizacji!
przygotowanie
obiektu
cyfrowego
konserwacja,
ucyfrowienie,
standaryzacja
selekcja
obiektów
do
digitalizacji
archiwizacja
udostępnienie
obiektu
on-­‐line

6. DInGO: proces digitalizacji!
obiekty
planowane
pliki
prezentacyjne
pliki
do
archiwizacji
przygotowanie
konserwacja,
ucyfrowienie,
standaryzacja
udostępnianie
obiektu
cyfrowego
selekcja
obiektów
do
digitalizacji
archiwizacja
udostępnienie
obiektu
on-­‐line

7. DInGO: proces digitalizacji!
obiekty
planowane
pliki
prezentacyjne
pliki
do
archiwizacji
przygotowanie
konserwacja,
ucyfrowienie,
standaryzacja
udostępnianie
obiektu
cyfrowego
selekcja
obiektów
do
digitalizacji
archiwizacja
udostępnienie
obiektu
on-­‐line

8. DInGO: dLibra!
Informacje podstawowe!
• Rozwijany
od
1999
roku
• Pierwsze
polskiej
produkcji
oprogramowanie
dla
bibliotek
i
repozytoriów
cyfrowych
• Kluczowy
element
w
stymulowaniu
rozwoju
polskich
bibliotek
cyfrowych
• Obecnie
około
100
wdrożeń
• Ponad
2
miliony
obiektów
udostępnianych
w
całej
Polsce
10
1
21
1
1
5
2
3
1
3
4
1
1
1
1
1
2
1
1
1
1
1
1
1
2
1
1
1
1
1
1
1

10. DInGO: dMuseion!
Informacje podstawowe!
• Rozwijany
od
2009
roku
we
współpracy
z
Muzeum
Narodowym
w
Warszawie
• Dedykowany
dla
specyficznych
uwarunkowań
w
muzeach
cyfrowych
– Bogate
wizualnie
obiekty
(obrazy,
rzeźby,
monety)
– Zbiory
oraz
wystawy
muzealne
– Terminologia
specyficzna
dla
muzeów
• Możliwa
automatyzacja
wprowadzania
danych
z
różnych
systemów
inwentaryzacji
zabytków
(np.
MONA)

11. DInGO: proces digitalizacji!
obiekty
planowane
pliki
prezentacyjne
pliki
do
archiwizacji
przygotowanie
konserwacja,
ucyfrowienie,
standaryzacja
udostępnianie
obiektu
cyfrowego
selekcja
obiektów
do
digitalizacji
archiwizacja
udostępnienie
obiektu
on-­‐line

12. DInGO: dArceo!
Informacje podstawowe!
Rozwijany
od
2011
roku
na
podstawie
wyników
prac
w
projekcie
SYNAT
Dedykowany
do
długoterminowego
przechowywania
różnych
formatów
danych
w
tym
grafik,
materiałów
tekstowych
i
audiowizualnych
Zgodny
z
uznanym
i
światowym
standardem
OAIS
Wykorzystywany
w
praktyce
w
polskich
instytucjach
kultury
i
nauki
(np.
RCIN,
BGPŚ,
KK)
Wspierający
różne
magazyny
danych
w
tym
usługę
PLATON
U4

13. SIP
dArceo
Analiza
SIP
AIP
Przygotowanie
i
składowanie
AIP
(dyski,
taśmy,
PLATON
U4)
Magazyn
danych
DIP
DIP
AIP
Migracja
danych
Przygotowanie
i
przesłanie
DIP
(np.
konwersja,
zaawansowane
dostarczanie
danych)
AAIIPP
DInGO: dArceo i model OAIS!

14. DInGO: dArceo!
• Identyfikacja
zagrożeń
w
odniesieniu
do
bazy
UDFR
(GDFR+PRONOM)
• Weryfikacja
danych
poprzez
okresowy
odczyt
danych
• Zapewnienie
wiarygodności
poprzez
weryfikację
sum
kontrolnych
• Generowanie
raportów
i
podsumowań
Kluczowe możliwości/funkcje systemu!
• Przetwarzanie
danych
zgodnie
z
założeniami
modelu
OAIS
(migracja
formatów)
• Rozszerzalny
mechanizm
usług
migracji
i
konwertowania
danych
• Planowanie
migracji/konwersji
danych
• Macierze
dyskowe,
taśmy,
zewnętrzne
usługi,
np.
chmurowe
-­‐
PLATON
U4
• Wbudowane
mechanizmy
replikacji
danych
• Zapis
pakietu
archiwalnego
zgodnie
ze
standardami
METS
oraz
PREMIS
• Identyfikacja
formatów
plików
danych
zgodnie
z
bazą
formatów
PRONOM
• Ekstrakcja
metadanych
technicznych
w
zgodzie
ze
standardami
TextMD,
AES57,
MIX
Analiza
danych
Składowanie
danych
Monitorowanie,
kontrolowanie
danych
Przetwarzanie
danych

15. DInGO: proces digitalizacji!
obiekty
planowane
pliki
prezentacyjne
pliki
do
archiwizacji
przygotowanie
konserwacja,
ucyfrowienie,
standaryzacja
udostępnianie
obiektu
cyfrowego
selekcja
obiektów
do
digitalizacji
archiwizacja
udostępnienie
obiektu
on-­‐line

16. DInGO: dLab!
Kluczowe funkcje systemu!
Zarządzanie
procesem
digitalizacji
• Procesy
przetwarzania
• Parametryzacja
• Przydzielanie
czynności
• Zbieranie
statystyk
Kontrolowanie
i
monitorowanie
digitalizacji
• Raporty/podsumowania
• Punkty
weryfikacji
prac
Automatyzacja
digitalizacji
• Integracja
narzędzi
• Komunikacja
z
innymi
systemami

17. DInGO: dLab!
Podstawowe informacje!
• Zadanie: podstawowy element w systemie, powizany z digitalizacją
danego obiektu, np. książki, obrazu, rzeźby, monety!
• Czynność: składowa zadania, reprezentująca działanie do
wykonania w ramach procesu digitalizacji danego obiektu!
Przygotowanie
obiektu
Przygotowanie
plików
wzorcowych/master
Obróbka
graficzna
i
weryfikacja
Przygotowanie
wersji
prezentacyjnej
(np.
PDF)
Zatwierdzenie
Archiwizacja
plików
master
Wprowadzenie
PDF
do
BC/MC
Zadanie

18. DInGO: dLab!
Zadanie, czynności i użytkownicy !
Redaktor
Skanujący
Przygotowanie
obiektu
Przygotowanie
plików
wzorcowych/
master
Obróbka
graficzna
i
weryfikacja
Przygotowanie
wersji
prezentacyjnej
(np.
PDF)
Zatwierdzenie
Archiwizacja
plików
master
Wprowadzenie
PDF
do
BC/MC
Automat
Nadzorca
Zadanie

19. Podsumowanie!
Wzorcowe wykorzystanie pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!
digitalizacja
obiektów
archiwizacja
publikowanie
on-­‐line
dLab
dArceo
dLibra
lub
dMuseion
udostępnianie
długoterminowa
archiwizacja
obiektów
cyfrowych

20. Podsumowanie!
Doświadczenia, ekspertyza i współpraca międzynarodowa!
Centrum
Kompetencji
IMPACT
w
zakresie
digitalizacji
-­‐ PCSS
jednym
z
członków
założycieli
-­‐ 40
partnerów,
m.in.
BL,
KB,
BnF,
BNE,
BUWr,
…
-­‐ Narzędzie
i
zasoby
przydatne
w
digitalizacji
-­‐ Przetwarzanie
obrazu
i
tekstu,
OCR,
…
-­‐ Wymiana
wiedzy,
najlepsze
praktyki
-­‐ Projekt
Succeed
(hjp://succeed-­‐project.eu)
Open
Preservamon
Foundamon
-­‐ PCSS
członkiem
technicznym
(prace
nad
FITS
oraz
dArceo)
-­‐ Technologie
i
rozwiązania
dotyczące
długoterminowego
przechowyania
danych
-­‐ Wymiana
wiedzy,
najlepsze
praktyki
-­‐ Projekt
SCAPE
(hjp://scape-­‐project.eu)

21. Podsumowanie!
Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!
• Od
5.0.0
do
5.7.2
(lata
2011-­‐2014)
• Nowe
funkcje
w
ramach
wersji
5
• Narzedzie
do
monitorowania
pracy
serwera
• Formularz
kontaktu
dot.
konkretnej
publikacji,
prośba
o
dostęp
do
publikacji
• Captcha
przy
pobieraniu
plików
ZIP
• Optymalizacje
Aplikacji
Redaktora,
serwera
(indeksowanie,
wolny
start)
i
Aplikacji
Czytelnika
• Aplet
do
przeglądania
plików
JPG
z
nanoszeniem
znaków
wodnych
• Masowe
ładowanie
publikacji
planowanych
• Publikacje
linkujące
(link
zamiast
treści)
• Integracja
z
systemem
dLab
• Ponad
100
usprawnień/udoskonaleń
systemu
dLibra
Historia
zmian
w
oprogramowaniu
dLibra
5

22. Podsumowanie!
Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!
• Nowy
szablon
wyglądu
• Mechanizm
przeglądania
publikacji
DjVu
w
formie
obrazów
–
bez
koniecznosci
instalacji
wtyczki
w
przegladarce
WWW
• Nowy
mechanizm
wyszukiwania
• Oparty
na
silniku
SOLR
• Fasety
(nawigacja
fasetowa)
• Podpowiadanie,
wyszukiwanie
wielowyrazowe,
etc.
• Inne
usprawnienia
i
zmiany
(opcjonalnie)
• Typy
atrybutów
(daty,
html)
• Integracja
z
systemem
monitorowania
zachowań
I
ruchu
użytkowników
• Zmiana
nazewnictwa
na
bardziej
uniwersalny,
np.
obiekt
zamiast
publikacja
I
kwartał
2015:
dLibra
6

23. Podsumowanie!
Plany rozwojowe pakietu DInGO (dMuseion/dLibra, dArceo, dLab)!
• Wieloformatowość
obiektów
–
możliwość
podłączenia
do
jednej
publikacji
wielu
formatów
(np.
JPG,
PDF,
DjVU)
• Dedykowane
funkcje
w
kontekście
repozytoriów
obiektów
cyfrowych
• Mechanizmy
udostępniania
specyficzne
dla
bibliografii
naukowych,
np.
wsparcie
dla
CrossRef,
POLindex,
PBN
• Integracja
z
otwartym
systemem
bazy
wiedzy
o
działalności
naukowej
instytucji
• Rozbudowa
istniejącego
wsparcia
indeksowania
przez
wyszukiwarki
naukowe
• Udostępnienie
systemu
dLibra
na
licencji
Open
Source
• Rozwój
wspierany
przez
społeczność
użytkowników
II
i
III
kwartał
2015:
dLibra
6.x

24. Poznańskie Centrum Superkomputerowo - Sieciowe!
afiliowane przy Instytucie Chemii Bioorganicznej PAN,!
ul. Noskowskiego 12/14, 61-704 Poznań,
tel : (+48 61) 858-20-00, fax: (+48 61) 852-59-54,
e-mail: office@man.poznan.pl, http://www.pcss.pl