C sz z6
•
0 gefällt mir•903 views
This presentation covers a short introdution to digital preservation issues (risks and challenges), the SCAPE lifecycle, and selected tools.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie C sz z6
Ähnlich wie C sz z6 (20)
Mehr von SCAPE Project
Mehr von SCAPE Project (20)
C sz z6
- 1. Długoterminowe przechowywanie danych dziedzictwa kulturowego w środowisku skalowalnych technologii ICT Doświadczenia projektu SCAPE Tomasz Parkoła Poznańskie Centrum Superkomputerowo-‐Sieciowe This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 2. • Wprowadzenie • Długoterminowe przechowywanie • Aktualne wyzwania w zakresie przechowywania danych • Projekt SCAPE • Główne założenia i cele projektu • Proces długoterminowego przechowywania • Weryfikacja narzędzi i rozwiązań SCAPE • Przykładowe systemy i oprogramowanie • Informacje dodatkowe • Podsumowanie Agenda 2 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 3. Wprowadzenie • Zapewnienie dostępności materiałów cyfrowych w długiej perspektywie czasu dla docelowej grupy użytkowników • Czynniki ryzyka • Sprzęt komputerowy: zmiany technologiczne • Oprogramowanie: aktualizacje, wyjście z użycia • Formaty plików: zmiany w użytkowanych formatach • Brak świadomości problemów i wyzwań związanych z przechowywaniem danych • Brak aktywnego planowania w zakresie przechowywania danych 3 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 4. Aktualne wyzwania • Liczba obiektów (zdjęcia zabytków, skany dokumentów) • Heterogeniczność danych (strony internetowe, dane medyczne) • Rozmiar i złożoność obiektów (nagrania wideo, obiekty 3D) • Automatyzacja procesu przy użyciu scenariuszy przechowywania danych • Monitorowanie przechowywanych treści i ich analiza • Aktywne planowanie procesu dugoterminowego przechowywania danych 4 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 5. Projekt SCAPE • Zasadniczy cel to opracowanie skalowalnych technologii dla dużych, heterogenicznych i złożonych wolumenów danych • W szczególności • Usługi planowania i wdrażania zdefiniowanych w ramach instytucji zasad przechowywania danych • Infrastruktura w ramach której uruchamiane są procesy związane z długoterminowym przechowywaniem rozbudowanych wolumenów danych • Udoskonalenie i rozwój istniejących/nowych systemów i narzędzi informatycznych 5 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 6. 6 Partnerzy projektu SCAPE This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 7. Proces przechowywania danych w SCAPE 7 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 8. Weryfikacja rozwiązań SCAPE • Scenariusze weryfikujące bazują na problemach i wyzwaniach pojawiających się w praktyce w czterech głównych obszarach 8 treści stron internetowych biblioteki/ muzea/ repozytoria cyfrowe dane z badań dot. astrofizyki zastosowania technologii w centrach danych This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 9. 9 Przykładowe narzędzia SCAPE Plato – planowanie procesu przechowywania danych • Wspiera podejmowanie kluczowych decyzji w zakresie planowania procesu przechowywania danych • Bazuje na przeprowadzonych eksperymentach • Tworzy uruchamialny plan przetwarzania danych This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 10. Przykładowe narzędzia SCAPE C3PO – narzędzie do analizy informacji na temat przechowywanych zasobów • Analizuje metadane techniczne przechowywanych plików (przetwarza różne formaty) • Agreguje i łączy informacje z wielu kolekcji danych • Tworzy profil przechowywanych zasobów • Dostarcza atrakcyjne wizualizacje 10 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 11. Przykładowe narzędzia SCAPE Scout – zautomatyzowany system monitorowania przechowywanych danych • Monitorowanie kolekcji danych • Wykrywanie i powiadamianie o pojawiających się możliwościach i zagrożeniach • Współdzielenie informacji między instytucjami • hgp://openplanets.github.io/scout/ 11 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 12. 12 Przykładowe narzędzia SCAPE ToMaR – skalowanie istniejących narzędzi • Umożliwia uruchamianie istniejących narzędzi na dużych ilościach danych • Wykorzystuje klastry serwerów korzystających z technologii Map-‐Reduce • Pozwala na tworzenie procesów przetwarzania danych z wykorzystaniem wielu narzędzi This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 13. 13 Przykładowe narzędzia SCAPE Pagelyzer – monitorowanie treści stron internetowych • Wykrywa zmiany na stronach internetowych • Porównuje wyniki wyświetlania stron na różnych przeglądarkach • Oblicza częstotliwość archiwizowania stron internetowych This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 14. 14 Przykładowe narzędzia SCAPE Jpylyzer – narzędzie do walidacji plików JPEG 2000 • Zautomatyzowana walidacja plików JP2 • Umożliwia potwierdzenie tego czy dany plik jest zgodny z formatem JPEG 2000 • Ekstrachowanie technicznych informacji na temat plików JP2 • Raportuje o kluczowych właściwościach pliku This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 15. 15 Przykładowe narzędzia SCAPE Matchbox – detekcja duplikatów w dokumentach graficznych • Identyfikuje duplikatów w ramach kolekcji bez względu na rozmiar plików, format, obcięcia, obrót lub pochodzenie skanów/grafiki • Może być zastosowany w przypadku różnych typów dokumentów (manuskrypty, nuty, dokumenty drukowane) This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 16. 16 Przykładowe narzędzia SCAPE xcorrSound – porównanie dokumentów dziwękowych • Porównuje dwa pliki dzwiękowe i określa ich podobieństwo • Wykrywa podobne obszary w różnych plikach • Wykrywa wykorzystanie krótkich ścieżek audio (np. dżingli) w długich nagraniach lub serii nagrań This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 17. Wszystkie narzędzia SCAPE udostępnianie są na licencjach FLOSS Narzędzia opracowane w SCAPE są utrzymywane przez • Open Planets Foundalon skupia się na rozwiązywaniu problemów związanych z przechowywaniem danych poprzez angażowanie szerokiej społeczności • COPTR rejestr narzędzi przydatnych w procesie przechowywania danych 17 Utrzymanie narzędzi i usług SCAPE This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
- 18. Podsumowanie • SCAPE website: www.scape-‐project.eu • Blog: www.openplanetsfoundalon.com/projects/scape • Narzędzia SCAPE: hgps://github.com/openplanets/scape • SCAPE Twiger: @SCAPEProject, #SCAPEProject • SCAPE Newsleger: rejestracja poprzez www.scape-‐project.eu 18 ? This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).