Automatic publication of library and museum data into the LOD cloud
Az aggregáció általános modellje : Synergy modell
1. Az aggregáció általános modellje
Synergy modell
Horváth Ádám
Magyar Nemzeti Múzeum
Muzeum Digit 2015
Budapest, 2015. november 3-4.
2. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Tartalom
Bevezetés
Folyamat modell (Process model)
– Szereplők (User roles)
– Folyamatok hierarchiája (Process hieararchy)
– Folyamatok (Processes)
– Adat összetevők (Data objects)
– Informatikai összetevők (IT objects)
3. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Bevezetés
Az előadás forrása
4. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Bevezetés
Az előadás forrása
5. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Bevezetés
A modell célja
–Az adatszolgáltatás folyamatának leírása
–A jelenlegi modellek (OAIS) és gyakorlat
hibáinak kiküszöbölése
• Mennyiségi szemlélet
• Alapadatok
–Az adatszolgáltatók részére szükséges tudás
és input azonosítása a fenntartható
minőségi aggregáció létrehozásához
6. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Bevezetés
A felelősségmegosztás
– Adatszolgáltaltó
• Gondozza a forrásokat
• Legyen megfelelő tudása a tartalom hitelesítéséhez
• Rendszeresen frissítse az adatokat
– Aggregátor
• Biztosítsa az adatok egyöntetű elérését
• Legyen mechanizmusa a beszolgáltatott adatok közötti
kapcsolatok felderítéséhez és kezeléséhez
• Hangolja össze a problémák felfedezését és javítását
7. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Bevezetés
Fejlesztési cél
– Olyan moduláris architektúra kidolgozása, melyet
egymástól független fejlesztők is ki tudnak
fejleszteni
8. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Konverzió irányítóAdatszolgáltató Aggregátor
Frissítés
Frissítés
Adatszolgáltatás folyamata
BeadásAdatszolgáltatás / konverzió
Konzisztencia ellenőrzés
Frissítés
Konverzió
ellenőrzése
Adatváltozás / minőségi fejlesztések
Kutató/felhasználó
9. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Folyamat modell
10. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Szereplők
Intézmények
– Adatszolgáltató (forrás)
– Aggregátor (cél)
Emberek
– Adatszolgáltató alkalmazottai (AD)
– Aggregátor alkalmazottai (AG)
12. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Szereplők
Elsődleges szereplők
– Vezetők
• Aggregáció és az adatszolgáltatás elhatározása,
támogatása, irányítása
Másodlagos szereplők
– Szakértők
13. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Szereplők
Elsődleges szereplők
– Adatszolgáltató intézmény
• Gyűjteménykezelő rendszer, adatszolgáltatás
– Kurátor
• Ismeri az adatok jelentését a való világban, vagy tudja,
hogy ki tudja és tudja, hogy hogyan hitelesítse az
adatokat
14. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Szereplők
Elsődleges szereplők
– Aggregátor intézmény
• Működteti az integrált elérési rendszert
• Kapcsolatban áll az adatszolgáltatóval
• Új tartalmat nem hoz létre, kivéve a
kereszthivatkozásokat
– Konverzió irányítót
• A konverziós folyamat kialakítása, irányítása és
karbantartása
15. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Szereplők
Másodlagos szereplők
– Adatszolgáltatói rendszer- és adatbázis-
adminisztrátor
• Felügyeli az adatszolgáltató rendszerét, felelős az
adatok küldéséért
– Adatszolgáltató terminológiai szakértő
• Kurátor, aki a használt szótárak, tezauruszok,
tárgyszójegyzékek, stb. szakértője
16. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Szereplők
Másodlagos szereplők
– Adatszolgáltató séma szakértő
• Kurátor, tudós aki az adatok beviteléért felelős a helyi
rendszerben: ismeri a rendszer sémáját
– Aggregátor séma szakértő
• Ismeri az aggregátor által használt sémát
– Konverziós szakértő
• Az adatszolgáltató és az aggregátor sémájának
ismerői/ismerője, a konverzió írásos specifikációjának
készítője
17. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Szereplők
Másodlagos szereplők
– Előfordulás (instance) generáló szakértő
• Aggregátor informatikai szakértője, aki tudja, hogy
hogyan őrizhető meg az adatok működőképessége:
URI átalakítások, adatbehelyettesítések, stb.
– Aggregátor terminológiai szakértő
• Az aggregátor által használt terminológia szakértője
– Beadás szakértő
• Fogadja a küldött adatokat, átalakítja és betölti az aggregátor
rendszerébe
18. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Folyamatok hierarchiája
Adatszolgáltatás
– Első küldés
• Szintaxis normalizáció
• Konverzió specifikáció
– Séma konverzió
– Terminológia konverzió
– URI konverzió
• Adatok konverziója és küldése
• Adatok fogadása és beadása
– Folyamatos frissítés
19. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Folyamatok
20. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Kezdeti adatszolgáltatás
Szintaxis normalizáció
– Szabványos forma (pl. LIDO) előállítása
Konverzió specifikáció
– Séma megfeleltetés: dokumentált, géppel is
olvasható
– Terminológia megfeleltetés: a séma
megfeleltetéshez használandó terminológia
azonosítása
– Előfordulás specifikáció (URI átalakítás):
dokumentált, géppel is olvasható
21. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Kezdeti adatszolgáltatás
Konverzió és küldés
– Hibanapló kezelés
– Adatok javítása
• Automatikusan
• Kézzel
– Visszacsatolás a specifikációhoz
Végül lehet teljesen automatikus is
22. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Kezdeti adatszolgáltatás
Beadás és tárolás
– Automatikus fordítás a terminológia megfeleltetés
alapján
– URI generálás
– Kereszthivatkozások
– Betöltés
– Tárolás
– Kereshetőség
23. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Frissítés folyamat
24. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Frissítés folyamata
Új vagy módosult rekord az
adatszolgáltatónál
– Új ill. frissített rekordok küldése a megszokott
módon
Adatszolgáltató sémája változik
– Konverzió specifikáció frissítése
– Az érintett rekordok újraküldése
Adatszolgáltató URI névkonvenció változás
– URI konverzió specifikáció frissítése
– Az érintett rekordok újraküldése
25. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Frissítés folyamata
Terminológia változás
– Terminológiai konverzió specifikációjának frissítése
– Az érintett rekordok újraküldése
Aggregátor séma változik vagy konverziós
előírások változnak
– Konverzió specifikáció módosítása
– Összes rekord újraküldése
Aggregátor URI névkonvenció változása
– URI konverzió specifikáció frissítése
– Összes rekord újraküldése
26. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Frissítés folyamata
Terminológia konverzió változása
– Összes rekord újraküldése
27. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Adat összetevők
Tartalom adat és metaadat összetevők
Séma és logikai összetevők
Ellenőrzést szolgáló összetevők
28. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Tartalom adat és metaadat összetevők
Tartalom adat
– Képek, szöveges dokumentumok, stb.
Metaadatok
– Információs egységek, melynek struktúráját a séma
elemek adják meg
Adatszolgáltató rendszerrekordjai
– A helyi rendszerben lévő rekordok
Beszolgáltatási dokumentumok
– Normalizált adatszolgáltatói metaadat
– Aggregátor rekordformátumában létező metaadat
29. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Séma és logikai összetevők
Adatszolgáltató séma definíciója
– XML séma, RDFS/OWL, stb
Tényleges adatszolgáltatói séma
– Helyi szabályokat is tartalmazza
Aggregátor séma definíciója
– XML séma, RDFS/OWL, stb
Konverziók gyűjteménye
– Mások által alkalmazott konverziók gyűjteménye
Séma konverzió specifikáció
30. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Séma és logikai összetevők
Adatszolgáltató terminológiája
Aggregátor terminológiája
Terminológia konverzió specifikációja
31. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Ellenőrzést szolgáló összetevők
Adatszolgáltatói riportok
– Adatszolgáltató statisztikai riportjai
• Az helyi rendszerben használt mezők, mezőkben lévő
adatok
• A helyi rendszerből exportált rekordok száma, stb.
– Normalizáció során keletkezett riportok
• Hibanapló
– Normalizált rekordok ellenőrzésének riportja
• A konvertált adat formai helyessége ellenőrzésének az
eredménye
32. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Ellenőrzést szolgáló összetevők
Aggregátor statisztikai riportjai
– Összevethetők az adatszolgáltató riportjaival
URI összerendelési tábla
– Milyen URI-ból milyen másik URI keletkezett
33. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Informatikai összetevők
Konverziós eszközök
Képesek a tartalom és metaadatok normalizált
formára való konverziójára
34. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Informatikai összetevők
Séma megfeleltető eszközök
–Eszközök sokasága, melyek segítik a
konverzió megtervezését
35. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Informatikai összetevők
Forrás analizáló
– Különféle formátumokat kezel
– Képi megjelenítésre képes
– Példákat mutat
– Statisztikákat készít
36. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Informatikai összetevők
Forrás séma megjelenítő
– Séma és adatok vizuális megjelenítése
– Segíti a megértést
Séma megfeleltető
– Két sémát feleltet meg egymásnak
Séma megfeleltetés vizualizáció
– A megfeleltetés vizuális megjelenítése
37. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Informatikai összetevők
Megfeleltetési javaslat eszköz
– Minta megfeleltetések alapján tesz javaslatot
Aggregátor séma megjelenítő
URI konverziót előkészítő eszköz
– Átalakítási szabályokat készít
38. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Informatikai összetevők
Szintaxis normalizáló
– Megfelelő szintaxisra konvertál (XML)
Konverziót végző eszköz
– Aggregátor formátumú adatot állít elő
Terminológiai megfeleltető
– Forrás és cél terminológiájának megfeleltetése
39. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Informatikai összetevők
Átalakító és ellenőrző eszköz
– Egyik szabványos formából a másikba konvertál,
eredményt ellenőrzi
Aggregátor rendszere
– Az aggregátor adatbázisa
– Biztosítja az adatok elérését
40. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Informatikai összetevők
Aggregátor analizáló
– Az aggregátor sémáját bemutató eszköz
41. Az aggregáció általános modellje: Synergy modell - Horváth Ádám, Magyar Nemzeti Múzeum – MuzeumDigit 2015
Összefoglalás
Címszavakban foglaltuk össze az
aggregáció összetevőit és folyamatait
Aggregátor nem sok van, de mindnyájan
lehetünk adatszolgáltatók
Úgy szervezzük a tevékenységeinket,
hogy képesek legyünk a folyamatos,
minőségi adatszolgáltatásra