SlideShare ist ein Scribd-Unternehmen logo
1 von 17
Downloaden Sie, um offline zu lesen
UNIVERSITÀ DEGLI STUDI DI TRENTO
         FACOLTÀ DI ECONOMIA




  C.d.L. in NET-ECONOMY: TECNOLOGIA E
  MANAGEMENT DELL‟INFORMAZIONE



LABORATORIO DI MULTIMEDIALITÀ


   “Ontologie per archivi fotografici”


   Casagrande Andrea (133393)


            A.A. 2008 / 2009
Indice


1. Introduzione ..............................................................................3

2. La ricerca e il recupero delle immagini .....................................4

3. Ontologia ..................................................................................8

4. Sistema di gestione delle foto basato sull‟ontologia................12

5. Conclusioni .............................................................................15

6. BIBLIOGRAFIA ....................................................................17
1. Introduzione


       Stiamo vivendo nell‟era dell‟informazione. Al giorno d‟oggi le fotocamere digitali ad alta
risoluzione così come altri strumenti di acquisizione di immagini, ad esempio i telefoni cellulari,
sono diventati molto popolari ed economici. Di conseguenza vi è stata una crescita esponenziale
nella pubblicazione online di immagini digitali. Le fotografie digitali personali stanno diventando
una forma comune e preziosa di informazioni personali. Con l‟accumulo di una grande quantità di
foto familiari ed altre immagini personali generate da sorgenti eterogenee gli utenti incontrano serie
difficoltà con la gestione, l‟estrazione e l‟elaborazione di esse e delle informazioni che contengono.

Solitamente gli utenti possono solo organizzare le loro foto digitali in strutture ad albero. Il modo di
organizzarle, sfogliarle e cercarle è comunque estremamente limitato e complicato, specialmente
quando gli utenti vogliono trovare una particolare foto da un archivio contente un grande numero di
altre foto. Quindi è diventato sempre più importante sviluppare effettivi database di immagini con
tecniche di indicizzazione e ricerca a livello semantico.

Anche in molte compagnie ed organizzazioni il tempo e lo sforzo dei dipendenti è sprecato in
ricerche inefficaci nel web o in altre risorse convenzionali. Il sovraccarico di informazioni è
ulteriormente peggiorato per via del formato non strutturato della maggior parte dei dati. Il vasto
ammontare di dati trovati in un‟organizzazione sono per lo più testuali (ad esempio report, e-mail,
ecc.). Tuttavia, altri tipi di dati come immagini, video e discorsi stanno diventando sempre più
popolari. Questi tipi di dati solitamente mancano di metadati (dati riguardanti i dati) e come
conseguenza non ci sono mezzi standard per facilitare ricerche, interrogazioni e analisi.

           Ci sono al momento un numero di prodotti e applicativi commerciali, freeware1 e non,
disponibili per l‟organizzazione e lo sfogliamento delle foto personali, come Picasa (Google),
SeekPai, Photosmart Essential (Hewlett-Packard) e vari gruppi di pacchetti forniti con l‟acquisto
delle fotocamere digitali. Alcuni di essi sono buoni per l‟organizzazione e lo scorrimento ma
comunque hanno problemi con la ricerca delle immagini.

           Negli anni passati sono stati sviluppati un gran numero di sistemi rilevanti di ricerca. Per
quanto riguarda la ricerca di foto e il recupero delle informazioni, nonostante i progressi recenti nel
recupero basato su contenuti, le tecniche correnti, come ShowBox, MyPhotos, etc., offrono
solamente una ricerca basata su somiglianza visiva, ancora incapace di identificare bene i contenuti
semantici. Le tecnologie di identificazione e riconoscimento dei visi sono anche combinate per

1
    distribuiti in modo gratuito
migliorare l‟efficacia dell‟identificazione. Inoltre, alcuni sistemi come ShowBox e Show&Tell,
permettono annotazioni sonore. In ogni caso, la ricerca basata su testo (parola chiave) è ancora il
più comune approccio disponibile nella maggior parte delle applicazioni per foto. Il problema è che
gli utenti sono riluttanti a classificare con etichette migliaia o addirittura milioni di foto.

      Un‟ontologia web semantica e linguaggi di metadati forniscono un nuovo modo di annotare e
recuperare immagini. L‟ontologia può quindi essere di aiuto all‟utente nel formulare le informazioni
necessarie, le interrogazioni e nel ricevere le risposte desiderate. Purtroppo non esiste ancora alcuno
standard condiviso che regoli questa metodologia. Perciò nel proseguio dell‟elaborato verranno
presentati i metodi più comuni di ricerca e recupero delle immagini e verrà mostrato un caso noto di
utilizzo dell‟ontologia per la classificazione e la ricerca delle immagini e foto personali. Dall‟analisi
dei pochi sistemi trovati e finora sviluppati quello presentato di seguito è stato ritenuto uno tra i
migliori e i più efficaci per l‟organizzazione, la ricerca e il recupero delle immagini attraverso
l‟utilizzo di un‟ontologia.




      2. La ricerca e il recupero delle immagini

      Le raccolte di immagini ordinarie usate nei tradizionali sistemi di recupero di immagini hanno
alcune caratteristiche, come un database di larga scala, varietà di tipi di foto, varietà di temi di foto,
etc. La tecnologia “Content-based image retrival2” e la ricerca basata sul testo sono largamente
usate in tali sistemi. Diversamente dalle raccolte ordinarie di immagini, le raccolte di foto digitali
personali hanno le seguenti caratteristiche:

      1. Sebbene sempre più grande dovuto alla sregolata acquisizione che i dispositivi fotografici
           digitali incoraggiano, il numero delle immagini in tali raccolte è solitamente limitato in
           confronto ai database di immagini professionali o commerciali. Perciò molti dei problemi di
           performance dei tradizionali database non si presentano.
      2. Sono utilizzati tipi limitati di fotocamere digitali; quindi le informazioni Exif (Exchangeable
           image file format) presenti in tutte le immagini possono essere catturate.
      3. Il numero di persone nelle foto è limitato; perciò possono essere usate le tecniche di
           rilevamento dei visi, di addestramento e ricognizione automatica delle figure.


2
    CBIR
4. Le foto sono solitamente scattate in determinati eventi (come vacanze, sport, ritrovi etc.) e
           salvate in ordine cronologico; quindi molte informazioni semantiche possono essere
           propagate.

In effetti, raccolte di foto digitali personali possono essere organizzate tramite la risposta a quattro
semplici quesiti (le quattro “W”): dove (“Where”), quando (“When”), chi (“Who”) e cosa (“What”).
I sistemi e i metodi esistenti nell‟ultima decade forniscono molte soluzioni.

Come detto ci sono due approcci principali alla ricerca delle immagini: 1) ricerca basata su
contenuto dell‟immagine (Content-Based Image Retrieval) e 2) ricerca basata su metadati delle
immagini.

      Con il metodo CBIR le immagini sono ricercate senza usare metadati esterni che ne descrivano
il loro contenuto. Ad un livello più basso vengono utilizzate caratteristiche come colore, texture3,
forma, e locazione spaziale. Ad un livello concettuale più alto, sono ricercate immagini con un
oggetto di un dato tipo o un dato individuo (per esempio, immagini con una persona in primo piano
o immagini di un monumento famoso). Al livello ancora più alto, si ricercano nomi di eventi,
attività o immagini con significati emozionali o simbolici. Un esempio dell‟approccio CBIR nel
web è il sistema PicSOM. Nell‟approccio basato su metadati invece, il recupero dell‟immagine è
basato su descrizioni testuali riguardanti l‟immagine stessa. In pratica, questo approccio è
solitamente impiegato nel recupero di immagini a causa della grande sfida con l‟approccio CBIR
quando si occupa concettualmente di livelli più alti di contenuto.

      Un tipico modo di pubblicare una serie di informazioni su un immagine è creare una domanda
di interfacciamento basata su parola chiave ad un immagine presente nel database. In questo caso
l‟utente potrebbe scegliere i valori di filtraggio o applicare parole chiave ai differenti campi del
database (come ad esempio il “creatore”, la “data”, etc.) o alla descrizioni del contenuto, includendo
classificazioni e documentazione di testo libero. Interrogazioni più complesse, infine, possono
essere formulate, per esempio, utilizzando la logica booleana.

Metodi di ricerca basati su parola chiave soffrono però di parecchie limitazioni generali: una parola
chiave in un documento non significa necessariamente che il documento è pertinente, e documenti
rilevanti potrebbero non contenere la parola chiave esplicita. Inoltre, alcune figure semantiche
rendono difficoltosa la ricerca e la restituzione di risultati corretti. Ad esempio, i sinonimi
abbassano la percentuale di richiamo senza errori, gli omonimi4 abbassano la percentuale di



3
    trama
4
    parole con stesso nome ma significato diverso
precisione, e relazioni semantiche come gli iponimi5, i meronimi6, gli antonimi7 non sono sfruttate.
La ricerca basata su parola chiave è utile specialmente agli utenti che conoscono quale parola è stata
usata per indicizzare le immagini e perciò possono facilmente formulare la domanda corretta.
Questo approccio è problematico, comunque, quando l‟utente non ha in mente un chiaro obiettivo,
non conosce che cosa c‟è all‟interno del database, e quale tipo di concetti semantici sono inclusi nel
dominio. Infatti, usando un approccio basato su parola chiave si potrebbe incorrere nei seguenti
problemi:

        Formulazione dell‟informazione di cui si ha bisogno: L‟utente non sa necessariamente quale
         domanda fare. Potrebbe avere solamente un interesse generale nell‟argomento. Come aiutare
         l‟utente a focalizzare l‟interesse senza conoscere il contenuto del database?
        Formulazione della domanda: L‟utente non può necessariamente capire quali parole chiave
         usare nel formulare la ricerca corrispondente alle informazioni di cui ha bisogno. Come
         aiutare l‟utente nel formulare le interrogazioni?
        Formulazione delle risposte: Generando liste di immagini per parole chiave probabilmente si
         perderebbe uno degli aspetti di maggior interesse dell‟archiviazione: le immagini sono
         correlate l‟un l‟altra in molti modi interessanti.

Il problema della creazione di metadati per le immagini è di vitale importanza. I seguenti approcci
sono comunemente utilizzati nell‟annotazione delle immagini:

     Parole chiave: Vocabolari controllati sono usati per descrivere le immagini in modo da
         semplificarne il recupero. Recentemente, le folksonomie8 si sono dimostrate strumenti
         popolari per l‟indicizzazione di grandi raccolte di documenti, con “Flickr” che è il più
         popolare esempio di tagging9 in raccolte di foto. Annotazioni generate dagli utenti causano
         però alcuni problemi riguardo vocabolari incoerenti, varietà di sinonimi, varianti
         ortografiche, errori di ortografia, varianti del linguaggio, etc.
     Classificazioni: Ci sono grandi sistemi di classificazione che dividono differenti aspetti
         della vita in categorie gerarchiche. Per esempio, un‟immagine di un sigillo raffigurante un
         castello potrebbe essere collegata alle classi “sigilli” e “castelli”. Le classi formano una
         struttura gerarchica e sono associate con parole chiave corrispondenti. La gerarchia
         arricchisce le annotazioni. Per esempio, dal momento che castelli sono una sottoclasse di
         “edifici”, la parole chiave “edificio” è rilevante quando si cercano immagini con un castello.

5
  termini che, riferiti ad un altro, hanno un senso, ovvero una comprensione logica, che include il senso di questo
6
  vocaboli che indicano una parte di un tutto, in rapporto a quello che indica il tutto
7
  qualifica di termini che, in riferimento ad un altro, possiedono un senso opposto, contrario
8
  tassonomie create da chi le usa, in base a criteri individuali
9
  etichettamento sociale
 Descrizioni di testo libero: Talvolta sono utilizzate descrizioni di testo libero degli oggetti
           nelle immagini. Il sistema di recupero delle informazioni indicizza il testo per una ricerca
           basata su parole chiave.

Le tecniche di ontologia Semantic web e i linguaggi di metadati contribuiscono a questa tradizione
fornendo strumenti per la definizione di terminologie di classe con semantiche ben definite e un
modello flessibile di dati per rappresentare le descrizioni di metadati. Una possibilità tra le più
utilizzate è utilizzare “RDF Schema” per la definizione delle classi di un‟ontologia gerarchica e
“RDF10” per l‟annotazione dei metadati dell‟immagine conformemente all‟ontologia. L‟ontologia,
insieme con i metadati, forma un grafo RDF, una base di conoscenza, la quale può facilitare nuovi
servizi di recupero di informazioni semantiche.

Le ontologie costituiscono il nucleo del sistema e sono utilizzate per tre scopi:

          Terminologia di annotazione: Il modello ontologico fornisce la terminologia e i concetti
           con cui i metadati delle immagini sono espressi.
          Ricerca basata su visione: Le ontologie del modello, come ad esempio eventi, persone, e
           luoghi possono offrire differenti punti di vista dello stesso concetto. Essi possono quindi
           essere utilizzati dall‟utente per focalizzarsi sulle informazioni che necessita e per formulare
           le domande.
          Navigazione semantica: Dopo aver trovato un centro di interesse, un‟immagine, il modello
           semantico dell‟ontologia, insieme con i dati di istanza di un immagine, può essere usato per
           trovare le relazioni tra l‟immagine selezionata e altre immagini nell‟archivio.

Alcune immagini non sono però necessariamente incluse nel set di risposte all‟interrogazione.

       I sistemi e metodi presentati in precedenza soffrono di alcuni difetti. Per esempio, la ricerca
basata sulla somiglianza visiva ha una precisione scarsa e mancanza di informazioni semantiche,
mentre la ricerca basata sul testo è solo motivata lessicamente e i dizionari utilizzati non sono
organizzati bene. In una parola, sistemi che realmente supportano una ricerca intelligente sono rari.
In modo da superare questi difetti viene proposto un approccio già esistente basato su un ontologia
per la gestione della foto/immagini, il quale è motivato concettualmente. L‟approccio che si è
deciso di presentare è implementato nel sistema “OntoAlbum”. Quando una foto è importata dentro
il database, il sistema crea automaticamente un‟istanza di esso. Successivamente l‟utente annota la
foto con i concetti dell‟ontologia. Infine, cliccando su un‟istanza dei concetti nell‟ontologia, l‟utente
può trovare tutte le foto collegate all‟istanza attraverso l‟inferenza dell‟ontologia. L‟ontologia
fornisce un‟annotazione formale, esplicita e concettuale oltre ad un‟effettiva richiesta di inferenza.

10
     Resource Description Framework
Essa da la possibilità di fare ricerche intelligenti nel sistema di gestione delle foto. Esperimenti sul
sistema “OntoAlbum” mostrano che l‟approccio proposto è veramente efficace e promettente.




      3. Ontologia


       Come illustrato in precedenza la ricerca basata su somiglianza visiva è poco precisa e manca di
informazioni semantiche, mentre la ricerca basata su testo è solo motivata lessicamente e questi
lessici non sono organizzati bene. Infatti, un'altra pari peggiore insufficienza dei sistemi sopra
menzionati è che hanno difficoltà nel supportare una ricerca intelligente, che è ciò di cui ha
veramente bisogno il consumatore.

Per superare questi difetti, viene presentato un approccio con una nuova ontologia basata su
annotazione e recupero di informazioni. In questo sistema un modello di dominio è costruito usando
un linguaggio ontologico formale. Il modello è usato come fonte di informazione e base della
struttura di ricerca di un sistema di gestione delle foto. Il modello di dominio costruito è chiamato
ontologia “FamilyAlbum”, il quale è motivato concettualmente. Il concetto può essere usato per
esprimere il significato desiderato delle cose, e non solo le parole come stringhe testuali. Inoltre, le
proprietà collegano le relazioni semantiche tra gli oggetti rappresentati dall‟ontologia. Il sistema
prototipo “OntoAlbum” è costruito su questa ontologia. Esso è l‟annotazione formale, esplicita e
concettuale, nonché un‟effettiva interrogazione dell‟inferenza fornita dall‟ontologia che rende
possibili ricerche intelligenti in “OntoAlbum”. I risultati sperimentali mostrano che il sistema
sviluppato fornisce un approccio efficiente per la gestione delle foto.

           Il termine ontologia ha origine dalla filosofia, ed è stato usato per la prima volta nell‟
”Intelligenza Artificiale11” per facilitare la condivisione di conoscenza e il riutilizzo di essa
all‟inizio degli anni „90. Più recentemente, è diventata popolare in molti campi, incluso quello del
recupero di informazioni. Ci sono molte definizioni di ontologia nel “AI”. Forse la più popolare è la
seguente: “un‟ontologia è una specificazione formale ed esplicita di una concettualizzazione
condivisa12”.

Un‟ontologia ha 5 elementi modello: concetti, proprietà, relazioni, assiomi e istanze.
Fondamentalmente, il ruolo dell‟ontologia è di costruire un modello di dominio usando questi

11
     AI (Artificial Intelligence)
12
     Thomas Robert Gruber, A translation approach to portable ontologies, In: «Knowledge acquisition», 1993.
elementi. Parecchi linguaggi ontologici sono stati sviluppati durante gli ultimi anni, come XML13,
RDF/RDFS14, OIL15, DAML16, DAML+OIL, OWL17, etc. Differenti linguaggi di ontologie
vengono scelti in accordo con le attuali applicazioni. Nel sistema presentato, OWL è usato per
rappresentare il dominio dell‟ontologia.

Nelle scienze informatiche, l‟ontologia è una struttura descrittiva usata per formulare un esaustivo e
rigoroso schema concettuale riguardante il dominio. Questo dominio non deve essere la completa
conoscenza dell‟argomento, ma solamente un dominio di interesse stabilito dal creatore
dell‟ontologia. Il lavoro presentato si focalizza sul dominio delle foto personali, nel quale la
specificazione concettuale è cruciale per la comprensione della semantica e per la costruzione della
struttura delle informazioni. I due ruoli dell‟ontologia, rappresentazione semantica e costruzione
della struttura della conoscenza, sono considerati nel modello dell‟ontologia.

Le immagini contengono molte informazioni semantiche. Dallo studio degli utenti e dai sondaggi, è
risultato che l‟utente preferisce organizzare ed accedere alle foto lungo assi semantici. Perciò è stata
costruita un‟ontologia chiamata “FamilyAlbum” per il dominio di gestione delle foto digitali
personali, il quale fornisce il vocabolario e la conoscenza del contesto descrivendo le caratteristiche
semantiche di una foto.

Sono stati condotti un gran numero di studi e sondaggi sugli utenti per investigare quali segnali
contestuali e concetti sono utili per la gestione delle raccolte di foto personali. Questi includono
l‟evento (per esempio, incontri, sport, visite,etc.), le persone (per esempio, me stesso, mio figlio,
Maria, etc.), il tempo (per esempio, lo scorso mese, lo scorso anno, 1995, etc.), e il luogo (per
esempio, casa, Disneyland, il museo, etc.). Col metodo “bottom-up”, questi concetti sono disposti
gerarchicamente nell‟ontologia. Come mostrato in “Figura 1” Persona, a sinistra, è una della classi
di concetto astratto nell‟ontologia, e le sue sottoclassi sono progettate secondo il dominio di
investigazione e di analisi. Genere è un‟altra classe di concetto che consiste di due istanze, Maschio
e Femmina. Nel diagramma a destra, Nome, Soprannome, Compleanno, etc. sono proprietà data
type di Persona. Questi attributi “intrinseci” sono assegnati ad ogni concetto identificando esso
come unico in tutta la struttura della conoscenza. Ha fratelli, Ha figli, etc. sono oggetti della
proprietà Persona. Questi attributi “estrinseci” rappresentano le relazioni semantiche tra concetti
astratti. Nello specifico Ha sesso rappresenta la relazione tra Persona e Genere.



13
   eXtensible Markup Language
14
   RDF Schema
15
   Ontology Inference Layer
16
   DARPA Agent Markup Language
17
   Web Ontology Language
Proprietà datatype:
                                                                                                        Nome
                                                                                                        Soprannome
                                                                                                        Compleanno
                                                                                                        Descrizione
                  Persona                                                         Genere                Proprietà oggetto:
                                                                                                        Ha fratelli
                                                                                                         ha fratello
                                        Membri                                                           ha sorella
                                                                              Maschio        Femmina
 Uomo                 Donna             famiglia              Amici                                     Ha figli
                                                                                                         ha figlio
                                                                                                         ha figlia
            Parenti                 Figli               Genitori       Consorte           Fratelli      Ha genitori
                                                                                                         ha padre
                                                                                                         ha madre
                                                Padre                 Madre                             Ha consorte
Zia                   Nipote (F)
                                                                                                        Ha zio
                                                                                                        Ha zia
      Zio      Nipote (M)                                Nonno     Nonna       Fratello       Sorella
                               Figlio       Figlia                                                      Ha nipote (M)
                                                                                                        Ha nipote (F)
                                                                                                        Ha nonni
                                                                                                         ha nonno
                                                                                                         ha nonna
                                                                                                        Ha sesso




                            Figura 1. Parte dei concetti organizzati in struttura gerarchica




  Usando queste classi (concetti), istanze e proprietà, i concetti possono essere definiti esplicitamente.
  Per esempio, alcuni concetti descritti nella figura soprastante sono stati definite in protégé 3.3 come
  segue (Tabella 1):
Concetto    Condizioni necessarie & sufficienti               Condizioni necessarie               Disgiunti

 Uomo           Persona ∩ (Ha sesso Maschio)                             ---                        Donna

 Donna         Persona ∩ (Ha sesso Femmina)                              ---                        Uomo

Genitori        Famiglia ∩ (Ha figlio min 1 )                            ---                          ---

 Padre                Uomo ∩ Genitore                 (Ha figli min 1) ∩ (Ha sesso Maschio)           ---

 Madre                Donna ∩ Genitore                (Ha figli min 1) ∩ (Ha sesso Femmina)           ---
   …




                                …




                                                                          …




                                                                                                       …
            Tabella1. Definizioni di alcuni concetti con proprietà e restrizioni in protégé 3.3




  L‟ontologia non fornisce solamente i concetti definiti esplicitamente per il modello di dominio, ma
  rinforza anche la struttura della conoscenza globale come una colonna portante.

  Quando i concetti del livello più basso sono organizzati bene in una struttura gerarchica, l‟ontologia
  “FamilyAlbum” modellata nel livello più alto usa relazioni più complesse per collegare i concetti. In
  “Figura 2” è mostrato come “Photo” è il concetto base di questa ontologia e “Material”
  (Materiale) è un concetto importante per descrivere “chi” e “dove” (“Who” e “Where”). Infatti esso
  è suddiviso in due parti: “Target” e “Site” (Obiettivo e Luogo). “Target” rappresenta l‟argomento
  del soggetto della foto e “Site” rappresenta il luogo della foto. “Person” (Persona) è il sottoconcetto
  di “Target”. Ma qualche volta il fotografo potrebbe focalizzarsi su qualche concetto “Site”, così è
  stato definito un “Has Target” (Ha obiettivo) come proprietà principale e “Has Background” (Ha
  sfondo) e “FocusOn” (Si concentra su) come loro sottoproprietà. “Event” (Evento) è un altro
  importante concetto che descrive il problema del “che cosa” (“What”). Esso collega “Photo” con la
  proprietà “tell” (dire). “Time” (Tempo) risolve il problema del “quando” (“When”) e collega
  “Photo” con la proprietà “ShootTime” (Orario di scatto). “Color” (Colore), “Camera-parameter”
  (Parametri della fotocamera), “Scene” (Scena) e “Weather” (Tempo meteorologico) descrivono
  invece tutte gli altri importanti segnali con le proprietà corrispondenti che facilitano gli utenti a
  sfogliare e cercare le loro foto.
Figura 2. Ontologia al livello concettuale nel sistema di gestione delle foto “OntoAlbum”




Basate sull‟ontologia “FamilyAlbum” menzionata sopra, le rispettive istanze possono essere
aggiunte dagli utenti nella struttura della conoscenza secondo i loro bisogni. Queste istanze
ereditano le relazioni dai loro concetti. I concetti e le istanze nell‟ontologia sono usati per annotare
le foto. Queste annotazioni sono la base di una ricerca intelligente nel sistema “OntoAlbum”.




   4. Sistema di gestione delle foto basato
         sull’ontologia

Per verificare la validità dell‟approccio proposto, è stata sviluppata anche un ontologia alla base del
sistema di gestione delle foto: “OntoAlbum”. Il diagramma del sistema prototipo è mostrato in
“Figura 3”.
Utente


                                       Interfaccia grafica utente



                    Elaboratore di domande                    Elaboratore di annotazioni




                   Inferenza




           Componente per la           Componente per                  Componente per la
        gestione dell‟ontologia        la trasformazione             mappatura dei concetti
                                                                            semantici




     Libreria per l‟ontologia          Libreria per il deposito            Libreria per i dati
                                                                                sorgenti




                Figura 3. Diagramma del sistema di gestione delle foto basato su ontologia




L‟utente può sfogliare, annotare e cercare le proprio foto grazie alla GUI18 (vedere Figura 5).
Quando l‟utente vuole importare una foto nel database, la componente trasformazione crea
automaticamente un istanza di Foto per questa immagine. Con l‟elaboratore di annotazioni l‟utente
annota la foto con concetti dell‟ontologia e l‟informazione dell‟annotazione della foto è preservata
in una libreria archiviata in formato OWL. Quando l‟utente vuole fare una ricerca di foto collegate
ad un particolare concetto nell‟ontologia, l‟elaboratore di interrogazioni trasmette la domanda

18
     Graphical User Interface
usando il linguaggio W3C19 di SPARQL20. Il fondamento logico di OWL è DL21, che supporta il
ragionamento riguardante le istanze. Esso è realizzato da DLP 22 che è ricco di relazioni tra
individui. L‟inferenza è condotta dalla domanda SPARQL. Per esempio, si vuole condurre una
ricerca per “foto di Anna”. Tutte le foto collegate con “Anna” sono estratte esplicitamente dal
database attraverso l‟inferenza dell‟ontologia.

Il prototipo “OntoAlbum” è stato sviluppato per verificare l‟efficacia dell‟approccio proposto. Nel
sistema sono implementate le funzioni di organizzazione, scorrimento, annotazione e ricerca di un
istanza (vedere Figura 5).




                     Figura5. Tipica pagina di interfaccia del sistema “OntoAlbum”




19
   World Wide Web Consortium
20
   Linguaggio di interrogazione RDF il cui acronimo significa: SPARQL Protocol and RDF Query Language
21
   Famiglia di linguaggi formali di rappresentazione della conoscenza il cui acronimo significa: Description Logics
22
   Description Logic Program
Il pulsante File, a sinistra, aiuta gli utenti ad organizzare le proprie foto nel disco locale mentre il
pulsante Albums aiuta loro ad organizzare le proprie foto nel database. Al centro, il pulsante
Preview è usato per sfogliare le foto col modo delle miniature (thumbnails) e il pulsante Photo
Selected è usato per sfogliare le foto nella grandezza reale. Il pulsante Class Hierarchy mostra la
struttura gerarchica dei concetti nell‟ontologia. Quando l‟utente clicca un concetto, come ad
esempio Person, l‟istanza di esso sarà mostrata nell‟etichetta più a destra. Quando un‟istanza viene
cliccata, come ad esempio Anna, tutte le foto collegate a questa istanza sono mostrate nella finestra
centrale, Preview. Gli utenti possono anche annotare le loro foto ed editare qualsiasi oggetto
dell‟istanza dell‟ontologia nella finestrella in basso, INDIVIDUAL EDITOR.

OntoAlbum è implementato usando il linguaggio Java su Windows. È stato usato il server SQL
come schema del database del sistema e fa funzionare l‟ontologia chiamando Protégé-owl API.




   5. Conclusioni


Come si è potuto notare le ontologie possono essere usate non solo per l‟annotazione e il recupero
di precise informazioni, ma anche per aiutare l‟utente nel formulare le informazioni di cui ha
bisogno e le domande corrispondenti. Inoltre, il miglioramento dell‟ontologia basato sulla
conoscenza dei metadati dell‟immagine può essere applicato alla costruzione di risposte più
significative alle domande.

La maggiore difficoltà nell‟approccio basato su ontologia è il lavoro supplementare necessario nella
creazione dell‟ontologia e delle annotazioni dettagliate. Si crede, comunque, che in molte
applicazioni questo prezzo sia giustificato per la migliore accuratezza ottenuta nel recupero delle
informazioni e per le facilitazioni della nuova semantica offerte all‟utente finale nello sfogliare le
raccolte di foto. Il trade-off tra lavoro di annotazione e qualità del recupero dell‟informazione può
essere bilanciato usando ontologie e annotazioni meno dettagliate, se necessario.

Nel caso presentato, “OntoAlbum”, è stata utilizzata l‟ontologia per gestire raccolte di foto
personali. L‟ontologia può fornire un‟annotazione formale, esplicita e concettuale e una domanda di
inferenza. Combinando il sistema di rappresentazione della conoscenza e la gestione delle foto
nasce una nuova idea che merita di essere studiata ulteriormente. Sebbene questo sistema prototipo
è ancora un tentativo iniziale, più avanti sono stati pianificati degli studi in questa direzione:
1. Nonostante un modo di cliccamento conveniente sia stato fornito dal sistema, attualmente
   molte annotazioni delle informazioni sono ancora editate manualmente dall‟utente. Questo è
   un compito tedioso e lungo in termini di tempo per molte persone. Gli algoritmi per
   l‟annotazione automatica delle foto sono obbligatori nel futuro.
2. Quando le tecnologie di rilevamento e riconoscimento dei visi saranno relativamente
   mature, combinarle con un‟ontologia sarà il prossimo obiettivo della ricerca.
3. Le informazioni EXIF dovranno essere ulteriormente studiate anche per essere di aiuto con
   l‟annotazione semantica automatica delle informazioni.
4. Al momento, “OntoAlbum” può solo supportare semplici interrogazioni di inferenza.
   Domande in linguaggio naturale maggiormente complesse, come ad esempio “Cerca il
   gruppo di foto di mamma e che io ho fatto in estate”, saranno ulteriormente studiate in
   futuro.

Questi sono i punti principali che dovranno essere sviluppati in futuro, assieme ad un standard
condiviso che regoli le ontologie in questo specifico e sempre più prolifico campo.
6. BIBLIOGRAFIA


 Eero HyvÄonen, Avril Styrman, and Samppa Saarela; “Ontology-Based Image

  Retrieval”

 Thomas Mavroudakis and Haralampos Karanikas; “Intelligent Search via

  Ontology Driven Metadata Analysis”

 Adrian Popescu, Pierre – Alain Moëllic, Christophe Millet; “SemRetriev – an

  Ontology Driven Image Retrieval System”

 Yan-Mei-Chai, Xiao-Yan-Zhu, and Jing-Ping Jia; “OntoAlbum: An Ontology

  Based Digital Photo Management System” (Image Analysis and Recognition:

  5th International Conference, ICIAR 2008)

 Yuli Gao, Hangzai Luo, Jianping Fan; “Searching and Browsing Large Scale

  Image Database Using Keywords and Ontology”

 Dominic Mainz, Katrin Weller, Jürgen Mainz; “Semantic Image Annotation

  and Retrieval with IKen”

 Jean-Pierre Schober, Thorsten Hermes, Otthein Herzog; “Content-based Image

  Retrieval by Ontology-based Object Recognition”

Weitere ähnliche Inhalte

Ähnlich wie Ontologie per archivi fotografici

Analisi web e information retrieval
Analisi web e information retrievalAnalisi web e information retrieval
Analisi web e information retrieval
alecarenzio
 
Indicizzare nel mondo digitale
Indicizzare nel mondo digitaleIndicizzare nel mondo digitale
Indicizzare nel mondo digitale
Michele Santoro
 
Analisi discorsi in rete esercitazioni 1
Analisi discorsi in rete esercitazioni 1Analisi discorsi in rete esercitazioni 1
Analisi discorsi in rete esercitazioni 1
ElisabettaLocatelli
 
PROGETTO E REALIZZAZIONE DI UN SISTEMA PER L’ANNOTAZIONE AUTOMATICA DI IMMAGI...
PROGETTO E REALIZZAZIONE DI UN SISTEMA PER L’ANNOTAZIONE AUTOMATICA DI IMMAGI...PROGETTO E REALIZZAZIONE DI UN SISTEMA PER L’ANNOTAZIONE AUTOMATICA DI IMMAGI...
PROGETTO E REALIZZAZIONE DI UN SISTEMA PER L’ANNOTAZIONE AUTOMATICA DI IMMAGI...
guestfe85ba
 
Seminario Di Data Mining
Seminario Di Data MiningSeminario Di Data Mining
Seminario Di Data Mining
valuccia84
 
Reference digitale roma biblionova_2011
Reference digitale roma biblionova_2011Reference digitale roma biblionova_2011
Reference digitale roma biblionova_2011
Virginia Gentilini
 

Ähnlich wie Ontologie per archivi fotografici (20)

Analisi web e information retrieval
Analisi web e information retrievalAnalisi web e information retrieval
Analisi web e information retrieval
 
Indicizzare nel mondo digitale
Indicizzare nel mondo digitaleIndicizzare nel mondo digitale
Indicizzare nel mondo digitale
 
Analisi discorsi in rete esercitazioni 1
Analisi discorsi in rete esercitazioni 1Analisi discorsi in rete esercitazioni 1
Analisi discorsi in rete esercitazioni 1
 
4a Data Mining e motori computazionali
4a Data Mining e motori computazionali4a Data Mining e motori computazionali
4a Data Mining e motori computazionali
 
PROGETTO E REALIZZAZIONE DI UN SISTEMA PER L’ANNOTAZIONE AUTOMATICA DI IMMAGI...
PROGETTO E REALIZZAZIONE DI UN SISTEMA PER L’ANNOTAZIONE AUTOMATICA DI IMMAGI...PROGETTO E REALIZZAZIONE DI UN SISTEMA PER L’ANNOTAZIONE AUTOMATICA DI IMMAGI...
PROGETTO E REALIZZAZIONE DI UN SISTEMA PER L’ANNOTAZIONE AUTOMATICA DI IMMAGI...
 
Sviluppo di un Framework semantico per la contestualizzazione delle activity
Sviluppo di un Framework semantico per la contestualizzazione delle activitySviluppo di un Framework semantico per la contestualizzazione delle activity
Sviluppo di un Framework semantico per la contestualizzazione delle activity
 
La navigazione di profondità - V2
La navigazione di profondità - V2La navigazione di profondità - V2
La navigazione di profondità - V2
 
Lezione 02/2006
Lezione 02/2006Lezione 02/2006
Lezione 02/2006
 
Seminario Di Data Mining
Seminario Di Data MiningSeminario Di Data Mining
Seminario Di Data Mining
 
Data mining Winter Lab conference
Data mining Winter Lab conferenceData mining Winter Lab conference
Data mining Winter Lab conference
 
IC2008 Introduzione Did You Know?
IC2008 Introduzione Did You Know?IC2008 Introduzione Did You Know?
IC2008 Introduzione Did You Know?
 
4.Ed Esercitazioni Corso Risorse Elettroniche Per La Ricerca
4.Ed Esercitazioni Corso Risorse Elettroniche Per La Ricerca4.Ed Esercitazioni Corso Risorse Elettroniche Per La Ricerca
4.Ed Esercitazioni Corso Risorse Elettroniche Per La Ricerca
 
Reference digitale roma biblionova_2011
Reference digitale roma biblionova_2011Reference digitale roma biblionova_2011
Reference digitale roma biblionova_2011
 
Cercare sul web
Cercare sul webCercare sul web
Cercare sul web
 
Tesi garasi
Tesi garasiTesi garasi
Tesi garasi
 
Information Literacy: Tappe della ricerca bibliografica e fonti d'informazion...
Information Literacy: Tappe della ricerca bibliografica e fonti d'informazion...Information Literacy: Tappe della ricerca bibliografica e fonti d'informazion...
Information Literacy: Tappe della ricerca bibliografica e fonti d'informazion...
 
How Twitter Is Studied in the Medical Professions: A Classification of Twitte...
How Twitter Is Studied in the Medical Professions: A Classification of Twitte...How Twitter Is Studied in the Medical Professions: A Classification of Twitte...
How Twitter Is Studied in the Medical Professions: A Classification of Twitte...
 
L'evoluzione del SEO: Search Experience Optimization
L'evoluzione del SEO: Search Experience OptimizationL'evoluzione del SEO: Search Experience Optimization
L'evoluzione del SEO: Search Experience Optimization
 
Esercitazioni Ingegneria 6ed
Esercitazioni Ingegneria 6edEsercitazioni Ingegneria 6ed
Esercitazioni Ingegneria 6ed
 
Progettare e analizzare la qualità degli ambienti informativi digitali attrav...
Progettare e analizzare la qualità degli ambienti informativi digitali attrav...Progettare e analizzare la qualità degli ambienti informativi digitali attrav...
Progettare e analizzare la qualità degli ambienti informativi digitali attrav...
 

Ontologie per archivi fotografici

  • 1. UNIVERSITÀ DEGLI STUDI DI TRENTO FACOLTÀ DI ECONOMIA C.d.L. in NET-ECONOMY: TECNOLOGIA E MANAGEMENT DELL‟INFORMAZIONE LABORATORIO DI MULTIMEDIALITÀ “Ontologie per archivi fotografici” Casagrande Andrea (133393) A.A. 2008 / 2009
  • 2. Indice 1. Introduzione ..............................................................................3 2. La ricerca e il recupero delle immagini .....................................4 3. Ontologia ..................................................................................8 4. Sistema di gestione delle foto basato sull‟ontologia................12 5. Conclusioni .............................................................................15 6. BIBLIOGRAFIA ....................................................................17
  • 3. 1. Introduzione Stiamo vivendo nell‟era dell‟informazione. Al giorno d‟oggi le fotocamere digitali ad alta risoluzione così come altri strumenti di acquisizione di immagini, ad esempio i telefoni cellulari, sono diventati molto popolari ed economici. Di conseguenza vi è stata una crescita esponenziale nella pubblicazione online di immagini digitali. Le fotografie digitali personali stanno diventando una forma comune e preziosa di informazioni personali. Con l‟accumulo di una grande quantità di foto familiari ed altre immagini personali generate da sorgenti eterogenee gli utenti incontrano serie difficoltà con la gestione, l‟estrazione e l‟elaborazione di esse e delle informazioni che contengono. Solitamente gli utenti possono solo organizzare le loro foto digitali in strutture ad albero. Il modo di organizzarle, sfogliarle e cercarle è comunque estremamente limitato e complicato, specialmente quando gli utenti vogliono trovare una particolare foto da un archivio contente un grande numero di altre foto. Quindi è diventato sempre più importante sviluppare effettivi database di immagini con tecniche di indicizzazione e ricerca a livello semantico. Anche in molte compagnie ed organizzazioni il tempo e lo sforzo dei dipendenti è sprecato in ricerche inefficaci nel web o in altre risorse convenzionali. Il sovraccarico di informazioni è ulteriormente peggiorato per via del formato non strutturato della maggior parte dei dati. Il vasto ammontare di dati trovati in un‟organizzazione sono per lo più testuali (ad esempio report, e-mail, ecc.). Tuttavia, altri tipi di dati come immagini, video e discorsi stanno diventando sempre più popolari. Questi tipi di dati solitamente mancano di metadati (dati riguardanti i dati) e come conseguenza non ci sono mezzi standard per facilitare ricerche, interrogazioni e analisi. Ci sono al momento un numero di prodotti e applicativi commerciali, freeware1 e non, disponibili per l‟organizzazione e lo sfogliamento delle foto personali, come Picasa (Google), SeekPai, Photosmart Essential (Hewlett-Packard) e vari gruppi di pacchetti forniti con l‟acquisto delle fotocamere digitali. Alcuni di essi sono buoni per l‟organizzazione e lo scorrimento ma comunque hanno problemi con la ricerca delle immagini. Negli anni passati sono stati sviluppati un gran numero di sistemi rilevanti di ricerca. Per quanto riguarda la ricerca di foto e il recupero delle informazioni, nonostante i progressi recenti nel recupero basato su contenuti, le tecniche correnti, come ShowBox, MyPhotos, etc., offrono solamente una ricerca basata su somiglianza visiva, ancora incapace di identificare bene i contenuti semantici. Le tecnologie di identificazione e riconoscimento dei visi sono anche combinate per 1 distribuiti in modo gratuito
  • 4. migliorare l‟efficacia dell‟identificazione. Inoltre, alcuni sistemi come ShowBox e Show&Tell, permettono annotazioni sonore. In ogni caso, la ricerca basata su testo (parola chiave) è ancora il più comune approccio disponibile nella maggior parte delle applicazioni per foto. Il problema è che gli utenti sono riluttanti a classificare con etichette migliaia o addirittura milioni di foto. Un‟ontologia web semantica e linguaggi di metadati forniscono un nuovo modo di annotare e recuperare immagini. L‟ontologia può quindi essere di aiuto all‟utente nel formulare le informazioni necessarie, le interrogazioni e nel ricevere le risposte desiderate. Purtroppo non esiste ancora alcuno standard condiviso che regoli questa metodologia. Perciò nel proseguio dell‟elaborato verranno presentati i metodi più comuni di ricerca e recupero delle immagini e verrà mostrato un caso noto di utilizzo dell‟ontologia per la classificazione e la ricerca delle immagini e foto personali. Dall‟analisi dei pochi sistemi trovati e finora sviluppati quello presentato di seguito è stato ritenuto uno tra i migliori e i più efficaci per l‟organizzazione, la ricerca e il recupero delle immagini attraverso l‟utilizzo di un‟ontologia. 2. La ricerca e il recupero delle immagini Le raccolte di immagini ordinarie usate nei tradizionali sistemi di recupero di immagini hanno alcune caratteristiche, come un database di larga scala, varietà di tipi di foto, varietà di temi di foto, etc. La tecnologia “Content-based image retrival2” e la ricerca basata sul testo sono largamente usate in tali sistemi. Diversamente dalle raccolte ordinarie di immagini, le raccolte di foto digitali personali hanno le seguenti caratteristiche: 1. Sebbene sempre più grande dovuto alla sregolata acquisizione che i dispositivi fotografici digitali incoraggiano, il numero delle immagini in tali raccolte è solitamente limitato in confronto ai database di immagini professionali o commerciali. Perciò molti dei problemi di performance dei tradizionali database non si presentano. 2. Sono utilizzati tipi limitati di fotocamere digitali; quindi le informazioni Exif (Exchangeable image file format) presenti in tutte le immagini possono essere catturate. 3. Il numero di persone nelle foto è limitato; perciò possono essere usate le tecniche di rilevamento dei visi, di addestramento e ricognizione automatica delle figure. 2 CBIR
  • 5. 4. Le foto sono solitamente scattate in determinati eventi (come vacanze, sport, ritrovi etc.) e salvate in ordine cronologico; quindi molte informazioni semantiche possono essere propagate. In effetti, raccolte di foto digitali personali possono essere organizzate tramite la risposta a quattro semplici quesiti (le quattro “W”): dove (“Where”), quando (“When”), chi (“Who”) e cosa (“What”). I sistemi e i metodi esistenti nell‟ultima decade forniscono molte soluzioni. Come detto ci sono due approcci principali alla ricerca delle immagini: 1) ricerca basata su contenuto dell‟immagine (Content-Based Image Retrieval) e 2) ricerca basata su metadati delle immagini. Con il metodo CBIR le immagini sono ricercate senza usare metadati esterni che ne descrivano il loro contenuto. Ad un livello più basso vengono utilizzate caratteristiche come colore, texture3, forma, e locazione spaziale. Ad un livello concettuale più alto, sono ricercate immagini con un oggetto di un dato tipo o un dato individuo (per esempio, immagini con una persona in primo piano o immagini di un monumento famoso). Al livello ancora più alto, si ricercano nomi di eventi, attività o immagini con significati emozionali o simbolici. Un esempio dell‟approccio CBIR nel web è il sistema PicSOM. Nell‟approccio basato su metadati invece, il recupero dell‟immagine è basato su descrizioni testuali riguardanti l‟immagine stessa. In pratica, questo approccio è solitamente impiegato nel recupero di immagini a causa della grande sfida con l‟approccio CBIR quando si occupa concettualmente di livelli più alti di contenuto. Un tipico modo di pubblicare una serie di informazioni su un immagine è creare una domanda di interfacciamento basata su parola chiave ad un immagine presente nel database. In questo caso l‟utente potrebbe scegliere i valori di filtraggio o applicare parole chiave ai differenti campi del database (come ad esempio il “creatore”, la “data”, etc.) o alla descrizioni del contenuto, includendo classificazioni e documentazione di testo libero. Interrogazioni più complesse, infine, possono essere formulate, per esempio, utilizzando la logica booleana. Metodi di ricerca basati su parola chiave soffrono però di parecchie limitazioni generali: una parola chiave in un documento non significa necessariamente che il documento è pertinente, e documenti rilevanti potrebbero non contenere la parola chiave esplicita. Inoltre, alcune figure semantiche rendono difficoltosa la ricerca e la restituzione di risultati corretti. Ad esempio, i sinonimi abbassano la percentuale di richiamo senza errori, gli omonimi4 abbassano la percentuale di 3 trama 4 parole con stesso nome ma significato diverso
  • 6. precisione, e relazioni semantiche come gli iponimi5, i meronimi6, gli antonimi7 non sono sfruttate. La ricerca basata su parola chiave è utile specialmente agli utenti che conoscono quale parola è stata usata per indicizzare le immagini e perciò possono facilmente formulare la domanda corretta. Questo approccio è problematico, comunque, quando l‟utente non ha in mente un chiaro obiettivo, non conosce che cosa c‟è all‟interno del database, e quale tipo di concetti semantici sono inclusi nel dominio. Infatti, usando un approccio basato su parola chiave si potrebbe incorrere nei seguenti problemi:  Formulazione dell‟informazione di cui si ha bisogno: L‟utente non sa necessariamente quale domanda fare. Potrebbe avere solamente un interesse generale nell‟argomento. Come aiutare l‟utente a focalizzare l‟interesse senza conoscere il contenuto del database?  Formulazione della domanda: L‟utente non può necessariamente capire quali parole chiave usare nel formulare la ricerca corrispondente alle informazioni di cui ha bisogno. Come aiutare l‟utente nel formulare le interrogazioni?  Formulazione delle risposte: Generando liste di immagini per parole chiave probabilmente si perderebbe uno degli aspetti di maggior interesse dell‟archiviazione: le immagini sono correlate l‟un l‟altra in molti modi interessanti. Il problema della creazione di metadati per le immagini è di vitale importanza. I seguenti approcci sono comunemente utilizzati nell‟annotazione delle immagini:  Parole chiave: Vocabolari controllati sono usati per descrivere le immagini in modo da semplificarne il recupero. Recentemente, le folksonomie8 si sono dimostrate strumenti popolari per l‟indicizzazione di grandi raccolte di documenti, con “Flickr” che è il più popolare esempio di tagging9 in raccolte di foto. Annotazioni generate dagli utenti causano però alcuni problemi riguardo vocabolari incoerenti, varietà di sinonimi, varianti ortografiche, errori di ortografia, varianti del linguaggio, etc.  Classificazioni: Ci sono grandi sistemi di classificazione che dividono differenti aspetti della vita in categorie gerarchiche. Per esempio, un‟immagine di un sigillo raffigurante un castello potrebbe essere collegata alle classi “sigilli” e “castelli”. Le classi formano una struttura gerarchica e sono associate con parole chiave corrispondenti. La gerarchia arricchisce le annotazioni. Per esempio, dal momento che castelli sono una sottoclasse di “edifici”, la parole chiave “edificio” è rilevante quando si cercano immagini con un castello. 5 termini che, riferiti ad un altro, hanno un senso, ovvero una comprensione logica, che include il senso di questo 6 vocaboli che indicano una parte di un tutto, in rapporto a quello che indica il tutto 7 qualifica di termini che, in riferimento ad un altro, possiedono un senso opposto, contrario 8 tassonomie create da chi le usa, in base a criteri individuali 9 etichettamento sociale
  • 7.  Descrizioni di testo libero: Talvolta sono utilizzate descrizioni di testo libero degli oggetti nelle immagini. Il sistema di recupero delle informazioni indicizza il testo per una ricerca basata su parole chiave. Le tecniche di ontologia Semantic web e i linguaggi di metadati contribuiscono a questa tradizione fornendo strumenti per la definizione di terminologie di classe con semantiche ben definite e un modello flessibile di dati per rappresentare le descrizioni di metadati. Una possibilità tra le più utilizzate è utilizzare “RDF Schema” per la definizione delle classi di un‟ontologia gerarchica e “RDF10” per l‟annotazione dei metadati dell‟immagine conformemente all‟ontologia. L‟ontologia, insieme con i metadati, forma un grafo RDF, una base di conoscenza, la quale può facilitare nuovi servizi di recupero di informazioni semantiche. Le ontologie costituiscono il nucleo del sistema e sono utilizzate per tre scopi:  Terminologia di annotazione: Il modello ontologico fornisce la terminologia e i concetti con cui i metadati delle immagini sono espressi.  Ricerca basata su visione: Le ontologie del modello, come ad esempio eventi, persone, e luoghi possono offrire differenti punti di vista dello stesso concetto. Essi possono quindi essere utilizzati dall‟utente per focalizzarsi sulle informazioni che necessita e per formulare le domande.  Navigazione semantica: Dopo aver trovato un centro di interesse, un‟immagine, il modello semantico dell‟ontologia, insieme con i dati di istanza di un immagine, può essere usato per trovare le relazioni tra l‟immagine selezionata e altre immagini nell‟archivio. Alcune immagini non sono però necessariamente incluse nel set di risposte all‟interrogazione. I sistemi e metodi presentati in precedenza soffrono di alcuni difetti. Per esempio, la ricerca basata sulla somiglianza visiva ha una precisione scarsa e mancanza di informazioni semantiche, mentre la ricerca basata sul testo è solo motivata lessicamente e i dizionari utilizzati non sono organizzati bene. In una parola, sistemi che realmente supportano una ricerca intelligente sono rari. In modo da superare questi difetti viene proposto un approccio già esistente basato su un ontologia per la gestione della foto/immagini, il quale è motivato concettualmente. L‟approccio che si è deciso di presentare è implementato nel sistema “OntoAlbum”. Quando una foto è importata dentro il database, il sistema crea automaticamente un‟istanza di esso. Successivamente l‟utente annota la foto con i concetti dell‟ontologia. Infine, cliccando su un‟istanza dei concetti nell‟ontologia, l‟utente può trovare tutte le foto collegate all‟istanza attraverso l‟inferenza dell‟ontologia. L‟ontologia fornisce un‟annotazione formale, esplicita e concettuale oltre ad un‟effettiva richiesta di inferenza. 10 Resource Description Framework
  • 8. Essa da la possibilità di fare ricerche intelligenti nel sistema di gestione delle foto. Esperimenti sul sistema “OntoAlbum” mostrano che l‟approccio proposto è veramente efficace e promettente. 3. Ontologia Come illustrato in precedenza la ricerca basata su somiglianza visiva è poco precisa e manca di informazioni semantiche, mentre la ricerca basata su testo è solo motivata lessicamente e questi lessici non sono organizzati bene. Infatti, un'altra pari peggiore insufficienza dei sistemi sopra menzionati è che hanno difficoltà nel supportare una ricerca intelligente, che è ciò di cui ha veramente bisogno il consumatore. Per superare questi difetti, viene presentato un approccio con una nuova ontologia basata su annotazione e recupero di informazioni. In questo sistema un modello di dominio è costruito usando un linguaggio ontologico formale. Il modello è usato come fonte di informazione e base della struttura di ricerca di un sistema di gestione delle foto. Il modello di dominio costruito è chiamato ontologia “FamilyAlbum”, il quale è motivato concettualmente. Il concetto può essere usato per esprimere il significato desiderato delle cose, e non solo le parole come stringhe testuali. Inoltre, le proprietà collegano le relazioni semantiche tra gli oggetti rappresentati dall‟ontologia. Il sistema prototipo “OntoAlbum” è costruito su questa ontologia. Esso è l‟annotazione formale, esplicita e concettuale, nonché un‟effettiva interrogazione dell‟inferenza fornita dall‟ontologia che rende possibili ricerche intelligenti in “OntoAlbum”. I risultati sperimentali mostrano che il sistema sviluppato fornisce un approccio efficiente per la gestione delle foto. Il termine ontologia ha origine dalla filosofia, ed è stato usato per la prima volta nell‟ ”Intelligenza Artificiale11” per facilitare la condivisione di conoscenza e il riutilizzo di essa all‟inizio degli anni „90. Più recentemente, è diventata popolare in molti campi, incluso quello del recupero di informazioni. Ci sono molte definizioni di ontologia nel “AI”. Forse la più popolare è la seguente: “un‟ontologia è una specificazione formale ed esplicita di una concettualizzazione condivisa12”. Un‟ontologia ha 5 elementi modello: concetti, proprietà, relazioni, assiomi e istanze. Fondamentalmente, il ruolo dell‟ontologia è di costruire un modello di dominio usando questi 11 AI (Artificial Intelligence) 12 Thomas Robert Gruber, A translation approach to portable ontologies, In: «Knowledge acquisition», 1993.
  • 9. elementi. Parecchi linguaggi ontologici sono stati sviluppati durante gli ultimi anni, come XML13, RDF/RDFS14, OIL15, DAML16, DAML+OIL, OWL17, etc. Differenti linguaggi di ontologie vengono scelti in accordo con le attuali applicazioni. Nel sistema presentato, OWL è usato per rappresentare il dominio dell‟ontologia. Nelle scienze informatiche, l‟ontologia è una struttura descrittiva usata per formulare un esaustivo e rigoroso schema concettuale riguardante il dominio. Questo dominio non deve essere la completa conoscenza dell‟argomento, ma solamente un dominio di interesse stabilito dal creatore dell‟ontologia. Il lavoro presentato si focalizza sul dominio delle foto personali, nel quale la specificazione concettuale è cruciale per la comprensione della semantica e per la costruzione della struttura delle informazioni. I due ruoli dell‟ontologia, rappresentazione semantica e costruzione della struttura della conoscenza, sono considerati nel modello dell‟ontologia. Le immagini contengono molte informazioni semantiche. Dallo studio degli utenti e dai sondaggi, è risultato che l‟utente preferisce organizzare ed accedere alle foto lungo assi semantici. Perciò è stata costruita un‟ontologia chiamata “FamilyAlbum” per il dominio di gestione delle foto digitali personali, il quale fornisce il vocabolario e la conoscenza del contesto descrivendo le caratteristiche semantiche di una foto. Sono stati condotti un gran numero di studi e sondaggi sugli utenti per investigare quali segnali contestuali e concetti sono utili per la gestione delle raccolte di foto personali. Questi includono l‟evento (per esempio, incontri, sport, visite,etc.), le persone (per esempio, me stesso, mio figlio, Maria, etc.), il tempo (per esempio, lo scorso mese, lo scorso anno, 1995, etc.), e il luogo (per esempio, casa, Disneyland, il museo, etc.). Col metodo “bottom-up”, questi concetti sono disposti gerarchicamente nell‟ontologia. Come mostrato in “Figura 1” Persona, a sinistra, è una della classi di concetto astratto nell‟ontologia, e le sue sottoclassi sono progettate secondo il dominio di investigazione e di analisi. Genere è un‟altra classe di concetto che consiste di due istanze, Maschio e Femmina. Nel diagramma a destra, Nome, Soprannome, Compleanno, etc. sono proprietà data type di Persona. Questi attributi “intrinseci” sono assegnati ad ogni concetto identificando esso come unico in tutta la struttura della conoscenza. Ha fratelli, Ha figli, etc. sono oggetti della proprietà Persona. Questi attributi “estrinseci” rappresentano le relazioni semantiche tra concetti astratti. Nello specifico Ha sesso rappresenta la relazione tra Persona e Genere. 13 eXtensible Markup Language 14 RDF Schema 15 Ontology Inference Layer 16 DARPA Agent Markup Language 17 Web Ontology Language
  • 10. Proprietà datatype: Nome Soprannome Compleanno Descrizione Persona Genere Proprietà oggetto: Ha fratelli ha fratello Membri ha sorella Maschio Femmina Uomo Donna famiglia Amici Ha figli ha figlio ha figlia Parenti Figli Genitori Consorte Fratelli Ha genitori ha padre ha madre Padre Madre Ha consorte Zia Nipote (F) Ha zio Ha zia Zio Nipote (M) Nonno Nonna Fratello Sorella Figlio Figlia Ha nipote (M) Ha nipote (F) Ha nonni ha nonno ha nonna Ha sesso Figura 1. Parte dei concetti organizzati in struttura gerarchica Usando queste classi (concetti), istanze e proprietà, i concetti possono essere definiti esplicitamente. Per esempio, alcuni concetti descritti nella figura soprastante sono stati definite in protégé 3.3 come segue (Tabella 1):
  • 11. Concetto Condizioni necessarie & sufficienti Condizioni necessarie Disgiunti Uomo Persona ∩ (Ha sesso Maschio) --- Donna Donna Persona ∩ (Ha sesso Femmina) --- Uomo Genitori Famiglia ∩ (Ha figlio min 1 ) --- --- Padre Uomo ∩ Genitore (Ha figli min 1) ∩ (Ha sesso Maschio) --- Madre Donna ∩ Genitore (Ha figli min 1) ∩ (Ha sesso Femmina) --- … … … … Tabella1. Definizioni di alcuni concetti con proprietà e restrizioni in protégé 3.3 L‟ontologia non fornisce solamente i concetti definiti esplicitamente per il modello di dominio, ma rinforza anche la struttura della conoscenza globale come una colonna portante. Quando i concetti del livello più basso sono organizzati bene in una struttura gerarchica, l‟ontologia “FamilyAlbum” modellata nel livello più alto usa relazioni più complesse per collegare i concetti. In “Figura 2” è mostrato come “Photo” è il concetto base di questa ontologia e “Material” (Materiale) è un concetto importante per descrivere “chi” e “dove” (“Who” e “Where”). Infatti esso è suddiviso in due parti: “Target” e “Site” (Obiettivo e Luogo). “Target” rappresenta l‟argomento del soggetto della foto e “Site” rappresenta il luogo della foto. “Person” (Persona) è il sottoconcetto di “Target”. Ma qualche volta il fotografo potrebbe focalizzarsi su qualche concetto “Site”, così è stato definito un “Has Target” (Ha obiettivo) come proprietà principale e “Has Background” (Ha sfondo) e “FocusOn” (Si concentra su) come loro sottoproprietà. “Event” (Evento) è un altro importante concetto che descrive il problema del “che cosa” (“What”). Esso collega “Photo” con la proprietà “tell” (dire). “Time” (Tempo) risolve il problema del “quando” (“When”) e collega “Photo” con la proprietà “ShootTime” (Orario di scatto). “Color” (Colore), “Camera-parameter” (Parametri della fotocamera), “Scene” (Scena) e “Weather” (Tempo meteorologico) descrivono invece tutte gli altri importanti segnali con le proprietà corrispondenti che facilitano gli utenti a sfogliare e cercare le loro foto.
  • 12. Figura 2. Ontologia al livello concettuale nel sistema di gestione delle foto “OntoAlbum” Basate sull‟ontologia “FamilyAlbum” menzionata sopra, le rispettive istanze possono essere aggiunte dagli utenti nella struttura della conoscenza secondo i loro bisogni. Queste istanze ereditano le relazioni dai loro concetti. I concetti e le istanze nell‟ontologia sono usati per annotare le foto. Queste annotazioni sono la base di una ricerca intelligente nel sistema “OntoAlbum”. 4. Sistema di gestione delle foto basato sull’ontologia Per verificare la validità dell‟approccio proposto, è stata sviluppata anche un ontologia alla base del sistema di gestione delle foto: “OntoAlbum”. Il diagramma del sistema prototipo è mostrato in “Figura 3”.
  • 13. Utente Interfaccia grafica utente Elaboratore di domande Elaboratore di annotazioni Inferenza Componente per la Componente per Componente per la gestione dell‟ontologia la trasformazione mappatura dei concetti semantici Libreria per l‟ontologia Libreria per il deposito Libreria per i dati sorgenti Figura 3. Diagramma del sistema di gestione delle foto basato su ontologia L‟utente può sfogliare, annotare e cercare le proprio foto grazie alla GUI18 (vedere Figura 5). Quando l‟utente vuole importare una foto nel database, la componente trasformazione crea automaticamente un istanza di Foto per questa immagine. Con l‟elaboratore di annotazioni l‟utente annota la foto con concetti dell‟ontologia e l‟informazione dell‟annotazione della foto è preservata in una libreria archiviata in formato OWL. Quando l‟utente vuole fare una ricerca di foto collegate ad un particolare concetto nell‟ontologia, l‟elaboratore di interrogazioni trasmette la domanda 18 Graphical User Interface
  • 14. usando il linguaggio W3C19 di SPARQL20. Il fondamento logico di OWL è DL21, che supporta il ragionamento riguardante le istanze. Esso è realizzato da DLP 22 che è ricco di relazioni tra individui. L‟inferenza è condotta dalla domanda SPARQL. Per esempio, si vuole condurre una ricerca per “foto di Anna”. Tutte le foto collegate con “Anna” sono estratte esplicitamente dal database attraverso l‟inferenza dell‟ontologia. Il prototipo “OntoAlbum” è stato sviluppato per verificare l‟efficacia dell‟approccio proposto. Nel sistema sono implementate le funzioni di organizzazione, scorrimento, annotazione e ricerca di un istanza (vedere Figura 5). Figura5. Tipica pagina di interfaccia del sistema “OntoAlbum” 19 World Wide Web Consortium 20 Linguaggio di interrogazione RDF il cui acronimo significa: SPARQL Protocol and RDF Query Language 21 Famiglia di linguaggi formali di rappresentazione della conoscenza il cui acronimo significa: Description Logics 22 Description Logic Program
  • 15. Il pulsante File, a sinistra, aiuta gli utenti ad organizzare le proprie foto nel disco locale mentre il pulsante Albums aiuta loro ad organizzare le proprie foto nel database. Al centro, il pulsante Preview è usato per sfogliare le foto col modo delle miniature (thumbnails) e il pulsante Photo Selected è usato per sfogliare le foto nella grandezza reale. Il pulsante Class Hierarchy mostra la struttura gerarchica dei concetti nell‟ontologia. Quando l‟utente clicca un concetto, come ad esempio Person, l‟istanza di esso sarà mostrata nell‟etichetta più a destra. Quando un‟istanza viene cliccata, come ad esempio Anna, tutte le foto collegate a questa istanza sono mostrate nella finestra centrale, Preview. Gli utenti possono anche annotare le loro foto ed editare qualsiasi oggetto dell‟istanza dell‟ontologia nella finestrella in basso, INDIVIDUAL EDITOR. OntoAlbum è implementato usando il linguaggio Java su Windows. È stato usato il server SQL come schema del database del sistema e fa funzionare l‟ontologia chiamando Protégé-owl API. 5. Conclusioni Come si è potuto notare le ontologie possono essere usate non solo per l‟annotazione e il recupero di precise informazioni, ma anche per aiutare l‟utente nel formulare le informazioni di cui ha bisogno e le domande corrispondenti. Inoltre, il miglioramento dell‟ontologia basato sulla conoscenza dei metadati dell‟immagine può essere applicato alla costruzione di risposte più significative alle domande. La maggiore difficoltà nell‟approccio basato su ontologia è il lavoro supplementare necessario nella creazione dell‟ontologia e delle annotazioni dettagliate. Si crede, comunque, che in molte applicazioni questo prezzo sia giustificato per la migliore accuratezza ottenuta nel recupero delle informazioni e per le facilitazioni della nuova semantica offerte all‟utente finale nello sfogliare le raccolte di foto. Il trade-off tra lavoro di annotazione e qualità del recupero dell‟informazione può essere bilanciato usando ontologie e annotazioni meno dettagliate, se necessario. Nel caso presentato, “OntoAlbum”, è stata utilizzata l‟ontologia per gestire raccolte di foto personali. L‟ontologia può fornire un‟annotazione formale, esplicita e concettuale e una domanda di inferenza. Combinando il sistema di rappresentazione della conoscenza e la gestione delle foto nasce una nuova idea che merita di essere studiata ulteriormente. Sebbene questo sistema prototipo è ancora un tentativo iniziale, più avanti sono stati pianificati degli studi in questa direzione:
  • 16. 1. Nonostante un modo di cliccamento conveniente sia stato fornito dal sistema, attualmente molte annotazioni delle informazioni sono ancora editate manualmente dall‟utente. Questo è un compito tedioso e lungo in termini di tempo per molte persone. Gli algoritmi per l‟annotazione automatica delle foto sono obbligatori nel futuro. 2. Quando le tecnologie di rilevamento e riconoscimento dei visi saranno relativamente mature, combinarle con un‟ontologia sarà il prossimo obiettivo della ricerca. 3. Le informazioni EXIF dovranno essere ulteriormente studiate anche per essere di aiuto con l‟annotazione semantica automatica delle informazioni. 4. Al momento, “OntoAlbum” può solo supportare semplici interrogazioni di inferenza. Domande in linguaggio naturale maggiormente complesse, come ad esempio “Cerca il gruppo di foto di mamma e che io ho fatto in estate”, saranno ulteriormente studiate in futuro. Questi sono i punti principali che dovranno essere sviluppati in futuro, assieme ad un standard condiviso che regoli le ontologie in questo specifico e sempre più prolifico campo.
  • 17. 6. BIBLIOGRAFIA  Eero HyvÄonen, Avril Styrman, and Samppa Saarela; “Ontology-Based Image Retrieval”  Thomas Mavroudakis and Haralampos Karanikas; “Intelligent Search via Ontology Driven Metadata Analysis”  Adrian Popescu, Pierre – Alain Moëllic, Christophe Millet; “SemRetriev – an Ontology Driven Image Retrieval System”  Yan-Mei-Chai, Xiao-Yan-Zhu, and Jing-Ping Jia; “OntoAlbum: An Ontology Based Digital Photo Management System” (Image Analysis and Recognition: 5th International Conference, ICIAR 2008)  Yuli Gao, Hangzai Luo, Jianping Fan; “Searching and Browsing Large Scale Image Database Using Keywords and Ontology”  Dominic Mainz, Katrin Weller, Jürgen Mainz; “Semantic Image Annotation and Retrieval with IKen”  Jean-Pierre Schober, Thorsten Hermes, Otthein Herzog; “Content-based Image Retrieval by Ontology-based Object Recognition”