1. Algorithms for Image Segmentation and Classification: Integrating Automated Processing and Human Perception Salvatore Nicotra Università degli Studi di Catania Facoltà di Scienze MM. FF. NN Dottorato di Ricerca in Informatica Dipartimento di Matematica e Informatica Tutor: Chiar.mo Prof. Giovanni Gallo Coordinatore: Chiar.mo Prof. Alfredo Ferro TESI DI DOTTORATO
2.
3. L’artigiano e la Catena di montaggio Introduzione all’approccio semi-automatico
15. Rilevamento di aree bruciate : Shape Refinement stage Shape Refining Seeded Region Growing Watershed Decomposition Output: WD_Map SRG_Map Three valued map (1,0.5,0) Merge Input: Seeds A B Indici
16. Seeded Region Growing start Input : M ulti channel image A Binary Map CP_Map Threshold t, distance d (Metric L ) Initialize SRG_Map CP_Map Q = { p : p SRG_Map & p 8-neighbours(q) & q SRG_Map & d L (p,q) < t } Q = ? Main loop m extract_min(Q,d) SRG_Map(p) 1 insert (or update) Q for points n 8-neigh- bours(m), n SRG_Map , d L (m,n) <t Output SRG_Map no yes
17. Watershed Classification start Input : M ulti channel image A Binary Map CP_Map Threshold t, function distance d (Metric L ) Initialize WD_Map CP_Map Basin_List = ; L = ; G = Gradient (A,d) for each p in G do insert p into L(G(p)) end for for i=0 to 255 for each p in L(i) assign_region(p,Basin List); end for end for for each p classified as edge do assign p to the nearest basin B; update Basin_List; end for; for each p classified as edge do assign p to the nearest basin B; update Basin_List; end for for each core pixel p in CP_Map Let B the Bacin that contains p; for each x in B do WD_MAP(x) := 1; end for end for Output WD_Map
18.
19. Risultati Sperimentali: Bosco di Santo Pietro (Caltagirone): SRG L 2 L MAX t = 50 t = 45 t = 40 t = 30 t = 25 t = 20
20. Risultati Sperimentali: Bosco di Santo Pietro (Caltagirone): WD Gradient Map Basins Map with edges Final Basins Map L max L 2 Original
32. Risultati SRG Percentuale SRG Metric L 2 , seeds 0,75 Threshold SRG Metric L max , seeds 0,75 Threshold Percentuale SRG Metric L 2 , seeds 0,9 Percentuale Threshold Percentuale SRG Metric L max , seeds 0,9
33. Risultati Fuzzy Merging Threshold Percentuale Merge Metric L 2 , seeds 0,90 for SRG and 0,8 for WD Threshold Percentuale Merge Metric L MAX , seeds 0,90 for SRG and 0,8 for WD
34.
35.
36.
37. PART II Analysis of Perceptual Relevant Features in Database of Textures and their Visualization
38.
39.
40. Classificazione di tessiture 2/2 Statistica Media: 202.2368 Deviazione Standard: 29.4566 Min: 47 Max: 255 Percettiva Tessitura regolare con basso contrasto e direzione verticale
41.
42.
43. Caratteristiche percettive Periodic vs Non periodic Tamura (1978), Interrante (2001) Directional vs Non Directional Coarse vs Fine Deterministic vs Random Space invariant vs Heterogeneous High Contrast vs Low Contrast
44.
45.
46.
47. Direzionalità (2) Sobel Y Sobel X / = Istogramma del gradiente - /2 0 /2 Angoli Frequenze
Dopo una presentazione generale degli obiettivi della Tesi verranno presentate le due parti che la costituiscono. La prima parte tratta di segmentazione automatica di immagini satellitari in zone di interesse e confronti con la Classificazione umana ad opera degli esperti. Algoritmi tradizionali e innovativi della Computer Vision sono applicati Per rifinire una selezione preliminare. La seconda parte della Tesi è legata alla domanda “Come scegliere una tessiture da un grande database” Tenendo conto delle caratteristiche semantica delle tessiture stesse. Verranno definite della misure Di direzionalità e contrasto che costituiscono uno spazio percettivo in cui le tessiture sono organizzate In base alle loro qualità. Inoltre per alcune features saranno descritte della rappresentazioni iconiche volte a descrivere le tessiture In base alle caratteristiche percettive tramite oggetti grafici semplici da trattare.
Nel creare dei prodotti possiamo distinguere due diversi tipi di approcci L’artigiano, che opera manualmente su ogni singolo prodotto facendo uso della sua abilità e dell’esperienza. E la catena di montaggio, che automaticamente produce in scala. Se il prodotto da realizzare è “conoscenza” e il materiale sono i “dati”, i personaggi diventano gli algoritmi automatici e gli esperti umani. Entrambi, giungono a un risultato attraverso l’analisi dei dati.
In particolare l’esperto conosce bene il suo lavoro, può sfruttare le sue capacità percettive e soprattutto si fida del suo lavoro. D’altra parte per fare un esperto ci vogliono anni di addestramento e capacità proprie e certamente la capacità Di calcolo è minore di una macchina.
D’altra parte gli algoritmi automatici sono veloci, a basso costo e efficienti e richiedono poco controllo umano. Lo svantaggio principale è costituito dal non potere essere usati in generale, ma specificamente ad Una classe di problemi. Inoltre la conoscenza acquisita è rivolta all’uso umano, e quindi il prodotto Va comunque verificato dall’uomo.
In questa Tesi ci proponiamo di utilizzare un approccio semi automatico per l’analisi dei dati, L’obiettivo è quindi quello di integrare il calcolo automatico con percezione umana per prendere il meglio dei due approcci. Questo tipo di ricerca si pone nell’ambito del Pattern Recognition e trae spunto del KDD. In particolare si lega molto con “Information Visualization and Visual Data Mining”, campo di ricerca relativamente Nuovo che propone l’uso della visualizzazione come strumento efficace di interazione e guida nel processo Semi automatico di acquisizione di nuova conoscenza.
Il tipo di dati analizzati nell’ambito della mia ricerca sono le Immagini digitali, di cui in particolare le immagini satellitari (oggetto della prima parte) E le tessiture. Gli algoritmi rientrano nel campo della computer vision mentre l’esperienza umana È strettamente correlata con la Percezione Visiva.
I dati in oggetto rientrano tra le applicazioni del pattern recognition come rappresentato nel diagramma.
La prima parte della tesi concerne l’uso di algoritmi di Image Processing applicati alle immagini satellitari. La disciplina scientifica prende il nome di Remote Sensing e per introdurre un modello concreto di dati Acquisiti tramite satellite, consideriamo i dati ottenuti dal satellite Landsat 7, organizzati tramite mappe tematiche In 6 livelli normalizzati, geo-referenziati e discreti nel range [0 255].
Il problema analizzato è la segmentazione automatica del terreno da usare in sistemi GIS
Il problema della classificazione delle tessiture è certamente uno dei + importanti in Computer Vision. In un lavoro seminale del 1978 Tamura le ha definite come: … Nel corso degli ultimi venti anni, numerosi ricercatori hanno dato diverse altre definizioni, il più delle volte ________ dalla specifica applicazione presa in considerazione. Tuttavia, ad oggi,… Malgrado ciò, le tessiture sono diventate oggetto di uso comune ed hanno largo uso in computer graphics.
As for the point of view that we take in this paper, there are, in literature, two major trends, The oldest approach is based on statistics… The technique is very powerful to discriminate one texture from another. There is at today, no clear understanding on how statistical properties are related With human perception (Julesz). On the other hand, the alternative approach, tries to identify and measure feautures That are relevant for human perception (Tamura…) This approach has an high semantic power, but doesn’t provide any quantitative method.
So for example, given a texture like the one on the left, We could compute mean, standard deviation, min or max, or much more other numbers. Or semantically describe it as a regular texture with low contrast and vertical direction.
The goal of such a kind of research that regard computer vision community but also visualization technique, is Leggere la slide.
Le applicazioni più note di analisi di tessiture per la computer graphics sono: Sintesi di nuove tessiture Texture Mapping. In questo articolo ci concentriamo piuttosto su un altro aspetto riassunto nella seguente domanda: …. In qualche modo la risposta alla domanda dipende dalla scelta della descrizione della tessitura (indici) e nel modo di confrontarle. Il nostro approccio è: Ossia individuare come indici delle misure che riportino numericamente delle caratteristiche discriminanti delle tessiture individuate dal nostro sistema visivo.
Una lista di caratteristiche percettivamente rilevanti è stata redatta da Tamura. Recentemente Interrante ha proposte di usare tali features per creare una palette di tessiture da utilizzare per la visualizzazione di dati multivariati. Le features considarate sono: Periodicità, Direzionalità, Rugosità, Casualità, Omogeneità, Contrasto. Nella slide per ogni attributo sono rappresentati i limiti della scala insieme con una tessitura di esempio presa dal database del MIT VisTex.
La prima features presa in considerazione è la direzionalità. Da un punto di vista descrittivo la direzionalità è comunemente considerata come una caratteristica globale della tessiture, ossia la presenza di direzioni privilegiate nell’immagine. È bene dire che l’orientamento della tessitura non dovrebbe influenzare la direzionalità, quindi due tessiture l’una ruotata dell’altra dovrebbe avere la stessa misura di direzionalità. Più in dettaglio la direzionalità è percepita come la presenza… Il concetto di “direzionale” è opposto a quello di isotropo. Da un punto di vista computazionale Siamo interessati ad ottenere un numero reale compreso da 0 ad 1 quale grado di direzionalità.
Our proposal is limited to a simple but very relevant feature: directionality. That is the presence of preferred direction in a texture. In the texture on the left the answer is yes and we can say: NORTH
On the other, a graphic designer may be interested on performing visual queries in a texture database Simply providing a vector and obtaing as result one or more texture. In the example for the NE vector the system should return the red outlined texture.
The first part of our effort has been dedicated in finding a measura for the directionality Of a texture using co-occurrence matrices that are 256x256 matrices defined in each point (i,j) As the number of couple of pixels (p,q) in T that agree, that have the same luminance value, as respect To a vector offset V. In other words C collects the second order properties of the texture.
So for example, given a very simple texture (4 x 4) with 3 colors (blue, green, red) We would like to compute the co-occurrences matrices relative to two vector offset (the ones filled in white). Scanning the matrix, for each pixel (i,j), the relative point made of the color of the pixel and the shifted one As respect to the vector offset, is incremented. In this case we can see, for example, as the couple (RED,RED) respect to the vector NE appear 5 times in the texture And so on.
Co-occurrence matrices are very large, and it’s very difficult to read. For this reason they are usually represented using gray level pictures with a suitable look up table. In the picture on the left, is shown the co-occurrence matrix W, that is relative to the offset Vector (-1,0), of the texture on the right. This representation is not completely satisfactory because there is no natural mapping between the visual Appearance of the texture and the visual appearance of the co-occurrence matrix.
Moreover, different offset vector, produce different co-occurrence matrices, For example in the figure is shown the complete set of 24-neighbour offset of the texture. The figure doesn’t provide useful information about the properties of the texture. In particular, observing such array of images, it’s not possible to understand that the Texture has a strong 45° directionality. In the rest of the presentation we’ll refer to the co-occurrence matrices as indicated.
We propose as a quantitative measure that estimates the directionality from the deviation Between the histogram of the texture and the main diagonal of the co-occurrence matrix. The idea is that the plot of the main diagonal of a preferred direction is nearer to the histogram (main diagonal of the co-occurrence of the zero offset vector) than another non-preferred direction. In the plot we see how the red line relative to the main diagonal of the co-occurrence matrix NE Outperforms the yellow line that is relative to the NNWW co-occurrence matrix.
Computing the area between the histogram and the main diagonal we obtain a number for the first…
And the second…
Comparing such values is easy to see how such measure, which is very fast to compute, Is inversely proportional to the directionality. We called such number, discrepancy measure.
Computing the whole set of the discrepancy value in the 24-neighborhood we obtain a 5 x 5 matrix.
Some adjuments are needed in order to obtain a normalized directionality measure. This is done, first linearly rescaling such value in the range [0,1] And then taking the complement as respect to 1.
The directionality measure computed is not intuitive. Hence, a better presentation of the data is needed. Given the angular nature of the data, we propose a dial display as an iconic representation. The basic shape is made of two concetric circles. The inner circle is divided into 8 parts, by thin segments Similarly the surrounding ring into 16 parts. Each radial segments is naturally mapped to each directionality measure. To visually represents these coefficients we choose line thickness. Also color, lenght have been taken into account but not effective.