Mitrea Delia Analiza si sinteza de imagini reconstructie

Mitrea Delia Analiza si sinteza de imagini, reconstructie 3 D si recunoastere de forme pe baza texturii

Textura • concept intuitiv - se refera la o zona din imagine caracterizata printr-o anumita distributie a intensitatilor pixelilor • Perceptia texturii: sesizarea diferentelor intre diferite regiuni

Definitii existente • A. K. Jain: Fundamentals of Image Processing: termenul de textura se refera la repetitia unor celule de baza (“texels”). Celula de textura contine un numar de pixeli, a caror amplasare poate fi periodica, quasi-periodica sau aleatoare • IEEE Standard 610. 4 -1990, IEEE Standard Glossary of Image Processing and Pattern Recognition Terminology, IEEE Press, New York, 1990: textura este un atribut reprezentand aranjamentul spatial al nivelelor de gri ale pixelilor intr-o regiune

Probabilitate, incertitudine in analiza texturii • Wilson & Spann: Image Segmentation and Uncertainty: Regiunile de textura sunt patternuri extinse spatial, bazate pe repetitia mai mult sau mai putin exacta a unor celule de baza • Clasificare , dupa gradul de exactitate in determinarea apartenentei la o clasa - texturi deterministe: repetitie a unei forme geometrice fixe (cercul, patratul, un motiv decorativ) - texturi statistice (stochastice): pattern-uri diferite, dar cu aceleasi proprietati statistice

Texturi stochastice/deterministe

Arii de interes • Achizitie, compresie, vizualizare • Analiza, clasificare • Segmentare • Recunoastere • Sinteza • Reconstructie 3 D • Urmarirea texturilor in miscare • Aplicatii • Directii in cercetare

Achizitie, compresie, vizualizare Parametri de performanta: • Viteza de decodificare: accesarea texturii – operatie critica algoritmul - relativ simplu pentru a reduce costurile • Viteza de codificare: mai mica decat la decodificare (acuratete in reprezentare) • Viteza de acces : acces aleator • Rata de compresie si calitatea vizualizarii - se admite pierdere de informatie nerelevanta

Tehnici de analiza a texturilor - dupa primitiva utilizata in analiza: • Bazate pe pixeli • Bazate pe trasaturi locale • Bazate pe regiuni

Tehnici de analiza a texturii bazate pe pixeli • Matricea de coocurenta a niveleor de gri, GLCM • Histograma diferenta • Masuratori de energie

Matricea de coocurenta a nivelelor de gri (Grey level cooccurence matrix, GLCM) f - imaginea digitala D={(dxi, dyi)} - un set de vectori de deplasament pentru i fixat: CD (g 1, g 2)= #{((x, y), (x’, y’)): f(x, y)=g 1, f(x’, y’)=g 2 x=x’+dxi y=y’+dyi} #S = marimea setului S GLCM normalizata: p(g 1, g 2) =CD (g 1, g 2) / CD (g 1, g 2) - probabilitatea de aparitie a 2 pixeli situati la distantele (dx, dy) si avand intensitatile (g 1, g 2)

GLCM - Statistici- discriminare intre texturi Contrastul = (i-j)2 p(i, j) Entropia = - p(i, j)log p(i, j) Varianta = (i - μ)2 p(i, j) Corelatia = Momentul unghiular de ordinul 2 = (p(i, j) )2 (energia totala; uniformitatea) Cluster shade = (i+j- μi- μj) 3 p(i, j) Proeminenta clusterilor = (i+j- μi- μj)4 p(i, j)

Omogenitatea = locala Masura informationala = a corelatiei

Aplicatie GLCM: recunoasterea tipurilor de lemn • dintr-o matrice GLCM normalizata p(i, j), au fost extrase, in vederea clasificarii, 8 trasaturi: - inertia, energia totala, entropia, omogenitatea, cluster shade, cluster proeminence, masura informationala a corelatiei • cele 8 trasaturile - intrari intr-o retea neuronala LVQ(Learning Vector Quantization) avand rolul de a clasifica imaginile in 8 clase, corespunzand celor 8 categorii de lemn luate in discutie • masuratorile au fost repetate pentru valori diferite ale parametrilor d si (ai GLCM) obtinandu-se performante diferite in ceea ce priveste clasificarea

Histograma diferenta - frecventa cu care apar perechi de pixeli ale caror nivele de gri difera printr-o cantitate fixa HD(v) = #{((x, y), (x’, y’)) : |f(x, y)-f(x’, y’)|= v si x’=x+dx, y’=y+dy pt i fixat} v = o valoare aleasa pentru diferenta intre nivelele de gri p(v) =HD(v)/MN

Histograma diferenta STATISTICI: Media = i*p(i) Varianta = (i - ) p(i) Asimetria S= -3 (i - )3 p(i) (skewness) Excesul K= -4 (i - )3 p(i)-3 (kurtosis) Energia E= [p(i)]2 Entropia H= - p(i)log 2 p(I)

Masuratori de energie Laws - transformari de energie intre pixeli - evidentierea microstructurii unei texturi - masti de convolutie unidimensionale Level L 5 = [ 1 4 6 4 1 ] Edge E 5 = [ -1 -2 0 2 1 ] Spot S 5 = [ -1 0 2 0 -1 ] Wave W 5 = [ -1 2 0 -2 1 ] Ripple R 5 = [ 1 -4 6 -4 1 ] - combinatie: nuclee de convolutie bidimensionale - insensibilitate fata de contrast si orientare Statistici: - suma patratelor intensitatilor din imagine, calc. dupa aplicarea nucleelor de convolutie - suma valorilor absolute a intensitatilor,

Tehnici de analiza a texturii bazate pe trasaturi locale - descrierea texturilor prin statistici privind distributia trasaturilor locale (ex. muchiile) - tehnici folosite in studiul macro-texturilor (celule relativ mari: cativa pixeli in diametru)

Tehnici de analiza a texturii bazate pe trasaturi locale • Primul model: statistici de ordinul I ale distributiei muchiilor: - contrastul mediu al muchiilor - variabilitatea in orientarea muchiilor metoda nesigura • Modelul Marr - construirea “segmentelor de muchii” - matricea de coocurenta a muchiilor - statistici de ordinul II

Statistici utilizate - dupa filtrarea imaginii cu ajutorul operatorilor pentru detectia muchiilor, se poate calcula: Frecventa muchiilor E(d) = |f(i, j)-f(i+d, j)| + |f(i, j)-f(i, j+d)|+|f(i, j)-f(i-d, j)|+|f(i, j)-f(i, j-d)| i, j - fixati ; d - variaza Densitatea muchiilor D = nr_pixeli_muchie/nr_total_pixeli Orientarea medie a muchiilor avg_edge_ori = orientare_pixel_muchie / nr_total_pixeli

Aplicatie - segmentarea texturilor - extragerea trasaturilor: - varianta intensitatii pixelior - densitatea muchiilor - orientarea medie a muchiilor - clasificare: - clasificatorul bayesian; liniar - etichetarea componentelor

Matrici de coocurenta generalizate, GCM Elemente: - prototip - P -predicat spatial - S - atribute - A GCM se defineste in felul urmator: Ex: • P- muchie; A- capete : e 1(x 1, y 1), e 2(x 2, y 2); orientare : ; lungime : l Sk {((x 1, y 1), 1, l 1), ((x 2, y 2), 2, l 2)}=TRUE, dc. Max{|x 1 -x 2|, |y 1 -y 2|}<= k -

GCM Ex: Statistici: - aceleasi ca in cazul GLCM - insensibilitate fata de rotatie

Tehnici de analiza a texturii bazate pe regiuni • metoda bazata pe trasaturi locale nu poate fi aplicata pe toate tipurile de texturi • regiunile: celulele care compun textura • determinarea acestor regiuni • calculul celulelor unei texturi: o instanta a problemei segmentarii imaginilor

Tehnici de analiza a texturii bazate pe regiuni Primul model: Maleson tehnici de segmentare bazate pe cresterea regiunii (standard region growing technics) - se porneste de la un singur pixel p - se defineste o functie de similaritate S - se determina pixelii similari cu p din apropiera acestuia, rezultand o regiune Haralick: modele bazate pe extremele locale regiunilor Setul corespunzator unui maxim local: - setul tuturor pixelilor care pot fi gasiti pornind de la un maxim local , descrescand intensitatea dupa o anumita functie si care nu pot fi gasiti pornind de la nici un alt maxim

Tipuri de analiza a texturii In functie de modul de descriere al celulei (texel) • structurala • statistica • bazata pe modele • bazata pe transformari

Aproximatii structurale Etape: • impartirea texturii (celulei) in primitive • definirea regulilor de amplasare • metoda mai buna pentru sinteza decat pentru analiza

Aproximatii statistice • nu intereseaza intelegerea explicita a structurii ierarhice a texturii • reprezentarea indirecta a texturii prin proprietati nedeterministe ce guverneaza distributia si relatiile intre nivelele de gri

Analiza texturilor bazata pe modele determinarea texturii pe baza unui model existent - generativ sau stochastic • Model generativ: bazat pe fractali • Modele stochastice: - modelul autoregresiv (AR) - modelul bazat pe campuri aleatoare Markov (Markov Random Field Model, MRF)

Modele bazate pe fractali • model care se inspira din perceptia umana • insensibilitate relativa fata de scalare • util pentru texturi tridimensionale, evaluandu-se structura suprafetei de intensitate • se calculeaza numarul de puncte aflate la o distanta aproximativ , [ -e, +e], fata de nivelul de baza - pentru suprafete care au structura unor fractali, acest numar este dat de: A( ) = F 2 -D • discriminarea se face pe baza unei semnaturi (panta dreptei S( ) ) • informatii asupra modului de variatie a nivelelor de gri

Modelul autoregresiv (AR) f s = θrfr + es r Ns f -imaginea θ - vector de parametri -deviatia; dependenta lui s fata de vecini Ns - vecinatatea pixelului s es - zgomot • intensitatea pixelilor este suma ponderata a intensitatilor vecinilor • determinarea parametrilor θ pentru o regiune data si folosirea acestora in discriminarea ulterioara a texturilor

Modelul campurilor aleatoare Markov (MRF) • textura : o realizare a unui camp Markov • probabilitatea ca o celula sa se gaseasca intr-o anumita stare (realizare de camp Markov) este determinata in totalitate de probabilitatile starilor celulelor vecine: p(f[x, y] | f[u, v], u=1, …, x-1, x+1, . . , N, v=1, . . , y-1, y+1, . . , M) = p(f[x, y] | f[u, v], (u, v) Q) si

MRF • f[x, y] - intensitati in intervalul [0, G-1] • a = [a 0, a 1, . . , an] - vector de parametri reprezentand culori • b = [b 1, b 2, b 3, b 4] - par. pt dependentele spatiale • a, b - parametrii campului, care se cer a fi estimati • V - functie potential ce depinde de intensitatile f ale pixelilor si de vectorii a si b Clasificare: • supervizata • nesupervizata

Analiza texturii bazata pe transformari - reprezentarea imaginii intr-un spatiu al carui sistem de coordonate furnizeaza o interpretare potrivita pentru caracteristicile texturii (frecventa, marime) • Transformata Fourier (probleme in ceea ce priveste localizarea spatiala) F(u, v)= I(x, y)exp[-2 j(ux+vy)]dxdy

Filtrul Gabor - transformata Fourier “de scurta durata”, considerata pe o fereastra de forma gaussiana - localizare spatio- temporala Gx, y(u, v)= I(x, y)g(x-s, y-t)exp(-j 2 (ux+vy)]dsdt

Transformata Wavelet - descompunerea spectrului in componente de frecvente diferite Waf(b)= f(x) a, b(x)dx a, b(x) =(1/ a) ( (x-b)/a) functie de baza Wavelet translatata si dilatata

Clasificarea, Recunoasterea texturilor - stabilirea - apartenentei texturii la o anumita clasa de texturi; similitudinii cu un model dat • in general, similitudinea, daca exista, se manifesta la orice scala Etape: -extragere de trasaturi - clasificare (recunoastere) propiriu-zisa

Clasificarea, Recunoasterea texturilor • Metode folosite: Supervizate - clasificatorul bayesian - clasificatorul liniar - ANN (Artificial Neural Network), CNN (Cellular Neural Network) - metoda n-tuplelor (random access memory based neural network classification) - analiza componentelor principale Nesupervizate - clustering - metode bazate pe teoria estimarii (maximum likelihood)

Segmentare de imagini pe baza texturilor • determinarea unor regiuni caracterizate de un anumit tip de textura (texturi compuse) Metode: - supervizate (informatie a priori) - nesupervizate (extragere de trasaturi(MRF, GLCM) si grupare: clustering, region growing, split and merge) • contopirea regiunilor invecinate daca este cazul (daca se stie ca apartin aceluiasi obiect) • segmentarea scenei in obiecte • detectie de contur: frontierele pentru regiunile delimitate (obiecte) • analiza formei conturului E. g: detectia fetelor umane

Segmentare prin detectia unor elemente care se repeta Algoritm: 1. Detectia unor ferestre distincte (caracterizate printr-un anumit grad de variatie a nivelelor de intensitate in interiorul ferestrei) 2. Pentru fiecare fereastra, se cauta in vecinatate ferestre similare 3. Ferestrele pot fi extinse, pentru a mari gradul de acuratete (individualitatea unui element) 4. Elementele similare sunt grupate intr-un obiect (T. Leung, J. Malik, “Detecting, localizing and grouping repeated scene elements from an image”)

Detectia obiectelor in scena - textura: element invariant la transformarile geometrice (deformarile) obiectelor - set de antrenament : determinarea tipurilor de texturi care compun o anumita clasa de obiecte respectiv a structurii obiectelor ( a relatiei spatiale a texturilor care compun un anumit obiect) - recunoasterea texturilor si a structurii predeterminate in imaginile de test -detectia obiectelor cautate - urmarirea obiectelor in miscare E. g: detectia fetelor umane

Recunoasterea obiectelor - de • obicei se utilizeaza o combinatie de caracteristici privind: - forma - culoarea - textura

Sinteza texturii - construirea unor esantioane de textura, eventual pe baza unui model Sinteza texturii bazata pe model: • etapa de analiza (lenta) • etapa de generare a texturii (rapida)

Reconstructie 3 D bazata pe texturi Reconstructie 3 D de suprafete Metode • globale - se determina o forma locala care se extinde - prezumtii: omogenitate, izotropie (aceste prezumtii nu sunt valabile pentru texturi naturale) • locale - se determina un set de parametri in puncte distincte ale suprafetei - se urmareste refacerea suprafetei asa incat sa se respecte acei parametri

Reconstructie 3 D de suprafete Exemplu: -se considera un numar de textoni cunoscuti, pentru fiecare din acestia cunoscandu-se orientarea; de asemenea, se cunoaste o lege de distributie a acestora in spatiu (Poisson) - se reconstruieste suprafata pe baza acestor informatii • Inferarea formei 3 D : pe baza orientarilor locale suprafetelor “shape from texture”

Vizualizarea volumului (rendering) Obiecte 3 D: - fluide dinamice - obiecte 3 D care nu pot fi redate prin reconstructie 3 D de suprafete Tehnica de baza: - reconstructia se face prin contopirea, de-a lungul axei vizuale, a unor componente obtinute prin sectionarea obiectului cu plane paralele, perpendiculare pe directia de privire (fiecare element are o anumita textura)

Vizualizarea volumului • Variante: - reconstructie din elemente 3 D (metoda mai eficienta; -poate sa nu corespunda instrumentelor folosite in implementare, ex: Open. GL) -reconstructie din elemente 2 D (metoda mai lenta; fiecare element 2 D are 3 orientari posibile) • Rapidizare - eliminarea zonelor care nu contin informatie vizuala (“empty regions”): impartirea suprafetei in dreptunghiuri (hulls); triangularizare - reprezentarea regiunilor indepartate prin texturi de rezolutie mica - paralelism

Urmarirea texturilor in miscare - predictia formei pe care textura o ia in timp, odata cu apropierea sau departarea fata de observator - filtrul Kalman si sinteza(maparea) texturii - “super-resolved” texture-tracking - sesizarea abaterilor de la forma asteptata a texturii: urmarirea unor obiecte in miscare (masini, oameni)

Aplicatii • Domeniul biomedical • Analiza de documente scrise si recunoastere de caractere • Analiza imaginilor video • Segmentarea si recunoasterea amprentelor • Remote sensing: - imagini satelitare - imagini radar • Regasire de imagini (Image retrieval) bazata pe continut • Detectia, recunoasterea fetelor umane si analiza expresiei • Industria textila • Industria alimentara • Arta, design

Aplicatii in imagini biomedicale • segmentarea si recunoasterea diferitelor tesuturi - segmentarea pielii - segmentare, recunoastere de forme, reconstructie 3 D pe creier: - separarea tesutului normal de tesutul bolnav (tumori) - semnalarea unor boli care implica transformari la nivelul tesutului cerebral (schizofrenia, Alzheimer) - analiza activitatii cerebrale (invatare, somn, vis)

Probleme in curs de cercetare Segmentarea texturilor • segmentarea bazata pe culori texturilor • algoritmi genetici in segmentarea texturilor • construirea filtrelor multiple Sinteza texturilor • modele: modelul piramidal chaos mosaic • image “quilting” - obtinerea unei noi imagini prin combi narea unor fragmente mici dintr-o imagine existenta - o noua aparenta a imaginii

Image quilting - transfer de texturi

Directii in cercetare • sinteza texturii pe suprafete • algoritmi paraleli scalabili pentru sinteza texturii • sisteme pentru sinteza texturii in timp real Compresia texturilor Urmarirea miscarii (motion tracking) pe baza de texturi • detectarea miscarii independente a unor obiecte ca si masini sau oameni intr-un mediu cunoscut

Directii in cercetare Reconstructie 3 D bazata pe texturi • determinarea orientarii suprafetelor • reconstructie 3 D de suprafete Potrivire si recunoastere de forme, regasire de Imagini pe baza de textura • potrivire de forme si regasire de imagini pe baza vocabularului si gramaticii sabloanelor de culori

Directii in cercetare Segmentare, recunoastere si sinteza pentru texturi dinamice - texturi dinamice: suprafete texturate aflate in miscare (valurile, aburul) -fum pe apa

Bibliografie • Image texture Analysis techniques. A survey Larry S. Davis, Department of Computer Science, University of Texas at Austin, Austin Texas 78712 • Texture Analysis Methods – A Review Andrzej Materka and Michal Strzelecki Technical University of Lodz, Institute of Electronics ul. Stefanowskiego 18, 90 -924 Lodz, Poland tel. +48 (42) 636 0065, fax +48 (42) 636 2238 • A Comparative Texture Classification Study Based on Generalized Cooccurence Matrices, Lary S. Davis, M. Clearman, J. K. Aggarwal • Co-occurrence Matrices for Wood Texture Classification, P. A. Bautista, M. A. Lambino

Bibliografie M. Strzelecki and A. Materka, “Markov Random Fields as Models of Textured Biomedical Images”, Proc. 20 th National Conf. Circuit Theory and Electronic Networks KTOi. UE ’ 97, Kołobrzeg, Poland, 493 -498, 1997. P. Andrey and P. Tarroux, “Unsupervised Segmentation of Markov Random Field Modelled Textured Images Using Selectionists Relaxation”, IEEE Trans. Pattern Analysis and Machine Intelligence, 20, 3, 1998, 252 -262.

Bibliografie J. Bennett and A. Khotanzad, “Multispectral Random Field Models for Synthesis and Analysis of Color Images”, IEEE Trans. Pattern Analysis and Machine Intelligence, 20, 1, 1998, 327 -332. P. Debiec, “Design of cellular neural networks for textured image synthesis”, Zeszyty Naukowe Elektronika, 3, 1998, pp. (in Polish). Synthetic facial texture, Taly Gilat, Deidre O’brien, Augusto Roman