Univerzitet u Banjaluci Elektrotehniki fakultet Multimedijalni sistemi Pretraivanje
Univerzitet u Banjaluci Elektrotehnički fakultet Multimedijalni sistemi Pretraživanje baza slika na osnovu sličnosti
Upravljanje multimedijalnim podacima l l Računarski trendovi Veliki obim multimedijalnih podataka Lako l l Kreiranje, Čuvanje, Prenos, Diseminacija multimedijalnog sadržaja Korištene tehnologije Digitalne kamere i skeneri Magnetni i optički mediji, flash PNG, JPEG[2000], MPEG-[1, 2, 4] TCP/IP, HTTP WWW, Prezentacije, Štampani mediji Kako indeksirati, pretraživati i pronalaziti multimedijalne podatke? 2
Oblasti u kojima se generišu i koriste baze digitalnih slika l l l Medicina Digitalne biblioteke Muzeji Obrazovanje Arhive dokumenata CAD/CAM sistemi Sistemi za nadgledanje Sprovođenje zakona Istraživanje nafte i gasa Zabava Pretraživanje weba Ovo su samo neki od primjera. Lista se ovdje ne završava! 3
Pretraživanje relacionih baza podataka l Pronaći podatke o pacijentima snimanim na rentgenu 20. 05. 2006. godine SELECT IME, PREZIME, DATUM_ROĐENJA FROM Pacijent, Pretraga WHERE DATUM_PRETRAGE=’ 20. 05. 2006. ’ AND MODALITET=‘rentgen’ AND MBR=MBR_PAC; n Pronaći sve slike tumora koji su veći od 30 mm SELECT SLIKA FROM Pretraga WHERE VELICINA > 30; IME PREZIME DATUM_ROĐENJA Marković 4. 4. 1965. Jagodinka Simonović 12. 10. 1956. Petar Petrović 15. 1. 1975. ? ? ? 4
Pretraživanje baza slika (rani pristup) l Dodavanje tekstualnih anotacija slikama Sporo l Neskalabilno l Subjektivno (šta opisati? ) l Neka vizuelna obilježja se ne mogu opisati riječima l plaža, ljudi, grad… 5
Pretraživanje baza slika (moderni pristup) l l l Reprezentacija slika korištenjem vizuelnih obilježja niskog nivoa, npr. boje, teksture, oblika, ivica. . . Slike se predstavljaju korištenjem deskriptora ili vektora obilježja koji su numeričke reprezentacije vizuelnih obilježja Deskriptori se automatski izdvajaju iz vrijednosti piksela, tj. sadržaja slike Pretraživanje baza slika na osnovu sadržaja (Content-based image retrieval CBIR) Upit se sastoji od vrijednosti deskriptora, zadate slike ili skice Pretraživanje pomoću primjera (Query By Example) Kriterij po kojem se pretražuje Pretraživanje na osnovu sličnosti (Similarity-based retrieval) 6
Klasifikacija tipova upita bazama slika l 3 nivoa tipova upita bazama slika [Eakins & Graham, 1999] l Nivo 1, Upiti na osnovu vizuelnih obilježja niskog nivoa: boje, teksture, oblika, lokacije. . . l Nivo 2. Pretraživanje po određenom tipu objekta, konkretnom objektu ili osobi l Nivo 3. Pretraživanje po apstraktnim atributima: tipu događaja ili aktivnosti, emocionalnim ili religioznim stanjima. 7
Primjer pretraživanja na osnovu sličnosti Slika upit 8
Vizuelna nasuprot semantičke sličnosti l l Rezultati pretraživanja korištenjem vizuelnih obilježja niskog nivoa uglavnom se sastoje od slika sa sličnom raspodjelom tih vizuelnih elemenata Korisnici žele rezultate pretraživanja koji su semantički slični upitu Jaz između semantike korisnika i sistema semantički jaz Ali semantička sličnost je subjektivan pojam l l [Pentland et al. ] “Čovjek je nelinearan, vremenski promjenljiv sistem čije ponašanje zavisi od nepoznatih unutrašnjih stanja. ” Kako sistem može otkriti semantičke preference trenutnog korisnika? 9
Ljudski faktor l Dodavanje interaktivnosti sistemu l Korisnički interfejs – formulisanje upita i pregled rezultata l Ocjena relevantnosti – podešavanje težina obilježja u skladu sa rezultatima pretraživanja l Sistem se prilagođava informacionim potrebama korisnika, uči šta korisnik smatra sličnim 10
Arhitektura sistema za pretraživanje baza slika na osnovu sadržaja Anotacije i meta-podaci Baza deskriptora Baza slika Izdvajanje obilježja Mjera sličnosti Rezultati pretraživanja Obrada upita Ocjena relevantnosti Interfejs za zadavanje upita Popunjavanje baze Korisnički upit Pretraživanje baze 11
Reprezentacija slika korištenjem vizuelnih obilježja niskog nivoa l l Vizuelna obilježja se predstavljaju numeričkim deskriptorima Dobri deskriptori bi trebalo da: Opisuju sadržaj slika l Omogućavaju definisanje neke mjere sličnosti slika l sličnost Slične slike su blizu u prostoru obilježja (i obrnuto) l Perceptualna l l Omogućavaju uvođenje neke šeme za indeksiranje kako bi pristup podacima bio efikasniji Postoje obilježja opšte namjene i specijalizovana obilježja. 12
Boja l l l Jedna od najizraženijih vizuelnih osobina slika Često se koristi u sistemima za pretraživanje baza slika na osnovu sadržaja Izbori prilikom projektovanja sistema l l Kolor-prostor (RGB, HSV, CIE L*a*b*, CIE L*u*v*) Kvantizacija kolor-prostora Mjera sličnosti Popularni deskriptori boje l l Kolor-histogram Kolor-momenti Prostorni raspored boja Dominantne boje… 13
Primjer pretraživanja korištenjem kolor-histograma Slika upit 14
Tekstura l l Tekstura se odnosi na vizuelno obilježje koje je homogeno, ali homogenost ne potiče od jedne boje. Obilježja teksture: periodičnost, usmjerenost, složenost (slučajnost), kontrast, uniformnost, gruboća, gustina. . . Percepcija teksture zavisi od skale. Dvije grupe deskriptora 1. 2. Zasnovani na statistici: co-occurrence matrice, Tamurini deskriptori, Woldova dekompozicija… Zasnovani na transformacijama: DCT, Furije-Melinovi, polarni Furijeovi, Gaborovi, waveleti. . . 15
Primjer pretraživanja korištenjem Gaborovog deskriptora teksture Slika upit 16
Primjer pretraživanja uz invarijantnost na rotaciju 17
Prosječan procenat pronađenih tekstura po klasama 18
Dopunjavanje teksture u regionima nepravilnog oblika 19
Oblik l l Veoma diskriminativno obilježje zato što je na višem nivou apstrakcije od boje i teksture Teško izračunavanje l l Zahtjeva segmentaciju slike 3 -D objekat se na razne načine može projicirati u 2 -D oblik 20
Oblik (nastavak) l l Nijedan opis oblika u potpunosti ne pokriva sve aspekte Dvije grupe deskriptora Zasnovani na rubu: lančani kodovi, Furijeovi deskriptori, kurvatura na različitim skalama. . . l Zasnovani na regionu: elongacija, kompaktnost, invarijante momenata, ugaona radijalna transformacija… l 21
Primjer pretraživanja korištenjem Furijeovih deskriptora oblika Slika upit 22
Još neka obilježja… Lokacije objekata l Odnosi između ivica l Prostorni odnosi l Obilježja zasnovana na waveletima l Obilježja lica Specijalizovana l Obilježja medicinskih slika obilježja l Obilježja satelitskih slika l 23
Globalna i lokalna obilježja slika Globalna obilježja 0. 01 0. 28. . . • raspodjela vizuelnih obilježja na cijeloj slici • slike se porede kao cjeline Lokalna obilježja • raspodjela vizuelnih obilježja u objektima/regionima • poređenje slika kao skupova objekata/regiona • bliže ljudskoj percepciji 0. 02 0. 004. . . 0. 1 0. 05. . . 0. 09 0. 03. . . 24
Lokalna obilježja slika l Načini podjele slike na regione: l l l Fiksna, npr. regioni pravougaonog oblika, Adaptivna, dobijena segmentacijom. Problemi koji se javljaju: l l l Kako automatski izdvojiti objekte, tj. potpuno nenadgledana automatska segmentacija slika, Na slikama sa teksturom nema objekata, Kako integrisati sličnost pojedinih regiona u globalnu mjeru sličnosti slika? 25
Mjere sličnosti l Korištenje globalnih deskriptora l l Fuzija svih deskriptora u jedan vektor i određivanje udaljenosti deskriptora Dvije metode integracije obilježja l l l Korištenje deskriptora regiona l l l Sekvencijalna – filtriranje obilježja, Paralelna – dodjela težina obilježjima. Određivanje mjere sličnosti parova regiona, Integracija mjera sličnosti parova regiona u globalnu mjeru sličnosti slika (IRM, EMD. . . ) Takođe je potrebno integrisati vizuelna obilježja sa prostornim i tekstualnim obilježjima, te sa meta-podacima. 26
Multidimenzionalne indeksne strukture l Indeksna struktura treba da obezbijedi obradu upita koja je: l l l iscrpna, korektna, deterministička. Teško je napraviti efikasne strukture koje imaju sve tri osobine. U tradicionalnim bazama dominiraju varijante B-stabla (skalarni ključevi). U prostornim bazama (GIS) koriste se R-stabla (transformacija prostora u hiperpravougaonike). 27
Multidimenzionalne indeksne strukture (nastavak) l Specifičnosti multimedijalnih baza l Deskriptori su veliki multidimenzionalni vektori tradicionalne šeme indeksiranja (npr. B-stabla) nisu pogodne l Narušeni geometrijski odnosi metode indeksiranja zasnovane na transformaciji prostora u hiperpravougaonike postaju neefikasne 28
Redukcija dimenzionalnosti l Aproksimacija vektora obilježja projekcijama na prostor niže dimenzionalnosti: l l l selekcija promjenljivih, multidimenzionalno skaliranje, geometrijsko hešovanje. Aproksimacija može uticati na rangiranje rezultata pretraživanja. Neke transformacije rotiraju prostor obilježja moraju biti invarijantna na rotaciju. 29
Podjela metoda indeksiranja Šta se indeksira? l Indeksiranje u vektorskom prostoru l Indeksiraju l se reprezentacije objekata baze Indeksiranje u metričkom prostoru l Indeksiraju se udaljenosti između parova objekata baze 30
Podjela metoda indeksiranja Kako se indeksira? l Nehijerarhijska podjela prostora l Region u kojem se nalazi upit se može identifikovati u konačnom broju operacija; l Rekurzivna podjela prostora l Prostor l se organizuje u strukturu stabla; Metodi zasnovani na projekcijama l Pretražuju se projekcije tačaka u bazi u raznim smjerovima. 31
Izbor odgovarajuće indeksne strukture Ne postoji pravilo. l Mogu se uzeti u obzir razni parametri: l l karakteristike podataka, l metrika, l dimenzionalnost l tip l prostora, upita. Ocjena performansi indeksnih struktura je teška. 32
Dalji pravci istraživanja indeksnih struktura Omogućavanje kombinovanja heterogenih obilježja različitih tipova i različitih metrika, l Omogućavanje iterativnog poboljšavanja upita, npr. ocjenom relevantnosti, l Prilagođavanje indeksnih struktura modernim računarskim arhitekturama. l 33
Performanse sistema za pretraživanje baza slika Referentna kolekcija slika l Ocjena relevantnosti slika za različite upite l Mjere performansi l l P-R grafici 34
Odnos sa Prepoznavanjem uzoraka l l l Rezultat pretraživanja baze slika na osnovu sličnosti je uređenje svih slika u bazi, čak i ako ne postoje očigledni pogoci Rezultat Prepoznavanja uzoraka je podjela baze na slike koje se poklapaju sa uzorkom i slike koje se ne poklapaju sa uzorkom Sistemi za pretraživanje baza slika na osnovu sličnosti su interaktivni: l l Korisnik pregleda rezultate i dotjeruje upite, Lažno pozitivni rezultati su manje važni, Lažno negativne treba izbjeći. Sistemi za prepoznavanje uzoraka su automatski l Zahtjeva se visoka preciznost – bez lažno pozitivnih rezultata. 35
Integracija sa relacionim bazama podataka l Objektno-relacioni sistemi za upravljanje bazama podataka omogućavaju integrisanje multimedijalnih podataka i pretraživanja na osnovu sličnosti pomoću: l l l Komercijalna proširenja SUBP l l korisnički-definisanih apstraktnih tipova podataka i korisnički-definisanih funkcija koje se mogu koristiti u SQL upitima. Oracle Visual Image Retrieval Cartridge, DB 2 UDB Image Extenders (QBIC), Informix Image Retrieval Datablade. Približno slične mogućnosti ovih sistema 36
Specijalizovani sistemi u upotrebi Baze zaštićenih znakova (trademark) l Medicinski sistemi l Detekcija replika slika l Prepoznavanje lica l 37
MPEG-7 standard l l Standard za opis multimedijalnog sadržaja (slika, audio i video sadržaja) zasnovan na XML-u Opis se nalazi u istom toku sa podacima ili je povezan sa podacima na odgovarajući način Standardizovan je opis, ali ne i ekstrakcija obilježja niti pretraživanje Osnovni normativni elementi standarda l l Deskriptori Deskripcione šeme Jezik za definisanje opisa Metode za kodiranje opisa 38
Sistem za pretraživanje baza slika razvijen na ETF-u l Segmentacija slika na regione sa homogenom bojom i teksturom l l Algoritam zasnovan na lokalnim varijacijama boje piksela Reprezentacija regiona deskriptorima boje, teksture, oblika i položaja Određivanje mjere sličnosti parova regiona Određivanje mjere sličnosti slika modifikovanim integrisanim uparivanjem regiona 39
Deskriptori regiona l Boja l l l Tekstura l l l 4 dominantne boje regiona dobijene k-means algoritmom i njihove procentualne zastupljenosti Poređenje kvadratnom distancom histograma Srednje vrijednosti i standardne devijacije izlaza Gaborovih filtara na 4 skale i 6 orijentacija Poređenje metrikom Minkovskog sa p = 1 Oblik l l Furijeovi deskriptori Poređenje Euklidovom metrikom 40
Mjera sličnosti regiona l Udaljenost regiona po obilježju x l Gausova normalizacija udaljenosti l Sličnost regiona po obilježju x l Ukupna sličnost regiona 41
Mjera sličnosti slika Sličnost skupova regiona IRM algoritam Odrediti wij pod uslovom w 11 w 12 w 13 w 14 42
Slika upit Primjer pretraživanja 43
Primjer pretraživanja (još jedan) Slika upit 44
Poređenje performansi sistema u pretraživanju 45
Performanse sistema na slikama iz različitih semantičkih kategorija 10 kategorija po 100 slika = 1000 slika l JPEG format, 384*256 ili 256*384 l 46
Performanse sistema za različite semantičke kategorije 47
Preciznost po kategorijama za 30 rezultata pretraživanja 48
Preciznost po kategorijama za 100 rezultata pretraživanja 49
Gdje se nalazimo? l l l Reprezentacija sika korištenjem jednostavnih obilježja niskog nivoa Interfejs za opis multimedijalnog sadržaja (MPEG-7 standard) Integracija vizuelnih obilježja sa tekstualnim i metapodacima Mehanizam ocjene relevantnosti (Relevance feedback mechanism) Kombinacija jednostavnih obilježja sa mašinskim učenjem i statističkim klasifikatorima u pokušajima da se dobije semantička informacija (npr. klasifikacija slika) 50
Na čemu je potrebno još raditi? l l l l Najveći problem je postojanje semantičkog jaza Potpuno automatska nenadgledana segmentacija slike opšte namjene na semantičke objekte trenutno nije moguća Problem određivanja deskriptora teksture za regione nepravilnog oblika Semantička klasifikacija slika i različite reprezentacije i mjere sličnosti za različite kategorije Učenje semantičkog značaja regiona Upotreba mašinskog učenja za učenje vizuelnih koncepata Proučavanje ljudske percepcije sličnosti 51
- Slides: 51