Zklady potaovej grafiky a spracovania obrazu Segmentcia Doc
Základy počítačovej grafiky a spracovania obrazu Segmentácia Doc. RNDr. Milan Ftáčnik, CSc.
Motivácia Pri nižšej úrovni spracovania obrazu sme študovali metódy, ktorých vstupom aj výstupom boli obrazy Segmentácia patrí do strednej úrovne, lebo jej výstupom sú atribúty (abstraktnejšie prvky) obrazu Segmentácia rozdeľuje obraz na oblasti alebo na objekty Základy počítačovej grafiky a spracovanie obrazu 2018/2019 2
Motivácia II Segmentácia patrí medzi najzložitejšie úlohy spracovania obrazu Na segmentáciu využívame vlastnosti obrazu: diskontinuitu a podobnosť Prvá: využíva zmeny jasu v obraze na nájdenie hranice oblasti Druhá: využíva delenie na oblasti podobné z hľadiska nejakého kritéria 3 Základy počítačovej grafiky a spracovanie obrazu 2018/2019
Definícia segmentácie Základy počítačovej grafiky a spracovanie obrazu 2018/2019 4
Definícia segmentácie II Základy počítačovej grafiky a spracovanie obrazu 2018/2019 5
Skupiny segmentačných metód Metódy založené na prahovaní Metódy založené na hraniciach (s využitím diskontinuity) Metódy založené na oblastiach (s využitím podobnosti) Ostatné metódy (porovnávanie so vzorom, využitie princípu povodí, . . . ) Základy počítačovej grafiky a spracovanie obrazu 2018/2019 6
Segmentačné metódy Každá oblasť môže byť reprezentovaná uzavretou hranicou a každá uzavretá hranica popisuje oblasť. Nejednoznačnosť obrazových dát a šum sú hlavným problémom pri segmentácii Čím viac apriórnej informácie je k dispozícii, tým lepšie výsledky pri segmentácii možno dosiahnuť Základy počítačovej grafiky a spracovanie obrazu 2018/2019 7
Metódy založené na prahovaní Základy počítačovej grafiky a spracovanie obrazu 2018/2019 8
Globálne a lokálne prahovanie Základy počítačovej grafiky a spracovanie obrazu 2018/2019 9
Ukážka prahovania a) Originál b) Prahovaný obraz c) Prah príliš nízko d) Prah príliš vysoko Základy počítačovej grafiky a spracovanie obrazu 2018/2019 10
Úspešnosť (globálneho) prahovania Závisí od: Toho, či histogram obrazu je bimodálny (skladá sa z dvoch vrcholov – objekt a pozadie a údolia medzi nimi) Šumu, ktorý ovplyvňuje šírku vrcholov Veľkosti objektu a pozadia Rovnomernosti zdroja osvetlenia Rovnomernosti odrazivosti v obraze Základy počítačovej grafiky a spracovanie obrazu 2018/2019 11
Bimodálny histogram Základy počítačovej grafiky a spracovanie obrazu 2018/2019 12
Vplyv šumu na segmentáciu Základy počítačovej grafiky a spracovanie obrazu 2018/2019 13
Vplyv šumu na segmentáciu II Ak je obraz silne zašumený, vyhladíme ho maskou 5 x 5, čím sa jeho zašumenie zníži faktorom 5, čiže napr. septagon sa z odchýlky 50 zmení na obraz s odchýlkou 10 Potom môže fungovať metóda globálneho prahovania, pretože histogram má opäť dva významné vrcholy a údolie medzi nimi umožňujúce voľbu prahu Základy počítačovej grafiky a spracovanie obrazu 2018/2019 14
Algoritmus určenia prahu Základy počítačovej grafiky a spracovanie obrazu 2018/2019 15
Určenie prahu II Základy počítačovej grafiky a spracovanie obrazu 2018/2019 16
Optimálne prahovanie Určuje prah ako najbližšiu úroveň jasu zodpovedajúcu minimu pravdepodobnosti medzi maximami 2 normálnych rozdelení Základy počítačovej grafiky a spracovanie obrazu 2018/2019 17
Optimálne prahovanie II Otsu metóda je automatické optimálne určenie prahu (ak histogram je bimodálny), založená na tom, aby vnútrotriedny rozptyl bol minimálny = medzitriedny rozptyl bol maximálny Základy počítačovej grafiky a spracovanie obrazu 2018/2019 18
Optimálne prahovanie III Základy počítačovej grafiky a spracovanie obrazu 2018/2019 19
Optimálne prahovanie IV Základy počítačovej grafiky a spracovanie obrazu 2018/2019 20
Optimálne prahovanie V Základy počítačovej grafiky a spracovanie obrazu 2018/2019 21
Lokálne prahovanie Zašumený obraz, ktorý nemá bimodálny histogram – rozdelíme na okná, ktoré majú bimodálny histogram Základy počítačovej grafiky a spracovanie obrazu 2018/2019 22
Metódy založené na hraniciach Sú založené na využití lokálnych hrán, ktoré boli detegované gradientnými operátormi (na báze 1. a 2. derivácie) Lokálne hrany zodpovedajú zmene v úrovni jasu, farby alebo textúry Vďaka šumu sú lokálne hrany detegované aj tam, kde nie je globálna hranica a niekedy chýbajú tam, kde globálna hranica je Základy počítačovej grafiky a spracovanie obrazu 2018/2019 23
Metódy založené na hraniciach II 1. prahovanie obrazu hrán 2. relaxácia (optimalizácia) hrán 3. heuristické hľadanie hranice z lokálnych hrán 4. dynamické programovanie 5. Houghova transformácia Základy počítačovej grafiky a spracovanie obrazu 2018/2019 24
Prahovanie obrazu hrán Metóda prahuje lokálne hrany vhodným prahom (je založená na predpoklade: silnejšie hrany sú súčasťou globálnej hranice) Metóda funguje iba v prípadoch, kedy kontrast medzi objektom a pozadím je dostatočne veľký, čo lokálne nemusí platiť a dostaneme neúplnú hranicu Základy počítačovej grafiky a spracovanie obrazu 2018/2019 25
Prahovanie obrazu hrán II a) Originál b) Obraz hrán c) Prah = 30 d) Prah = 10 Základy počítačovej grafiky a spracovanie obrazu 2018/2019 26
Relaxácia (optimalizácia) hrán Lokálna hrana sa posudzuje v kontexte okolitých hrán – ak sú príznaky na existenciu globálnej hranice, lokálna hrana sa posilňuje – napr. slabá hrana medzi dvoma silnými hranami Takto sa dá vytvoriť súvislá hranica v obraze, aj keď to nefunguje vždy Základy počítačovej grafiky a spracovanie obrazu 2018/2019 27
Relaxácia (optimalizácia) hrán II Základy počítačovej grafiky a spracovanie obrazu 2018/2019 28
Relaxácia (optimalizácia) hrán III Iteratívne sa posudzuje dôvera každej hrany, kým nekonverguje k 1 alebo 0 0 -0 – izolovaná hrana, negatívny vplyv 0 -1 – neurčitá, neutrálny vplyv na dôveru 0 -2, 0 -3 – neperspektívna hrana 1 -1 – pokračovanie, silný vplyv na dôveru 1 -2, 1 -3 – stredne pozitívny vplyv 2 -2, 2 -3, 3 -3 – most medzi hranicami Základy počítačovej grafiky a spracovanie obrazu 2018/2019 29
Relaxácia (optimalizácia) hrán IV a) Hranice po 10 iteráciách b) Hranice z a) tenšie c) Hranice po 100 iteráciách d) Hranice z c) prekryté s originálom Základy počítačovej grafiky a spracovanie obrazu 2018/2019 30
Heuristické hľadanie Obraz lokálnych hrán a) vyjadríme ako graf b) a v ňom hľadáme optimálnu hranicu medzi bodom A a bodom B Základy počítačovej grafiky a spracovanie obrazu 2018/2019 31
Heuristické hľadanie II Základy počítačovej grafiky a spracovanie obrazu 2018/2019 32
Heuristické hľadanie III Základy počítačovej grafiky a spracovanie obrazu 2018/2019 33
Heuristické hľadanie IV Základy počítačovej grafiky a spracovanie obrazu 2018/2019 34
Heuristické hľadanie V Hľadanie uplatnené na hranice koronárnej cievy a) hrany b) nájdená hranica a) b) Základy počítačovej grafiky a spracovanie obrazu 2018/2019 35
Dynamické programovanie Založené na hľadaní optimálnej cesty Hlavná myšlienka optimality: ak existuje optimálna cesta z počiatočného do koncového vrcholu, ktorá prechádza cez E, tak aj podcesty z počiatočného vrcholu do E a potom z E do koncového vrcholu musia byť optimálne V každej vrstve grafu sa robí jednoduchá optimalizácia až kým nepríde na koniec Základy počítačovej grafiky a spracovanie obrazu 2018/2019 36
Dynamické programovanie II a) Obraz hrán b) Zodpovedajúci ohodnotený graf c) Cesty do E, z nich -E je optimálna d) Optimálne cesty D, E, F e) Optimálne cesty do G, H, I f) Optimálna hranica Základy počítačovej grafiky a spracovanie obrazu 2018/2019 A do 37
Dynamické programovanie III Základy počítačovej grafiky a spracovanie obrazu 2018/2019 38
Dynamické programovanie IV Základy počítačovej grafiky a spracovanie obrazu 2018/2019 39
Houghova transformácia Používa sa vtedy, ak sa majú detegovať objekty s analyticky známym priebehom hranice (čiary ako priamky, krivky, napr. kružnice) Je robustná pri detekcii zakrytých aj zašumených objektov Pôvodne bola navrhnutá na detekciu rovných čiar a na nej si túto metódu ukážeme Základy počítačovej grafiky a spracovanie obrazu 2018/2019 40
Houghova transformácia II Máme známe body hranice A a B, ktoré ležia na priamke. Dosadíme ich do analytického vyjadrenia priamky a hľadáme také parametre k´ a q´, ktoré im zodpovedajú Základy počítačovej grafiky a spracovanie obrazu 2018/2019 41
Houghova transformácia III Postup: na obraz aplikujeme hranový operátor. Uvažujeme konečný počet smerníc, ktoré cez hrany prechádzajú, čo je diskretizácia paramet-ra k a podobne aj diskretizujeme aj q. Vytvoríme obdĺžnikovú štruktúru: akumulačné pole buniek A(k, q) rozmeru k x q. Ak sa nájde priamka s hodnotami k 1 a q 1, tak zväčšíme o jedna hodnotu bunky poľa A(k 1, q 1). 42 Základy počítačovej grafiky a spracovanie obrazu 2018/2019 Najvyššia hodnota bunky určí výslednú
Houghova transformácia IV a) Originálny obraz b) Obraz lokálnych hrán c) Parametrický priestor d) Detegované priamky Základy počítačovej grafiky a spracovanie obrazu 2018/2019 43
Houghova transformácia V Základy počítačovej grafiky a spracovanie obrazu 2018/2019 44
Houghova transformácia VI a) Originálny obraz b) Obraz hrán c) Parametrický priestor d) Detegované kružnice Základy počítačovej grafiky a spracovanie obrazu 2018/2019 45
Segmentácia založená na oblastiach Základy počítačovej grafiky a spracovanie obrazu 2018/2019 46
Narastanie oblastí Začína pri určení malých jadier, ktoré sú homogénne a potom sa pridávajú pixle (alebo spájajú oblasti) tak, aby homogénne oblasti boli maximálne Jednotlivé metódy sa líšia podľa toho, ako sa určia počiatočné jadrá a aké zvolíme kritérium na spájanie oblastí Výsledok záleží aj na poradí spájania Základy počítačovej grafiky a spracovanie obrazu 2018/2019 47
Narastanie oblastí II Ukážka jednoduchého narastania oblastí z jedného jadrového pixla Základy počítačovej grafiky a spracovanie obrazu 2018/2019 48
Narastanie oblastí III Ako kritérium spájania sa používajú dve heuristiky: Dve susedné oblasti sa spoja, ak význačná časť ich spoločnej hranice pozostáva zo slabých hrán, ale bez uvažovania o dĺžke hranice, čiže nie je dôležitá rozdielna veľkosť oblastí Slabé hrany vzniknú tam, kde nie je veľký rozdiel medzi jasom jednej oblasti a druhej Základy počítačovej grafiky a spracovanie obrazu 2018/2019 49
Narastanie oblastí IV a) Originálny obraz b) Pseudofarebný originálu c) Rekurzívne spájanie oblastí d) Spájanie oblastí odstraňovaním hranice Základy počítačovej grafiky a spracovanie obrazu 2018/2019 obraz 50
Delenie oblastí Je opačné ku spájaniu oblastí Začína pri podsegmentovanom obraze, ktorý nespĺňa podmienku homogenity oblastí Potom sa existujúce oblasti postupne delia, aby spĺňali základné podmienky segmentácie vrátane homogenity Ako dátová štruktúra sa využíva kvadrantový strom Základy počítačovej grafiky a spracovanie obrazu 2018/2019 51
Delenie oblastí II Základy počítačovej grafiky a spracovanie obrazu 2018/2019 52
Delenie-a-spájanie oblastí Kombinácia delenia a spájania spája výhody oboch prístupov Technika používa hierarchickú dátovú štruktúru obrazu Základy počítačovej grafiky a spracovanie obrazu 2018/2019 53
Delenie-a-spájanie oblastí II Základy počítačovej grafiky a spracovanie obrazu 2018/2019 54
Delenie-a-spájanie oblastí III Ukážka práce algoritmu pre jednoduchý objekt Základy počítačovej grafiky a spracovanie obrazu 2018/2019 55
Porovnávanie so vzorom (matching) Používa sa na lokalizáciu objektov so známym vzhľadom, na hľadanie známych vzorov v obraze (napr. písmená alebo číslice) Najlepšia zhoda je založená na nejakom kritériu optimality, ktoré záleží na objekte Vyhodnocujeme kritérium zhody pre každú polohu a otočenie vzoru v obraze. Tam kde je zhoda najväčšia, je poloha vzoru Základy počítačovej grafiky a spracovanie obrazu 2018/2019 56
Porovnávanie so vzorom II a) Porovnávaný vzor b) Poloha najväčšej zhody Základy počítačovej grafiky a spracovanie obrazu 2018/2019 57
Porovnávanie so vzorom III Základy počítačovej grafiky a spracovanie obrazu 2018/2019 58
Porovnávanie so vzorom IV Základy počítačovej grafiky a spracovanie obrazu 2018/2019 59
Porovnávanie so vzorom V Prakticky zistíme, že porovnávanie v každej polohe, aj keď nebudeme uvažovať otočenie, zväčšenie alebo zmenšenie vzoru, je výpočtovo veľmi náročné Preto sa porovnáva na nižšej úrovni rozlíšenia (predpoklad: zhoda sa mení postupne) Ak sa nájde zhoda, preskúma sa vo vyššom rozlíšení podrobnejšie Základy počítačovej grafiky a spracovanie obrazu 2018/2019 60
Segmentácia na princípe povodí Hranice oblastí zodpovedajú tým miestam kde sa úrovne jasu menia najrýchlejšie Preto sa princíp povodí (kam potečie voda, to delí kopce na dve časti) používa na obraz priebehu gradientu v obraze Základy počítačovej grafiky a spracovanie obrazu 2018/2019 61
Segmentácia na princípe povodí II Výsledný obraz môže byť presegmentovaný, to znamená, že v ňom budú príliš malé oblasti Závisí od toho, aké veľké zmeny gradientu považujeme za dôležité pre určenie hranice Pomôže rozmiestnenie značiek na predpokladané oblasti, ktoré do toho vložia apriórnu znalosť a segmentácia bude presnejšia Základy počítačovej grafiky a spracovanie obrazu 2018/2019 62
Segmentácia na princípe povodí III a) Originálny obraz b) Rozmiestnenie značiek c) Výsledná segmentácia na princípe povodí Základy počítačovej grafiky a spracovanie obrazu 2018/2019 63
- Slides: 63