Mainska vizija Dr Nenad Jovii 2019 tnt etf

Mašinska vizija Dr Nenad Jovičić 2019. tnt. etf. rs/~mv

Elektromagnetni spektar • Svetlost zauzima samo uzak opseg u elektromagnetnom spektru

Vidljivi spektar • Mašinsku viziju primarno zanima opseg 2001100 nm – Vidljiva svetlost: 400 – 750 nm – NUV: 200 – 400 nm – NIR: 750 – 1100 nm

Priroda svetlosti • Svetslot ima dualnu prirodu: svetlost je i materijalna cestica i talas. – A light particle is called a photon. – Photons have some energy. (UV - > IR) – The amount of energy determines the wavelength. – The wavelength corresponds to a color. – Intensity of light = number of photons.

Fotoelektrični efekat • Foton koji udara u atom silicijuma predaje energiju jednom elektronu koji postaje slobodan. • Broj elektrona koji se oslobađaju zavisi od intenziteta svetlosti i talasne dužine.

Kvantna efikasnost Quantum Efficiency (QE) • Odnos količine oslobođenog naelektrisanja i svetlosti. 60% QE = For every 10 photons hitting a pixel, 6 electrons are released. QE response is sensor specific. Camera design does not affect the QE curve. QE is given in either absolute or relative terms. Relative QE is not good for comparison.

Full Well Capacity • Maksimalna količina naelektrisanja koja može da se akumulira u jednom pikselu. • Fizički veći pikseli imaju prirodno veći kapacitet, pa samim tim i veću osetljivost i bolji odnos signal=šum Full Well Capacity: 4, 000 electrons – Small pixels 10, 000 electrons – Medium pixels 50, 000 electrons – Large pixels

Senzori CCD CMOS CCD - linescan

CCD i CMOS • Glavna razlika između CCDa i CMOSa je u tome kako se vrši trasfer naelektrisanja, i kakva je i gde je locirana elektronika za očitavanje.

CCD senzor • Naziv je akronim od Charge Coupled Device • Idejno resenje postavljeno jos 1970 godine. • Kod ovih senzora se transfer nagomilanog opterećenje vrši sekvencijalno između potencijalnih jama.

Danas su zastupljena dva tipa CCD senzora • “Charge-Coupled Device” • CCD je po prirodi current-driven komponenta. • Izlaz CCDa je analogni strujni impuls proporcionalan intenzitetu svetlosti.

Mikrosočivo CCD Pixel with microlens • Mikrosočivo vrši fokusiranje fotona na fotoosetljivu zonu i time povećava faktor ispune (fill factor) • Svi moderni CCD-ovi koristi mikrosočiva (i kolor i monohromatski) • ZA: efektivno se povećava kvantna efikasnost • PROTIV: Nejednaka i varijabilna osetljivost na svetlost koja stiže pod različitim uglovima.

Mikrosočivo i varijabilna osetljivost Karakteristike se razlikuju jer fotoosetljiva zona nije u centru sočiva a često nije ni kvadratnog oblika

CCD senzor • Visoka kvantna efikasnost QE I nizak intenzitet tamne struje • Visoka uniformnost očitavanja • Serijsko očitavanje: – Sporo očitavanje – Kompleksno taktovanje i napajanje – Visoka potrošnja • Nije moguće integrisati dodatnu logiku na isti čip 14

CCD senzor Kod KODAK-ov sensor od • Visoka kvantna efikasnost QE 4 Mpix pri brzini očitavanja od 50 frejmova unizak sekundi, po intenzitet tamne struje površini CCDa teče otprilike • Visoka uniformnost očitavanja 0. 5 A što stvara disipaciju od Serijsko očitavanje: neki 1 W na • površini senzora I – Sporo očitavanje – Kompleksno taktovanje i napajanje – Visoka potrošnja • Nije moguće integrisati dodatnu logiku na isti čip 15

CCD Blooming • Blooming ili cvetanja nastaje kod prevelike ekspozicije kada se u potencijalnoj jami pojavljuje veća količina elektriciteta nego što jama može da sačuva, i dolazi do prelivanja na susedne ćelije.

CCD Smearing • Slična pojava kao Blooming. Uzrokuje je toliko intenzivna saturacija piksela koja se preliva i u vertikalni shift registar ili ekspozicija tokom prenosa naelektrisanja.

Problem sa tamnom strujom - rešava se Originalna slika + šum tamne struje Slika bez spolajšnjeg svetla Rezultat oduzimanja Copyright Timo Autiokari, 1998 -2006

CMOS senzor • Naponski pogonjen • Očitavanje slično memorijskom: Row Decoder Reset Word Pixel Bit Column Amplifiers / Caps Column ADC / Mux Bit – Visoka brzina – Mala potrošnja – Regioni od interesa • Integracija sa dodatnom logikom • Omogućene nove aplikacije: – – Embedded imaging Visok dinamički opseg Biometrika 3 D imaging 19

CMOS – evolucija ideje Pasivni pixel Aktivni pixel sa odvojenom integracijom i čitanjem

CMOS senzori

Anatomija CMOS senzora Microlens Overcoat Microlens Spacer Color Filter Planarization Layer SEM photograph of 3. 3 mm pixel

Rolling shutter • Ekspozicije redova su pomerene za vreme potrebno da se završi čitanje jednog reda. • Efektivno dobijamo situaciju da redovi nisu jednovremeno očitani.

CCD vs CMOS • CCD: § Visoka spektralna efikasnost i faktor ispune § Unofirmno pojacanje § Nizak nivo tamne struje (darck current) § Global shutter kao prirodna karakteristika. • CMOS: § Niska cena § Jednostavno I fleksibilno ocitavanje § Integracija senzora I primarne obrade na istom čipu. § Inherent antiblloming

Skeniranje sa preplitanjem • Susreće se u analognim kamerama. Prilagođeno ljudskom oku. • Kod skeniranja sa preplitanjem postoje dve ekspozicije.

Senzori sa preplitanjem • I danas postoje kvalitetne analogne kamere sa takvim senyorima

Progresivno skeniranje • Analogne kamere sa progresivnim skeniranjem ne mogu da prikazuju signal direktno na CCTV monitorima.

Formati senzora Senzor od 1” je onaj koji može da pokrije fotosenzitivnu zonu unutar cevi sa skrenim kalemovima koja ima prečnik od 1”. Efektivno to je senzor koji ima dijagonalu od 16 mm.

Fotografija

Povezanost formata senzora i formata sočiva • Sočivo sa većim formatom može da se koristi sa senzorom manjeg formata, ali obrnuto ne važi.

Montaža sočiva na kameru (mount) • Najčešći tip sočiva za CCTV su sočiva sa C ili CS mount montažom. • C-mount sočivo može da se koristi na CS mount kameri uz korišćenje 5 mm adaptera. Obrnuto ne važi. • Pored ovih postoje i neki drugi standardi kao što su F-mount, V-mount itd. . .

Rezolucija • 8 -bitna rezolucija je dominantna u mašinskoj viziji.

Analogno -> Digitalno

Analogno -> Digitalno

Analogno -> Digitalno

Digitalne kamere • Procesiranje na samoj kameri. Primer je HDR.

Šum kod digitalnih kamera • Vremenski promenljivi šum (temporal noise): Sve ono što se manifestuje kao šum koji se stohastički ili predvidivo menja u vremenu, a nije posledica svetlosti (ADC, temeperatura. . . ) • Prostorni šum (spatial noise), ili kako se često kaže na engleskom Fixed Pattern Noise, je šum koji se ne menja u vremenu a posledica je ili grešaka u dizajnu, elektronskog šuma itd…

Karakteristični tipovi šuma • Shot noise/Photon noise: posledica kvantne prirode svetlosti i nema veze sa senzorom. Slučajne prirode. Posebno je primetan u uslovima kada je signal slab. • Šum tamne struje (Dark Current Noise) je psledica postojanja struja curenja. Posebno je prisutan kod CCD-a. Linearno raste sa temparaturom. • Šum kvantizacije je posledica nesavršenosti AD konvertora. Iz ovog razloga imamo i skupe i jeftine kamere koje koriste isti senzor.

Odnos signal šum • Odnos signal šum je jedna od najznačajnijih mera kvaliteta slike u sistemima mašinske vizije. • EMVA 1288 - http: //www. standard 1288. org/

Odnos signal šum • Za svaki senzor postoji karakteristika koja pokazuje kako SNR zavisi od količine svetlosti.

SNR krive različitih kamera Krive su zogdne da s eporede karakteristike različitih kamera. Kamera koja je dobar u uslovima slabog osvetljenja ne mora da bude dobra i u uslovima jakog osvetljenja.

Kontrolni parametri rada kamere • • • Pojačanje (gain) Trajanje ekspozicije (exposure) Sjajnost (Brightness (black level)) Format Rezolucija

Pojačanje - gain • Povećavanje pojačanja povećava i signal i šum. • Kod digitalnih kamera praktično ne povećava kvalitet slike. • Koristi se ulgavnom da bi nešto bilo vidljivo bez ikakve obrade.

Pojačanje - primer

Trajanje ekspozicije (exposure) • Ekspozicija je vreme za koje je omogućeno da svetlost pada na fotoosetljivu površinu i generiše naelektrisanje. (sinonimi: shutter speed, integration time) • Ekspozicija direktno utiče na sledeće stvari: – Velika ekspozicija uzrokuje razmazivanje usled kretanja (motion blur) – Broj frejmova u sekundi se obično smanjuje sa povećavanjem ekspozicije – SNR se uvek znantno povećava sa trajanjem ekspozicije.

Ekspozicija - primer

Sjajnost – brightness – black level • Black level – novi koji proglašavamo za crno. Promenom ovog parametra praktično dodajemo konstantan pozitivan ili negativan offset na vrednost piksela.

Format • Format slike koji šelje kamera. Obično se definiše kao monohromatska ili kolor + broj bita za reprezentaciju. • Više bita znači više podataka za prenos. • Manje bita znači gubitak detalja. • Preveliki broj bita nema smisla ako je šum značajan. • Većina monitora ne može ni da prikaže više od 8 bita.

Boja? • Kamere u boji su neznatno skuplje od monohromatskih kamera. • Slike u boji se susreću u mašinskoj viziji samo ako je baš bitno propoznavanje boje. • Generalno uzev, sistemi u boji loše obrađuju crno-belu scenu.

Rezolucija

Rezolucija • Veća rezolucija znači više detalja. • Veća rezolucija obično znači manji piksel a to znači manja QE, pa i manji SNR. • Osim toga manji piksel se teže fokusira zbog difrakcione prirode svetlosti. • Ako se sa druge strane povećava površina senzora to zahteva mnogo veće formate sočiva. • U mašinskoj vizija visoka rezolucija uvek znači visoku cenu. • Savet: Što manja rezolucija koja zadovoljava aplikaciju.

Rezolucija • Veća rezolucija znači više detalja. • Veća rezolucija obično znači manji piksel a to znači manja QE, pa i manji SNR. • Osim toga manji piksel se teže fokusira zbog difrakcione prirode svetlosti. • Ako se sa druge strane povećava površina senzora to zahteva mnogo veće formate sočiva. • U mašinskoj vizija visoka rezolucija uvek znači visoku cenu. • Savet: Što manja rezolucija koja zadovoljava aplikaciju.

Kamere sa prostornim skeniranjem AREA SCAN • Osnovne karakteristike: – Podsećaju na fotografsku kameru – Imaju fiksnu razmeru tj. aspect ratio (4: 3, 16: 9) – Kod CMOS-a je lako redefinisati aspect ratio – Lako se integrišu i dizajn – Procesiranje je intuitivno i prirodno – Moguća su duža vremena ekspozicije – 90% tržišta mašinske vizije

Specijalni novi tipovi CCD-a • Višekanalni CCD senzor (Multi-tap sensor) • Kodak proizvodi vrlo brze CCD-ove sa 2 ili 4 kanala • Suštinski kao da imamo dva uparena senzora koji se očitavaju istovremeno. Loše izbalansiran senzor

Region od interesa AOI • Senzor može na hardverskom nivou da se efektivno crop-uje tj. Svede na samo jedan deo aktivne senzorske površine. • Ovo je kod CMOS-a podržano zahvaljujući samoj arhitekturi CMOS senzora. • Kod CCD senzora je podržano samo u specijalnim izvedbama ili po jednoj osi. • Smanjivanjem aktivne površine smanjuje se i brzina protoka ali se istovremeno i proširuje propusna moć sistema za prenos.

Binning • Binning je stapanje naelektrisanja susednih CCD piksela. • Povećava se sjajnost i propusni opseg. • Smanjuje se rezolucija i potencijalno i aspect ratio. • Binning može da se vrši na senzoru ili u kameri. Ako se vrši na senzoru povećava se SNR.

Tricolor CCD Skup Mehanički kompleksan Izuzetan Svaki senzor daje jednu boju. • Nema nikakve naknadne obrade. • Filtri postojani i izmenjivi. • • light beam splitter

CFA - Color Filter Arrays 1. 2. 3. 4. Originalna scena Izlaz 120 -pixel × 80 -pixel senzora sa Bayer filtrom Kolor kodirana slika pod 2. Slika rekonstruisana nakon tzv metoda za demosaicing.

Gubitak rezolucije • Intenzitet boje za 2 kanala se uvek dobija interpolacijom. • Rezolucija se gubi manje na zelenom a više na plavom i crvenom kanalu. • Ukoliko se sa monohromatske kamere prelazi na kolor kameru pravilo iz prakse kaže da je potrebno da kolor kamera ima 3 ili 4 puta veću rezoluciju.

Problem sinhronizacije • Bayer definiše samo obrazac ponavljanja ali ne i to koji piksel je prvi i koja je orjentacija. 4 varijante: a) Počinje se plavim b) Počinje se crvenim c) Počinje se zelenim ali na plavoj liniji d) Počinje se zelenim ali na crvenoj liniji

Problemi sa CFA Optičko preslušavanje Električno preslušavanje • Generalni problem mikrosočiva i filtera na samom sensoru je to da je teško postići dobre i ujednačene karakteristike. • Mirosočiva unose osetljivst u odnosu na ugao zračenja koja se manifestuje kao optičko preslošavanje • Filtri na samom senzoru imaju loše temporalne karakteristike.

1 -CCD Spektralni odziv • Sony 5 Mpix sensor. • Na talasnoj dužini od 500 nm primećuje se preklapanje od čak 60%. • Oseltjivost zelenog piksela čak i raste kako se ide prema IR opsegu.

3 -CCD spektralni odziv • Preslušavanje reda veličine 30% postoji ali na vrlo uskom opsegu.

3 -CCD spektralni odziv • Preslušavanje reda veličine 30% postoji ali na vrlo uskom opsegu. S obzirom da su filtri spoljašnje komponente moguće je izmenom samo njih vršiti prilagođavanje kamere vrlo specfičnim zahtevima.

Kamere sa linijskim skeniranjem LINE SCAN • Princip rada kopir mašine • Druga dimenzija se dobija kretanjem kamere ili objekta. • Veliki pikseli odličnih karakteristika dimenzije 10 -14 um, dok je kod areascan tipično 2 -3 um. • Smearing ne postoji. • Loša stvar je vrlo kratko vreme ekspozicije. • Druga loša stvar je potreba za veoma jakim linijskim osvetljenjem, ali je sa druge strane lakše napraviti uniformno linijsko nego prostorno osvetljenje.

Gde je Linescan nezamenljiv? • Snimanje cilindričnih objekata • Integracija u postojeće sisteme u kojima nema mnogo prostora. • Snimanje u visokoj rezoluciji • Snimanje inherentno protočnih procesa.

Trigger-ovanje • Neophodna je dobra sinhronizacija brzine objekta i frekvencije skeniranja. • U industriji se to najlakše postiže merenjem kretanja trakastog transportera pomoću inkrementalnih enkodera. • Većina Linescan kamera poseduje baš odvojene ulaze za tipičan inkrementalni enkoder.

Implementacija

Implementacija

Linsecan u boji

Linescan u boji • Linescan kamera sa prizmom i tri odvojena linescan senzora. • Saki senzor je fokusiran na isti način i svaki piksel meri intenzitet svetla sa istog dela objekta. • Skupo i kvalitetno.

Tri-linear vs. prism-based linescan

Tri-linear vs. prism-based linescan