3 Multimedijski tipovi objekta video Osnovne karakteristike pokretnih

3. Multimedijski tipovi objekta: video • • • Osnovne karakteristike pokretnih slika Percepcija pokreta Moguće korišćenje videa u multimedijskim aplikacijama/prezentacijama Video kompresija: principi i implementacija Neki tehnički aspekti računarskog predstavljanja videa 1

Vision Čulo vida je verovatno najvažnije čulo ljudskih osećaja Percepcija intenziteta i boja Oko je osetljivije na crno-bele detalje Boja se ne opaža dobro ako su smanjeni uslovi osvetljenja 2

Slike u pokretu Perzistencija čula vida: sukcesivno prikazane slike (15 do 20 u sekundu) stvaraju iluziju kretanja Manji broj frejmova - “flickering”, povećanjem broja frejmova dobija se pokret bez prekida 3

Razlika. . . Ovaj video ima 4 frejma u sekundu. . . a ovaj oko 10 (koraci se još uvek vide) 4

Razlika. . . Ovaj video ima 24 fps Ali sada računar (tj. CPU i video podsistem) postaju ograničavajući faktor. . . Frame Rates Movies: 24 fps TV: American: 30 fps European: 25 fps HDTV: 60 fps 5

Filmovi rade na sledeći način. . . 24 fps ali: svaki frejm je osvetljen dva puta Odnos širina/visina (aspect ratio - format slike, veličina kadra) je 4/3 Šira slika se postiže specijalnom optikom (Cinemascope, Panavision) 6

TV slike Prvi pokušaji 1936 (crno bela TV) Kolor TV 1951 Elektronski zrak skenira sliku horizontalno po linijama (525 USA, 625 u Evropi) Brzina frejmova je sinhronizovana sa frekvencijom električne struje: 30 Hz u USA, 25 Hz u Evropi Skenirana slika se prenosi liniju po liniju, sa odgovarajućim informacijama o sinhronizaciji 7

TV displej Slika se ponovo kreira na strani prijemnika Katodna cev TV-a: skenira ponovo elektronskim mlazom čiji je intenzitet modulisan signalom Fosforne tačke osvetljene kroz masku (rešetku) isijavaju vidljivu svetlost 8

Video standardi Digitalni video uređaji moraju da odgovaraju standardima ranije utvrđenim za TV uređaje Digitalni standardi moraju zadržati kompatibilnost u odnosu na standarde za analogne uređaje. 9

Video standardi Osnovi standarda za TV: Svaki frejm je podeljen na dva polja Parne i neparne linije Polja se prenose jedno za drugim Frejm je sačinjen od isprepletanih polja 10

Interlacing-preplitanje • • Koristi se zbog nesavršene elektronike Brzina frejmova se sinhronizuje na polovinu frekvencije struje. Parne linije skenirane u jednom polu-frejmu, a neparne linije u drugom 50 ili 60 half-frames per second 11

Dimenzije slike 12

Problemi skladištenja Analogni TV zapis na magnetskim trakama 13

Video standardi ANALOGNI PAL (Phase Alternating Line), YUV NTSC (National Television Standards Committee), YIQ Zapadna Evropa, Australija & Novi Zeland, Kina, … Severna Amerika, Japan, Tajvan, delovi Južne Amerike. SECAM (Séquential Couleur avec Mémoire) Francuska i zemlje bivšeg Sovjetskog Saveza Standard se odnosi na prenos dok se za kamere koristi PAL Nažalost, ne postoji kompatibilnost između standarda 14

Video standardi Digitalni video standard: propisan ITU-R BT. 601 i nazvan CCIR 601 720 odbiraka intenziteta(Y), 2 x 360 odbiraka razlike boja (B−Y i R−Y) po liniji 15

Savremeni TV analogni HDTV mnogo godina i para potrošenih u Japanu malo prihvaćen zbog problema kompatibilnosti digitalni TV i/ili HDTV (USA i evropa): preko 1100 linija (1125 ili 1200) 16: 9 aspect ratio kompletna digitalno procesiranje 16

Digitalni video – skup digitalizovanih slika, koje se prikazuju dovoljnom brzinom frejmova Ako želimo da prenosimo niz slika u boji treba. . . 16 ili 24 bpp (za dobru boju) najmanje 640 x 480 pixels (za prihvatljivu rezoluciju) najmanje 25 frames per second Ovo daje oko 15 MB per second, ili preko 100 GB za ceo film Veća rezolucija slike (1280 x 1024) i 30 fps zahtevaju oko 112. 5 MB/s širinu opsega, ili skoro 1 TB memorije ? ? ? 17

Digitalni video Veličina zapisa digitalizovanog video signala (niz frejmova opisanih bitmapiranim slikama) PAL uncompressed 768 x 576 piksela po kadru x 3 bajta po pikselu (24 bit boja) x 25 kadrova u sekundu ≈ 31 MB u sekundu ≈ 1. 85 GB u minutu 18

Digitalni video Veličina zapisa digitalizovanog video signala NTSC uncompressed 640 x 480 piksela po kadru x 3 bajta po pikselu (24 bita boja) x 30 kadrova u sekundu (približno) ≈ 26 MB u sekundu ≈ 1. 6 GB u minutu 19

Digitalni video Veličina zapisa digitalizovanog video signala: Prevelik za CD-ROM, DVD, Internet Dovoljni diskovi i Firewire standard Kompresija je neophodna Limitiranje veličine frejma 20

Digitalni video Načini digitalizacije i kompresije: Video kamera – DV format (mini DV, DVCAM) + Firewire (brzi interfejs ka računaru - IEEE 1394, i. Link Sony) Televizija je bazirana na summation modelu boja, dok je film-movie baziran na subtraction modelu boja 21

Digitalni video Originalni frejm (levo) i komprimovani -DV frejm (desno) 22

Digitalni video Načini digitalizacije i kompresije: Računar – video kartica (analogni signal iz video kamere ulazi u računar, a kartica vrši digitalizaciju i kompresiju) Kompresija se vrši ili hardverski ili softverski. Alternativa je da se analogni signal pre ulaska u računar provlači kroz eksterni uređaj koji ga pretvara u DV signal i zatim šalje u računar preko Firewire standardnog interfejsa. 23

Digitalni video Mesto kompresije: Digitalizacija u kameri znači manje šuma (DV) Manje šuma znači bolju kompresiju Nedostatak digitalizacije u kameri je gubitak kontrole nad parametrima kompresije Kodek = compressor/decompressor (hardverski i softverski) koriste različite algoritme. 24

Kompresija 640 x 480 320 x 240 25

Kompresija Video signal sadrži neku vrstu redundantnosti Kompresija eksploatiše redundantnost da bi smanjila veličinu fajla i zahtevanu brzinu transmisije Dva tipa kompresije: intra-frame i inter-frame, odnosno prostorna i vremenska kompresija. 26

Intra-frame (prostorna) kompresija Radi sa pojedinačnim frejmovima i pokušava da iskoristi redundantnost prisutnu u svakom frejmu pojedinačno. U suštini isto kao kod nepokretnih slika i grafike i većinu algoritama koje smo koristili za obradu slike možemo da koristimo i za video Međutim, kompresija i dekompresija mora da se izvrše u realnom vremenu - čineći neke algoritme manje pogodnim od drugih 27

Prostorna redundancija Koristi sličnost između većine susednih elemenata slike 28

Smanjenje prostorne redundancije RGB u YUV: manje informacija potrebno za YUV (ljudi su manje osetljivi na hrominiscenciju) Makro blokovi: grupe pixela (16 x 16) Discrete Cosine Transformation (DCT) Zasniva se na Fourierovoj analizi gde se signal predstavlja kao suma sinusnih i kosinusnih funkcija Koncentriše se na vrednosti sa većom frekvencijom Predstavlja pixel-e u blokovima sa manje brojeva Kvantizacija redukuje podatke potrebne kao koeficijenti Kompresija 29

Prikaz smanjenja prostorne redundancije “Intra-Frame Encoded” Kvantizacija • velika redukcija • kontrola ‘kvaliteta’ Cik-cak, Run-length kodiranje 30

Gubitak rezolucije Original (63 kb) Niska (7 kb) Vrlo niska (4 kb) 31

Inter-frame (vremenska) kompresija Eksploatiše prisutnu redundantnost između uzastopnih frejmova, pod pretpostavkom da se samo deo svih piksela jedne slike menja od jednog frejma do sledećeg Većina je bazirana na nekoj vrsti predikcije (ili estimacije) kako će se pikseli menjati od frejma do frejma 32

Vremenska redundancija Koristi sličnost sukcesivnih frejmova 33 950 951 952

Prikaz smanjenja vremenske redundancije 34

Prediktivno kodiranje Boja se ne menja isuviše brzo unutar frejma ili između sukcesivnih frejmova Zbog toga, boja piksela može da se proceni na osnovu znanja njegovih suseda Zatim, razlika između stvarne vrednosti i predviđene se prenosi Na sreću, dinamički opseg se smanjuje Zbog toga, manje bitova po uzorku je potrebno Ali: postignut odnos kompresije nije visok (recimo, u opsegu od 2: 1) šta više, u slučaju gubitka nekih 35 frejmova pri prenosu pojavljuje se značajna distorzija. . .

Makro blokovi Još jedan pristup baziran na predikciji Zone ili blokovi piksela koji se mogu kretati od frejma do frejma ali se ne menjaju Prenose se samo granice takvih blokova i njihove nove pozicije, umesto vrednosti boja svih piksela u bloku sa značajnim redukcijama Ali: potreban je sofisticiran algoritam za identifikaciju makro blokova 36

Kompresija. . . Lossless kompresione tehnike ne izvršavaju kompresiju dobro Lossy kompresione tehnike su bolje … ali postoji cena koja se plaća: loss = distorzija tip distorzije zavisi od kompresione tehnike količina distorzije zavisi od odnosa kompresije 37

Računarski video formati Najpopularniji video formati: AVI (Microsoft i IBM) MPEG (MPEG) Quick. Time (Apple) 38

AVI format Niz umetnutih audio i video frejmova koji obezbeđuje automatsku sinhronizaciju između njih Veličina slike, brzina frejmova i intenzitet boja mogu da se podese nezavisno 39

MPEG (Motion Picture Experts Group) MPEG-1: first incarnation of the standard, widely used for VCD MPEG-2: the second generation of the MPEG standard, used in DVD MPEG-4 standard definiše kodiranje za multimedijalne strimove koji se sastoje iz više klasa objekata – videa, grafike, animacija, 3 -D modela… MPEG-7 is not a compression standard, but rather it is intended for content description MPEG-21 is intended for Digital Rights Management (DRM) 40

MPEG-2 Druga generacija MPEG standarda Hardverski dekoderi/dodati kartici se zahtevaju (softverski-samo dekoderi rade sa MPEG-1) Različite brzine odabiranja sa različitim odnosima kompresije (i različitim kvalitetom) 41

MPEG-2 tipovi frejmova I-frejmovi (intra-codirane slike): kompresija JPEG (ali u realnom vremenu) P-frames B-frames 42

P-frames Predictive-coded frames require information of the previous I-frame and subsequent Pframes Coding based on image areas (macro blocks) that may shift between frames but do not change at all (motion estimation) Actual algorithm not specified, but the format for transmitting the motion vector is Small differences between macro blocks in successive frames allowed 43

B-frames Bidirectionally predictive coded frames Best compression ratios, but playback requires both previous and following Iand P-frames Both predictive coded frames achieve good compression ratios, but they can never be accessed randomly, since the information contained therein is incomplete 44

Quick. Time Koristi se i kod Mac-a i PC-a Quick. Time movie je ustvari kontejner sa velikim brojem komponenti koje se zovu tracks Svaki track se sastoji iz digitalnih medijskih podataka odgovarajućeg formata Adaptiran od strane ISO kao startna tačka razvoja jedinstvenog digitalno medijalnog formata skladištenja za MPEG-4 45

Kodeci I Quick. Time i AVI obezbeđuju samo osnovni format za pakovanje frejmova u movie fajl ali ne prave nikakvu pretpostavku o aktuelnom algoritmu kompresije koji se koristi Različiti algoritmi kompresije se mogu primeniti – kodeci Većina kodeka može da se doda kao plugin postojećim instalacijama rekordera i plejera 46

Najpoznatiji kodeci Apple Video Codec: basic codec provided with Quick. Time, reasonable compression and speed Apple Animation Codec: RLE compression, good for animations Microsoft Video Codec: basic for AVI, reasonable compression and speed Cinepak: much better quality and compression than Apple/MS, not too fast JPEG: each frame is compressed as a JPEG image, fast compression, adjustable quality and compression ratio Motion JPEG: similar to JPEG, but with predictive coding (hardware support available) Intel Indeo: very good quality and compression, only on Intel-based platforms 47

Virtuelna realnost Veštački kreirano 3 D okruženje za računarsku simulaciju prostornih interakcija VRML (Virtual Reality Modeling Language) je jezik i format za prikaz interaktivne 3 D vektorske grafike za potrebe Web-a (objekti se ugrađuju u HTML) novi ISO standard je X 3 D Koristi se različiti senzori i dodaci za interakciju korisnika (kaciga, 3 D naočare) Primena u edukaciji (modeli), obuci (trenažeri) i zabavi (video, igre) 48

Morphing-pretapanje, metamorfoza 49

Programski alati Za obradu video sadržaja Avid Liquid Apple Final. Cut Studio Adobe Premiere Pinnacle Studio ULEAD Video. Studio Microsoft Movie. Maker Za VR modelovanje Active Worlds Macromedia Director Wings 3 D – open source 3 D modelovanje 3 D okruženja i dodaci (viewers) 50

Obrada video snimaka Editovanje Kolekcija komponenata se asemblira u kompletan multimedijski sadržaj; Selekcija, trimovanje i organizacija izvornog video materijala; Obrada tranzicija između snimaka (kadrova); Kombinovanje i sinhronizacija slika sa zvukom; Originalni snimljeni materijal se ne menja u ovoj fazi obrade 51

Obrada video snimaka Post-produkcija Modifikacija i dodavanje materijala; Većina promena je generalizacija operacija manipulacije nad slikama (npr. korekcija boja, zamagljivanje i izoštravanje, …); Kombinovanje – kombinovanje elemenata iz različitih snimaka u jednu kompozitnu video sekvencu; Animiranje pojedinih elemenata i kombinovanje animacija sa ostalim snimljenim materijalom. 52

Obrada video snimaka Priprema za dostavu video materijala Potreban je kompromis da se potrebe za resursima koje nameće video prilagode postojećem stanju (tj. propusnim opsezima mreža i računarima). Redukovanje veličine frejma; Redukovanje brzine promene frejma Redukovanje dubine boja 53

Dodatak 1 • Tipovi kolor video signala • Komponentni video - svaka osnovna boja je postavljena kao odvojeni video signal. Osnovne boje mogu da budu ili RGB ili njihova luminance-chrominance transformacija (YIQ, YUV). Najbolja reprodukcija boja Zahteva veću širinu opsega i dobru sinhronizaciju tri komponente. • • Kompozitni video - signali boja (chrominance) i luminance su izmešani na jedan noseći talas. Interferencija između dva signala je neizbežna. • S-Video (odvojen video, npr. kao kod S-VHS-a) - kompromis između komponentnog analognog videa i kompozitnog videa. Koristi dve linije, jednu za luminance i drugu za composite chrominance 54 signal.

Dodatak 1 • • • Definicija: YUV Sistem kodiranja boje korišćen za analognu televiziju (NTSC, PAL i SECAM). YUV prostor boja (model boja) se razlikuje od RGB-a, što predstavlja ono što kamera kepčeruje i što ljudsko oko vidi. Kada su kolor signali pronađeni 1950. god. odlučeno je da crno-bela televizija prima i dekodira monochrome signale, dok televizor u boji treba da dekodira i crno-bele i kolor signale. Luma (osvetljenost) i signali razlike boja Y u YUV važi za "luma, " što predstavlja brightness, ili lightness i crno beli televizor dekodira samo Y deo signala. U i V obezbeđuju kolor informacije i to su signali "razlika boja" plavo minus luma (B-Y) i crveno minus luma (R-Y). Kroz proces nazvan "konverzija prostora boja" video kamera konvertuje RGB podatke kepčerovane njenim senzorima u, ili kompozitne analogne signale (YUV), ili komponentne verzije (analogni YPb. Pr ili digitalni YCb. Cr). Za rendering na ekranu svi ovi prostori boja mora da budu konvertovani ponovo nazad u RGB od strane televizora ili displej sistema. Matematički ekvivalent RGB-u YUV takođe čuva širinu opsega transmisije (transmission bandwidth) u poređenju sa RGB-om, zato što chroma kanali (B-Y i R-Y) nose samo polovinu rezolucije luma-e. YUV nije kompresovan RGB; radije se kaže da su 55 Y, B-Y i R-Y matematički ekvivalenti RGB-a

Dodatak 1 Kompozitni video i S-video originalni TV standard kombinuje luma (Y) i oba signala (B-Y, R-Y) u jedan kanal, koji koristi jedan kabal i poznat je pod nazivom "compozitni video. " Opcija poznata kao "S-video" ili "Y/C video" drži luma-u odvojeno od kolor signala, koristeći jedan kabal, ali sa odvojenim žicama unutra. S-video je malo oštriji od kompozitnog videa. Komponentni video Kada se luma i svaki od signala boja (B-Y i R-Y) održavaju u odvojenim kanalima, to je "komponentni video, " označen kao YPb. Pr u analognom domenu, a YCb. Cr kada je digitalni. Komponentni video je najoštriji video. Termin je opšti U praksi, YUV referencira na sistem kodiranja koji koristi razliku boja ili kao kompozitni ili kao komponentni. a "YUV, " "Y, B-Y, R-Y" i "YPb. Pr" se koriste naizmenično za analogne signale. Ponekad "YCb. Cr, " koji je digitalni, koristi se naizmenično takođe. 56

Kompozitni video, S-video i komponentni video 57

Distribuiranje videa 58