Multimedija Milo Stojmenovi Video Pregled Uvod Frame Rate

Multimedija Miloš Stojmenović Video

Pregled • Uvod – Frame Rate (FPS) – Istorijat filmske tehnologije – Interlaced vs Progressive • Formati i Standardi • Codec • Kompresija – MPEG, MP 4 – AVI – MKV

Uvod • The Horse in Motion – Eadweard Muybridge, 1878 • Napravio prvi uživo snimljen film • Eadweard je pokušao da sazna da li konj ikada ima sve 4 noge u vazduhu u punom galopu • Poređao paralelne kamere na svaka 27 inča, i prekidanjem konca je konj trigerovao slike – Ekspozicija svake slike je bila 1/1000 sekunde • Snimljeno pred novinarima, u Palo Altu, Kaliforniji

Uvod • Terminologija: • Frame rate – broj slika koje se prikažu u sekundi (fps) • Bandwidth (širina pojasa) – količina podataka koja se može poslati i/ili primiti u sekundi • Video streaming – prenos različitih video sadržaja putem kompjuterske mreže

Frame Rate • Ljudi mogu da individualno procesiraju odvojene kadrove koji se kreću do 12 slika/sek – Sve preko toga se prihvata kao poketna slika • U slučaju nezavisnih (random) slika u jednom nizu, moguće je prepoznati i zapamtiti jednu ako se prikazuje duže od 13 milisekundi

Frame Rate • Prvi filmovi bez zvuka su se puštali između 16 i 24 fps • Ručno se motao pri snimanju, fps zavisio od raspoloženja kamermana • Bioskopi su puštali filmove između 22 do 26 FPS

Frame Rate • Kada je frame rate mali, oči su opterećene treperenjem ekrana – Drugi primer • Stari filmovi su pokusali da rasterete oko podizanjem fps na 48 ponavljanjem framova – 2 ili čak 3 puta ponavljali svaki frame • Krajem 1920 -ih, fps za filmove bez zvuka se podigaona između 20 i 26 • Miki

Film u boji • Prvi (crtani) film u boji se pojavio 1932 – Walt Disney: Flowers and Trees • Prvi igrani film u boji – La Cucaracha (1934) – Trajao 20 min • 1947. godine, 12% Američkih filmova su bili u boji • Krajem 1960 -ih su svi filmovi bili u boji

Distribucija Filmova • Producentske kuće su držali i 50% svih bioskopa u Americi do 1948. godine – Paramount Pictures, Loew's (MGM), Warner Bros. , 20 th Century Fox, RKO Pictures Universal Studios, Columbia Pictures, United Artists • Terali su nezavisne bioskope da kupuju blok filmova za prikazivanje (1 dobar, i 4 loša) – Block booking • Država ih tužila 1940, i 8 godina kasnije su morali da prodaju sve svoje bioskope – Broj sala za projekciju filmova porasla od 17, 000, 1948 -te do 38, 000 danas

Distribucija Filmova • 40 -ih i 50 -ih su domaćinstva masovno kupovala televizore • 1950 -ih – Producentske kuće se žalile na besplatno emitovanje TV kanala – Uvodili su kablovsku televiziju – Bojali se da ne mogu da se takmiče sa besplatnim kanalima

Distribucija Filmova • 1970 -ih – Video Cassette Recorders (VCR) • Producentske kuće se žalile na snimanje bilo kakvog sadržaja • MPAA se borila protiv kaseta, ali uprkos tome, prihod producentskim kućama je porastao dramatično • Novi distributivni kanal je omogućio dodatni prihod • Iznajmljivanje video kaseta je donelo veću zaradu od prikazivanja filmova u bioskopu

Samo se Žalimo • 1998 – MPAA progurao zakon: Digital Millennium Copyright Act (DMCA), gde je ilegalno praviti kopiju DVD-a koga ste legalno kupili • 2000 – Digital Video Recorders (DVR) – Korisnici mogu da preskoče reklame – Biće kraj TV poslovanja – DVR sistemi obnove interesovanje za TV • Danas Internet (Torrenti) prete da zatvore filmsku industriju

Moderni Frame Rate • Na monitoru (televizoru) se frame rate veći od 50 Hz smatra tečnim – 50 Hz = 50 frame-ova u sekundi • Moderni monitori prikazuju sliku na 60 Hz – Neki 4 K monitori rade na 120 Hz • Moderni formati video snimaka se prave na 30 FPS – Monitor prikazuje svaki frame dva puta

Ograničenja Frame Rate-a • Prvi tv signali nisu mogli da prenesu dovoljno frame-ova u realnom vremenu da bi slika mogla da se obnavlja brzinom 50 Hz • Manje od 50 Hz, i neprijatno je gledati ekran • Izmislili su tehniku zvanu Interlacing, gde se emituju polu frame-ovi umesto celih, i slike se spajaju

Interlaced vs Progressive • Interlacing je tehnika preplitanja video signala – Svaki drugi red kadra se obnavlja u svakom prolazu • Tehnika iz 1930 -ih jer nije tada moglo da se prenosi I reprodukuje slika punih 50 fps • Nije moglo da se smanji na 25 jer slika treperi

Interlaced vs Progressive • Progressive video reprodukuje ceo kadar u svakom prolazu • Jasnija, prijatnija, i detaljnija slika • Video oprema naglašava način snimanja/ reprodukovanja

Analogni Formati i Standardi • NTSC: (National Television Standards Commitee) • PAL: (Phase Alternate Line) • SECAM: (Sequential Color with Memory)

Digitalni Formati i Standardi • ATSC: (Advanced Television Systems Committee) • DVB-T: Digital Video Broadcasting — Terrestrial

Formati i Standardi • NTSC ima nizu vertikalnu rezoluciju od PAL-a I SECAM-a – NTSC ima veci fps Sistem Vertikalna Rez. FPS NTSC 525 i 30 (60 Hz) PAL 625 i 25 (50 Hz) SECAM 625 i 25 (50 Hz) HD 1080 i & 1080 p 60 (60 Hz) 4 K (UHDTV) 2160 p 60 & 120

4 K Rezolucija • Postoje 2 vrste 4 K rezolucije: – DCI 4 K: 4096 × 2160, koji koriste producentske kuće (filmovi) – UHD-1 4 K: 3840 × 2160, koji koriste Televizori, I Youtube • 4 puta više piksela stane na ekran, što je približno isti skok u rezoluciji što je HD napravio krajem 90 -ih

4 K Rezolucija • Boje pokrivaju veći deo spektra sa UHD ekranima • Svaki piksel je predstavljen sa 10 ili 12 bita, umesto tradicionalnih 8 • Broj mogućih boja se povecava sa 2563 na 10243, ali današnji monitori to povećanje ne mogu da prikažu

4 K Rezolucija • 10243 = 1, 073, 741, 824 boja • Oči to ne mogu da izkoriste, ali dobijamo više detalja na svakoj slici, i te detalje možemo da vidimo – Čak i kad se spusti na 8 -bitni monitor

Mpeg • Moving Picture Experts Group • Grupa koja pravi standarde za kompresiju/dekompresiju i Loš Dizajn slanje audio i video klipova • Prave licensiranu šemu koja treba da se poštuje u bilo kom softveru/hardveru koji pravi/čita/emituje audio/video sadržaj – Da bi razni aparati mogli da dele fajlove sa istom ekstenzijom – Bilo koji uređaj koji zna da radi sa Mpeg fajlovima morao je da plati $0. 50 – $2. 00 Mpeg-u – Bilo koje emitovanje (bioskop ili TV prenos) $0. 03 – $0. 35

Mpeg 1 & 2 • Najpoznatiji po MPEG-1, 2, i 4 standardima • MPEG-1 (1993) – 1. 5 Mbit/s, za Video CD – MP 3 Audio kompresija • MPEG-2 (1995) – Prvi standard za emitovanje digitalne televizije DVB – Digitalne satelitske televizije – Kablovsku televiziju – DVD – Digital Video Disc

MPEG 4 • MPEG-4 (1998) • Približno duplo veći stepen kompresije nego Mpeg 2 • Sadrži standarde AAC za audio kompresiju koja je bolja od MP 3 standarda iz MPEG-2 – AAC je takodje deo MPEG-2, ali je uveden tek 1997 • Sadrži Intellectual Property Management and Protection (IPMP) – Može da se geografski ograniči prikazivanje filma • Sastavljen od 30 delova koji čine ceo MPEG-4 standard • Licensa može da se dobije za bilo koji podskup delova

MPEG 4 Delovi (parts) • Video Coding Experts Group (VCEG) radi sa, ili čini deo MPEG

Mpeg MP 4 • Generalno se misli na MPEG-4 kada se spomene reč Mpeg danas • Najpopularnija varijanta MPEG-4 je deo 14, koji opisuje MP 4 fajlove • MP 4 je kontejner fajl, koji sadrži audio, video, titlove, anotacije, meta podatke • . m 4 a fajlovi su MP 4 kontejneri sa samo audio sadržajem • . m 4 a fajlovi su MP 4 kontejneri (audiobook) sa samo audio sadržajem, i bookmarkovima na bitnim mestima • . 3 gp fajlovi su MP 4 kontejneri sa sadržajem namenjenim za mobilne telefone

Mpeg - 7 • Standard za opisivanje multimedijalnog sadržaja u video fajlu • Zvanično se zove - Multimedia Content Description Interface • Koristi se za efikasno pretraživanje sadžaja – Meta podaci opisuju zanimljive trenutke filma u XML formatu – Može da sinhroniše tekst pesme sa muzikom

Codec • Koliko prostora na disku zauzima nekompresovana sekunda HD video snimka? • 60 Frame-ova x 1920 x 1080 piksela x 3 byte-a po pikselu • ≈ 356 MByte • Za jedan minut ≈ 21 GB • Za 4 K snimak je to ≈ 84 GB • Sve je to bez zvuka!

Codec • CODEC = Compression/Decompression – Div. X, Quick. Time, Nero • Program koji kompresuje I dekompresuje video fajlove – Radi po nekom algoritmu: MPEG, Avi, … • Kompresija se radi nezavisno za audio I video • Video kompresija se radi: – Smanjenjem preciznosti boje 4: 4: 4 na 4: 2: 2 ili 4: 2: 0 – Prostorno (spatial): kompresija unutra frame-a – Vremenski (temporal): kompresija izmedju više frame-ova

Mpeg Kompresija • Smanjuje se rezolucija originalnih kadrova (Frame-ova) tako što se dupliraju vrednosti uzastopnih piksela • To se zove chroma subsampling • RGB se pretvori u YUV ili Y’Cr. Cb prostor • Y kanal se ne dira • Chroma subsampling se primenjuje na U i V (Cr. Cb) kanale

Mpeg Kompresija: Chroma Subsampling • Oznakom 4: 4: 4 predstavljamo nekompresovanu sliku • Prvi broj predstavlja veličinu uzorka, i obično je 4 • Drugi je broj nezavisnih boja, od ukupnog uzorka koje su uzete u obzir iz prvog reda (video objašnjenje) • Treći je broj nezavisnih boja, od ukupnog uzorka koje su uzete u obzir iz drugog reda • Y (grayscale) komponenta se nikada ne kompresuje

Mpeg Kompresija: Chroma Subsampling • Subsample-ovanje smanjuje količinu podataka 50% za 4: 2: 0 i 33% za 4: 2: 2 • Standardne video kamere i ostali ‘capture’ hardver automatski smanjuje kvalitet ulaznog snimka na ovaj način

Mpeg Kompresija: Chroma Subsampling • Gornji red: kvalitet slike sa datom kompresijom • Donji red: rezolucija komponente U I V sa datom kompresijom

Mpeg 4 Kompresija • Prostorno (spatial): – Nešto vrlo slično JPEG kompresiji se radi po svakom frame-u posebno – Blokovi su 16 x 16 umesto 8 x 8 – Mogu da budu varijabline veličine – Matrica kvantizacije nije varijabilna kao u JPEG-u, nego se svaki broj deli sa istom konstantom

Mpeg 4 • Vremenski (temporal): – Koristi sličnost između uzastopnih frame-ova – Izbacuje uzastopno iste frame-ove – Pravi I, P I B framove koji su kompresovana reprezentacija video fajla

Mpeg 4 • I-Frame: Intra Coded Frame • Original (JPEG) frame iz izvorne (nekompresovane) video sekvence • Pojavljuju se u regularnim intervalima u kompresovanom video snimku – Ako se prekine, korumpira ili poremeti video prenos u bilo kom delu, I-frame nastavlja prenos • I-Frame-ovi su nezavisni od ostalih B I P framova, I ne mogu biti konstruisani pomoću njih

Mpeg 4 • P-Frame: Predicted Frame – Sadrži samo promene od prethodnog I ili P frame-a – U slučaju gubitka, P frame može da se konstruiše iz I i serije B frame-ova • 1 u 5 su I-Frame-ovi • 2, 3, 4 su P-Frame-ovi • Pokret se interpolira npr. Između 1 i 2 frame-a i rezultira B-Frame-ovima

Mpeg 4 • B-Frame: Bidirectional Frame – Izveden (interpoliran) između I i P frame-a, ili dva P-Frame-a – Nema veze sa bilo kojim drugim B frame-om – GOP = Group of Pictures

Mpeg 4 • Cilj B i P frame-ova je kompresija • Pokret bi trebao da bude modeliran (interpoliran) da izgleda kao kombinacija I i/ili P frame-ova: I B B I

Mpeg 4 • Gornji red (bele kutije) su ulazni frame-ovi • P-Frame je tipicno 50 -60% manji od I Frame-a

Sistem Prenosa • Slika kompresije/dekompresije sa odgovarajućim elementima – Audio, video, titlovi, natpisi, Aux (Npr. Render)

MPEG H • • MPEG-H part 2 (2013) (H. 265) High Efficiency Video Coding Približno duplo veći stepen kompresije od MPEG-4 Vrlo slično radi algoritam za kompresiju, ali ne čuva frame-ove u istom obliku – Matematički opis menja skup redudantnih piksela gde god je to moguće – Duže traje kompresija/dekompresija ali su manji fajlovi • Koristi varijabline blokove za JPEG kompresiju veličine između 8 x 8 do 64 x 64 piksela • Sadrži novi standard za kompresiju 3 D video i 3 D audio fajlova

MPEG H • Podržava 8 K = 8192× 4320 piksela rezoluciju • Problem je u visokoj ceni koju žele da naplati korisnicima njihove nove tehnologije – Do 28 x više nego za MPEG 4 – Amazon, AMD, ARM, Cisco, Google, Intel, Microsoft, Mozilla, Netflix, NVIDIA, itd. se udružile da naprave svoj konkurentski, open source, i besplatni standard u 2017. godini – 2015 su formirali: da bi se takmičili sa MPEG-om

AOM Video 1 • Alliance for Open Media Video 1 ->. AV 1 • Ideja kompresije liči na MPEG, ali uključuje neke nove tehnike – Mora da se dovoljno razlikuje da se nebi sudski sporili sa MPEG-om • AV 1 predlaže da deli slike na više načina • Radi interno računanje u 10 ili 12 bita umesto tradicionalnih 8 • AOM želi da besplatno deli i standard i gotove implemenacije na raznim platformama

AVI • Audio Video Interleave Microsoft (1992) • Kontejner fajl za samo audio i video • Ne podržava standardizovan način da se odredi ‘aspect ratio’ filma: 16: 9, 4: 3, itd. • Ograničena kompresija – Ne koristi buduće frame-ove (kao MPEG B frame) da bi bolje kompresovao podatke • Ne podržava neke vrste ’variable bitrate’ (VBR) kompresije • Microsoft je odustao od AVI formata i trenutno podržava WMV

WMV • Microsoftov drugi pokušaj dominiranjem tržišta video formata • Ugrađen u Windows operativne sisteme od 2006 – Donekle i jeste dominantan zbog pozicije Windows -a na tržištu • Kontejner fajl koji Implementira MPEG standarde, ali može da sadrži kodovan video bilo kog formata • Jedan od 3 prihatvljivih formata za Bluray video disk

MOV • Apple-ov Privi video format (1991) – Quicktime Framework • Zatvoren standard, koji samo Apple kontroliše • Udruženjem sa MPEG-om je nastao MPEG-4 standard – MPEG-4 je napravljen na osnovu Quick. Time-a • Apple više ne podržava Quicktime, niti. mov fajlove – Prešli na MP 4 • Apple nije deo Alliance for Open Media

Matroška MKV • Otvoren (Open Source) i besplatan standard za multimedia kontejner fajlove koji sadrže skoro sve audio i video formate • Podržava sve popularne vrste audio i video kodovanja: – MPEG 1 -4, MP 4, Quick. Time (Mov), AVI, itd – AAC, MP 3, DTS itd. • Podržava titlove, naslove, meta podatke, itd. • Prati i dodaje nove standarde koji se pojavljuju

Matroška MKV • Ako već postoji besplatan video encoder/decoder/stream softver, zašto Google (Alliance for Open Media) pravi svoj? 1. Samo multimedijalni sadržaj od kojeg se zarađuje spada pod licensom MPEG-a 2. AOM hoće da izbaci MPEG sa dominantog položaja na tržištu (ili kupi) 3. To što AOM kontroliše ne mora uvek da bude besplatno