Digitlis hang kp s videllomnyok Kiss Attila Informcis

Digitális hang, kép és videóállományok Kiss Attila Információs Rendszerek Tanszék kiss@inf. elte. hu 1

Digitális médiaállományok § A számítógép számára a hang, kép, videó ugyanolyan állomány mint egy közönséges szöveges állomány. Általában az állomány kiterjesztése utal a média típusára. § Képek nevének kiterjesztése: – BMP, JPG, GIF, TIF, PNG, PPM, … § Hanganyagok nevének kiterjesztése – WAV, MP 3, … § Viedók nevének kiterjesztése: – AVI, MOV, … 2

Egy képállomány tartalma § Szövegszerkesztővel megnyitva egy képállományt értelmes és értelmetlen sorozatokat kapunk: P 6: (Portable Pixel Map - ppm kép) Felbontás: 512 x 512 Színek száma: 255 3

A képállomány tartalma hexadecimálisan Általában egy fejlécben leíró információkat találunk. 4

Multimédia állományok forrásai § Multimédia állományok sokféle eszköz használatával keletkezhetnek: – digitális fényképezőgép, képolvasó, – digitális hang, vagy filmfelvevő, – digitális kamera. § Ezeknek a következő feladatokat kell végrehajtaniuk: – Mintavételezés: A folytonos jelekből véges sok mintát választunk ki. – Digitalizálás: A folytonos mintát véges számsorozattá alakítják. – Tömörítjük a számsorozatot. 5

Egy hang audiójele § A hang audiójele megjeleníthető, nagyítható, szerkeszthető, transzformálható (erősíthető, halkítható, lemezkattogás eltávolítható, stb. ) 6

A folytonos audiójelből szabályos időközönként mintákat veszünk Jelperiódus: T, f = 1/T Mintaperiódus Ts, fs =1/Ts T >= 2 Ts kell, hogy legyen. 7

fs = 2. 5 f Egy másik jel Eredeti jel fs = 1. 67 f A minta alapján nem különböztethetők meg. Torzítást 8 eredményez.

fs = 2 f Végtelen sok szinuszhullámot lehet a pontokra illeszteni. 9

A frekvencia felbontása § A folytonos jelet véges vagy végtelen sok szinusz hullám összegeként lehet előállítani. § A szinusz komponenseket “Fourier-transzformációval” lehet előállítani. § A felbontást és a továbbiakat tetszőleges jelre (nem csak audióra, hanem képekre, videóra) lehet alkalmazni. § Ha a jel frekvenciakomponensei {f 1 < f 2 < f 3 … < fn}, akkor milyen minimális mintafrekvenciát kell használni? 10

Nyquist tétele § Nyquist tétel – Ahhoz, hogy a folytonos jel visszaállítható legyen a mintából, teljesülnie kell a következőnek fs > 2 fmax ahol fmax a jel komponensei közül a legnagyobb frekvenciájú jel frekvenciája. – Ha a jel komponenseinek frekvenciái [f 1, f 2] intervallumba esnek, akkor a visszaállíthatósághoz annak kell teljesülnie, hogy fs >2 (f 2 -f 1). 11

Képek mintavételezése § A mintavételezési tétel 2 D jelekre (képekre) is alkalmazható. Mintavételezés rácspontokon. Milyen sűrű legyen a rács? 12

Az eredeti kép 13

A rossz mintavételezés miatt torzulás keletkezik 14 Homályosabb a kép, és a kendő és nadrág csíkjaiban furcsa interferálás látható.

Digitalizálás § A mintavételezéssel kapott jel még folytonos, végtelen sok lehetséges értéket tartalmazhat. § A digitalizálás sorám ezt a végtelen sok értéket akarjuk fix számú számmal leírni, közelíteni. § N szám leírásához log 2 N bitre van szükségünk. § Mi határozza meg, hogy egy hang vagy kép esetén hány bittel kódoljuk a mintát? 15

Audiójelek digitalizálása § Mit jelent, hogy egy audiójel 16 bites és 44 k. Hz-es? § A 44 KHz a mintavételezési frekvencia. A zenékben általában magasabb frekvenciakomponensek fordulnak elő mint a beszédben. A 8 k. Hz mintavételezés a telefonminőségű beszéd rögzítéséhez szükséges mintavételezés. § 16 bit azt jelenti, hogy minden mintát 16 bites egészként ábrázolunk. § Arra is gondolni, kell, hogy a digitális audiójelek több csatornát is tartalmazhatnak. 16

Digitális képek Egy kép mintavételezése pixelenként történik. A pixelek mátrixot alkotnak. 17

A digitális képek típusai § Szürkeárnyalatos (Grayscale) kép – Általában 256 szintje lehet a pixeleknek. Így minden pixelt 8 bittel tudunk megadni. – Az MRI orvosi képek 16 bittel írnak le egy pixelt. 18

§ Bináris kép A bináris kép csak 1 bitet használ pixelenként (0 vagy 1). A bináris képeknek fontos szerepük van a képelemzésekben, objektumok felismerésében. 19

Bitsíkok [ b 7 b 6 b 5 b 4 b 3 b 2 b 1 b 0] MSB LSB MSB – legszignifikánsabb bit az első LSB – legkevésbé szignifikáns bit az utolsó A 8 bit komponensei alapján 8 bináris képet (bitsíkot) kapunk. 20

Összemosás (Dithering) § Szürkeárnyalatos képet bináris képpel is reprezentálhatunk. Maredékos osztással a 256 érték 4 értékre konvertáljuk: I’ = floor(I/64) 0 1 2 3 21

Dithering mátrix § Egy Dithering mátrixszal reprezentáljuk a 4 szintet. Kevesebb színnel érjük el az eredeti hatást. 0 1 2 3 A mátrix ebben az esetben: 0 1 2 3 Hasonlóan csak piros és kék váltakozása lila színt eredményez, ha elég kicsik a pontok. 22

A színes képek felbontása 3 színkomponensre bontjuk a képet. Mindegyik szín intenzitása egy szürkeárnyalatos képet definiál. r g b 24 bit image RGB – piros, zöld, kék Más színsémák: YUV, HSV. 23

Színtábla 256 színt használó kép b g Kevesebb szín használata is elég, ha klaszterezéssel meghatározzuk a képen r az azonos színű csoportokat. Színklaszterek 24

Az emberi szem érzékelése A szemben kétféle fényérzékelő sejt működik: a csapok és pálcikák. A pálcikák a fekete-fehér látványt érzékelik. A csapok a színeket érzékelik. Háromféle csap érzékeli a háromféle színt. Színinger-összetevők előállítása színingermegfeleltető függvények és E sugárzáseloszlás alapján: R = s E(l) Sr(l)dl G = s E(l) Sg(l)dl B = s E(l) Sb(l)dl 25

A színek A színösszetevők meghatározása kísérlettel. 26

A Gamma korrekció § A képernyők fényessége I’ nem lineáris az input kép I fényességéhez viszonyítva. I’ = Ig § Hatványozással korrigáljuk a fényességet: (I’)1/g = I Például CRT esetén a g 2. 2 körüli érték. 0, 5 fényességű képet csak 0, 218 fényességűnek mutat a képernyő. 27

A Gamma korrekció Lineárisan változó fényesség Gamma korrekció nélkül nem lesz egyenletes. Lineárisan változó fényesség Gamma korrekcióval már egyenletes lesz. 28

Videójelek § Analóg videójelek Páratlan frame Páros frame fehér fekete 0 v 52. 7 us 10. 9 us 29

Digitalális videó N. Frame idő 0. Frame A digitális videó egy 3 D függvénnyel írható le: f(x, y, t) 30

Színes videók (PAL) § YUV színsémát használ a PAL rendszer. § Az YUV és RGB közti transzformáció a következő: § Y a fényességi komponens Y = 0. 299 R + 0. 587 G + 0. 144 B § U és V két színkomponens. U=B–Y V=R-Y Y U V 31

Színes videók (NTSC) § YIQ az NTSC sémája I Q § YCb. Cr: A JPEG-ben használt színséma 32