Uvod u organizaciju raunara vebe as 8 Predstavljanje

Uvod u organizaciju računara vežbe - čas 8: Predstavljanje zvuka

Zvučni signali l Zvučni signal predstavlja promenu pritiska vazduha kroz vreme l Ilustracija ovoga je moguća npr. pomoću programa Sound Recorder Uvod u organizaciju računara 2

Amplituda i frekvencija l Razliku izmedju maksimalne i minimalne vrednosti nazivamo amplitudom. l Što je amplituda zvučnog signala veća, zvuk je glasniji Uvod u organizaciju računara 3

Frekvencija Broj promena signala, npr. od svoje najveće vrednosti do najmanje i nazad u jednoj sekundi nazivamo frekvencijom zvuka. Frekvencija se meri u Hercima (1 Hz= jednom u sekundi). l Što brže zvučni signal menja svoju vrednost to nam se zvuk čini piskaviji. l Uvod u organizaciju računara 4

Čujni raspon U proseku, ljudsko uho može da čuje zvukove čija je frekvencija između 5 Hz i 20 k. Hz medjutim precizni raspon je osobina svakog pojedinca. U principu, već frekvencije iznad 10 k. Hz većina ljudi veoma loše čuje. l Jačina zvuka koju ljudsko uho može da registruje se kreće od skoro 0 d. B (prag šuma) do 120 d. B (prag bola) l Uvod u organizaciju računara 5

Digitalizacija zvuka l Prema Nyqist-ovoj teoremi, prilikom digitalizacije je dovoljno uzimati uzorke vrednosti zvučnog signala (semplirati) dva puta češće od njegove najveće frekvencije. l Za verno zapisivanje frekvencija do 20 k. Hz potrebno je da frekvencija uzoraka bude 40 k. Hz Uvod u organizaciju računara 6

Uobičajene frekvencije uzoraka l Opšte prihvaćen CD audio standard se zasniva na učestalosti uzoraka od 44. 1 k. Hz. l DAT kasete, poznate muzičkim profesionalcima koriste učestalost od 48 k. Hz l Većina zvukova u video igrama je sa uzorcima na 11 ili 22 k. Hz. Uvod u organizaciju računara 7

Dubina zvuka (dinamički raspon) Ranije se za digitalizaciju koristilo 8 bita (jedan bajt). l Danas je uobičajeno da se za zapis svakog uzorka koristi 16 bitova (dva bajta). l Ovo omogućuje zapisivanje 65536 nivoa jačine zvuka, što daje dinamički raspon od oko 96 d. B, što se smatra prilično zadovoljavajućim. l Uvod u organizaciju računara 8

Mono i stereo zvuci l Da bi se bolje dočarao prostorni raspored zvuka, koristi se stereo tehnika. l Uzimanje uzoraka u mono tehnici se vrši pomoću jednog mikrofona. l Za digitalizaciju stereo zvuka potrebno je najmanje 2 mikrofona (dva kanala). Uvod u organizaciju računara 9

Nekomprimovani zapis zvuka l Nposrednim zapisivanjem niza brojeva dobijenih digitalizacijom zvuka dobijamo tzv. sirovi zapis (PCM – Pulse Code Modulation). l Za sirovi zapis jednog minuta zvuka u stereo tehnici, potrebno je: 60 sekundi * 44100 * 2 bajta * 2 kanala = 10, 5 Mb Uvod u organizaciju računara 10

RIFF formati l RIFF je grupa formata za zapis mnogih tipova podataka, pre svega multimedijalnih (zvuka i videa). l Najpoznatiji RIFF formati su WAVE, AVI, DIVX. . . Uvod u organizaciju računara 11

Parčići (chunks) Svi RIFF formati se sastoje od parčića (chunks). Svako parče ima svoj tip, koji se zapisuje pomoću 4 karaktera, za čim slede 4 bajta koji označavaju veličinu parčeta i zatim sadržaj. l Sama RIFF datoteka je sama za sebe jedno parče čiji sadržaj počinje oznakom tipa RIFF datoteke, a zatim sledi niz drugih parčića. l Uvod u organizaciju računara 12

Format RIFF datoteke l l l l Adresa Sadržaj(hex) 0000 'R', 'I', 'F' 0004 Dužina datoteke – 32 bitni neoznačeni broj 0008 tip datoteke (4 karaktera) 000 C tip prvog parčeta (4 character) 0010 dužina prvog parčeta 0014 Sadržaj prvog parčeta. . . Uvod u organizaciju računara 13

WAVE format WAVE spada u grupu RIFF formata i namenjen je isključivo za zapis zvuka. l Zapis u WAVE formatu se sastoji od parčeta (chunk) sa oznakom “fmt” i parčeta sa oznakom “data” l WAVE format omogućava i nekoliko tipova kompresije, mada se najčešće koristi za zapis nekomprimovanog zvuka, tj. parče “data” sadrži PCM zapis. l Uvod u organizaciju računara 14

Kanonski izgled WAV datoteke l Offset l 0 l 4 l 8 Sadržaj ‘R’ ‘I’ ‘F’ veličina datoteke ‘W’ ‘A’ ‘V’ ‘E’ Uvod u organizaciju računara 15

Kanonski izgled WAV datoteke 12 16 20 22 24 28 32 34 36 40 44 ‘f’ ‘m’ ‘t’ ‘ ’ 00 00 00 10 tip kompresije (1 PCM) broj kanala (1 mono, 2 stereo) Sample rate (najčešće 44100) Broj bajtova u sekundi = Sample rate * Poravnanje = broj kanala * bajtova po uzorku Broj bitova po uzorku (8 ili 16) ‘d’ ‘a’ ‘t’ ‘a’ dužina data bloka Zapis uzoraka Uvod u organizaciju računara 16

Kanonski zapis WAV datoteke l Ukoliko se radi o 8 bitnim uzorcima vrednosti se zapisuju kao neoznačeni brojeve, dok se 16 bitni uzorci zapisuju u poptpunom komplementu. l Stereo (i drugi višekanalni zapisi) se zapisuju isprepletano (po uzorak za svaki kanal) Uvod u organizaciju računara 17

Kompresija l Jedan od problema sa WAV zapisom je, naravno, to što zauzima previše memorijskog prostora. l Zbog toga se zvučni zapis obično komprimuje na neki način. Uvod u organizaciju računara 18

Pristup problemu komprimovanja Pošto je zvuk signal koji se veoma nepredvidivo menja, većina algoritama kompresije koji se zasnivaju na ponavljanjima podataka (kao npr. algoritmi korišćeni u ARJ, ZIP) pokazuju loše rezultate. l Zbog toga se pristupa primeni tzv. psihoakustičkih algoritama koji uglavnom spadaju u grupu Loosy algoritama. l Uvod u organizaciju računara 19

Maskiranje l. U toku dana ne vidimo zvezde. Razlog tome je to što je svetlost zvezda maskirana jakom svetlošću sunca. l Većina algoritama za kompresiju zvuka se zasnivaju na sličnim osobinama ljudskog čula sluha. Uvod u organizaciju računara 20

Maskiranje tihih zvukova Na primer, tih zvuk u blizini (u vremenu) mnogo glasnijeg se ne percipira, pa se na njegovo kodiranje ne isplati trošiti bajtove. l Slično, ako u bliskom trenutku postoje zvuci bliske frekvencije, jači zvuk može da maskira drugi. l Koji su zvuci dovoljno tihi? Ovaj podatak se najčešće dobija eksperimentima i to sa živim ljudima koji slušaju zvuke i daju svoj sud. l Uvod u organizaciju računara 21

Lokalnost maskiranja l Na primer: – Ukoliko imamo zvuk frekvencije 1000 Hz i u njegovoj blizini zvuk od 1100 Hz, ali 18 d. B tiši, čovek prosečnog sluha neće čuti drugi zvuk. – Ako bi drugi zvuk bio frekvencije 2000 Hz i iste glasnoće, on bi se čuo, zbog toga što je frekvencijski prilično udaljen od prvog. Pokazuje se da bi ovaj ton morao biti 45 d. B slabiji da bi bio nečujan. l Zaključujemo da je maskiranje značajnije u slučaju bliskih frekvencija. Uvod u organizaciju računara 22

Maskiranje jakih zvukova l Posledica maskiranja je dopušteno podizanje nivoa šuma u blizini jakih zvukova. l Zaključujemo da zbog većeg nivoa dopuštenog šuma nije potrebna visoka preciznost zapisa, pa se može upotrebljavati manje bitova za zapis. Uvod u organizaciju računara 23

Pre i post maskiranje l Ljudsko čulo sluha ima ograničenje da ne registruje dobro vremenski bliske zvukove: – ne registruje tihi ton koji se javi do 5 milisekundi pre glasnog (premaskiranje). – ne registruje tihi ton koji se javi do 100 milisekundi posle završetka glasnog (postmaskiranje) – tačna vremena zavise od razlike intenziteta. Uvod u organizaciju računara 24

MPEG formati l MPEG – Moving pictures experts group l Ekspertska organizacija koja je pod pokroviteljstvom ISO napravila nekoliko standardnih formata za zapisivanje zvuka, filma i drugih multimedijalnih sadržaja Uvod u organizaciju računara 25

Najpoznatiji MPEG standardni MPEG 1 – standard na kome su zasnovani formati kao su Video. CD i MP 3 l MPEG 2 – standard na kome se zasnivaju digitalna televizija i DVD format l MPEG 4 – standard multimedije za fiksni i mobilni web l MPEG 7 – standard za opisivanje i pretragu audio i vizuelnog sadržaja l Uvod u organizaciju računara 26

Audio Layer-i Layeri unutar MPEG standarda čine oznake podstandarda koji se odnose samo na zapisivanje audio signala l Jedan od najpoznatijih MPEG-ovih audio layera je audio MPEG layer 3, ili pod drugim, čuvenijim imenom MP 3. l Dok je MP 3 najčuveniji, MP 1 je skoro zaboravljen, dok je MP 2 imao neki uticaj dok nije potisnut layerom MP 3. l Uvod u organizaciju računara 27

Audio Layer-i (2) l Audio layeri su međusobno kompatibilni naniže, što znači da programi koji mogu da tumače MP 3 mogu da tumače i novije layere. Uvod u organizaciju računara 28

Kratko o algoritmu l Audio MPEG deli celokupni zvučni frekventni opseg na 32 podpojasa (subbands). l Ovi pojasi su kod layera 1 i 2 bili po 625 Hz, dok se kod layera 3 uvode pojasevi različite širine. – Naime, uho jasno razlikuje 1 k. Hz od 3 k. Hz, dok veoma teško razlikuje 15 k. Hz od 18 k. Hz (ako se uopšte nešto čuje). Uvod u organizaciju računara 29

Kratko o algoritmu (2) l Ako npr. imamo ton od 1 k. Hz jačine 60 d. B, on spada u 8. pojas: – Koder izračunava da je maskirajući efekat ovog tona 35 d. B, što daje odnos signal/šum od 25 d. B, što znači da je za zapis ovog zvuka dovoljno 4 bita. – Dodatno, ovaj maskirajući efekat se proteže od pojasa 5 do 13, naravno sa umanjenim uticajem. Uvod u organizaciju računara 30

Kratko o algoritmu (3) l Poslednji korak algoritma je primena Huffmanovog kodiranja na rezultat dobijen primenom maskiranja. l Sve ovo čini proces MP 3 kodiranja prilično računski zahtevnim. Proces dekodiranja je nešto jednostavniji, ali je i on svakako komplikovan. Uvod u organizaciju računara 31

Statičko Huffman-ovo kodiranje Osnovna ideja je da se karakteri koji se češće javljaju kodiraju kraćim sekvencama, dok je kod karaktera koji se ređe pojavljuju dozvoljeno koristiti i duže kodove. l Na početku je potrebno izgraditi sortiranu tabelu frekvencija pojavljivanja svih znakova koje želimo da kodiramo. Neka su to npr. karakteri l Uvod u organizaciju računara 32

Izgradjna Huffmanovog drveta Pronadju se dva karaktera koja se najređe pojavljuju i ona se zamene novim “karakterom” čija je frekvencija zbir frekvencija polazna dva karaktera. l Novouvedeni “karakter” predstavlja čvor drveta iz koga izniču polazni karakteri. Postupak se ponavlja sve dok se ne izgradi kompletno drvo. l Uvod u organizaciju računara 33

Odredjivanje kodova l Sve grane drveta koje vode “na levo” se označe nulom, dok se sve grane koje vode “na desno” označe jedinicom. Kod svakog karaktera se odredjuje prikupljanjem oznaka grana putanje koja vodi do njega. Uvod u organizaciju računara 34

Huffmanovo drvo - primer l Kodovi su: A D 0 0111 B E 010 110 Uvod u organizaciju računara C F 0110 111 35

Format MP 3 datoteke l Svaka MP 3 datoteka se sastoji od više delova koji se nazivaju okviri (frames) l Svaki okvir se sastoji od 32 bitnog zaglavlja (header) i sadržaja. l Jedan okvir služi za zapis 1152 uzorka kod Layer-a 2 i 3 Uvod u organizaciju računara 36

Zaglavlje MP 3 okvira l Zaglavlje se sastoji od 32 bita: AAAA AAABBCCD EEEEFFGH IIJJKLMM A - 11 bitova za sinhronizaciju – svi moraju imati vrednost 1 l B – oznaka verzije MPEG standarda l – – 00 – MPEG 2. 5 01 – rezervisano 10 – MPEG 2 11 – MPEG 1 Uvod u organizaciju računara 37

Zaglavlje MP 3 okvira (2) l. C – Oznaka layer-a – 00 -rezervisano – 01 – Layer 3 – 10 – Layer 2 – 11 – Layer 1 l. D – Oznaka kontrole – 0 – CRC – 1 – kontrola isključena Uvod u organizaciju računara 38

Zaglavlje MP 3 okvira (3) l E – bit rate. Izražava se u kbps. Svakom layer-u odgovaraju različite kombinacije. – Npr. za MPEG 1 layer 3, 1001 znači 128 kbps. l F - Sampling rate. Npr. Za MPEG 1 standard, i sve layere – 00 označava 44100 Hz – 01 – 48000 Hz – 10 – 32000 Hz l G – Padding – dodatni bit koji kaže da li postoje dodatni bitovi za poravnavanje Uvod u organizaciju računara 39

Zaglavlje MP 3 okvira (4) l. H – Rezervisani bit l I – Broj kanala – 00, 01, 10 Stereo, – 11 Mono l. J – dodatna oznaka načina zapisa (samo kod stereo sistema) Uvod u organizaciju računara 40

Zaglavlje MP 3 okvira (5) l. K – Copyright – 0 nema – 1 ima l. L – originalnost zapisa – 0 kopija originala – 1 original l. M – Oznaka pojačanja Uvod u organizaciju računara 41

Izračunavanje dužine okvira l Iako u zaglavlju svakog okvira nije eksplicitno zapisana njegova dužina, ona se može rekonstruisati na osnovu ostalih podataka i to kod Layera 3 po formuli: Dužina = 144 * bitrate / samplerate + padding Uvod u organizaciju računara 42

ID 3 v 2 MP 3 format se može proširiti dodatnim informacijama o muzici, izvođaču, tekstu pesme i slično. l Standard koji ovo opisuje se zove ID 3 i trenutno nosi oznaku verzije 2. 4. 0. l – Pošto se ovaj standard pojavio posle standardizacije MP 3, ovakve dodatne oznake su se pisale na kraju MP 3 datoteke. – Tek od verzije 2, su oznake premeštene na početak. Uvod u organizaciju računara 43

ID 3 v 2, primer Uvod u organizaciju računara 44