Spektralna analiza audio signala Multimedijalni signali i sistemi

Spektralna analiza audio signala Multimedijalni signali i sistemi Elektrotehnički fakultet Banja Luka

Spektralni (frekvencijski) sadržaj signala • Isak Njutn – razlaganje bijele svjetlosti na komponente različitih boja (talasnih dužina) • Sinteza bijele svjetlosti pomoću komponenata • Spektar svjetlosti – skup talasnih dužina (frekvencija) komponenata – Dio elektromagnetnog spektra • Složeni ton – glavni ton + harmonijski gornji tonovi • Spektralna analiza signala – Dekompozicija signala na elementarne signale različitih frekvencija (frekvencijske komponente) • Spektar signala - kako se frekvencijske komponente kombinuju u originalni signal

Spektralni (frekvencijski) sadržaj signala • Analizator spektra – eksperimentalno određivanje spektra signala • Audio ekvalizer – frekvencijski selektivno filtriranje signala – pojačavanje ili slabljenje određenih komponenata

Spektralna analiza signala • Žan Batist Furije • Periodičan signal je moguće predstaviti linearnom kombinacijom prostoperiodičnih signala – Furijeov red T je period, a W 0=2 p/T je osnovna frekvencija signala.

Aproksimacija signala Furijeovim redom • Amplituda članova konvergentnog Furijeovog reda teži nuli • Signal je moguće aproksimirati konačnim brojem članova reda

Kompleksni oblik Furijeovog reda T je period, a W 0=2 p/T je osnovna frekvencija signala. • • Koeficijenti Ck su kompleksni brojevi Ck = |Ck| ej qk Moduli koeficijenata |Ck| čine amplitudni spektar signala Argumenti qk koeficijenata čine fazni spektar signala Spektar periodičnog signala je skup Furijeovih koeficijenata na diskretnim frekvencijama k. W 0

Primjeri spektara periodičnih signala

Primjeri spektara periodičnih signala

Primjeri spektara periodičnih signala • Povorka pravougaonih impulsa

Furijeova transformacija kontinualnih signala • FT se koristi za frekvencijsku analizu aperiodičnih kontinualnih signala • FT je kompleksna veličina – Amplitudni spektar – moduo FT – Fazni spektar – argument FT • Inverzna Furijeova transformacija • Vremenska i frekvencijska reprezentacija su ekvivalentne • Moguće je obrađivati signal u vremenskom ili frekvencijskom domenu

Primjer spektra aperiodičnog signala

Furijeova transformacija diskretnih signala • Signali sa kojima radimo su diskretni (digitalizovani) • FT diskretnog aperiodičnog signala • Kompleksna veličina – Amplitudni spektar – Fazni spektar • Digitalna frekvencija • Kontinualna funkcija učestanosti • Periodična veličina, period 2 p

Primjer spektra diskretnog signala

Diskretna Furijeova transformacija DFT • Diskretizacija Furijeove transformacije diskretnog signala u N frekvencija ravnomjerno raspoređenih na intervalu dužine 2 p • DFT • Inverzna DFT • Aditivna sinteza zvuka odgovara IDFT • Efikasno izračunavanje pomoću brze Furijeove transformacije (Fast Fourier Transform, FFT)

Primjer DFT • DFT diskretnog pravougaonog impulsa u N=64 tačke • Aproksimacija spektra diskretnog signala

Određivanje spektra signala pomoću DFT • Možemo li na osnovu koeficijenata DFT odrediti tačan spektar diskretnog signala?

Određivanje spektra signala pomoću DFT • Možemo li na osnovu koeficijenata DFT odrediti tačan spektar diskretnog signala? • Inverzna DFT daje periodičan signal • Periodično proširenje originalnog signala sa periodom N odmjeraka – Originalni signal kraći od N odmjeraka – periodično proširenje na osnovnom periodu identično sa originalnim signalom (može se rekonstruisati spektar) – Originalni signal duži od N odmjeraka – periodično proširenje se na osnovnom periodu razlikuje od originalnog signala (ne može se rekonstruisati spektar) • Broj tačaka DFT treba biti jednak ili veći od trajanja signala

Primjer • Diskretna sinusoida – w = p/4 – Period: 8 odmjeraka – Dužina uzorka: L = 32 odmjerka • DFT u N = 32 tačke • Koeficijenti različiti od nule za: – k=4 – k = 32 – 4 = 28 • Periodičnost spektra

Još jedan primjer • Diskretna sinusoida – w = p/7 – Period: 14 odmjeraka – Dužina uzorka: L = 32 odmjerka • DFT u N = 32 tačke • Koeficijenti različiti od nule za sve k

Curenje spektra • • Periodično proširenje uzorka sinusoide Skokovita promjena u n=32 Visokofrekventne komponente Curenje spektra je posljedica korištenja konačnog uzorka signala

Određivanje spektra signala u prisustvu curenja spektra • Aproksimacija linearnom interpolacijom koeficijenata DFT • Primjer za • Vršne vrijednosti ne odgovaraju frekvenciji signala

Određivanje spektra signala u prisustvu curenja spektra • Bolje: Odmjeravanje spektra u većem broju tačaka • Ekvivalentno dopunjavanju uzorka signala nulama • Primjer za • DFT u N = 512 tačaka • Ne utiče na curenje spektra

Primjena DFT u spektralnoj analizi signala • Kontinualna sinusoida • Odmjeravanje Fs = 8 k. Hz

Primjena DFT u spektralnoj analizi signala • Kontinualna sinusoida • Odmjeravanje Fs = 8 k. Hz • Diskretna sinusoida frekvencije • DFT u N = 400 tačaka • Trougaoni impulsi u spektru

Primjena DFT u spektralnoj analizi signala (nastavak) • Složenoperiodičan signal • Frekvencija odmjeravanja Fs=16 k. Hz • DFT u 400 tačaka • Trougaoni impulsi u spektru

Primjena DFT u spektralnoj analizi signala (nastavak) • Ton C 4 odsviran na klaviru • Frekvencija odmjeravanja Fs = 11, 025 k. Hz • Diskretna priroda spektra – (kvazi)periodičnost signala • Detektovana osnovna frekvencija F 0=261, 635 Hz (C 4 261, 626 Hz)

Nestacionarni signali

Kratkotrajna Furijeova transformacija Short Time Fourier Transform • Problem: Spektralna analiza nestacionarnih signala – Govor, muzika, . . . • Potrebna je reprezentacija koja odgovara notnom zapisu – Visina tona – Interval vremena u kojem ton postoji • Ideja: Signal izdijeliti na kratke segmente – frejmove • Smatrati da je signal u jednom frejmu približno stacionaran • Reprezentacija u ravni vrijeme-frekvencija – spektrogram

Primjeri spektrograma

Primjeri spektrograma (nastavak)

Spektrogram govornog signala

Primjena spektrograma Audio fingerprinting

Audio fingerprinting • Želimo da prepoznamo kratki audio uzorak koji sadrži muziku • Potrebno je formirati reprezentaciju svakog audio fajla – audio fingerprint • Fingerprint je hash koji se može koristiti za pretraživanje baze • Problemi: – – – ambijentalni šum nekvalitetan mikrofon kompresija kratak uzorak velika baza muzike

Kakav treba da bude fingerprint?

Kakav treba da bude fingerprint? • Vremenski lokalizovan – Fingerprint se računa na osnovu odmjeraka bliskih u vremenu • Invarijantan na translaciju – Fingerprint se može izračunati bez obzira na poziciju u fajlu • Robustan – Fingerprint se može reprodukovati i u prisustvu šuma i drugih degradacija • Dovoljne entropije – Fingerprint mora da bude diskriminativan da bi minimizovao vjerovatnoću lažno pozitivnih pogodaka

Primjer • Shazam – aplikacija za identifikaciju muzike (shazam. com) • Osnovne tri komponente: – Robusne konstelacije – Kombinatorno hešovanje – Pretraživanje baze

Formiranje reprezentacije • Formiranje reprezentacije počinje računanjem spektrograma audio signala

Konstelaciona mapa • Pronalaze se vršne vrijednosti spektrograma – tačke u ravni vrijeme-frekvencija u kojima je energija veća od energije u susjednim tačkama • Vršne vrijednosti su otporne na šum i filtriranje signala • Lista koordinata tačaka je konstelaciona mapa • Pretraživanje se svodi na upoređivanje mapa pjesme i upita • Robusno na šum i odsustvo obilježja (tačaka)

Kombinatorno hešovanje • Jedna tačka u konstelacionoj mapi ima malu entropiju pa je pretraživanje sporo • Izabere se osnovna tačka (anchor point) • Osnovna tačka se uparuje sa tačkama koje su u njenoj blizini • Par tačaka je opisan sa dvije frekvencije i vremenskom razlikom između njih – 32 bitni hash • Svakom hashu se pridružuju i apsolutna pozicija u fajlu i ID audio zapisa (32 bita)

Kombinatorno hešovanje (nastavak) • Svaka tačka u konstelacionoj mapi se bira kao osnovna tačka i formira se njen 32 bitni hash • Ograničava se broj tačaka u mapi i broj tačaka sa kojima se osnovna tačka može upariti – smanjenje kompleksnosti • Za jedan audio zapis dobija se lista hasheva • Indeks baze se formira na osnovu listi hasheva svih audio zapisa u bazi i sortira se po vrijednostima hasheva (može se koristiti invertovani indeks)

Pretraživanje baze • Na upit se primjenjuje isti postupak i formira se lista hash: pozicija_u_fajlu • Svaki hash upita se koristi za pretraživanje baze • Za svaki upareni hash iz baze formira se par (pozicija_u_upitu, pozicija_u_zapisu_iz_baze) • Ako upit odgovara zapisu iz baze upareni hashevi će se nalaziti na istim relativnim pozicijama u odnosu na početak upita/zapisa

Pretraživanje baze (nastavak) • Formira se dijagram uparenih pozicija u upitu i zapisu iz baze • Ako je pronađen odgovarajući zapis u dijagramu će se pojaviti klaster tačaka koje leže na dijagonalnoj liniji

Pretraživanje baze (nastavak) • Kako pronaći klaster tačaka?

Pretraživanje baze (nastavak) • Kako pronaći klaster tačaka? • Formirati histogram razlika uparenih pozicija • Ako u histogramu postoji izraženi vrh klaster tačaka postoji i pronađen je pogodak u bazi

Literatura • Glava 3