UNIVERSITY POLITEHNICA of BUCHAREST DEPARTMENT OF COMPUTER SCIENCE

UNIVERSITY POLITEHNICA of BUCHAREST DEPARTMENT OF COMPUTER SCIENCE Transmisia datelor multimedia in retele de calculatoare Compresia imaginilor. Generalitati Conf. Dr. Ing. Costin-Anton Boiangiu <Costin. Boiangiu@CS. PUB. RO>

Cuprins 1. 2. 3. 4. 5. Introducere. Reprezentarea imaginilor Aspecte ale perceptiei vizuale Necesitatea compresiei imaginilor Tehnici de baza in compresia imaginilor (imagini statice) Standarde in compresia imaginilor. Exemple

Reprezentarea imaginilor �Imaginile discretizate sunt reprezentate prin tablouri bidimensionale de forma de mai jos �Pentru cazul simplu al unei imagini cu niveluri de gri, imaginea discretizata este reprezentata printr-o matrice

Reprezentarea imaginilor � Intensitatile imaginilor pot fi reprezentate ca numere fara semn, pe un numar de n – simboluri binare: sau intr-un format cu semn, de forma: � Cel mai des n=8, insa pot fi si valori mari � De exemplu n=12 pentru aplicatii medicale sau n=16 pentru aplicatii militare � Imaginile color sunt reprezentate tipic prin trei valori: � rosu � verde � albastru (RGB= Red, Green, Blue), de forma

Tipuri de imagini �Exista 3 categorii de imagini discretizate, fiecare cu anumite particularitati: �imagini “naturale“ �imagini text �imagini grafice fiecare dintre acestea avand trasaturi specifice de corelatie

Semnalele video uzuale �Captarea imaginilor din exterior si convertirea lor in semnale electrice analogice - operatie efectuata de camerele video - defineste procesul de intrare video, sau filmare � Semnalele video obtinute pot fi apoi stocate pe suport magnetic (videobenzi si videocasete) sau transmise sub forma de semnal TV �Semnalul electric ce provine de la camerele video are in mod obisnuit trei componente, ce corespund celor trei culori esentiale, de compozitie video: rosu, verde si albastru (RGB - Red, Green, Blue) � Componenetele RGB sunt puternic corelate si – ca urmare – nu se pot obtine rapoarte de compresie deosebite � Pentru difuzare, se construieste din cele trei componente de baza un singur semnal, denumit "semnal compozit", care codifica dupa anumite expresii informatia video de transmis

Semnalele video uzuale �Semnalul YUV (caracteristic pentru sistemul PAL): expolateaza proprietatea ochiului uman de a fi mai sensibil la intensitatea luminoasa (luminanta) decat la informatia de culoare (crominanta) � Rezulta ca in loc de a separa culorile in componentele esentiale, se poate separa informatia de luminanta (Y) de informatia de culoare (doua canale de crominanta: U si V) � Relatiile dintre componentele Y, U, V si R, G, B sunt exprimate in formulele: Y = 0. 30 R + 0. 59 G + 0. 11 B U = 0. 493(B-Y) V = 0. 877(R-Y) �Compunerea lor se face dupa relatia:

Semnalele video uzuale � Componenta de luminanta (Y) trebuie transmisa intotdeauna din motive de compatibilitate; receptoarele alb-negru utilizand-o in mod obligatoriu, celelalte doua fiind utilizate in plus, de receptoarele color � Orice potentiala eroare in componenta de luminanta (Y) este mai importanta decat in valorile de crominanta (U, V) � De aceea pentru luminanta se aloca o latime de banda de transmisie mai mare ca pentru crominanta � Semnalul YIQ: este asemanator cu codificarea YUV si sta la baza standardului TV NTSC: � Compunerea lor se face dupa relatia

Aspecte ale perceptiei vizuale �Sensibilitatea la contrast variaza functie de frecventa spatiala �Cel mai sensibil este la frecvente joase:

Aspecte ale perceptiei vizuale �Oamenii sunt mai sensibili la stralucire decat la culoare �Modelul vederii colorate are la baza vederea tri-cromatica: ochiul poseda 3 tipuri de senzori, fiecare sensibil inrtr-o anumita gama de lungime de unda �Daca : reprezinta functiile de absorbtie ale pigmentilor din retina, atunci receptorii produc un semnal de forma: unde reprezinta distributia spectrala de energie a sursei de lumina incidente

Aspecte ale perceptiei vizuale �Perceptia miscarii este realizata daca miscarilor sunt cu o frecventa mai mare de 24 imagini (cadre) / sec �Ochiul este sensibil la schimbarile in luminanta si pe axa albastru-galben �Vederea presupune detectia marginilor (muchiilor) �Este posibila mascarea vizuala prin schimbari mari ale luminantei

Necesitatea compresiei imaginilor � Transmisia si memorarea imaginilor necesita capacitati de memorie foarte mari � In figura de mai jos se prezinta necesarul de memorie pentru diferite formate de imagine � De exemplu, numai pentru nivele de gri cu 256 de valori pentru un pixel, un cadru de imagine in format SVGA necesita 800*600*8 biti / (8 biti /Octet) = 500 KB iar pentru HDTV este nevoie de 2 MB

Necesitatea compresiei imaginilor � Complexitatea problemei creste daca se considera imaginile color unde fiecare pixel are nevoie de inca 3 octeti pentru informatiile de culoare RGB � Daca se doreste transmisia unei astfel de imagini pe un canal telefonic cu viteza de 10 Kb/s este nevoie de o durata T = (800 pixeli * 600 pixeli * 8 biti * 3 culori ) / ( 10 Kb / s) / 60 s / min)= 19. 2 min � In cazul imaginilor dinamice, cum este cazul televiziunii, debitul de informatie poate ajunge la 10 MB/s cee ce necesita canale speciale de transmisiune si capacitati foarte mari de memorare � De exemplu, un cadru de 512 x 512 pixeli, cu 8 biti pe culoare si 30 de cadre pe secunda, o imagine digitala are un debit de informatie de: 512 * 8 *3 * 30 = 188 Mb /s = 23 MB /s.

Necesitatea compresiei imaginilor �Obiectivul compresiei imaginilor este de a reduce numarul de biti pentru a memora sau a transmite imaginile fara pierdere semnificativa de informatie �Algoritmii de compresie a imaginilor se bazeaza pe proprietatile statistice ale imaginilor, si anume pe corelatiile parametrilor unui set succesiv de pixeli �Astfel, daca parametrii unui doemniu spatial de pixeli sunt similari, atunci parametrii unui pixel din acel domeniu poate fi exprimat in functie de parametrii celorlalti pixeli, deja codati �O valoare mare a corelarii implica o distributie spectrala de tip trece jos si, deci, necesitatea folosirii unei capacitati reduse pentru transmisie �Rezulta ca gradul de compresie al unei imagini depinde crucial de proprietatile statistice ale elementelor imaginii

Necesitatea compresiei imaginilor �Aplicatiile tipice pentru transmisia imaginilor sunt: �televiziunea �comunicatii pentru telemasura �teleconferinte �transmisii fax �Stocarea imaginilor este necesara in: � aplicatiile medicale � aplicatiile de instruire

Necesitatea compresiei imaginilor �Redundanta unei imagini depinde de o serie de parametri tehnologici (adica de sistemul ce utilizeaza imagini) si se refera la: � frecventa de esantionare � numarul de niveluri de cuantizare � prezenta si tipul de de zgomot �Raportul de compresie arata raportul dintre numarul de biti pentru reprezentarea imaginii originale si numarul de biti necesar pentru reprezentarea imaginii comprimate � Prezenta unui zgomot in imaginea originala va reduce corelatia dintre pixeli si determina scadarea raportului de compresie posibil a fi obtinut � Acelasi lucru se intampla si in cazul cresterii numarului de nivele de cuantizare, cand iarasi se reduce corelatia dintre pixeli si, deci, raportul de compresie poate sa fie mai mic

Tehnici de compresie a imaginilor �Metodele de compresie pot fi clasificate in urmatoarele categorii: �metode care elimina redundanta informationala a imaginii de baza �metode care elimina irelevanta informationala bazandu-se pe modelul perceptiei vizuale a omului, deci a portiunilor sau parametrilor imaginii care nu sunt percepute de om �metode care trunchiaza imaginea originala, astfel incat imaginea refacuta dupa compresie este o aproximatie a imaginii originale �Algoritmii de compresie folosesc una sau mai multe tehnici din categoriile de mai sus

Tehnici de compresie a imaginilor �Din punctul de vedere al pierderii de informatie, metodele de compresie pot fi: �fara pierdere de informatie �cu pierdere de informatie �Metoda cu pierdere de informatie, cunoscuta si sub numele de compresie ireversibila: � Imaginea reconstruita nu este identica cu imaginea originala �Se pot obtine rapoarte de compresie mari �Raportul de compresie este cu atat mai mare cu cat gradul de distorsiune acceptat este mai mare

Tehnici de compresie a imaginilor �Metode de compresie fara pierdere de informatie: �Se mai numesc metode de compresie reversibile sau cu pastrarea bitilor (bit-preserving) �Aceste metode se pot folosi in cazul imaginilor din aplicatiile medicale, cand nu este permisa o degradare a informatiei bilologice reprezentate de pixeli, intrucat altfel pot afecta diagnosticul �Rapoartele de compresie sunt foarte mici si nesemnificative �Exista 3 strategii de baza: codarea plana a bitilor � codare predictiva fara pierdere de informatie � codarea fara erori a diferentelor �

Tehnici de compresie a imaginilor �Metode de compresie fara pierdere de informatie (cont): �Compresia fara pierdere de informatie pleaca de la reprezentarea binara a imaginilor si se aplica unul din algoritmii de codare entropica: � Huffman � Lempel-Ziv �Nu se admite pierdere de informatie �Rata de compresie depinde de algoritmul entropic folosit si nu este foarte mare �Aplicatiile importante ale acestui tip de compresie se refara la imaginile binare (Fax) si imagini medicale

Tehnici de compresie a imaginilor �Orice componenta a unei metode de compresie cu pierdere de informatie poate fi implementata intr-o maniera adaptiva sau ne -adaptiva �O schema de compresie este adaptiva daca structura (numarul si/sau valorile parametrilor) se schimba local in cadrul imaginii pentru a folosi anumite particularitati ale statisticii locale �Metodele adaptive ofera performante mai bune, dar implica cresterea complexitatii �Imaginile de intrare pot fi: �imagini binare (cum sunt cele de tip text) �continue (8 biti video, 12 -biti medicale)

Clasificarea tehncilor de compresie a imaginilor

Masuri de apreciere cantitativa �Masurile de apreciere cantitativa nu sunt cei mai importanti in evaluarea calitatii unei imagini reconstruite dupa compresie �Se folosesc numai pentru evaluarea eficientii codarii a diferitilor algoritmii �Masurile de baza se bazeaza pe: �raportele semnal-zgomot �eroarea medie patratica �Fie o imagine de dimensiune Nx. M; fie s(i, j) intensitatea imaginii in punctul aflat la intersectia liniei i cu coloamna j si s’(i, j) intensitatea imaginii refacute in acelasi punct

Marimi �Eroarea medie patratica (MSE = Mean Square Error) �Eroarea medie patratica normalizata (NMSE = Normalized Mean Square Error) se obtine prin raportare la energia semnalului de la intrare: sau prin raportare la intensitatea imaginii:

Marimi �Pentru o imagine cu rezolutie de 8 bit PCM, xpp este 255 �Daca se considera si momentele de timp prin indicele k, se poate calcula eroarea medie patratica pe un domeniu de timp caracterizat de P momente cu relatia:

Marimi �Eroarea medie absoluta (MAE = Mean Absolute Error) �Eroarea medie absoluta normalizata (NMAE = Normalized Mean Absolute Error)

Marimi �Coeficientul de corelatie normalizat (NCC = Normalized Correlation Coefficient) �trebuie sa fie 1 pentru o reconstructie ideala

Masuri de apreciere subiective �Pentru evaluari subiective, se considera un grup de observatori, considerand ca sunt experti in codarea imaginilor, care analizeaza imaginile originale si cele procesate in conditii de iluminare si de distanta adecvate �Se calculeaza, ca si in cazul audio, un scor mediu al opiniilor (MOS) pe baza unei scari de apreciere �Exemplu: Nr. 1 2 3 4 5 6 7 Opinia Imperceptibila Abia perceptibila Perceptibila dar nu afecteaza imaginea Afecteaza imaginea dar nu este deranjanta Un pic deranjanta Deranjanta Intolerabila Scor 7 6 5 4 3 2 1

Exemplu �Figura alaturata prezinta 4 imagini in format “jpg” in format gray (8 biti), deci de la 0 la 255 �Dimensiunile matricilor ce reprezinta imaginile sunt de 200 x 200 �Imaginile au indiciii de calitate, dupa formatul jpg, de 90%, 40, 10% si 1%

Exemplu

Compresia prin re-cuantizare

Compresia prin re-cuantizare �Scopul este reducerea numarului posibil de valori pentru codare �Figura de mai jos arata mecanismul recuantizarii cu 4 domenii: � Se obtine un raport de compresie dat de raportul dintre numarul initial de niveluri si numarul nou de niveluri 4 � Fiecare valoare din fiecare intervalul va fi cuantizat cu un numar, iar la decuantizare se inmulteste numarul memorat cu latimea intervalului de recuantizare

Compresia prin re-cuantizare �Raportul de compresie este

Exemplu �Sa se faca compresia imaginii de mai jos prin metoda recuantizarii de la 8 la 2 biti pe esantion �Dimensiunea imaginii este de 4 x 4 pixeli

Exemplu � Plaja nivelelor de cuantizare, de la 0 la 255, este impartita in 4 domenii de cuantizare, numerotate de la I 0 la I 3 � Fiecare interval este reprezentat prin numerele ce arata jumatatea intervalului � Ceea ce trebuie memorat se refera la numarul intervalului, atat timp cat se cunoaste latimea fiecarui interval

Exemplu

Standardului CCITT �Standardele CCITT T. 4 si T. 6 sunt elaborate pentru compresia imaginilor alb-negru (transmisiii facsimile), incluzand: � rezolutii pentru scanare si tiparire �restrictii de timp �tolerante dimensionale, etc. �Principiul de baza este codarea imaginii sursa in modul linie dupa linie, corespunzator modului in care liniile sunt tiparite si scanate intr-o masina de tip fax

Standardului CCITT �Diferenta dintre cele doua standarde (T. 4. si T. 6. )consta in modul in care sunt tratate liniiile succesive �In primul standard liniile sunt codate independent, si, in al doilea standard, liniile sunt codate cu referinta la liniile anterioare, ceea ce duce la o compresie mai mare �In primul standard o linie scanata este codata printr-o secventa de numere de pixeli albi si negri, cu alternanta celor albi si negri �Fiecare secventa de pixeli este codata cu un numar variabil de biti �Rapoartele de compresie sunt in general de ordinul 10: 1 pentru pagini de tipul textului scris

Standardului CCITT �CCITT T. 6 este mai complex, in sensul ca fiecare linie este comparata cu linia anterioara, astfel incat – ca efect – se considera si trasaturile verticale din imaginea sursa �In loc sa se considere pixeli albi-negri alternanti, se considera pozitiile pixelilor in care se schimba informatia, deci se codifica pozitia fiecarui pixel inceput de trasatura cu referire la linia precedenta

Exemplu