UNIVERSATEA POLITEHNICA BUCURESTI DEPARTAMENTUL DE COMPUTER SCIENCE Transmisia

UNIVERSATEA POLITEHNICA BUCURESTI DEPARTAMENTUL DE COMPUTER SCIENCE Transmisia datelor multimedia in retele de calculatoare - Semantic video analysis for adaptive content delivery and automatic description Calin Andrei Cristian andrei. calin@CS. PUB. RO

Cuprins ① Intro – analiza semantica video ② Ideea -> caz particular ③ Punct de plecare & background ④ Analiza semantica video ⑤ Codare semantica – codare bazata pe obiecte - codare bazata pe “semantic frame” - codare metadata-based si metadata-enhanced ⑥ Concluzii ⑦ Intrebari 2

① Intro – analiza semantica video Ideea pincipala a lucrarii este. . . extragerea continutului important din format video cu ajutorul analizei sematice video Semantic video analysis for adaptive content delivery and automatic description Andrea Cavallaro, Olivier Steiger, Touradj Ebrahimi 3

② Idea -> caz particular Existenta nevoii de a putea “personaliza” felul cum e transmis continutului media catre utilizator. Se doreste o modalitate de adaptare a transmisie media in functie de capacitatile device-urilor, a caracteristicilor acestora de primire a datelor cat si a preferintelor utilizatorului. => accent pe ideea de codare semantica 4

② Idea -> caz particular #2 -- supraveghere video si sport video 5

③ Punct de plecare & background Existenta a doua abordari pentru trasmisia video : - combina analiza semantica cu codarea video traditionala bazata pe frame-uri - folosirea metadatelor pentru eficientizarea codarii informatiilor video principale Background-ul de plecare e dat de 3 abordari deja elaborate in literatura de specialitate : (serverul selecteaza si livreaza cea mai apropiata a segmentului media) - Info Pyramid variatie tehnica - scalable coding (calitatea, spatiul si rezolutia toate micsorate prin truncarea anumitor layere sau biti din poza originala) - transcoding (proces de conversie a unui semnal video copresat in altul cu propirtati diferite) 6

④ Semantic video analysis (SVA) Lucrarea are la baza analiza continutului video si prefiltrarea semantica inaintea codarii. SVA e folosit pentru a extrage continutul “central” din video (ex: miscare e luata ca semantica) avand ca punct de functionare detectia miscarii. Foloseste informatie a priori pentru a transforma semantica in reguli (template matching) -> regulile sunt folosite apoi in algoritmi 7

⑤ Codificare semantica - Object-based encoding Encodare “semantic framebased”: fundalul are aplicat un filtru trece-jos inainte de encodare Encodare bazate pe metadata: obiectele “sharpened” sunt suprapuse pe fundal sample Reducerea spatiala a rezolutiei Encodare imbunatatita cu metadate: metadatele sunt folosite pentru a imbunatati parti relevante din video 8

⑤ Semantic encoding - Object-based encoding Descompunerea calculata cu ajutorul “semantic video analysis” e folosita impreuna cu un codor “object-based” precum si cu un codor “frame-based” traditional. Metadatele -> codare eficienta a informatiilor relevante + imbunatatirea unor parti low-quality Object-based encoding = codarea individuala a obiectelor video / background simplificat => folosirea de clase de importanta => diferite grade de compresie => decodare in ordinea prioritatii 9

Descompunerea scenei in obiecte semnificante (foreground class vs background class), inainte de codare => ajuta pentru suportul unor conexiuni cu banda mica. Imita felul cum oamenii percep lucrurile, acorda o mai mare importanta lucrurilor in miscare, reducand astfel informatia pentru background -> codare de blocuri a acestuia 10

Obiectele foreground extrase prin “semantic analysis” => descriptori calitativi si permiterea adnotarii video => cautare rapida de segmente video Folosirea de identificatori unici pentru obiecte care descriu locatia acestora in scena (ex: mingea de fotbal) 11

⑥ Concluzii Trei modalitati de transmisie video au fost prezentate si analizate folosind codare standard. - imbunatatiri semnificative in compresia eficienta video in termeni de latime de banda cat si a calitatii vizuale folosind low bitrates -codare eficienta (medatadate) folosind informatii relevante -o combinatie a primelor doua 12

Intrebari 13