MULTIMEDIJALNI SISTEMI Multimedijalne baze podataka Slaana Kiema 452000

MULTIMEDIJALNI SISTEMI Multimedijalne baze podataka Slađana Kičema, 45/2000 Multimedijalni sistemi, Slađana Kičema 45/2000

MULTIMEDIJALNE BAZE PODATAKA n n Da bi se mogle iskoristiti pogodnosti računara za čuvanje podataka nastala je organizacija podataka, nazvana baza podataka. Baza podataka zajedno sa programskim alatima koji je podržavaju, treba da obezbedi: Ø nezavisnost struktura podataka od programa koji ih obrađuju, i programa od struktura podataka (izmjena podataka ne utiče na programe); Ø optimalnost ponavljanja podataka; Ø da obrada podataka nije vezana za programski jezik opšte namene, već za viši “upitni” jezik; Ø korišćenje baze podataka od strane većeg broja korisnika. Multimedijalni sistemi, Slađana Kičema 45/2000 2

MULTIMEDIJALNE BAZE PODATAKA Za efikasan rad sa podacima i održavanje konzistentnog (valjanog) stanja baze koristi se specifičan programski proizvod – sistem za upravljanje bazama podataka (DBMS, Data. Base Management System). “Prave” multimedijalne baze podataka su bitno drugačije od standardnih baza podataka sa multimedijalnim mogućnostima jer ispunjavaju jedinstvene zahtjeve. Iako termin “multimedija” privlači mnogo pažne, to je ustvari samo podklasa velike kategorije neuređenih (unstructured) podataka koji se nazivaju apstraktni podaci (abstract data type), kao npr. otisci prstiju, Xzrake, elektrokardiogrami, slike magnetne rezonance (magnetic resonance imaging - MRI) itd. . Multimedijalni sistemi, Slađana Kičema 45/2000 3

MULTIMEDIJALNE BAZE PODATAKA n Razvoj sistema za upravljanje multimedijalnim bazama podataka –MMDBMS (Multimedia Database Management System) q Prvi talas Ø Ø Oslanjali su se na operativne sisteme, Koristili su se prvenstveno kao skladišta podataka Bili su u mogućnosti da rade sa različitim tipovima podataka i pružali su mehanizme za upite, pronalaženja, unošenje, i dodavanje podataka. PRIMJER: Media. DB, Media. Way, JASMINE, ITASCA i dr. Multimedijalni sistemi, Slađana Kičema 45/2000 4

MULTIMEDIJALNE BAZE PODATAKA q Drugi talas Ø Ø Ø Ø Komercijalni sistemi koji su trebali da omoguće čuvanje kompleksnih tipova objekata za različite vrste medija. Objektno-orijentisan stil je omogućio sredstva za definisanje novih tipova podataka i operatora za nove vrste medija, kao što su video, grafika i audio. MMDBMS su sada postale nadogradive (extensible) Object-Relational DBMS (ORDBMS). PRIMJER: Oracle 9 i i 10 g, IBM DB 2, i Informix. IBM DB 2 Universal Databases Extenders proširuju ORDBMS na upravljanje grafičkim, video, audio i prostornim objektima. Omogućen je i unos i iznos multimedijalnih objekata i njihovih atributa u i iz baze podataka, pristup i kontrola netradicionalnih podataka sa istim nivoem zaštite kao i kod tradicionalnih. DB 2 Image Extender definiše poseban tip podataka DB 2 IMAGE sa pridruženim funkcijama za čuvanje i manipulaciju image fajlovima. Multimedijalni sistemi, Slađana Kičema 45/2000 5

MULTIMEDIJALNE BAZE PODATAKA q sledeći SQL izraz pokazuje kako je slika pohranjena u kolonu pod nazivom image u tabeli example : INSERT INTO example (image) VALUES( DB 2 IMAGE ( CURRENT SERVER, ‘pisa. jpg’, /* source_file */ ‘JPG’, /* source_format */ 1, /* 1=BLOB, 2=file pointer */ ‘my Image File’ /* comment */ ) ) Multimedijalni sistemi, Slađana Kičema 45/2000 6

MULTIMEDIJALNE BAZE PODATAKA q sljedeći SQL izraz pokazuje QBIC (Query Based on Image Content) upit koji poredi svaku sliku sa slikama u koloni na osnovu toga koliko je najčešća boja bliska crvenoj. SELECT CONTENTS(image) QBScore. FROMStr(‘average. Color=<255, 0, 0>’, image)AS SCORE FROM signs ORDER BY SCORE Multimedijalni sistemi, Slađana Kičema 45/2000 7

MULTIMEDIJALNE BAZE PODATAKA q Kao posljedica raznih projekata nastale su eksperimentalne multimedijalne baze podataka: Ø MIRROR (Multimedia Information Retrieval Reducing information Ove. Rload) Multimedijalni sistemi, Slađana Kičema 45/2000 8

MULTIMEDIJALNE BAZE PODATAKA Ø DISMA (Distributed Multimedia DBMS) Multimedijalni sistemi, Slađana Kičema 45/2000 9

MULTIMEDIJALNE BAZE PODATAKA q Treći talas Ø Ø Ø Bave se potrebama aplikacija za većim semantičkim sadržajom. Oslanjaju na MPEG-7 i MPEG-21 standarde. Reprezentativan projekat iz ove grupe je MARS (Multimedia Analysis and Retrieval System) i njihov MPEG-7 Multimedia Data Cartrige (MDC). Obuhvaća integrisane načine za prikupljanje multimedijalnih informacija i sistem za upravljanje bazom podataka koji podržava multimedijalne informacije kao objekte prve klase pogodne za čuvanje i pronalazak na bazi njihovog semantičkog sadržaja. Uključuje koncepcije za modelovanje multimedijalnih podataka, označavanje sadržaja i upravljanje bazom podataka. Multimedijalni sistemi, Slađana Kičema 45/2000 10

MULTIMEDIJALNE BAZE PODATAKA q q q MPEG-7 MDC (Multimedia Data Cartridge) je sistemska ekstenzija Oracle 9 i DBMS koja omogućava multimedijalni upitni jezik, pristup medijima, izvršavanje i optimizaciju upita i označavanje resursa oslanjajući se na šeme nastale iz MPEG-7 standarda. MDC se zasniva na tri elementa: Ø Modelu multimedijalnih podataka, Ø Radnom prostoru za označavanje multimedije (Multimedia Indexing Framework), Ø Unutrašnjim i spoljašnjim bibliotekama. Radni prostor za označavanje multimedijalnog sadržaja (Multimedia Indexing Framework - MIF) omogućava dodavanje novih tipova indeksa bez mjenjanja definicije interfejsa. Multimedijalni sistemi, Slađana Kičema 45/2000 11

MULTIMEDIJALNE BAZE PODATAKA Protok komponenti i informacija kod tipičnih multimedijalnih sistema i baza podataka Multimedijalni sistemi, Slađana Kičema 45/2000 12

MPEG-7 standard Multimedijalni sistemi, Slađana Kičema 45/2000 13

MPEG-7 standard MPEG (Moving Pictures Experts Group) je 2002. godine uvela novi standard za korištenje metapodataka (metadatas). MPEG-7 je standard za opis (description) karakteristika visokog i niskog nivoa multimedijalnog sadržaja. MPEG-7 je formalno nazvan Multimedia Content Description Interface, što znači da to nije standard koji se direktno bavi kodovanjem video ili audio podataka, kao MPEG-1, MPEG-2, MPEG-4. Primjer: Korištenjem mobilnog telefona može se snimiti 10 s pjesme o kojoj želimo više informacija. Koristeći sistem na bazi audio prepoznavanja definisan MPEG-7 audio deskriptorima, mehanizme za pretraživanje i multimedijalne baze podataka, može se putem SMSa dobiti željeni odgovor. Multimedijalni sistemi, Slađana Kičema 45/2000 14

MPEG-7 standard n Namjena mu je da standardizuju: q set deskripcionih šema i deskriptora – Descriptors, q jezik za specifikacije ovih šema - Description Definition Language (DDL), q šeme za kodovanje opisa. Primjer moguće aplikacije uz korištenje MPEG-7 Multimedijalni sistemi, Slađana Kičema 45/2000 15

MPEG-7 standard n MPEG-7 ciljevi su: Ø Ø Ø Omogućavanje brzih i efikasnih metoda za pretraživanje, filtriranje i identifikaciju sadržaja, Definisanje glavnih podataka o sadržaju (karakteristike niskog nivoa, struktura, model, . . . ), Indeksiranje širokog opsega aplikacija, Mogućnost rada sa audiovizuelnim informacijama kao što su: audio, glas, video, slike, grafici, 3 D modeli, . . . Informacije o tome kako su objekti kombinovani na sceni, Nezavisnost između opisa i same informacije. Multimedijalni sistemi, Slađana Kičema 45/2000 16

MPEG-7 standard MPEG-7 koristi sledeće alate: Ø Ø Deskriptor (Descriptor) – Predstavlja karakteristike sintaksno i semantički. Jedan podatak može imati više deskriptora. Multimedijalne deskripcione šeme (Multimedia Description Schemes)– Određuju strukturu i semantiku veza između svojih komponenti. Ove komponente mogu biti deskriptori (D) ili deskripcione šeme (DS). Opisni jezik (Description Definition Language-DDL) – Bazira se na XML -u (Extensible Markup Language) da bi definisao veze između deskriptora. Omogućava kreaciju i modifikaciju deskripcionih šema, kao i kreaciju novih deskriptora. Sistemske alate (System Tools) – Vrše binarizaciju, sinhronizaciju, transport i pohranjivanje deskriptora. Multimedijalni sistemi, Slađana Kičema 45/2000 17

MPEG-7 standard MPEG-7 informacije o sadržaju mogu da sadrže: Ø Ø Ø Ø Ø Informacije koje opisuju proces kreacije sadržaja (režiser, naziv filma, kratak sadržaj). Informacije o upotrebi sadržaja (zaštitni markeri, istorija upotrebe, vrijeme emitovanja). Informacije o skladištenju (format, način kodovanja). Strukturalne informacije o vremenskim, prostornim i vremenskoprostornim komponentama sadržaja (presjek između scena). Informacije o karakteristikama niskog nivoa (boje, tekstura, opis melodije). Konceptulane informacije o stvarima koje su zabilježene u sadržaju (objekti i događaji, interkcija između objekata). Informacije o najefikasnijem pronalasku sadržaja (kratki sadržaji, varijacije, prostorna i frekvencijska ograničenja). Informacije o grupama objekata. Informacije o interakciji korisnika sa sadržajem (zabilješke korisnika, istorija pretraživanja) Multimedijalni sistemi, Slađana Kičema 45/2000 18

MPEG-7 standard Nudi širok spektar audovizuelnih alata za opisivanje-DL (Deskriptor Tools), tj. za kreiranje opisa kojima se formiraju osnove za brz i efikasan pristup multimedijalnom sadržaju od strane raznih aplikacija. Moguće je napraviti MPEG-7 opis analognog filma ili slike odštampane na papiru, na isti način kao i digitalnog sadržaja. Razlikuju se dva načina pretraživanja: Ø na bazi sadržaja (content aware), Ø na bazi opisa (content unaware). Cijeli sistem za pretraživanje zahtjeva prethodnu obradu podataka sa izvlačenjem podataka i komponenti za pohranjivanje, koji čine implicite informacije eksplicitno pohranjene u prostoru za informacije. Prije nego što je korisnik u mogućnosti da koristi radni okvir za pretraživanje neophodno je bazu podataka «napuniti» odgovarajućim MPEG-7 metapodacima. Podaci iz medija mogu biti izvučeni automatski ili ručno. Multimedijalni sistemi, Slađana Kičema 45/2000 19

MPEG-7 standard n Tri vrste metapodataka su sadržane u MPEG-7 dokumentu: Ø Ø Ø opšti metapodaci (npr. komentari teksta, trajanje snimka, . . . ) – mogu biti traženi preko konvencionalnih upita. metapodaci niskog nivoa (npr. histogram, . . . ) – potrebni su za specifična poređenja i algoritme za pretraživanja. semantički opisi (npr. agenti, događaji, veze, . . . ) – pohranjeni su u kataloge semantičkih metaobjekata. Pretraživanje i pronalazak multimedijalnih podataka je u potpunosti odvojen od samih multimedijalnih baza podataka, u skladu sa principima modularnosti. Tradicionalne baze podataka su efikasne u pohranjivanju i operisanju sa alfanumeričkim podacima dok se u multimedijlanim bazama podataka govori o «sličnim» podacima. Kompleksnost opisnih šema često čini da je teško odlučiti koje semantičke opise koristiti ili dodati. Međutim standardizacijom opisnog jezika omogućeno je lakši prenos i filtriranje sa dostupnim XML tehnologijama. Multimedijalni sistemi, Slađana Kičema 45/2000 20

MPEG-21 standard Multimedijalni sistemi, Slađana Kičema 45/2000 21

MPEG-21 standard n n MPEG-21 standard ima za cilj da definiše normativna akta za otvoreni radni prostor (open framework) za prenos i korištenje multimedijalnih sadržaja od strane svih učesnika u lancu prenosa i upotrebe. MPEG-21 se bazira na dva osnovna koncepta: Ø Ø definiciji osnovne jedinice za distribuciju i prenos, digitalni predmet (Digital Item), načinima na koje korisnici mogu raditi sa digitalnim predmetima. Digitalni predmeti se mogu posmatrati kao «šta» u multimedijalnom radnom prostoru (npr. video kolekcija, muzički album, . . ), a korisnici kao «ko» u istom prostoru. MPEG-21 standard se može definisati kao: definisanje tehnologije potrebne da podrži korisnike da razmjenjuju, pristupaju, koriste, mjenjaju i na druge načine manipulišu digitalnim predmetima na efikasan, transparentan i kooperativan način. Korisnik je bilo koji entitet iz MPEG-21 okruženja koji vrši interakciju u tom okruženju ili koristi digitalni predmet. Multimedijalni sistemi, Slađana Kičema 45/2000 22

MPEG-21 standard Ø Ø Ø PRIMJER: Uzimamo da je jedna “web page” kao digitalni predmet. Tipična web stranica se obično sastoji od HTML dokumenta sa ugrađenim linkovima na. JPG, . GIF i dr. fajlove. U ovom jednostavnom primjeru digitalni predmet čini sam HTML dokument uz sve ostale resurse na koje se oslanja. Sada modifikujemo primjer tako da pretpostavljamo da web stranica sadrži neke tipičnu logiku (npr. Java. Script itd. ) za izbor jezika (između unaprijed određenog seta jezika) na kojem će stranica biti prikazana i omogući ovaj vid prikaza ili prikaže default stranicu ukoliko jezik nije dostupan. U ovakvom modifikovanom primjeru sada se javlja kao ključni događaj prisustvo logike za jezik koja otežava definisanje digitalnog predmeta i šta ga čini. Postoje dvije mogućnosti: da se stranica za svaki jezik posmatra kao poseban digitalni predmet, ili da se stranica posmatra kao jedinstven digitalni predmet sa odgovarajućom jezičkom logikom. Druga mogućnost ne daje jasno određenje resursa koji prate ovakav digitalni predmet. Ovom problemu je posvećena pažnja u Deklaraciji digitalnog predmeta (Digital Item Declaration-DID). DID je dokument koji specificira izgled, strukturu i organizaciju digitalnog predmeta. Drugi dio MPEG-21 standarda sadrži DID specifikacije. Multimedijalni sistemi, Slađana Kičema 45/2000 23

MPEG-21 standard n n Ø Ø Ø Ø Ø Javlja se potreba za postavljanjem moćnog i fleksibilnog modela za digitalne predmete koji može da obuhvati različite formate koje sadržaj može da poprimi, kao i formate koji mogu da se pojave u budućnosti. Započeto je sa standardizacijom u devet oblasti multimedijalnog radnog prostora: 1. dio (Tehnical Report)-Vision, Technologies and Strategies 2. dio (Digital Item Declaration-DID) 3. dio (Digital Item Identification-DII) 4. dio (Intellectual Property Management and Protection -IPMP) 5. dio (Rights Expression Language-REL) 6. dio (Rights Data Dictionary) 7. dio (Digital Item Adaptation) 8. dio (Reference Software) 9. dio (File Format) Multimedijalni sistemi, Slađana Kičema 45/2000 24

MPEG-21 standard UMA Media base – Upravljanje metapodacima koristeći Oracle Database System Multimedijalni sistemi, Slađana Kičema 45/2000 25

UMA Media base n n n Metapodaci multimedijalnih resursa (izvora) mogu organizovati kroz kolekciju različitih tehnologija formirajući UMA (Universal Multimedia Access) bazu multimedijalnih podataka. Informacije se razmjenjuju upakovane u vidu digitalnih predmeta (digital items), koristeći MPEG-21 Digital Item Adaption kao načina za ostvarivanje UMA. Multimedijalna baza podataka u navedenom slučaju koristi sledeće alate: Ø Ø XML, Oracle 9 i DBMS, JDBC, Quick. Time for Java. Multimedijalni sistemi, Slađana Kičema 45/2000 26

Multimedijalna baza integrisana u MPEG-21 sistem Multimedijalni sistemi, Slađana Kičema 45/2000 27

PRIMJER: Aplikacija ilustruje kako MPEG-21 radno okruženje zajedno sa bazom može da se iskoristi za pronalazak i preslušavanje muzičkih videa. Multimedijalni sistemi, Slađana Kičema 45/2000 28