Kpfeldolgozsi rdekessgek MPEG 4 alap fejmodellek Srancsik Blint

Képfeldolgozási érdekességek, MPEG -4 alapú fejmodellek Srancsik Bálint, Tihanyi Attila Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a. 2006. június 28.

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Szájmozgást előállító rendszer Akusztikus lényegkiemelés Ellenőrzés MFCC NN PCA -1 MPEG-4 alapú mozgó száj megjelenítés w 1 … w 6 főkomponens súlytényezők FP tartópont koordináták Eredmények

Péter Pázmány Catholic University, Department of Information Technology Arcanimáció (FA) – informatikai megközelítés Kutató MPEG-4 Művész

Péter Pázmány Catholic University, Department of Information Technology Kódolás, dekódolás Kódoló ? Dekódoló Adat formátum ? Az MPEG-4 FA-ban nincs szabványosítva a kódoló és a dekódoló

Péter Pázmány Catholic University, Department of Information Technology Paraméterezés

Péter Pázmány Catholic University, Department of Information Technology Kódolás-dekódolás szerkezete FDP – Face Definition Parameter FP – Feature Point FAP – Facial Animation Parameter FAPU – Facial Animation Parameter Unit (FAT – Face Animation Tables)

Péter Pázmány Catholic University, Department of Information Technology Arckifejezések MPEG-4 -es megvalósítása Az első csoportba tartozó két FAP magas szintű paraméter -> előre definiált komplexebb mozgásokat lehet végrehajtani velük. Számítógépes modell - Neme (fiú, lány) Kora Érzelmi állapota

Péter Pázmány Catholic University, Department of Information Technology Vizuális adatbázis létrehozása

Péter Pázmány Catholic University, Department of Information Technology FP meghatározás Erózió Dilatáció Invertálás Döntéshozás Lényegkiemelés Eredeti

Péter Pázmány Catholic University, Department of Information Technology Referencia alkalmazása

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Szájmozgást előállító rendszer Akusztikus lényegkiemelés Ellenőrzés MFCC NN PCA -1 MPEG-4 alapú mozgó száj megjelenítés w 1 … w 6 főkomponens súlytényezők FP tartópont koordináták Eredmények

Péter Pázmány Catholic University, Department of Information Technology Lucia -Bőr (15736) -Haj (4608) -Szemek (5376) -Fogak (1033) -Nyelv (236) -Torok (318)

Péter Pázmány Catholic University, Department of Information Technology Animáció megvalósítás n n n Tartópont mozgatás Tartópontok egymásra hatása Száj körül a bőrfelült részekre osztásával valósítható meg a mozgatás

Péter Pázmány Catholic University, Department of Information Technology Tartópontok egymásra hatása Közeli pontok hatóköre összeér Álkapocs forgáspont rögzítése szükséges Álcsúcs mozgatásának a hatóköre nagy!

Péter Pázmány Catholic University, Department of Information Technology Műveletek MPEG-4 adatokkal Érzelmet, szájállást megjelenítő fej Alapállású fej Érzelmet, szájállást megjelenítő fej n A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei

Péter Pázmány Catholic University, Department of Information Technology Animáció meggyorsítása n n A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei Előre legkésőbb a modell betöltésekor meghatározhatók az FDP-k által mozgatott hálópontok Modellt alkotó háló pontjainak válogatása, sorba állítása elmozdulás mértéke szerint Rendelkezésre álló gép kapacitásnak azonnali automatikus skálázása valósítható meg.

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Szájmozgást előállító rendszer Akusztikus lényegkiemelés Ellenőrzés MFCC NN PCA -1 MPEG-2 alapú mozgó száj megjelenítés w 1 … w 6 főkomponens súlytényezők FP tartópont koordináták Eredmények

Péter Pázmány Catholic University, Department of Information Technology Teszt eredmények Ellenőrzés Eredmény Markerekkel vezérelve Hanggal vezérelve

Péter Pázmány Catholic University, Department of Information Technology Teszt eredmények n n n A: Video felvételek B: LUCIA FP koordinátákkal vezérelve C: LUCIA hanggal vezérelve

Péter Pázmány Catholic University, Department of Information Technology Továbblépések Előfeldolgozás Adatbázis Szájmozgást előállító rendszer

Péter Pázmány Catholic University, Department of Information Technology Modellek

Péter Pázmány Catholic University, Department of Information Technology Videó előfeldolgozás Audio előfeldolgozás Szinkronizált Audio-vizuális adatbázis Szájmozgást előállító rendszer Bemutató következik Akusztikus lényegkiemelés MFCC NN PCA -1 MPEG-4 alapú mozgó száj megjelenítés w 1 … w 6 főkomponens súlytényezők FP tartópont koordináták Eredmények Ellenőrzés