KINECT SZENZOR INTELLIGENS TEREKBEN Ksztette Konzulens Plfalvi Jzsef
KINECT© SZENZOR INTELLIGENS TEREKBEN Készítette: Konzulens: Pálfalvi József Dr. Dobrowiecki Tadeusz BME VIK Intelligens Rendszerek MSc szakirány BME MIT
MI IS A „KINECT”? RGB kamera • eredetileg az XBOX 360 kiegészítője • vezérlés csak testmozdulatokkal (közvetlen hardveres periféria nélkül) 3 D mélység érzékelő: IR projektor és IR szenzor • emberi alakok felismerése, követése a 3 D térben, és „szkeleton” illesztése • kézmozdulatok azonosítása • megvilágítás független működés • realtime (30 FPS) működés
MŰKÖDÉS Mélységtérkép készítése: IR projektor pszeudorandom mintázatot vetít ki IR kamera érzékeli kalibrációs adatok segítségével mélységtérkép készítése: pontok (frelületek) távolsága a szenzortól (Z tengely) • korlátos távolságban és látószöggel működik • maga a hardver „ennyit tud”
A BENNE REJLŐ POTENCIÁL • alak felismerés és követés nem új keletű téma • 2 D RGB kép alapján 3 D alakfelismerés és követés nehéz feladat (illposed problem) • Motion. Capture technológia: markerek, kalibrált stúdiók KINECT: • 2 D RGB kép + 3 D mélységkép (2+1 dimenzió) • kompakt • + köré épülő technológia
A KÖRÉ ÉPÜLŐ TECHNOLÓGIA 1. • Open. NI (Natural Interaction): cél az ember-gép interakció megváltoztatása • szabványos API-k a KINECT-hez hasonló eszközök integrálására (hardware) • magasabb szintű felismerő algoritmusok használata (middleware) a felhasználói programokban (alacsonyszintű adatfeldolgozás eltakarása) • támogatott funkciók: • kézfej követés • gesztus értelmezés • teljes alak felismerés • színtér elemzés
A KÖRÉ ÉPÜLŐ TECHNOLÓGIA 2. • NITE: Natural Interacion Technology for End-user • alacsony szintű adatok (pl. pixel adatok, 3 D mélységadatok) helyett magasabb szintű reprezentációt tesz lehetővé: • kézfej pozíció • teljes alak (szkeleton) pozíció • háttérben: algoritmusok, melyek a nyers adatokat feldolgozva nyeri ki az „érdekes adatokat” • C, C++, C# támogatás (Java? ) • kombinálható az Open. CV-vel (C++)
FELHASZNÁLÁSI LEHETŐSÉGEK 1. • KINECT+Open. NI+NITE nyújtotta lehetőségek kihasználása • Robotvezérlés (teleoperation, autonóm) • Augmented Realty (kiterjesztett valóság): • szórakoztatóipar • interaktív online áruház • 3 D rajzoló programok • AAL (Ambient Assisted Living), ADL(Activities of Daily Living): • rossz szokások megfigyelése • elesés detektálás • rehabilitációs program
FELHASZNÁLÁSI LEHETŐSÉGEK 2. • Intelligens szoba: • környezet érzékel és rátanul az emberre • gesztusok felismerése (közvetlen vezérlés) • automatikus felismerés (testpozíciók, mozdulatsorok felismerése) • Biztonságtechnika: RGB kamera (arcfelismerés) + alakfelismerés, mozgásfelismerés biometria • Gesztuskód: testtel végzet egyedi mozgáskombináció
KONKLÚZIÓ, KITEKINTÉS • Szenzor és a mögöttes technológia megismerése • Létező megoldások megismerése (alakfelismerés, KINECT) • Felhasználási lehetőségek feltérképezése • Hasznos és innovatív megoldás kidolgozása valamely felhasználási lehetőségre • Szenzor képességeinek megismerése a célfeladat tükrében
KÖSZÖNÖM A FIGYELMET!
- Slides: 10