Multisensor accelerometerbased gesture recognition Matej Krlik Supervisor Vladimr

Multi-sensor accelerometer-based gesture recognition Matej Králik Supervisor: Vladimír Boža Consultant: Marek Šuppa

Rozpoznávanie giest pomocou viacerých akcelerometrov Matej Králik Školiteľ: Vladimír Boža Konzultant: Marek Šuppa

Ciele práce Zostavenie prototypu rukavice Formálna špecifikácia a záznam datasetu Porovnanie naivných a publikovaných metód Vyvinúť inovatívnu metódu pre viac senzorov

Ciele práce Zostavenie prototypu rukavice Formálna špecifikácia a záznam datasetu Porovnanie naivných a publikovaných metód Vyvinúť inovatívnu metódu pre viac senzorov

Viac senzorov • Nepreskúmané v iných prácach • Väčšia množina giest • Širšie možnosti využitia

Prototyp Attached to glove Sensor 1 Sensor 2 Sensor 3 Sensor 4 Sensor 5 Multiplexer 3. 3 V Voltage stabilizer 4 V - 5 V Raw data Microcontroller Serial port via USB

Prototyp Attached to glove MPU 6050 MPU 6050 TCA 9548 A Raw data 3. 3 V . . 4 V - 5 V ESP 8266 Serial port via USB

Záznam

Dataset • • Datasety v predošlej práci sú často nedostatočné • • Príliš malé Nezreplikovateľné Iba jednoduché gestá

Dataset Public dataset, Costante et al. [6]

Dataset Toothagaj et al. [1]

Dataset u. Wave, Liu et al. [5]

Slovník giest Thumb double tap

Slovník giest Grab Ungrab

Slovník giest Push Page flip

Slovník giest Peace Metal

Kvalita datasetu - Niekoľkominútové záznamové sedenia - Uniformné inštrukcie - Gestá v náhodnom poradí - Vynútená prestávka medzi záznamami

Ukážka záznamu

Spracovanie • Kvantizácia • Extrakcia vlastností • Klasifikácia Rozpoznanie

Spracovanie - Ťažké porovnávanie s predošlou prácou s jedným senzorom u. Wave, Liu et al. [5] (DTW) GESTHAAR, Khan et al. [10] (Haar, SVM)

Baseline

Najbližšie výzvy Rozširovanie datasetu Implementácia netriviálnych známych metód Dynamic time warping Neurónové siete Návrh nových metód

Ďakujem za pozornosť Priestor na otázky

Zdroje Icons are kindly provided by http: //aiconica. net/ https: //www. ritchievink. com/blog/2017/04/23/understandin the-fourier-transform-by-example/