Multisensor accelerometerbased gesture recognition Matej Krlik Supervisor Vladimr
Multi-sensor accelerometer-based gesture recognition Matej Králik Supervisor: Vladimír Boža Consultant: Marek Šuppa
Rozpoznávanie giest pomocou viacerých akcelerometrov Matej Králik Školiteľ: Vladimír Boža Konzultant: Marek Šuppa
Ciele práce Zostavenie prototypu rukavice Formálna špecifikácia a záznam datasetu Porovnanie naivných a publikovaných metód Vyvinúť inovatívnu metódu pre viac senzorov
Ciele práce Zostavenie prototypu rukavice Formálna špecifikácia a záznam datasetu Porovnanie naivných a publikovaných metód Vyvinúť inovatívnu metódu pre viac senzorov
Viac senzorov • Nepreskúmané v iných prácach • Väčšia množina giest • Širšie možnosti využitia
Prototyp Attached to glove Sensor 1 Sensor 2 Sensor 3 Sensor 4 Sensor 5 Multiplexer 3. 3 V Voltage stabilizer 4 V - 5 V Raw data Microcontroller Serial port via USB
Prototyp Attached to glove MPU 6050 MPU 6050 TCA 9548 A Raw data 3. 3 V . . 4 V - 5 V ESP 8266 Serial port via USB
Záznam
Dataset • • Datasety v predošlej práci sú často nedostatočné • • Príliš malé Nezreplikovateľné Iba jednoduché gestá
![Dataset Public dataset, Costante et al. [6]](http://slidetodoc.com/presentation_image_h2/5957b63ffa33cb83b8cf6af57002df0d/image-10.jpg "Dataset Public dataset, Costante et al. [6]")
Dataset Public dataset, Costante et al. [6]
![Dataset Toothagaj et al. [1]](http://slidetodoc.com/presentation_image_h2/5957b63ffa33cb83b8cf6af57002df0d/image-11.jpg "Dataset Toothagaj et al. [1]")
Dataset Toothagaj et al. [1]
![Dataset u. Wave, Liu et al. [5]](http://slidetodoc.com/presentation_image_h2/5957b63ffa33cb83b8cf6af57002df0d/image-12.jpg "Dataset u. Wave, Liu et al. [5]")
Dataset u. Wave, Liu et al. [5]
Slovník giest Thumb double tap
Slovník giest Grab Ungrab
Slovník giest Push Page flip
Slovník giest Peace Metal
Kvalita datasetu - Niekoľkominútové záznamové sedenia - Uniformné inštrukcie - Gestá v náhodnom poradí - Vynútená prestávka medzi záznamami
Ukážka záznamu
Spracovanie • Kvantizácia • Extrakcia vlastností • Klasifikácia Rozpoznanie
Spracovanie - Ťažké porovnávanie s predošlou prácou s jedným senzorom u. Wave, Liu et al. [5] (DTW) GESTHAAR, Khan et al. [10] (Haar, SVM)
Baseline
Najbližšie výzvy Rozširovanie datasetu Implementácia netriviálnych známych metód Dynamic time warping Neurónové siete Návrh nových metód
Ďakujem za pozornosť Priestor na otázky
Zdroje Icons are kindly provided by http: //aiconica. net/ https: //www. ritchievink. com/blog/2017/04/23/understandin the-fourier-transform-by-example/
- Slides: 24