Beszddetektor algoritmus felhasznlsa taktilis kijelzbe Dzsi Istvn Andrs
Beszéddetektor algoritmus felhasználása taktilis kijelzőbe Dézsi István András 2021. 02. 21. PPKE-ITK 1
Tartalom Projekt és célok n Előzmények n Beszéddetekció n Algoritmusok n MCME n Kísérletek n Teszteredmények n Fejlesztés n Összefoglalás n 2021. 02. 21. PPKE-ITK 2
Projekt és célok n Hiányzó érzékek, kiesett kommunikációs csatornák n Pótlás segédeszközökkel n Hallás - tapintás n Taktilis kijelző n Hatékonyabb működés n Csak a lényeges információ közvetítése 2021. 02. 21. PPKE-ITK 3
Előzmények n n n Mintarendszer Kijelző + demoboard Vezérlő egység USB protokoll PC – mikrokontroller kapcsolat 2021. 02. 21. PPKE-ITK 4
Előzmények n Sok zavaró külső hang n Gépek, járművek zaja n Csak a beszéd maradjon n Küszöbértékkel nem megoldható 2021. 02. 21. PPKE-ITK 5
Beszéddetekció n Gazdaságosság, energiafelhasználás csökkentése n Vezérlő egységbe integrálás n Ha van beszéd zöngés, frikatív hangok érzékelése, tüskék rezegtetése n Elfogadható teljesítmény n Gyors, megbízható, kis számításigényű 2021. 02. 21. PPKE-ITK 6
Algoritmusok n Megbízhatóság vs. gyorsaság n A robosztus algoritmusok általában nem használhatóak fel valósidejű alkalmazásban n Folyamatos feldolgozás nagy számításigény lassú 2021. 02. 21. PPKE-ITK 7
Algoritmusok n Lineáris prediktív kódolás – Telekommunikációban használt módszer – Alkalmas beszéddetektálásra is – Zajtűrő – Implementációs nehézségek 2021. 02. 21. PPKE-ITK 8
Algoritmusok n Konvoluciós hálózat – Jellemzők kiemelése és osztályozás egyetlen neurális hálózatban – Jól alkalmazható új környezetben – Nincs hardver támogatás 2021. 02. 21. PPKE-ITK 9
Algoritmusok n Gyors n Megbízható n Kis számításigényű n Robosztus n Megvalósítható a célhardverben n Mel-cepstrum modulációs energia 2021. 02. 21. PPKE-ITK 10
MCME n Mel-cepstrum modulációs energia n Beszéd-zene megkülönböztetés n A beszéd modulációs frekvencia válasza 8 Hz-en a legmagasabb n A cepstrum együtthatók nem korreláltak 2021. 02. 21. PPKE-ITK 11
Mel-cepstrum modulációs spektrum n C: n-dik keret valós cepstruma n l: cepstrum frekvencia index n q: DFT frekvencia index n 2021. 02. 21. PPKE-ITK 12
Mel-cepstrum modulációs energia n E: n-dik keret négyzetösszege n 2021. 02. 21. PPKE-ITK 13
Tesztek n n n n . wav hangfelvételek Mintavételezési frekvencia: 8, 16, és 22 k. Hz Bit felbontás: 8 és 16 bit Keretméret: 128 és 256 Beszéd Zene – furulya, zongora, gitár Zaj, pl. autó, metró Beszéd és zene, beszéd és zaj 2021. 02. 21. PPKE-ITK 14
Beszéd 8 bit 16 bit 128 256 2021. 02. 21. PPKE-ITK 15
Zene Furulya Zongora Gitár 2021. 02. 21. PPKE-ITK 16
Zaj 2021. 02. 21. PPKE-ITK 17
Beszéd és zene Beszéd és furulya Beszéd és zongora Beszéd és gitár 2021. 02. 21. PPKE-ITK 18
Beszéd és zaj 2021. 02. 21. PPKE-ITK 19
Az új hardver Kisebb n Egyszerűbb n Önálló rendszer n A kísérletek elvégzésére alkalmas n 2021. 02. 21. PPKE-ITK 20
Fejlesztés az új hardveren n n Microchip PIC 18 F 2550 Program memória: 16384 byte Adat memória: 2048 byte Fixpontos számábrázolás 2021. 02. 21. PPKE-ITK 21
2021. 02. 21. PPKE-ITK 22
Sin() Eredeti Módosított Cos() Eredeti 2021. 02. 21. Módosított PPKE-ITK 23
Összefoglalás n n n Az MCME alkalmas megkülönböztető jellemző a beszéddetektálásra Méret-, gyorsaság- és fogyasztásbeli igényeknek megfelel Egyszerűsítésre van szükség a mikrokontrolleres implementálás érdekében Mérések az integrált beszéddetektor funkción Továbbfejlesztés: – – 2021. 02. 21. Jel-energia detektor Mobiltelefon PPKE-ITK 24
- Slides: 24