Beszddetektor algoritmus felhasznlsa taktilis kijelzbe Dzsi Istvn Andrs

Beszéddetektor algoritmus felhasználása taktilis kijelzőbe Dézsi István András 2021. 02. 21. PPKE-ITK 1

Tartalom Projekt és célok n Előzmények n Beszéddetekció n Algoritmusok n MCME n Kísérletek n Teszteredmények n Fejlesztés n Összefoglalás n 2021. 02. 21. PPKE-ITK 2

Projekt és célok n Hiányzó érzékek, kiesett kommunikációs csatornák n Pótlás segédeszközökkel n Hallás - tapintás n Taktilis kijelző n Hatékonyabb működés n Csak a lényeges információ közvetítése 2021. 02. 21. PPKE-ITK 3

Előzmények n n n Mintarendszer Kijelző + demoboard Vezérlő egység USB protokoll PC – mikrokontroller kapcsolat 2021. 02. 21. PPKE-ITK 4

Előzmények n Sok zavaró külső hang n Gépek, járművek zaja n Csak a beszéd maradjon n Küszöbértékkel nem megoldható 2021. 02. 21. PPKE-ITK 5

Beszéddetekció n Gazdaságosság, energiafelhasználás csökkentése n Vezérlő egységbe integrálás n Ha van beszéd zöngés, frikatív hangok érzékelése, tüskék rezegtetése n Elfogadható teljesítmény n Gyors, megbízható, kis számításigényű 2021. 02. 21. PPKE-ITK 6

Algoritmusok n Megbízhatóság vs. gyorsaság n A robosztus algoritmusok általában nem használhatóak fel valósidejű alkalmazásban n Folyamatos feldolgozás nagy számításigény lassú 2021. 02. 21. PPKE-ITK 7

Algoritmusok n Lineáris prediktív kódolás – Telekommunikációban használt módszer – Alkalmas beszéddetektálásra is – Zajtűrő – Implementációs nehézségek 2021. 02. 21. PPKE-ITK 8

Algoritmusok n Konvoluciós hálózat – Jellemzők kiemelése és osztályozás egyetlen neurális hálózatban – Jól alkalmazható új környezetben – Nincs hardver támogatás 2021. 02. 21. PPKE-ITK 9

Algoritmusok n Gyors n Megbízható n Kis számításigényű n Robosztus n Megvalósítható a célhardverben n Mel-cepstrum modulációs energia 2021. 02. 21. PPKE-ITK 10

MCME n Mel-cepstrum modulációs energia n Beszéd-zene megkülönböztetés n A beszéd modulációs frekvencia válasza 8 Hz-en a legmagasabb n A cepstrum együtthatók nem korreláltak 2021. 02. 21. PPKE-ITK 11

Mel-cepstrum modulációs spektrum n C: n-dik keret valós cepstruma n l: cepstrum frekvencia index n q: DFT frekvencia index n 2021. 02. 21. PPKE-ITK 12

Mel-cepstrum modulációs energia n E: n-dik keret négyzetösszege n 2021. 02. 21. PPKE-ITK 13

Tesztek n n n n . wav hangfelvételek Mintavételezési frekvencia: 8, 16, és 22 k. Hz Bit felbontás: 8 és 16 bit Keretméret: 128 és 256 Beszéd Zene – furulya, zongora, gitár Zaj, pl. autó, metró Beszéd és zene, beszéd és zaj 2021. 02. 21. PPKE-ITK 14

Beszéd 8 bit 16 bit 128 256 2021. 02. 21. PPKE-ITK 15

Zene Furulya Zongora Gitár 2021. 02. 21. PPKE-ITK 16

Zaj 2021. 02. 21. PPKE-ITK 17

Beszéd és zene Beszéd és furulya Beszéd és zongora Beszéd és gitár 2021. 02. 21. PPKE-ITK 18

Beszéd és zaj 2021. 02. 21. PPKE-ITK 19

Az új hardver Kisebb n Egyszerűbb n Önálló rendszer n A kísérletek elvégzésére alkalmas n 2021. 02. 21. PPKE-ITK 20

Fejlesztés az új hardveren n n Microchip PIC 18 F 2550 Program memória: 16384 byte Adat memória: 2048 byte Fixpontos számábrázolás 2021. 02. 21. PPKE-ITK 21

2021. 02. 21. PPKE-ITK 22

Sin() Eredeti Módosított Cos() Eredeti 2021. 02. 21. Módosított PPKE-ITK 23

Összefoglalás n n n Az MCME alkalmas megkülönböztető jellemző a beszéddetektálásra Méret-, gyorsaság- és fogyasztásbeli igényeknek megfelel Egyszerűsítésre van szükség a mikrokontrolleres implementálás érdekében Mérések az integrált beszéddetektor funkción Továbbfejlesztés: – – 2021. 02. 21. Jel-energia detektor Mobiltelefon PPKE-ITK 24