Eestikeelne infodialoog arvutiga Mare Koit Tartu likool Arvutiteaduse

Eestikeelne infodialoog arvutiga Mare Koit Tartu Ülikool Arvutiteaduse instituut mare. koit@ut. ee 21. november 2007

Kava • • • Eesmärk Motivatsioon Metoodika Jooksvad tulemused Oodatav lõpptulemus 2

Projekti kestus • (2004 –) 2006 – 2008 3

Motivatsioon • Seoses arvutite levikuga omandab järjest suurema tähtsuse tarkvara, mis vahendab inimese suhtlust arvutiga loomulikus keeles, sh kõne abil. • Inglise jmt keele jaoks kasutatakse arvukalt kõnedialoogsüsteeme automaatsete telefoniteenuste osutamiseks erinevates valdkondades (sh reiside kavandamine, piletite reserveerimine, ülikooliastujate nõustamine). • Eesti keele jaoks selline süsteem seni puudub. 4

Motivatsioon (2) Yorick Wilks 2005 • Dialoogi modelleerimisel palju lahtisi uurimisprobleeme: – dialoogi juhtimine, – dialoogiaktide automaatne tuvastamine. • Paljud dialoogsüsteemid implementeeritud kui lõplikud automaadid puudub paindlikkus ja inimestevahelise dialoogi funktsionaalsus. – Saab kasutada piiratud valdkonnas. • Plaanipõhised dialoogimudelid on adekvaatsed, kuid ressursimahukad. • Dialoogiaktide automaatsel tuvastamisel nii reegli- kui ka andmepõhised meetodid. 5

Projekti eesmärk • Tarkvara väljatöötamine, mis võimaldaks küsimus-vastusdialoogi arvutiga – eesti keeles, – inimestevahelise suhtluse reeglite kohaselt • täpsustavate küsimuste esitamine, • tagasiside, • kultuurispetsiifiline suhtluskäitumine jms. 6

Metoodika • Sellise tarkvara loomiseks vajalik keeleressurss on märgendatud dialoogikorpus. • Kohandatakse ja arendatakse varem loodud dialoogiaktide märgendusskeemi, täiendatakse dialoogiaktide märgendamise tarkvara. • Uuritakse dialoogiaktide automaatse tuvastamise erinevaid meetodeid (otsustuspuud, mis kasutavad dialoogiaktide keelespetsiifilisi morfoloogilisi, süntaktilisi, semantilisi tunnuseid, ka tehisnärvivõrgud, Markovi peitmudelid jmt), et valida eesti keelele sobiv formalism. • Luuakse eestikeelse infodialoogi juhtimise mudel ja koostatakse vastav programm, millega lõimitakse olemasolevad või teiste keeletehnoloogiaprojektide toel loodavad eesti keele automaatse analüüsi ja sünteesi moodulid. 7

Jooksvad tulemused: TÜ Eesti dialoogikorpus 1. Suulised inimestevahelised dialoogid TÜ Eesti suulise keele korpusest. 2. Võlur Ozi meetodil kogutud kirjalikud (simuleeritud) reisiinfodialoogid. 3. Inimese ja arvuti vahelised infodialoogid. Korpuse veebileht: http: //www. cs. ut. ee/~koit/Dialoog/EDi. C. html 8

Jooksvad tulemused (2): Eesti dialoogikorpus Dialoogikorpuse maht seisuga 1. november 2007: • 1061 transkribeeritud suulist dialoogi = 178 000 sõnavormi (60% Eesti suulise keele korpuse tekstidest, 15% sõnade arvust) – 945 telefonikõnet (infotelefon, reisibüroo, bussijaam, polikliinik jmt), – 116 silmast silma vestlust (kaubandus, teenindus, teejuhatamine jmt). • 22 võlur Ozi meetodil kogutud kirjalikku reisidialoogi (Maret Valdisoo). • 50 dialoogi, mis on kogutud kahe veebipõhise küsimusvastussüsteemi Reisiagent ja Teatriagent arendamise käigus (dialoogitöötlusmooduli autor ning kõnemoodulite integreerija mõlemas süsteemis Margus Treumuth). 9

Jooksvad tulemused (3): dialoogikorpuse märgendamine • Suulistes ja võlur Ozi meetodil kogutud dialoogides on märgendatud dialoogiaktid. • TÜ dialoogiaktide tüpoloogia 126 akti (Tiit Hennoste, Andriela Rääbis jt); eeskujuks võetud DAMSL, SWBD-DAMSL (J. Allen, M. Core, USA ) I. Naaberpaariaktid Rituaalid (tervitus, tänamine jne) Teemavahetus Partneri algatatud parandused Kontakti kontroll Direktiivid (soov, ettepanek, pakkumine jne) Küsimused Seisukohavõtud (väide, arvamus jne) 10

Jooksvad tulemused (4): dialoogikorpuse märgendamine II. Üksikaktid Rituaalid (kontakt, kutse jt) Infolisad (täpsustamine, pehmendamine jne) Vabatahtlikud reaktsioonid (jätkaja, vastuvõtuteade jne) Parandused (eneseparandus) Primaarsed üksikaktid (eelteade, lubadus jne) 11

Jooksvad tulemused (5): märgendatud dialoogi näide • Dialoog (in_di_te_502_b 9_info_valm 06. txt) ((502 b 9 infotelefon)) ((ühestas Andriela Rääbis 12. 03. 2006)) ((kutsung)) | RIE: KUTSUNG | V: info´lefon= | RIJ: KUTSUNGI VASTUVÕTMINE | | RY: TUTVUSTUS | Kati=kuleb | RY: TUTVUSTUS | tere | RIE: TERVITUS | H: £ mt=. hh tere. | RIJ: VASTUTERVITUS |. hh vabandage, kas te ´saaksite mulle öelda ´Ekolainsi ´numbrit. £ | KYE: JUTUSTAV KAS | (1. 0) V: * vaatan? * | KYJ: EDASILÜKKAMINE | (2. 5) H: £ ´vist on ´tseega. | IL: TÄPSUSTAMINE | (. ) ´Ekolains. £ | IL: ÜLERÕHUTAMINE | (. . . ) V: Tallin | KYE: VASTUST PAKKUV | | VTE: VASTUSE TINGIMUSTE TÄPSUSTAMINE | H: £ mt=. hh aa, | VR: NEUTRAALNE INFO OSUTAMINE UUEKS | vist jah, ta=on: üle ´Eesti. £ | KYJ: JAH | | VTJ: VASTUSE TINGIMUSTE TÄPSUSTAMIN E| V: kinmata=andmetel ´kuus=üks ´null? | KYJ: INFO ANDMINE | … 12

Jooksvad tulemused (6): dialoogikorpuse märgendustarkvara • Eestikeelsete dialoogide märgendustarkvara (Evely Vutt, Maret Valdisoo). • 2 isikut märgendavad sama dialoogi teineteisest sõltumatult, kolmas ühestab – Märgendajad: Olga Gerassimenko, Riina Kasterpalu, Krista Strandson + üliõpilased. – Ühestaja Andriela Rääbis. Kapa-koefitsient <. 40 halb. 40 -. 59 rahuldav. 60 -. 74 hea >. 74 suurepärane 13

Jooksvad tulemused (7): dialoogikorpuse tööpink • Eesti dialoogikorpuse analüüsimiseks on loodud dialoogikorpuse tööpink (autor Margus Treumuth). • Võimaldab korpusest välja valida alamkorpusi ning valitud alamkorpustes teha analüüse ja päringuid. • Integreeritud ka morfoloogiline analüüs (ESTMORF). • Tööpingi kasutamine ja juurdepääs dialoogikorpusele on paroolipõhine. Dialoogikorpuse tööpink veebis: http: //math. ut. ee/~treumuth/ 14

Jooksvad tulemused (8): dialoogiaktide automaatne tuvastamine • On koostatud tarkvara – dialoogiaktide automaatse tuvastamise raamistik –, mis hõlbustab erinevate masinõppemeetodite testimist (tarkvara autor Mark Fišel). • Lõimitud ka eesti keele morfoloogiline analüsaator ESTMORF. • Raamistiku abil on testitud mõningaid meetodeid (otsustuspuud, tehisnärvivõrgud – mitmekihiline tajur, rekurrentne kihiline tehisnärvivõrk). 15

Jooksvad tulemused (9): dialoogiaktide automaatne tuvastamine • Otsustuspuud (Taavet Kikas) – Täpsus keskmiselt 32, 5% – Koos morfoloogilise analüüsiga 44, 7% – Viga keskmiselt 0, 8 -1, 3% Sh • DIE: SOOV 30, 2 -44% • KYE: AVATUD 28, 7 -67, 9% 16

Jooksvad tulemused (10): dialoogiaktide automaatne tuvastamine • Rekurrentsed võrgud (Mark Fišel) – DIE 27, 4% – KYE 41, 4% – VR 64, 8% 17

Jooksvad tulemused (11): dialoogiaktide poolautomaatne märgendamine • On valminud dialoogiaktide poolautomaatse märgendamise tarkvara algversioon: testimisel parimaks osutunud meetodil leitakse dialoogis igale lausungile automaatselt kuni viis kõige tõenäolisemat dialoogiakti ja seejärel parandab inimene-annoteerija märgendusvead (autor Mark Fišel). • Tarkvara on integreeritud dialoogikorpuse tööpinki. Vt http: //math. ut. ee/~treumuth/ • On selgitatud välja keelelised märguanded tähtsamate infoaktide (direktiivid, küsimused) ja rituaalsete aktide tuvastamiseks eestikeelsetes suulistes dialoogides (TÜ suulise keele rühm). 18

Jooksvad tulemused (12): ajaväljendite automaatne tuvastamine • Eestikeelsete ajaväljendite grammatika ja automaatne tuvastaja (Margus Treumuth). • Dialoogsüsteem Reisiagent (lennukite väljumisajad), autor Margus Treumuth. – Dialoogi juhtimise moodul – lõplik automaat. – Dialoogiaktide automaatne tuvastamine – märguandepõhine (cue-based: sõnad, fraasid). – Lõimitud eesti keele morfoloogiline analüüs, tekstkõnesüntees. – Sedasama metoodikat kasutatud dialoogsüsteemis Teatriagent (projekti juht Einar Meister, osaleb Margus Treumuth). 19

Edasine töö • Dialoogiaktide poolautomaatse märgendamise tarkvara (naiivne Bayes? Lisada lingvistilised reeglid. ) • Ajaväljendite automaatse tuvastaja integreerimine dialoogsüsteemi. • Dialoogiaktide automaatse tuvastaja integreerimine dialoogsüsteemi. • Tagasiside vahendid eestikeelsetes telefonidialoogides, automaatne tuvastamine. • Alamdialoogid (vestluskaaslase algatatud täpsustus, vestluskaaslase algatatud parandus) eestikeelsetes telefonidialoogides, automaatne tuvastamine. 20

Oodatav lõppresultaat • Eestikeelse telefoniteenuste süsteemi prototüüp (reisiinfo +? teatriinfo +? ). – Dialoogi juhtmooduliga lõimitud kõnetuvastus ja kõnesüntees (Einar Meistri, Meelis Mihkla ja Tanel Alumäe juhitavad projektid). 21

Publikatsioone 2007 • Mark Fishel. Complex Taxonomy Dialogue Act Recognition. 11 th Workshop on the Semantics and Pragmatics of Dialogue DECALOG-2007, Trento. • Olga Gerassimenko, Mare Koit, Andriela Rääbis, Krista Strandson. Achieving Goals in Collaboration: Analysis of Estonian Institutional Calls. NODALIDA-2007, Tartu. • Olga Gerassimenko, Riina Kasterpalu, Mare Koit, Andriela Rääbis, Krista Strandson. Recognition of Yes/No Questions: Analysis of the Estonian Dialogue Corpus. Baltic HLT-2007, Kaunas. • Margus Treumuth. A Method for Recognizing Temporal Expressions in Estonian Natural Language Dialogue Systems. NODALIDA-2007, Tartu. 22

Seotud TÜ projektid • Sihtfinantseeritav teema Eesti keele arvutimudelid ja keeleressursid: teoreetilised ja rakenduslikud aspektid 2003 – 2007 (Haldur Õim) • ETF Konversatsiooniagendi modelleerimine 2004 – 2007 (Mare Koit) • KTT Eesti kõnekeele korpuse kogumine ja translitereerimine (2004–) 2006 – 2008 (Tiit Hennoste) 23