Lplikel automaatidel phinev arvutimorfoloogia Heli Uibo T arvutiteaduse

Lõplikel automaatidel põhinev arvutimorfoloogia Heli Uibo TÜ arvutiteaduse instituut e-mail: heli_u@ut. ee

Ettekanne põhineb raamatul: Kenneth Beesley, Lauri Karttunen “Finite-State Mophology: Xerox Techniques and Tools” http: //www. cis. upenn. edu/~cis 639/docs/book. ps ja artiklil: Lauri Karttunen “Applications of Finite-State Transducers in Natural-Language Processing” Proceedings of CIAA-2000. Lecture Notes in Computer Science. Springer Verlag. http: //www. xrce. xerox. com/Publications/Attachment s/2000 -302/fst-in-nlp. pdf

Ülevaade • • • Arvutimorfoloogia - mis ja milleks? Lõplik automaat ja lõplik transduktor Ajaloost Teoreetilised alused Kuidas kirjeldada kogu morfoloogiline süsteem lõplike transduktorite abil? • Olemasolev tarkvara • Rakendus: Eesti keele kahetasemeline morfoloogia

Arvutimorfoloogia - mis ja milleks? Loomuliku keele töötluse (NLP) moodulid: Morfoloogia Süntaks analüüs genereerimine Semantika

Arvutimorfoloogia - mis ja milleks? (2) Sõnavormid Morfoloogiline analüsaator/generaator Morfoloogilised tõlgendused

Näiteid morfoloogilisest analüüsist Inglise k. : wrote write+V+Past. Ind Saksa k. : schrieb schreiben+V+Ipt+Sg Rootsi k. : skrev skriva+V+Ipt Soome k. : kirjoitin kirjoittaa+V+Ind+Ipt+Sg 1 “I wrote” Eesti k. : kirjutasin kirjutama+V+Ind+Ipt+Sg 1

Arvutimorfoloogia rakendusi • • õigekirjakontroll infootsimine info ekstraheerimine masintõlge kõnetehnoloogia rakendused leksikograafi töövahendid jne.

Lõplikel automaatidel põhinev arvutimorfoloogia: Ajaloost “English is not a finite state language. ” (Chomsky “Syntactic structures” 1957) Chomsky hierarhia: Turing machine Context-Context. Finite- free sensitive state

Ajaloost (2) Üritati rakendada võimsamaid formalisme: süntaksis fraasistruktuurigrammatikaid (nt. HPSG), morfoloogias ümberkirjutusreegleid (rewrite rules) AGA: Praktiliselt kasutatavate grammatikate kirjutamine osutus väga keeruliseks.

Ajaloost (3) - 25 a. tagasi ei olnud üldist, keelest sõltumatut meetodit morfoloogiliseks analüüsiks ja sünteesiks. - Olemasolevad morfoloogilise analüüsi programmid ei olnud ümberpööratavad sõnavormide genereerimiseks algvormist ja morfoloogilisest infost.

Ajaloost (4) • Chomsky, Halle (1968) generatiivne fonoloogia kasutas morf. sünteesiks kontekstitundlike ümberkirjutusreeglite järjestikust rakendamist, et teisendada abstraktne fonoloogiline esitus pindesituseks (sõnavormiks) läbi vahepealsete esituste. • Reeglite üldkuju: x y / z _ w, kus x, y, z, w on suvalise keerukusega tunnusstruktuurid.

Teoreetilised alused Lõplike automaatide ja transduktorite kasutatavus arvutimorfoloogias põhineb järgmistel tulemustel: • D. Johnson, 1972: Fonoloogilised ümberkirjutusreeglid ei ole sisuliselt kontekstitundlikud, vaid neid saab kirjeldada lõplike transduktoritena (finite-state transducer). • Schützenberger, 1961: Kui kaks lõplikku transduktorit rakendada järjestikku, siis leidub üks lõplik transduktor, mis on nende kahe lõpliku transduktori kompositsioon.

Teoreetilised alused (2) Kompositsiooni üldistus n transduktorile: saame läbi ilma vaheesitusteta – süvaesitus teisendatakse pindesituseks üheainsa lõpliku transduktori abil! 1980 - tulemus taasavastati Kaplani ja Kay poolt (Xerox PARC)

Teoreetilised alused (3) Süvaesitus Reegel 1 Reegel 2 ………. . Reegeln Pindesitus ”Üks suur reegel” = lõplik transduktor (finite-state transducer e. FST) Pindesitus

Teoreetilised alused (4) • Lõplikel transduktoritel põhineva arvutimorfoloogia põhiväide: Seos keele sõnavormide ja nende algvormide e. lemmade vahel on kirjeldatav regulaarse relatsioonina.

Teoreetilised alused (5) • Regulaarse relatsiooni saab kirja panna regulaaravaldisena. • Regulaaravaldise saab kompileerida lõplikuks transduktoriks (FST), mis realiseerib selle relatsiooni arvutuslikult. • Transduktoris seab mistahes tee algolekust lõppolekusse omavahel vastavusse mingi sõnavormi (surface form) ja tema lemma+ morfoloogilise info (lexical form).

Näide: tee transduktoris Sõnastikuesitus: t u B t u Pindesitus: b a +S 0 +Pl 0 +El a 0 d e s t Kompaktsemalt: t u B: b a +S: 0 0: d +Pl: e 0: s +El: t

Kuidas kirjeldada kogu morfoloogiline süsteem lõplike transduktorite abil? Morfoloogias tuleb modelleerida kaks põhilist protsessi: 1. Morfotaktika (kuidas kombineeritakse morfeemidest sõnavormid) - prefiksid ja sufiksid, liitsõnamoodustus konkatenatsioon - reduplikatsioon, infiksatsioon, interdigitatsioon - mittekonkatenatiivsed protsessid

Kuidas kirjeldada kogu morfoloogiline süsteem lõplike transduktorite abil? (2) 2. Fonoloogilised/ortograafilised alternatsioonid - assimilatsioon (hind : hinna) - lisandumine (jooksma : jooksev) - kadu (number : numbri) - geminatsioon (tuba : tuppa) Kõik loetletud morfoloogilised fenomenid on kirjeldatavad regulaaravaldiste abil.

Kuidas kirjeldada kogu morfoloogiline süsteem lõplike transduktorite abil? (3) Aga kuidas? Regulaaravaldistes kasutatavad operatsioonid: ühend A | B (nt. Erinevad kontekstid, milles sümbolipaar võib esineda) konkatenatsioon A B (väga produktiivne aglutineerivate keelte puhul - liidete, lõppude, prefiksite lisamine, liitsõnamoodustus) iteratsioon A+ ja Kleene’i tärn A* (reeglid tüüpi “kui sõnas kusagil eespool esineb x, siis…”)

Kuidas kirjeldada kogu morfoloogiline süsteem? (4) Veel operatsioone regulaarsete relatsioonidega: • otsekorrutis A. x. B (teine tähistus a: b) • kompositsioon A. o. B - lõplike transduktorite järjestrakendamine Tavaliselt koosneb keele morfoloogiakirjeldus kahest eraldiseisvast osast - leksikontransduktorist ja reeglitekogu-transduktorist. Lexical FST = lexicon FST. o. rule FST

Kuidas kirjeldada kogu morfoloogiline süsteem? (5) Xeroxi vahendeid kasutades: 1) Reeglite kompileerimiseks võib kasutada programmi twolc (kahetasemeliste reeglite kompilaator) või programmi xfst, kui kasutatakse asendusreegleid (replace rules) 2) Programm lexc kompileerib leksikoni leksikon. FST-ks

Kuidas kirjeldada kogu morfoloogiline süsteem? (6) 3) Leksikon ühendatakse reeglitega (saadakse leksikaalne transduktor) transduktorite kompositsiooni kasutades Kompositsioon on realiseeritud nii lexc-s (compose result) kui xfst-s (compose net).

Kuidas kirjeldada kogu morfoloogiline süsteem? (7) Nii kahetasemelised kui asendusreeglid on formaalselt regulaaravaldised. Operaatoritega <=>, <=, => ja tähistatakse keerukaid regulaaravaldisi. Näiteks kahetasemeline reegel a: b => L _ R on samaväärne regulaaravaldisega [ ~[ [ [ ? * L ] a: b ? * ] | [ ? * a: b ~[ R ? * ] ] ] Lingvistile on harjumuspärased a b || L _ R tüüpi reeglid, meenutades fonoloogilisi ümberkirjutusreegleid.

Morfoloogiline analüüs leksikaalses transduktoris Morfoloogiline analüüs = lookup Käiakse läbi leksikaalses transduktoris leiduvaid teid, niikaua kui leitakse tee, milles kaarte alumised märgendid annavad kokku analüüsitava sõna. Väljastatakse vastavate kaarte ülemiste märgendite konkatenatsioon. Kui ükski tee ei anna tulemust, ei kuulu sõnavorm transduktori poolt kirjeldatud keelde.

Morfoloogiline süntees leksikaalses transduktoris Morfoloogiline süntees = lookdown Käiakse läbi leksikaalses transduktoris leiduvaid teid, niikaua kuni leitakse tee, milles kaarte ülemised märgendid annavad kokku etteantud lemma+morfoloogilised märgendid. Väljastatakse vastavate alumiste märgendite konkatenatsioon.

Lõplikel transduktoritel põhinev arvutimorfoloogia: olemasolev tarkvara Kommertstarkvara: • Kahetasemelised morfoloogilised analüsaatorid inglise, saksa, rootsi, soome jt. keelte jaoks (K. Koskenniemi et al) www. lingsoft. fi • Xerox Finite-State Calculus (L. Karttunen et al, www. xrce. xerox. com/competencies/contentanalysis/fst), võimalik tasuta akadeemiline litsents • Teragram (E. Roche & Y. Schabes) www. teragram. com

Lõplikel transduktoritel põhinev arvutimorfoloogia: olemasolev tarkvara (2) Vabavara: • AT&T FSM Library www. research. att. com/sw/tools/fsm • Gertjan. Van Noord’s FSA Utils odur. let. rug. nl/~vannord/FSA/fsa. html • Jan Daciuk’s finite-state homepage odur. let. rug. nl/alfa/fsa-stuff/

Eesti keele kahetasemeline morfoloogia Reeglitega käsitletavad nähtused: – astmevaheldus kägu : käo, hüpata : hüppan – fonotaktika lumi : lumd* lund – morfofonoloogiline distributsioon seis + da seista – ortograafia kirj* kiri, kristall + ne kristalne

Eesti keele kahetasemeline morfoloogia (2) Leksikonide abil kirjeldatavad nähtused: Appropriate suffixes – käänamine are added to a stem – pööramine according to its – omadussõnade võrdlemine inflection type – sõnatuletus – liitsõnamoodustus – tüvelõpumuutused ne-se, 0 -da, 0 -me jne – tüvevokaali valik a, e, i, u

Eesti keele kahetasemeline morfoloogia (3) Lahendamist ootavad probleemid: 1) tuletatud sõnade ja liitsõnade ülegenereerimine lahendus: komponeerida leksikaalse transduktoriga erinevaid filtreid, mis kitsendavad sõnatuletuse ja liitsõnamoodustuse protsesse 2) tüvedesõnastiku mahu suurendamine, sealh. korrektsete sõnastikuesituste genereerimine Vastav programm sai hiljuti valmis.

Eesti keele kahetasemeline morfoloogia (4) 3) tundmatute sõnade analüüsi oletamine (sõnad, mis ei ole leksikonis) võimalik lahendus: Kuna leksikonikirjetes võib kasutada ka regulaaravaldisi, tuleks juurteleksikonidesse sisestada kirjed <Alpha*> koos kõikvõimalike jätkuviitadega.