Gpi fordts A szmtgpes nyelvfeldolgozs alapjai 2013 prilis

Gépi fordítás A számítógépes nyelvfeldolgozás alapjai – 2013. április 25.

Bevezetés • Machine Translation (MT) • Teljes szövegek automatikus fordításra forrás nyelvről célnyelvre. • Computer Aided Translation (CAT) • Nehéz feladat: jelentést kell visszaadni, ugyanakkor a másik nyelv morfológiai és szintaktikai szabályainak is meg kell felelni

Bevezetés - 2 • Jelenleg a minőség (jelentősen) elmarad az emberi fordítástól • DE: bizonyos részterületeken elég – Receptek – Időjárás-jelentés • Óriási igény lenne rá, főleg Magyarországon

A fordítási feladat „Csak kiszótárazom, lefordítom és kész” – legyen 1 mondat átlagosan 15 szó hosszú – legyen 1 szónak átlagosan 3 jelentése – 1 „mondatnak” 315 különböző fordítása áll elő – * szórendből permutációk – * extra szavak, kimaradó szavak

A fordítási piramis Interlingua Forrásnyelvi szemantika Forrásnyelvi szintaxis Forrásnyelvi szavak Célnyelvi szemantika Célnyelvi szintaxis Célnyelvi szavak

Gépi fordítási megközelítések • Szótáron alapuló • Szintaktikai transzformáción alapuló • Szemantikai transzformáción alapuló

Szótáron alapuló fordítóprogram • Elektronikus szótáron vagy kétnyelvű szólistákon alapszik • A forrásnyelvi szavakat, szóalakokat vagy frázisokat szavaknak, szóalakoknak vagy frázisoknak felelteti meg a célnyelvben • A különböző eljárások különböző problémákhoz vezetnek

Szó-szó megfeleltetésnél fellépő problémák: • Nincs benne a szótárban a szó (ilyenkor forrásnyelvi szó kerül a céloldalra is) • Túl sok jelentést ad meg a szótár (általában gyakoriság alapján dönt a fordítóprogram)

Szóalak-szóalak megfeleltetésnél fellépő problémák: • A szótár csak egy szóalakot tartalmaz • Agglutináló nyelvekben (pl. magyar) a szavaknak rengeteg formájuk van • Morfológiai elemzőre is szükség van (lenne) a fordításhoz

Frázis-frázis megfeleltetésnél fellépő problémák: • Forrásnyelvi és célnyelvi szintaktikai elemzés kell • Szintaktikai többértelműségek feloldása • Szükség van (lenne) szintaktikai elemzőre is

Szintaktikai transzformáción alapuló fordítás • Szintaktikai fát fordít (= alakít át) szintaktikai fává • Nemcsak a fa levelei fordítódnak le, hanem átalakul a fa maga

A fatranszformáció lépései 1. 1 adott csomóponthoz társítjuk maximum 1 gyermekét bizonyos valószínűséggel 2. Az elemi fa gyermekeit rendezzük (sorrend változtatása, elemek beszúrása vagy törlése…) 3. A leveleknél levő lexikai egységeket lefordítjuk

Példa Mary did not slap the green witch Maria no daba una bofetada a la bruja verde

Jellemzők • Szórendi problémákat általában jól kezeli • Rokon nyelvek közti fordításra alkalmas módszer • Bonyolult, költséges transzformációs szabályok • Eltérő nyelvtani szerkezeteknél teljesen rossz fordítás: La botella entro a la cuerva flotando. The bottle floated into the cave. *The bottle entered the cave floating.

Szemantikai transzformáció • Szemantikai információt is hasznosítanak a fordítás során • A nyelvek közti különbségek semlegesítődnek • Szemantikai jegyek alkalmazása (legegyszerűbb)

• Köztes (logikai) nyelvre fordítódik le a forrásnyelvi információ (Interlingua) • A köztes nyelvről fordítódik át a célnyelvre • Az információt (jelentést) fordítjuk, nem pusztán a szintaxist • Manapság: angol ~ interlingua

Példa • John gave Mary a book. Give(john; book; mary) T<now • Jean a donné un livre à Marie. • János adott Marinak egy könyvet.

Szemantikai alapú fordítás • Egyszerűbb szabályok • Pontosabb fordítás • Elméleti szemantikai alapokon nyugszik • Kevés a tapasztalat • Nehezen építhető ki minden nyelvpárra • Az elméleti szemantika fejlődésével módosításokra is szükség lehet

Példaalapú fordítás (EBMT) • „amikor az ember fordít, nem használ transzformációs szabályokat, hanem korábban látott mintákat használ” • Van egy fordítási adatbázis (párhuzamos korpusz) • Azonosítjuk a fordítási egységeket • Az adatbázisból kiválasztjuk a legközelebbi mintát

Módszerek • Példaalapú: adatbázisban tárolt mondatok/kifejezések közül melyikre hasonlít legjobban • Szótáralapú: gyenge, rokon nyelvekre lehet jó • (szintaktikai) transzfer alapú: legtöbb módszer ezt használja, tűrhető megoldások • Interlingua: köztes nyelvre fordít – „utópia”

Statisztikai MT • Minden szónak több lehetséges fordítása van • Válasszuk ki a legvalószínűbb szekvenciát • Fordítási modell: bag-of-words fordítás • Nyelvi modell: értelmes mondatok argmax P(m|a)=argmax P(m)*P(a|m)

BLEU-score • A fordítás minőségének mérése • Az embernél nincs jobb kiértékelő, de az nagyon drága • Adott néhány (emberi) fordítás minden mondatra a teszthalmazon • Számoljuk meg, hogy 1, 2, 3, 4 gramok milyen fedésben vannak az emberi fordításokkal • + javítások…

Magyar-angol eredmények (2007)

Fejlesztések • Meta. Morpho (www. webforditas. hu) • Google Translate (http: //translate. google. com/) • Bing (http: //www. bing. com/translator) • Hunglish nyersfordító • Emberi fordítást segítő eszközök (CAT) fejlesztése: – – intelligens szótárak lexikai adatbázisok fordítómemóriák párhuzamos korpuszok

Vicces példák • • 2006 -ból… Összetett szavak: bányászszív [miner sucks] bulvárszíndarab [boulevard colour][ piece] gyertyamártás candle sauce habképző [foam][ derivational suffix] hajsütés hair baking halálnem death gender halmajonéz [dying mayonnaise] hóhányás [snow][ vomit] hóhullás [snow][ corpse] hőképzés [heat][ training] hőkiütés [heat][ knockout] időjóslat [time][ prophecy] + light verb construction fényigeszerkezet (2012)

Konkrét példák (angolmagyar fordítás) • Többjelentésű szó nem megfelelő jelentésben (1): Her children go to the same school as mine. A gyerekei bányaként járnak ugyanabba az iskolába. (Meta. Morpho) Gyermekei megy ugyanaz iskola mint bánya. (Inter. Tran) A gyerekei ugyanabba az iskolába járnak, mint az enyémek. (referencia)

Angol-magyar fordítás • Többjelentésű szó nem megfelelő jelentésben (2): John gives marvellous parties. John csodálatos pártokat ad. (Meta. Morpho) Budi ad csodálatos parti. (Inter. Tran) János fantasztikus bulikat szokott rendezni. (referencia)

Angol-magyar fordítás • Többjelentésű szó nem megfelelő jelentésben (3): When did you last fly a plane? Mikor röpítettél egy repülőgépet utoljára? (Meta. Morpho) Mikor tett ön utolsó slicc egy sík? (Inter. Tran) Mikor vezettél utoljára repülőgépet? (referencia)

Angol-magyar fordítás • Többjelentésű szó nem megfelelő jelentésben (4): There are no biscuits left! Kekszek nincsenek balra! (Meta. Morpho) Nincs kétszersültek bal! (Inter. Tran) Nincs több keksz! (referencia)

Angol-magyar fordítás • Szótári-elemzői hiányosságok I haven’t driven a car for ages. Nem vezettem autót régóta. (Meta. Morpho) ÉN kikötő vezetett egy autó részére évek. (Inter. Tran) Évek óta nem vezettem autót. (referencia)

Angol-magyar fordítás • Nyelvtan hiánya (1): How many dogs does the Queen have? A királynőnek hány kutya van? (Meta. Morpho) Mennyi kutyák csinál a Királynő volna? (Inter. Tran) Hány kutyája van a királynőnek? (referencia)

Angol-magyar fordítás • Nyelvtan hiánya (2): What does he do in his free-time? Mit nyír ki övé szabad-idő? (Meta. Morpho) Mi csinál ő csinál -ban -a szabad idő? (Inter. Tran) Mit csinál szabadidejében? (referencia)

Konkrét példák (magyarangol fordítás) • Többjelentésű szó nem megfelelő jelentésben (1): Bal kézzel írok. [Left hand][ Irishmen]. (Meta. Morpho) Leftward kézzel írok. (Inter. Tran) I write with my left hand. (referencia)

Magyar-angol fordítás • Többjelentésű szó nem megfelelő jelentésben (2): Csak Margót ébresztettem fel. Csak[ Margin][ waked]. (Meta. Morpho) Only Margin awoke up. (Inter. Tran) I only woke Margot. (referencia)

Magyar-angol fordítás • Többjelentésű szó nem megfelelő jelentésben (3): Hány kutyája van a királynőnek? [Vomits] kutyája[ is][ the queen]? (Meta. Morpho) Vomit his dog there is the queen? (Inter. Tran) How many dogs does the Queen have? (referencia)

Magyar-angol fordítás • Többjelentésű szó nem megfelelő jelentésben (4): Kedden költöztek ki. [Tue] költöztek[ who]. (Meta. Morpho) On Tuesday trek who. (Inter. Tran) They moved out on Tuesday. (referencia)

Magyar-angol fordítás • Szótári-elemzői hiányosságok: Én inkább vennék egyet. [I] inkább[ would buy] egyet. (Meta. Morpho) Am I rather vennék university. (Inter. Tran) I’d rather buy one. (referencia)

Magyar-angol fordítás • Nyelvtani hiányosságok (1): Én inkább vennék egyet. [I] inkább[ would buy] egyet. (Meta. Morpho) Am I rather vennék university. (Inter. Tran) I’d rather buy one. (referencia)

Magyar-angol fordítás • Nyelvtani hiányosságok (2): Ma te vigyáztál a gyerekeire, nem? [Today][ you] vigyáztál[ his children], [ gender]? (Meta. Morpho) Yet today your are take care the about your child , not? (Inter. Tran) You looked after her children today, didn’t you? (referencia)