Traduzione e computer 2 Cristina Bosco Informatica applicata

Traduzione e computer (2) Cristina Bosco Informatica applicata alla comunicazione multimediale 2013

Riflessioni sui primi sistemi L’assunzione alla base dello sviluppo dei primi sistemi è che l’obiettivo della MT sia ottenere traduzioni di qualità analoga a quella prodotta dai traduttori umani. Nel contempo non viene minimamente utilizzata la conoscenza dei traduttori umani e chi lavora sulla MT sono solo ingegneri ed informatici.

Riflessioni sui primi sistemi Si crea pertanto un clima di ostilità nei confronti della MT da parte di coloro che operano nel settore traduzione e temono di perdere il loro lavoro. L’ostilità è condivisa anche da chi non opera nel settore, ma si aspetta che la ricerca della MT produca quello che aveva promesso. Tutto ciò spiega l’effetto del rapporto ALPAC e il taglio dei fondi che ne consegue.

Riflessioni sui primi sistemi I primi sistemi vengono sviluppati negli USA e in URSS con lo scopo di tradurre da inglese a russo e viceversa. Il tipo di documento tradotto è di tipo tecnico e scientifico. Solitamente si tratta di documenti con un lessico ridotto e controllato per evitare difficoltà di traduzione dei termini.

Riflessioni sui primi sistemi L’utenza dei primi sistemi è composta da pochi scienziati e tecnici preparati a tollerare le limitatezze della traduzione automatica per poter accedere a contenuti diversamente non accessibili.

Riflessioni sui primi sistemi In seguito l’utenza cambia e si amplia, dato che cresce la richiesta di attività di traduzione legata a realtà amministrative e commerciali. Si manifesta anche l’interesse per lingue diverse da inglese e russo. E conseguentemente cambia anche il tipo di traduzione che l’utente si aspetta, di maggiore qualità pur non partendo da testi controllati.

Tipi di sistemi e soluzioni Nel corso della storia della MT sono state proposte varie strategie, via più complesse ed efficaci. Alcuni aspetti restano gli stessi in tutte le strategie.

Approcci alla MT In qualunque approccio va ricordato che esiste una separazione netta tra algoritmi e dati, i. e. tra algoritmo di analisi e dizionario. Di conseguenza si ha relativa indipendenza - dalle lingue coinvolte; - dei compiti da svolgere; - degli errori.

Approcci alla MT Indipendenza - dalle lingue coinvolte perché l’algoritmo può essere lo stesso al variare dei dati specifici sulle lingue; - dei compiti da svolgere perché l’informatico può occuparsi dell’algoritmo e il linguista dei dati; - degli errori perché la traduzione può essere errata perché l’algoritmo non fa le cose nel giusto ordine o perché i dati sono errati o carenti.

Approcci alla MT In qualunque approccio i dizionari sono risorse fondamentali. Sono molto ampi (es. nei sistemi attuali i dizionari includono ~ 15, 000 entry generali + altrettante altre specifiche), quindi ben organizzati ed accessibili, di norma in porzioni di accesso frequente e di accesso più raro. Sono differenti dai dizionari umani (es. contengono anche informazioni ovvie e quelle relative al contesto d’uso).

Approcci alla MT In qualunque approccio è presente: - una fase di analisi, in cui il testo in Linguaggio Sorgente (LS) viene scomposto ed analizzato - una fase di sintesi, in cui viene generato il corrispondente testo in Linguaggio Target (LT)

Approcci alla MT Si seguono strategie: - bilingui (che traducono tra una singola coppia di lingue) o multilingui (che traducono tra più di due lingue); - uni-direzionali (da una lingua A a una lingua B) o bi-direzionali (da una lingua A a una lingua B e viceversa) - reversibili ed irreversibili

Approcci alla MT In pratica è molto difficile realizzare un sistema bilingue bi-direzionale e reversibile. Per realizzarlo si abbinano in realtà due sistemi bilingui che operano uno nella direzione opposta all’altro.

Approcci alla MT Raramente un sistema multilingue consente la traduzione tra tutte le coppie di lingue che coinvolge ed in tutte le direzioni (es. Eurotra). Teoricamente un sistema multilingue comporta una fase di analisi dalla LS sempre uguale indipendentemente da quella che deve essere la LT, ed una fase di sintesi sempre uguale indipendentemente da quale è la LS; ma sovente un sistema multilingue consiste in vari bilingui assemblati.

Approcci alla MT In che modo un sistema di MT opera per tradurre? Occorre distinguere tra due aspetti: • In che modo il sistema acquisisce la conoscenza • In che modo il sistema elabora i dati di input per produrre l’output

Approcci alla MT In che modo il sistema acquisisce la conoscenza linguistica necessaria a tradurre? • Se è un sistema rule-based accede a conoscenza in forma strutturata (grammatica, lessico …) nei suoi database • Se è un sistema corpus-based apprende la conoscenza da corpora di dati dove la conoscenza non è strutturata

Approcci alla MT La conoscenza in forma strutturata (grammatica, lessico …) utilizzata da un sistema rule-based è solitamente memorizzata all’interno del sistema, ma potrebbe anche essere accessibile all’esterno In ogni caso il sistema è costruito per lavorare con determinata conoscenza e deve essere riprogrammato se la conoscenza cambia (ad es. per un’altra lingua)

Approcci alla MT La conoscenza in forma non strutturata (corpus) utilizzata da un sistema corpus-based è memorizzata all’interno del corpus di riferimento del sistema e viene acquisita dal sistema tramite apprendimento statistico Il sistema è costruito per lavorare con la conoscenza che trova nel corpus, indipendentemente dal fatto che la conoscenza possa cambiare (ad es. per un’altra lingua)

Approcci alla MT I primi sistemi sono tutti rule-based. Successivamente si sono sviluppati sistemi corpus-based. Oggi prevale l’approccio corpus-based, ma la maggior parte dei sistemi segue un approccio ibrido in cui alcune parti di conoscenza sono inglobate nelle regole, ed altre sono invece apprese da corpora

Approcci alla MT I sistemi si differenziano in base al modo in cui elaborano i dati di input per produrre l’output. Storicamente sono stati proposti 3 approcci: • Diretto • Indiretto – Interlingua – Transfer

Approccio diretto L’approccio diretto è stato adottato dai primi sistemi, solitamente bilingui. L’analisi lessicale e sintattica del testo in LS è limitata a quello che serve per identificare gli equivalenti in LT generando un ordine corretto delle parole. Non esiste alcun passo intermedio, dato che l’elaborazione del testo in LS porta direttamente al testo in LT.

Approccio diretto

Approccio diretto Analisi morfologica per riconoscere le forme flesse ed i relativi lemmi Accesso al dizionario Nessuna analisi sintattica Riordinamento dei termini tradotti in accordo con quanto prescritto dalla LT Il risultato è una traduzione di scarsa qualità il cui output è sintatticamente simile all’input.

Approccio indiretto: interlingua L’approccio interlingua consiste nell’analisi del testo in LS, sua traduzione in una interlingua, traduzione dall’interlingua alla LT. Si assume l’esistenza di una rappresentazione indipendente da LS e da LT, e da tutte le lingue naturali. In realtà è molto difficile formulare una interlingua con queste caratteristiche, anche per lingue simili tra loro.

Approccio indiretto: interlingua La rappresentazione intermedia deve contenere tutte le informazioni necessarie per generare il testo in LT, ed è una rappresentazione astratta del testo in LS. Utile nei sistemi multilingui, ha anche il vantaggio di consentire la traduzione da e verso una stessa lingua (che serve per testare il sistema).

Approccio indiretto: interlingua

Approccio indiretto: interlingua Nel caso si voglia arricchire il sistema con una nuova LS basta sviluppare l’analisi che porta da LS a interlingua. Nel caso si voglia arricchire il sistema con una nuova LT basta sviluppare la generazione di LT a partire dall’interlingua.

Approccio indiretto: transfer L’approccio transfer prevede 3 passi: - la conversione del testo in LS in una rappresentazione astratta R-LS orientata alle caratteristiche di LS - la conversione da R-LS ad una rappresentazione astratta R-LT orientata a LT - La conversione da R-LT a LT

Approccio indiretto: transfer L’approccio transfer non prevede quindi rappresentazioni indipendenti da LS e da LT: R-LS dipende da LS e R-LT dipende da LT. Nel caso si aggiungano delle lingue, occorre però aggiungere tutti i relativi moduli di elaborazione.

Approccio indiretto: transfer

Approcci alla MT Nella pratica l’approccio transfer è sovente preferito all’approccio interlingua: - per la difficoltà di trovare una rappresentazione indipendente da LS e LT - per la difficoltà di analisi rivolta all’interlingua e generazione dall’interlingua verso la LT

Problemi linguistici nella MT I problemi linguistici sono essenzialmente dovuti alla presenza di ambiguità nel linguaggio naturale e sono di 4 tipi: Lessicali Strutturali Contestuali Pragmatico-situazionali

Problemi linguistici nella MT In generale si osserva che raramente i sistemi di MT fanno riferimento a particolari teorie linguistiche. Quando lo fanno sono sistemi piccoli e costruiti allo scopo di testare qualche teoria.

Problemi lessicali Il lessico e la morfologia sono il primo livello che deve essere trattato nell’analisi del testo da tradurre, ma anche l’ultimo livello che viene trattato nella generazione del corrispondente testo in LT. Tra i problemi da trattare: la gestione del dizionario, il riconoscimento di parole sconosciute, il trattamento delle multiword, e l’ambiguità.

Problemi lessicali Ambiguità categoriale e semantica di termini causano problemi soprattutto nella fase di analisi (monolingue) Es. omografi: bank >banchina del fiume e istituto bancario polisemici: light > luminescenza, chiaro, leggero,

Problemi lessicali Ambiguità traduttive si presentano quando una parola può essere tradotta in modi differenti a seconda del contesto (bilingue) Es. Stilistiche o di registro: domicile (fr) >home o domicile (eng) grammaticali: know > conoscere/connaitre/kennen o sapere/savoir/wissen

Problemi sintattici, sovente in abbinamento con quelli lessicali: Es. to know > connaitre, kennen (conoscenza di un fatto) savoir, wissen (avere una competenza) I know the man – Je connais l’homme - Ich kenne den Mann I know what he is called – Je sais ce qu’il s’appelle – Ich weiss wie er heisst

Problemi sintattici e contestuali Problemi di risoluzione di anafore: The soldier killed the women. They were buried next day. La conoscenza del fatto che quello che si seppellisce sono solitamente i morti, consente di identificare “they” con “women”. Questa conoscenza è fondamentale traducendo in francese (elles e non ils) o italiano (esse invece di essi).

Problemi sintattici e contestuali Problemi di conoscenza del mondo: John al supermercato e mette una saponetta nel suo cestino. Vede su uno scaffale una barretta di cioccolato e sovrappensiero la mette in tasca, ma quando arriva alla cassa arrossisce e dice “Non intendevo rubarla”. Come facciamo a costruire un sistema che contenga tanta conoscenza da consentire di identificare “la” (di rubarla) con “barretta” invece che con “saponetta”?

Tipi di sistemi Fino alla metà degli anni ‘ 90 esistono solo due tipi di sistemi di MT: • Sistemi su mainframe di grandi compagnie • Sistemi su personal computer A partire dalla metà degli anni ’ 90: • Traduttori tascabili • Software di traduzione per telefonia mobile • Servizi di MT su Internet

Sistemi su mainframe I sistemi di MT che giravano su mainframe di grandi compagnie erano utilizzati per produrre una grande quantità di traduzioni di qualità tale da essere pubblicabili, quindi era necessario che l’output di questi sistemi fosse migliorato. Per questo motivo furono applicate tecniche di soluzione finalizzate a migliorare la qualità e a limitare l’intervento umano

Soluzioni (applicate nei mainframe) Le seguenti soluzioni possono aumentare la qualità dell’output dei sistemi di MT: • Impiego di revisori umani nel post-editing • Sistemi interattivi • Vincolare la varietà del linguaggio di input

Soluzioni (applicate nei mainframe) L’impiego di revisori umani (esperti del LS e del LT) nel post-editing è proposto come soluzione per aumentare la qualità delle traduzioni prodotte da MT fin dai primi sistemi. Progressivamente si svilupparono strumenti per il post-editing specializzati nell’evidenziare errori frequenti e sistematici dei sistemi di MT

Soluzioni (applicate nei mainframe) Vengono sviluppati sistemi di MT che non richiedono post-editing, ma interagiscono con l’utente durante il processo di traduzione, ad es. nel caso di ambiguità di tipo lessicale o sintattico

Soluzioni (applicate nei mainframe) Vincolando la varietà del linguaggio di input si limita la difficoltà della traduzione. In due modi: • Il sistema viene costruito per trattare un certo tipo di linguaggio (es. quello dei bollettini metereologici) • Il testo da tradurre viene scritto utilizzando un dizionario ristretto e una struttura sintattica semplificata

Mainframe e localizzazione È nel contesto dei sistemi su mainframe per grandi compagnie che si sviluppa l’applicazione della MT al problema della localizzazione. Localizzazione significa adattamento di prodotti e della relativa documentazione a particolari condizioni culturali che possono variare dal corretto modo di esprimere date, numeri, tempi, indirizzi ed abbreviazioni a modificazioni più complesse del testo per renderlo corrispondente alle aspettative del cliente.

Mainframe e localizzazione La localizzazione nasce come effetto dell’immissione sul mercato di prodotti per vari paesi in contemporanea o quasi. Nasce soprattutto in relazione al software, quindi ad un genere testuale (manuali) caratterizzato da ripetitività e da piccole differenze tra uno e l’altro, tra un’edizione e l’altra.

Sistemi su PC I sistemi che giravano su personal computer non è chiaro per quali scopi fossero utilizzati, ne’ da chi … prevalentemente per avere traduzioni sommarie di testi diversamente inaccessibili, senza particolare interesse per la pubblicazione del risultato della traduzione

Traduttori tascabili Sono la versione elettronica dei dizionari tascabili e hanno una analoga diffusione. Vengono diffusi prevalentemente sul mercato del turismo e dei viaggi Vengono prodotti per molte lingue Nelle versioni più recenti sono in grado di produrre output vocali

Software di traduzione per telefonia mobile Sono una estensione delle funzioni dei telefoni cellulari Riguardano i linguaggi commercialmente dominanti Nelle versioni più recenti fanno riferimento a database su server

Servizi di traduzione su Internet Inizialmente non sono ad accesso libero e simultanei Sono la versione web dei primi sistemi di MT e sono basati su regole, solo recentemente è comparso Google Translate che applica un approccio statistico Non è chiaro come e da chi sono utilizzati

Servizi di traduzione su Internet La MT è nuova per la maggior parte degli utenti che scoprono i servizi di traduzione online. Molti testano i servizi proponendo la traduzione di espressioni idiomatiche e tentano di valutare il servizio con una doppia traduzione. Il risultato è deludente.

Servizi di traduzione su Internet Non si hanno dati su chi usa i servizi di traduzione online e per quale scopo. Sorprendentemente sono poco utilizzati (15%) per lo scopo che parrebbe più ovvio, la traduzione di pagine web. Nel 50% dei casi vengono sottomesse 1 -2 parole, nel restante 50 frasi lunghe mediamente 20 parole

Servizi di traduzione su Internet Sembrerebbe quindi che siano usati come dizionari, nonostante l’ampia disponibilità di dizionari online Prevalentemente da persone che conoscono la lingua in cui traducono Tuttavia l’utilizzo di questi servizi cresce costantemente in modo esponenziale A partire dal 2000 sono stati sviluppati anche sistemi per la localizzazione di pagine web

Limiti della traduzione e della LC Ulteriori limiti della MT sono stati messi in evidenza in relazione alla gestione di linguaggi colloquiali, cioè caratterizzati da frequenti ellissi e irregolarità. Ne sono un esempio: • Messaggi di email • SMS sui cellulari • Messaggi su social network

Limiti della traduzione e della LC A partire dal 1990 il crescente utilizzo di telecomunicazioni ha portato allo sviluppo di sistemi di traduzioni di messaggi di email e pagine di informazione. L’importanza per studi politici e sociali dei social network ha evidenziato l’urgenza di trattare testi che vengono prodotti in Facebook e Twitter.

Limiti della traduzione e della LC Anche se cresce il numero di sistemi in grado di produrre output in forma vocale, la traduzione del linguaggio orale è ancora una delle aree più problematiche. Non solo per i problemi legati all’analisi e sintesi del parlato, ma anche per la forma particolare dei dialoghi, la massiccia presenza di ellissi e la forte dipendenza dal contesto.

Limiti della traduzione e della LC Esistono progetti non commerciali per lo sviluppo di sistemi di dialogo e traduzione su domini limitati, come comunicazioni di affari e prenotazioni alberghiere. Un’area in via di sviluppo riguarda la comunicazione medico-paziente con possibili applicazioni in contesti in cui sono presenti minoranze linguistiche.

Warren Weaver - 1949 “There is no need to do more than mention the obvious fact that a multiplicity of languages impedes cultural interchange between the peoples of the earth, and is a serious deterrent to international understanding. ”

MT per quali lingue? La MT si è orientata ai suoi esordi alla coppia inglese-russo e successivamente alle lingue commercialmente interessanti (giapponese, tedesco, spagnolo, francese, cinese …). Pochissima attenzione è stata prestata agli altri linguaggi

MT per quali lingue? Da un punto di vista globale, i linguaggi ‘minori’ sono quelli non significativi per le transazioni commerciali L’immigrazione però fa sì che linguaggi minori siano parlati ovunque.

MT per quali lingue? Il problema dei linguaggi delle minorità è dovuto anche alla mancanza di risorse dedicate a tali linguaggi (dizionari, spellchecker … corpora). E ci sono anche linguaggi di minoranze non di tipo etnico e geografico, come i sordi

MT per quali lingue? Negli ultimi anni sono stati sviluppati progetti per la traduzione nel linguaggio dei sordi ad es. per l’italiano E progetti per la traduzione di sottotitoli di programmi televisivi

Ieri e oggi la MT Oggi la tendenza è verso lo sviluppo di moduli di traduzione integrati in sistemi che svolgono varie funzioni e meno di sistemi dedicati unicamente alla MT Oltre alla MT, si lavora su altri task multilingue come Information Retrieval e Information Extraction: la traduzione non è un’attività isolata

Ieri e oggi la MT Dal punto di vista sociale il mondo è cambiato e di conseguenza la richiesta di MT proviene da utenti diversi e per task diversi rispetto al passato. Anche le aspettative sono oggi diverse e i risultati positivi riguardano task e domini limitati. La ricerca della traduzione perfetta non ha più senso.