Traduzione automatica 1 Cristina Bosco Informatica applicata alla

Traduzione automatica (1) Cristina Bosco Informatica applicata alla comunicazione multimediale 2014 -2015

Il memorandum di Weaver - 1949 Pochi anni dopo la comparsa dei primi computer e la fine della II guerra mondiale, Warren Weaver pubblica un memorandum, intitolato “On translation”, in cui si descrivono in modo molto ottimistico i possibili sviluppi per la MT. Il suo ottimismo dipende dal successo ottenuto nella decrittazione e dalle teorie sulla comunicazione e crittografia elaborate in quel periodo da Shannon.

Crittografia e decrittazione Già a partire dall’antichità sono state applicate tecniche di crittografia. In modo più o meno sofisticato le tecniche di crittografia comportano una riscrittura di un documento sulla base di una chiave di interpretazione. Crittografare un messaggio significa renderlo illeggibile a chi non possiede la chiave.

Crittografia e decrittazione Esempio di messaggio crittografato: Il cane mangia Lm dbof nbohlb 12 3456 745814

Crittografia e decrittazione Esempio di messaggio crittografato: Il cane mangia Lm dbof nbohlb CHIAVE: i=l; l=m; c=d; a=b; n=o; e=f; m=n; g=h (sostituzione di ogni lettera con quella seguente nell’alfabeto)

Crittografia e decrittazione Esempio di messaggio crittografato: Il cane mangia 12 3456 745814 CHIAVE: i=1; l=2; c=3; a=4; n=5; e=6; m=7; g=8 (sostituzione di ogni lettera con un numero)

Crittografia e decrittazione Le tecniche di decrittazione sono tentativi di ricostruire la chiave di interpretazione sulla base di esempi di messaggi crittografati. Alla base di tali tecniche ci sono i dati statistici relativi alla frequenza delle lettere e delle parole nel linguaggio oggetto di crittografia.

Crittografia e decrittazione Tecniche di decrittazione in senso lato sono quelle utilizzate nello studio di linguaggi antichi … la stele di Rosetta … il lineare B … Come nella decrittazione di messaggi a chiave, si rileva la presenza ricorrente di determinate sequenze di simboli (regolarità statistiche), riconosciute le quali si può formulare una interpretazione del linguaggio.

Crittografia e decrittazione Il lineare B è la lingua utilizzata dagli antichi abitanti di Creta e di alcune zone della Grecia. Scoperto negli scavi di Evans a Creta nel 1900, rimase indecifrabile fin dopo la fine della seconda guerra mondiale, e fu decifrato con tecniche tipiche della decrittazione da Michael Ventris nel 1952, mostrando che si trattava di una forma arcaica di greco antico scritta con caratteri differenti.

Crittografia e decrittazione Tecniche di crittografia sono oggi molto utilizzate in Internet, tutte le volte che un messaggio contiene dati “sensibili” appropriandosi dei quali si potrebbero commettere reati, come frodi e furti. Si tratta ad esempio del numero della carta di credito nelle transazioni del commercio elettronico, o delle credenziali degli utenti, delle firme elettroniche.

Crittografia e decrittazione Tecniche di crittografia sono state applicate in modo sistematico per scopi bellici, fin dall’antichità, ma soprattutto durante la II guerra mondiale. Alcuni storici attribuiscono il successo degli alleati all’attività di decrittazione svolta dal gruppo di scienziati di Bletchley Park.

Crittografia e decrittazione Durante la II guerra mondiale i tedeschi costruirono sofisticate macchine (Enigma) per crittografare e decrittare i messaggi di importanza strategica. Una di queste macchine cadde però nelle mani dell’esercito inglese.

Crittografia e decrittazione Gli inglesi costruirono macchine per la decrittazione in grado di provare in tempi relativamente brevi molte possibili chiavi sui messaggi intercettati. E ovviamente trassero vantaggio dalla macchina Enigma rubata ai tedeschi. Tra gli scienziati di Bletchley Park, c’era anche Alan Turing, oggi considerato come uno dei pionieri dell’informatica.

I primi sistemi di MT, di cui parla Weaver nel 1949, sono ampi dizionari bilingui le cui entry lessicali nel linguaggio sorgente (LS) contenevano uno o più termini equivalenti nel linguaggio target (LT). Si trattava di traduzione parola per parola.

I precursori Ma l’idea della MT nasce ben prima dell’avvento dei computer e dei primi sistemi di cui parla Weaver. Già nel XVII secolo alcuni filosofi come Leibniz e Cartesio discutevano di ‘linguaggi universali’ per facilitare il commercio e lo scambio di conoscenza tra i popoli, e di ‘linguaggi logici’ che rappresentano un precedente per i linguaggi di programmazione.

I precursori All’inizio del XX secolo vengono costruite le prime macchine per la traduzione ed i primi ‘cervelli meccanici’, ad opera di due studiosi indipendentemente: George Artsouni Petr Trojanskiy

I precursori Nel 1933, Georges Artsouni ideò un “cervello meccanico”, un dispositivo per trattare (archiviare, consultare e stampare) informazioni, creato per scopi di crittografia, ma utilizzabile per la traduzione e basato sulla traduzione diretta parola per parola (senza nessuna analisi linguistica sottostante)

I precursori Nel 1933, Petrovic Trojanskij brevetta un modello più evoluto di macchina per la traduzione che prevede la trasformazione del testo in forma logica universale (esperanto) prima di passare alla lingua di destinazione e utilizza rudimentali forme di analisi morfologica e sintattica

I precursori L’importanza dei precursori sta nel fatto di aver proposto i due modelli di traduzione che nella storia della MT verranno costantemente riproposti: parola per parola e basato su interlingua.

I primi sistemi Dopo i precursori arriva il successo della crittografia, l’invenzione del computer, i primi sistemi di MT … e il memorandum di Weaver. Il memorandum suscita molto entusiasmo acritico e lo stanziamento di fondi per la ricerca sulla MT, soprattutto da parte del governo USA. Ma Weaver è un matematico e non coglie la complessità del problema della traduzione.

I primi sistemi Dalla fine degli anni ‘ 50 comincia a diminuire l’entusiasmo per la MT, ma cresce la consapevolezza dei problemi che stavano dietro la MT che necessitava di: - conoscenza linguistica - conoscenza del mondo - e per la quale le tecniche di crittografia non erano adeguate

Crittografia? Perchè non funzionano le tecniche di crittografia? Si basano su identificazione e sostituzione di unità individuali A B C D E F G H I J K L M N O P Q R … Z Y X W V U T S R Q P O N M L K J I … HELLO = SVOOL = HELLO

Crittografia? Perchè non funzionano le tecniche di crittografia? Nel linguaggio le parole devono essere viste nel contesto: The | green | cars Le | vert | voitures (invece di les voitures vertes)

Gli anni ‘ 60 Fu presto chiaro che erano necessarie anche regole per manipolare l’ordine delle parole che poteva variare nella LT rispetto alla LS. Ma le regole che servivano in abbinamento al dizionario sembrava essere troppe e quasi sempre ad hoc, a causa della grande varietà strutturale e lessicale del linguaggio umano.

Gli anni ‘ 60 La soluzione era lavorare ad un altro livello di astrazione, cioè fare analisi morfologica e sintattica del testo. Si sviluppano sistemi ispirati a varie teorie linguistiche, prevalentemente chomskiane basate su costituenti e trasformazioni.

Gli anni ’ 60: Georgetown Per mantenere vivo l’ottimismo suscitato da Weaver si svolse quello che è rimasto noto come l’esperimento di Georgetown. Nel 1954 l’IBM organizza con successo un esperimento che consisteva nel tradurre dal russo all’inglese 49 frasi (accuratamente preparate) utilizzando 6 regole grammaticali e 250 item lessicali.

Critica della MT Ma all’inizio degli anni ’ 60 l’ottimismo cala grazie ad analisi sempre più oggettive sullo stato dell’arte della MT, ed in particolare: - Il survey pubblicato da J. Bar-Hillel - Il rapporto ALPAC.

Critica della MT: Bar-Hillel Nel 1960 Joshua Bar-Hillel pubblica un survey dove dimostra che non è possibile la traduzione completamente automatica di alta qualità. Bar-Hillel non si pronuncia contro la possibilità pratica di realizzare la traduzione automatica, ma contro la sua stessa possibilità teorica. Secondo lui la traduzione non è un compito difficile, ma impossibile.

Critica della MT: Bar-Hillel utilizza in particolare un argomento per dimostrare che la MT non è possibile: è impossibile tradurre senza avere conoscenza contestuale e del mondo, e un sistema di MT non può avere questo tipo di conoscenza.

Critica della MT: Bar-Hillel La sua dimostrazione si basa sulla frase “The box was in the pen” (un essere umano, ma non un sistema di MT, è in grado di selezionare per la parola PEN il significato ‘gabbia per animali’ invece che ‘oggetto per scrivere’ perché ha conoscenza delle dimensioni di scatole e penne, cioè conoscenza del mondo)

Critica della MT: Bar-Hillel I traduttori umani utilizzano la loro conoscenza del mondo per tradurre, prevalentemente in modo inconsapevole, per risolvere le ambiguità sintattiche e semantiche le macchine non sanno risolvere correttamente. La MT è possibile solo se il testo da tradurre è stato compreso, in modo appropriato dal meccanismo di traduzione.

Critica della MT: Bar-Hillel Il contesto da cui le argomentazioni di Bar-Hillel provengono è quello dei primi analizzatori sintattici che potevano produrre una grande quantità di strutture alternative anche per frasi molto semplici. Oggi sappiamo che abbiamo bisogno di conoscenza semantica per risolvere queste ambiguità e che esistono modi di rappresentare tale conoscenza … anche se ancora oggi è difficile usarla nei sistemi.

Critica della MT: ALPAC Nel 1966, il governo statunitense promuove uno studio sistematico della attività legate alla MT nel mondo accademico e industriale. Il risultato è la pubblicazione del rapporto ALPAC (Automatic Language Processing Advisory Committee) che dimostra i limiti della MT e motiva il taglio dei fondi dedicati alla MT del decennio successivo.

Il rapporto ALPAC Il titolo: Language and machines: computers in translation and linguistics • Il rapporto intendeva investigare non solo la MT ma tutta l’area della linguistica computazionale • Ma, in quel momento storico, la maggior parte dell’attività nell’ambito della linguistica computazionale era dedicata alla MT

Il rapporto ALPAC Perché continuare a lavorare nella MT? • Per ALPAC l’impegno nella MT poteva essere giustificato solo se la ricerca e sviluppo correlati alla MT fossero stati in grado di produrre, in breve tempo, una riduzione di spesa o una buona prestazione o la soddisfazione di una necessità operativa.

Il rapporto ALPAC Le domande a cui il rapporto tenta di rispondere sono: • La MT può costare meno dei traduttori umani impiegati dal governo? • La MT può offrire traduzioni di qualità analoga a quella offerta dai traduttori umani? • Quanto del materiale tradotto è realmente necessario tradurre?

Il rapporto ALPAC La prospettiva nel rispondere a queste domande è fortemente orientata a: • Basarsi sulle necessità del governo e dell’esercito americano • Prendere in considerazione solo l’inglese e il russo • Non considerare le necessità di altri potenziali utenti della MT e di altre lingue

Il rapporto ALPAC I dati mostrati nel rapporto: • Il 76% della produzione scientifica era in lingua inglese, il 14% in russo • Una conoscenza della lingua russa poteva essere ottenuta in circa 200 ore • I traduttori professionisti avevano un salario molto inferiore a quello degli scienziati impegnati nella MT e c’era ampia disponibilità di traduttori professionisti

Il rapporto ALPAC I dati mostrati nel rapporto: • Erano oggetto di traduzione molti testi inutili (meno del 30% degli articoli scientifici tradotti da russo a inglese erano accettati per la pubblicazione su riviste americane) • L’utenza dei servizi di traduzione era estremamente limitata (scienziati prevalentemente)

Il rapporto ALPAC Non c’era quindi nessuna emergenza su ampia scala a cui la MT dovesse fare fronte. “The problem is not to meet some nonexistent need through nonexistent machine translation. There are, however, several crucial problems of translation. These are quality, speed and cost. ”

Il rapporto ALPAC Quale era la qualità della MT? • Non esisteva ancora un modo di valutarla • Viene proposto nel rapporto ALPAC un esperimento da cui risulta che la qualità anche della traduzione umana era variabile, ma comunque più elevata di quella offerta dalla MT

Il rapporto ALPAC Quale era la velocità della MT? • Il sistema di MT più rapido traduceva 50 pagine in 15 giorni, tenendo conto della necessità di post-editing

Il rapporto ALPAC Quale era il costo della MT? • Leggere un documento D tradotto da MT richiedeva il doppio del tempo che quando D era tradotto da un traduttore; se D aveva più di 20 lettori, conveniva applicare la traduzione umana • Era meglio spendere per apprendere il russo o per pagare meglio i traduttori che per la MT • 20 milioni di dollari (in realtà 12 -13) erano stati investiti nella MT negli ultimi 10 anni

Il rapporto ALPAC In conclusione lo stato della MT: • La MT deve essere un mezzo per passare da un testo in LS a uno in LT senza intervento umano • Non esisteva ne’ sarebbe esistito entro breve tempo un simile sistema di MT • Il post-editing richiesto dai sistemi di MT, secondo la valutazione dei traduttori, era lungo quanto una traduzione ex novo

Il rapporto ALPAC Si auspicava pertanto: • Lo sviluppo di sistemi di machine-aided (e non human-aided) translation, più economici e utili della MT: CAT • Si riconosceva il contributo della MT allo sviluppo della linguistica computazionale, ma era quest’ultima che doveva essere supportata economicamente e sviluppata, non la MT