Modles pour le Traitement Automatique des Langues Alain

Modèles pour le Traitement Automatique des Langues Alain Lecomte M 1 -ICPS

Le Traitement Automatique des Langues • • • Traduction automatique (ou assistée) Interfaces en langue naturelle Dialogue homme – machine Indexation automatique de documents Web sémantique – Par exemple, quand je tape dans Google « Statistical NLP » , il n’est pas fichu de me renvoyer les documents concernant « Statistical Natural Language Processing » !!! • Recherche d’information • Aide à la rédaction dans des langues simplifiées

Exemples dans les stages soutenus en 2005 • Sur six mémoires soutenus en septembre, quatre portaient sur du TAL: – Extraction des entités nommées (Digimind, veille technologique) – Indexation sémantique de documents (Xerox, projet «document intelligent » ) – Moteur d’interrogation synchrone de plusieurs dictionnaires en ligne (sté Babeling) – Mémoires de traduction (sté Babeling) – Un site pour les apprenants du chinois (U. Stendhal)

Groupe NLP de Microsoft (1) • The goal of the Natural Language Processing (NLP) group is to design and build software that will analyze, understand, and generate languages that humans use naturally, so that eventually you will be able to address your computer as though you were addressing another person. • This goal is not easy to reach. "Understanding" language means, among other things, knowing what concepts a word or phrase stands for and knowing how to link those concepts together in a meaningful way. It's ironic that natural language, the symbol system that is easiest for humans to learn and use, is hardest for a computer to master. Long after machines have proven capable of inverting large matrices with speed and grace, they still fail to master the basics of our spoken and written languages.

Groupe NLP de Microsoft (2) • The challenges we face stem from the highly ambiguous nature of natural language. As an English speaker you effortlessly understand a sentence like "Flying planes can be dangerous". Yet this sentence presents difficulties to a software program that lacks both your knowledge of the world and your experience with linguistic structures. Is the more plausible interpretation that the pilot is at risk, or that the danger is to people on the ground? Should "can" be analyzed as a verb or as a noun? Which of the many possible meanings of "plane" is relevant? Depending on context, "plane" could refer to, among other things, an airplane, a geometric object, or a woodworking tool. How much and what sort of context needs to be brought to bear on these questions in order to adequately disambiguate the sentence?

Groupe NLP de Microsoft (3) • We address these problems using a mix of knowledge-engineered and statistical/machine-learning techniques to disambiguate and respond to natural language input. Our work has implications for applications like text critiquing, information retrieval, question answering, summarization, gaming, and translation. The grammar checkers in Office for English, French, German, and Spanish are outgrowths of our research; Encarta uses our technology to retrieve answers to user questions; Intellishrink uses natural language technology to compress cellphone messages; Microsoft Product Support uses our machine translation software to translate the Microsoft Knowledge Base into other languages. As our work evolves, we expect it to enable any area where human users can benefit by communicating with their computers in a natural way.

Y a-t-il un modèle universel de traitement des langues? • Principales difficultés: – La très grande variété des solutions choisies par les langues pour exprimer le « sens » • Modèles existants développés surtout à partir des langues dominantes : langues indo-européennes (surtout l’anglais!), japonais, chinois… – La très grande complexité du langage humain • Problème NP-dur, voire indécidable?

Langue et système de communication • À quoi sert le langage? – Insuffisance de la thèse selon laquelle il « sert à communiquer » – La langue n’est pas un simple « code » – Le rôle de la langue pour : • Argumentation (Dessalles) • Narration (Victorri)

des structures universelles? • On s’accorde pour reconnaître l’importance de plusieurs types de structure: – Structure en constituants (ou syntagmatique) – Structure thématique – Structure morphologique

Structure syntagmatique (1) • Importance de la décomposition en syntagmes – Concept syntaxique ou concept sémantique? – Rôle de la structure en constituants dans la détermination d’une entité

Structure syntagmatique (2) • Offre la possibilité de regrouper les prédicats qui se rapportent à la même variable • Un syntagme = une tête + des compléments + (éventuellement) un spécifieur ou sujet • A l’intérieur d’un même syntagme : partage d’argument • La notion d’arbre rend bien compte de ces notions

Ex: syntagme nominal • Le petit chat de Marie N’’ Det N’ N petit(x) Adj SP N chat(x)

Syntagme nominal • Le petit chat de Marie N’’ Det petit(x)&chat(x) N petit(x) Adj N’ SP N chat(x)

Syntagme nominal • Le petit chat de Marie N’’ Det petit(x)&chat(x) N petit(x) Adj N’ SP possède(Marie, x) N chat(x)

Syntagme nominal • Le petit chat de Marie N’’ Det petit(x)&chat(x) N petit(x) Adj petit(x)&chat(x)& N’ possède(Marie, x) SP possède(Marie, x) N chat(x)

Syntagme nominal • Le petit chat de Marie Le x tel que N’’ petit(x)&chat(x)& possède(Marie, x) Det petit(x)&chat(x) N petit(x) Adj petit(x)&chat(x)& N’ possède(Marie, x) SP possède(Marie, x) N chat(x)

• Tous les noeuds ont une variable commune, • Le syntagme a trois niveaux : – Niveau 0 : position de la tête, possibilité d’insertion lexicale d’un N – Niveau 1 : la tête + ses compléments (euxmêmes des syntagmes « complets » ) – Niveau 2 : le syntagme de niveau 1 + son spécifieur

phrase • Analyse classique: S SV SN V Peter • Pourquoi? likes SN Mary

phrase • Analyse classique: S SUJET SN V Peter likes SV OBJET SN Mary

phrase (2) • X-barre? une solution: S = IP I’ SV Infl V’ V

phrase (2) • X-barre? une solution: S = IP I’ ? SV Infl V’ SN sujet ? V

phrase (2) • X-barre? une solution: S = IP I’ SV Infl V’ SN V

phrase (2) • X-barre? une solution: S = IP I’ SN SV Infl MOVE V’ t V

phrase (2) • X-barre? une solution: S = IP I’ cas nominatif SN SV Infl MOVE V’ t V

Profondeur des arbres • Est-ce que les arbres élémentaires ont toujours trois niveaux? • Qu’est-ce qui sert de tête dans le cas de la « phrase » (nœud S)? • Le nœud SV est-il toujours nécessaire? – Y a-t-il des langues plus «plates» que d’autres?

Cas du latin • • Tullius vidit Paulum vidit Tullius Tullium vidit Paulus vidit Tullium SN • Mettre un nœud SV est inutile, puisque le sujet est reconnu par sa marque morphologique S V SN

Rôles thématiques • On appelle rôles thématiques les rôles joués par les entités mises en jeu dans le discours • J. L. Dessalles appelle segmentation thématique le processus visant à présenter une situation sous la forme d’un énoncé linéaire mettant en évidence ces rôles

exemple • Pierre va de Paris à Londres – Trois entités mises en jeu : Pierre, Paris, Londres • Pierre est l’entité qui se déplace : le « thème » • Paris est l’origine du déplacement : la « source » • Londres en est : « le but »

suite • Noter que ce n’est pas si simple… • Le nuage (chimique!) va de Pont-de-Claix à Echirolles – Ici, rien ne se déplace à proprement parler – On peut néanmoins continuer d’attribuer ces rôles thématiques à le nuage, Pt-de-Claix et Echirolles

rôles thématiques (2) • Pierre coupe la viande avec son couteau AGENT PATIENT INSTRUMENT sujet objet complément ind. • Pierre utilise son couteau pour couper la viande AGENT INSTR. BUT PATIENT sujet objet compl. objet • La viande se coupe facilement avec un couteau PATIENT INSTR. sujet compl. • Le couteau coupe bien la viande INSTRUMENT PATIENT sujet objet

rôles thématiques (3) cas du sanskrit – Pânini (500 av JC) • les six karaka – agent (kartr), objet (karman), intrument (karana), destinataire (sampradana), origine (apadana), location (adhikarana) – Devadattah pacati odanam indique le nom avec –h est agent – AGENT ACTION OBJET – Devadatta cuisine le riz – Devadattena pacyata odanah indique le nom avec –h est objet – Le riz est cuisiné par devadattena

Autonomie relative de la syntaxe • Le lien fonction grammaticale – rôle thématique n’est pas systématique (cf. passif). – Le gardien de but relance le ballon sujet = agent – Le ballon est relancé par le gardien de but sujet = patient • « la part d’arbitraire dans le rapport entre grammaire et sens contribue à conférer une autonomie à la syntaxe » .

Structure morphologique ex. d’une langue bantoue • • • Le mot Nàïkimiyiïà : « II le mange pour elle » , comporte 8 parties : n- : marqueur de focus -à- : accord de classe avec le sujet (il existe 16 classes : humain singulier, humain pluriel, objets fins, objets étendus, objets en paquets, objets allant par paires, paires elles-mêmes, paquets, instruments, animaux, parties du corps, diminutifs de petitesse et d'affection, qualités abstraites, localisations précises, localisations vagues). Ici: humain singulier -î- : temps présent (temps : aujourd'hui, plus tôt aujourd'hui, hier, pas plus tôt qu'hier, hier ou avant, dans le passé lointain, habituellement, en train, consécutivement, hypothétique, futur, temps indéterminé, pas encore, parfois). -kî-: accord avec l'objet, classe animaux (classe 10) - m - : marqueur indiquant que le bénéficiaire de l'action est de la classe 1 -lyi -: verbe manger -1 - : modification du verbe pour indiquer la présence d'un rôle de bénéficiaire -à : mode indicatif

nàïkimiyiïà n à ï ki m iyi ï à focus benef accord suj. présent hum. sing. accord obj. animaux racine modif mode indicatif verbale manger

Différentes propriétés des langues • Accusativité et ergativité – Exemple du tibétain: – Les constructions ergatives peuvent paraître surprenantes au début dans la mesure où elles fonctionnent à l’inverse des constructions accusatives dans les langues européennes. Dans ces dernières ainsi qu’en chinois, le sujet n’est pas marqué tandis que l’objet l’est, soit par un cas spécial, l’accusatif (cf. latin , russe), soit par sa position, en étant rejeté après le verbe. Le tibétain, lui, choisit de marquer non pas l’objet mais le sujet par un cas, l’ergatif. Le sujet marqué par l’ergatif correspond presque toujours à un agent humain. Le cas de l’objet correspond à l’absence de marque formelle et est appelé « absolutif » .

ergativité • • • Latin : Russe : ego ill-um ja èt-u (nom) (ce+acc) Chinois: wo kan-guo Français: j’ ai lu Anglais : I read (nom) lire (passé) Tibétain : ngä thep (erg) (livre+abs) libr-um knig-u (livre+acc) zhe-ben ce this (ce) tä-payin (lire-passé) legi procëi lire (passé) shu livre book (livre)

Langues isolantes vs agglutinantes • Inuit (inuktitut) : – Je pense lui donner un kayak – qajaqartinniarpara (un seul mot) • • • qajaq : kayak qar : avoir ti : le faire niar : vouloir pa : but ra : mon • Conséquence : – Difficulté de définir ce que l’on entend par « un mot »

Pro-drop • • Français : il pleut Anglais : it rains Italien : piove Espagnol : llueve • Italien : Verrà Gianni / Gianni verrà • Français : Jean vient / *vient Jean mais : il est arrivé quelqu’un • Anglais: which book did you think that Mary read? *who did you think that read those books? • Français: quel livre crois-tu que Marie a lu? *qui crois-tu que a lu ces livres? • Italien: chi credi che verra?

Ordre des constituants Ordre pourcentage des langues SVO SOV VSO VOS OVS OSV 42 45 9 3 1 0 exemples anglais, edo, indonésien japonais, turc, quetchua zapotec, gallois totzil, malagasy hixkaryana

Structure en constituants vs marquage morphologique • Français : La sœur de Yann a retrouvé le petit chat noir • Warlpiri : La(SU) de Yann(SU) a retrouvé chat(OB) sœur(SU) petit(OB) noir(OB)

récursivité • Récursivité évidente du système de branchement en syntagmes – un, un plus un, etc. • Marquage morphologique non récursif? – Allemand : • Der Vater des Schülers shämt sich • Der Vater schämt sich des Schülers

L’ancien géorgien • igi sisxl-i • le-nom sang-nom saxl-isa-j maison-gen-nom m-is Saül-is-isa-j la-gen Saül-gen- • N 1 -nom N 2 -gen-nom N 3 -gen 2 -nom - … - Nk-genk-nom

à différencier du… sumérien – maison du roi (king’s house) –é lugal-ak – maison roi-GEN – dans la maison du roi –é lugal-ak-a – maison roi-GEN-LOC – dans la maison du frère du roi –é ses lugal-ak-ak-a – maison frère roi-GEN-LOC

relativisation • Paul achète un livre que Jean a acquis • c’est grâce à ‘que’ que le deuxième argument de acquérir peut être partagé avec livre • ainsi que effectue un déplacement qui permet de rapprocher cet argument de la tête livre.

Le SN un livre que Jean a acquis N’’ Det un N’ *** N livre I’’ que I’ SN Jean I a V’’ SN t V acquis V’ SN t’

Le SN un livre que Jean a acquis N’’ Det un N’ *** a_acquis(Jean, y) & x = y N livre(x) I’’ a_acquis(Jean, y) que I’ SN Jean a_acquis(z, y) I a V’’ SN t z V acquis V’ SN t’ y

• Paul achète un livre que Jean a acquis • x achète(Paul, x) & livre(x) & a_acquis(Jean, x)

commentaire • que transporte la variable qui tient lieu de deuxième argument du verbe enchâssé vers une position où elle devient visible pour le prédicat livre(x) • Le lien x = y résulte alors de la relation de gouvernement qui existe entre la position occupée par livre et celle occupée par que, et qui traduit la notion de proximité au sein d’un syntagme, • C’est le système mouvement-trace qui permet à un argument de se hisser à l’extérieur de son prédicat pour être visible depuis le prédicat supérieur.

relativisation (2) • Tibétain : – J’ai acheté-NOM GEN chemise – nominalisateur + génitif

Formation de questions • En oui/non : – – Pierre est-il parti en vacances ? Did Peter go in holidays ? Fait-il beau là où tu es ? Is the weather fine, at the place you are presently ? • Chinois: – ni shi faguo ren ma ? – tu es français – interr (es-tu français ? ) • Tibétain: – thep yö-pä – tu as des livres as-tu des livres ?

Formation de question (2) – Quel livre m’as-tu recommandé de lire ? – Which book did you recommand me to read ? • Déplacement, traces – [Quel livre]i m’as-tu recommandé de lire ti ? – [Which book]i did you recommand me to read ti ? • Chinois: – ni kan-shu-le shenme ben shu ? – tu as lu quel (classif) livre?

Sujet / Objet • Français, anglais : ordre des mots • Japonais : o et ga – John frappe Marie, : – John-ga Mary-o butta – Mary-o John-ga butta • Mohawk : – – – John likes Mary Sak Uwary shako-nùhwe’s Mary likes John Sak Uwary ruwa- nùhwe’s 45 différents préfixes!

Modèles classiques (1) • Grammaires hors-contexte – Limitations (néerlandais, suisse allemand…) – Empêche de faire des généralisations « entre les langues » • Amélioration : – GPSG (Gazdar, Klein, Pullum, Sag) autour de 1985

Modèles classiques (1) rappels Type 0 (Turing-reconnaissables) Type 1 (contextuels) Type 2 (hors-contexte) Type 3 (réguliers)

Modèles classiques (1) rappels Type 0 (Turing-reconnaissables) Type 1 (contextuels) Type 2 (hors-contexte) Type 3 (réguliers) LN?

Modèles classiques (1) ou…. Type 0 (Turing-reconnaissables) Type 1 (contextuels) Type 2 (hors-contexte) Type 3 (réguliers) LN?

Ordre des mots dans les subordonnées • Anglais: – I said that Jan saw Mary let hans teach the children to swim • Allemand: – Ich sagte, dass Jan Marie Hans das Kind schwimmen lehren lassen sah • Néerlandais: – Ik zei dat Jan Marie Hans het kind zag laten leren zwemmen

Ordre des mots dans les subordonnées • Anglais: – that Jan saw Mary let Hans teach the children to swim • Allemand: – dass Jan Marie Hans das Kind schwimmen lehren lassen sah • Néerlandais: – dat Jan Marie Hans het kind zag laten leren zwemmen

Ordre des mots dans les subordonnées • Anglais: – that Jan saw Mary let Hans teach the children to swim • Allemand: – dass Jan Marie Hans das Kind schwimmen lehren lassen sah • Néerlandais: – dat Jan Marie Hans het kind zag laten leren zwemmen

anglais • • • S SN SV SI SN SVI SV V SI | Vb SVI VI SI | Vb. I SN jan | marie | hans | the child VI see | teach | let Vb. I swim V saw | let | taught Vb swam

S SV SN Jan V SI saw SN SVI Mary VI let SI SN Hans SVI VI teach SI

allemand • • • S SN SV SI SN SVI SV SI V | Vb SVI SI VI | Vb. I SN jan | marie | hans | das Kind VI sehen | lehren | lassen Vb. I schwimmen V sah | liess | lehrte Vb schwamm

S SV SN Jan SI V sah SN SVI Marie SI VI lassen SN SVI Hans SI VI lehren

néerlandais? • • • S 1 SN Vb | SN SV 1 S 2 Vb. I S 2 SN SV 2 S 2 VI | SN V SN jan | marie | hans | het kind VI zien | laten | leren Vb. I zwemmen V zag | liet | lerte Vb zwam

S 1 SV 1 SN Jan S 2 Vb. I zwemmen SN SV 2 Marie S 2 VI leren SN SV 2 Hans S 2 VI laten

Structure incorrecte ! S 1 SV 1 SN Jan S 2 Vb. I zwemmen SN SV 2 Marie S 2 VI leren SN ? SV 2 Hans S 2 VI laten

Exercice • Faire une grammaire hors-contexte de l’anglais qui s’applique aux phrases suivantes avec auxiliaire : – I did prepare one meal – He will prepare one meal • Ajouter ce qu’il faut à cette grammaire pour obtenir aussi des phrases comme: – Did he prepare one meal? – Who did prepare this meal? – What did he prepare? • Comment résoudre le cas de phrases comme: – I prepared this meal • Que faut-il changer à la grammaire obtenue en (1) pour avoir une grammaire qui s’applique à la phrase tibétaine: – nga neka ci sö payin – [je plat-un préparé AUX] • Décrire avec des déplacements la phrase: – I did prepare the meal that you are eating

Modèles classiques (2) • Les langues naturelles seraient-elles « mildly context-sensitive » ? – Grammaires d’arbres adjoints (A. Joshi) • Vers une « lexicalisation » : – Grammaires d’arbres adjoints lexicalisées – Grammaire catégorielle combinatoire (M. Steedman)

Modèles classiques (3) • Prolog les vertus de l’unification • Grammaires d’unification – DCG – LFG – HPSG

exemple chien : : = CAT : N AGR : GE : masc NBR : sing

exemple un : : = CAT : Det AGR : GE : masc NBR : sing

exemple aboie : : = CAT : V SUBCAT : nil AGR : NBR : sing

exemple mange : : = CAT : V SUBCAT : 1 er : CAT: SN queue : nil AGR : NBR : sing

exemple donne : : = CAT : V SUBCAT : 1 er : CAT: SN : SP queue : 1 er: Cat PFORM: à queue : nil AGR : NBR : sing

représentation sous forme de graphe chien : : = CAT N AGR GE masc NBR sing

un : : = CAT det AGR GE masc NBR sing

aboie : : = CAT AGR SUBCAT V nil NBR sing

mange : : = CAT AGR V SUBCAT NBR 1 er sing queue nil CAT SN

donne : : = CAT AGR V SUBCAT NBR 1 er sing CAT SN queue 1 er queue nil CAT PFORM

structures de traits • D’une façon générale, on appelle ces objets: structures de traits

structure de traits associée à une règle soit la règle s ---> sn, sv, avec l’accord entre sn et sv On peut la traduire par une règle (schéma de concaténation) et un ensemble d’équations entre valeurs de traits : Règle : X ---> Y, Z Equations: cat(X) = s cat(Y) = sn cat(Z) = sv agr(Y) = agr(Z)

ou par la structure de traits: X : CAT: S Y : CAT: SN AGR: #1 Z : CAT: SV AGR: #1

cette règle ne peut s’appliquer: • Qu’à deux objets A et B qui peuvent s’unifier respectivement à: – et à: CAT: SN AGR: #1 CAT: SV AGR: #1

Exemple: Médor aboie

On utilise le schéma de règle : X cat s Y cat sn Z agr cat sv

Voici la structure de traits associée dans le lexique à /Médor/ cat sn agr ge nbr masc sing Médor

Voici la structure de traits associée dans le lexique à /aboie/ agr cat nbr sv sing aboie

Insertion de /aboie/ dans le schéma de règle X cat s Y cat sn Z agr cat nbr sv sing aboie

Insertion de /Médor/ dans le schéma de règle X Y cat s sn Z agr ge nbr cat sv sv masc sing Médor aboie

• Il y a réussite car les trois structures : – schéma de règle (partie bleue) – entrée lexicale /Médor/ – entrée lexicale /aboie/ se sont unifiées

Autre exemple : *Médor aboient Entrée lexicale associée à /aboient/ agr cat nbr sv plur aboient

Insertion de /aboient/ dans le schéma de règle X cat s Y cat sn Z agr cat nbr sv plur aboient

Echec de l’insertion de /Médor/ dans le schéma de règle X Y cat s sn Z agr cat agr ge nbr masc plur sing Médor sv sv aboient

Exercice • Faire une grammaire d’unification sur le modèle précédent qui accepte les phrases suivantes (à condition que l’accord soit respecté): – Nous achetons nos livres – Ils achètent des livres usagés – Il vend une armoire usagée • En refusant bien sûr: – – • *Nous achètent nos livre *Ils achète des livre usagés *Il vend un armoire usagé *Il vends son livres Compléter cette grammaire de manière à ce que les phrases suivantes soient acceptées : – Nous regardons nos livres – Il donne son livre à sa copine – Il plaisante • mais pas les suivantes: – *nous regardons nos livres à un inconnu – *il plaisante sa copine

Modèles classiques (4) • Thèses chomskyennes – Grammaires minimalistes (Stabler) – Formalismes équivalents : • Multi-Context Free Grammars (Seki) • Grammaires catégorielles multimodales (Moortgat, Vermaat)

Algorithmes • • • Analyseurs descendants (LL(k)) Analyseurs ascendants (LR(k)) Cocke-Younger-Kasami Earley Chart-parsing

Le problème de la représentation du sens • En général: sens « logique » – Conditions de vérité • Utilisation de la LPO • Utilisation d’une logique intensionnelle • Mais le sens est aussi dynamique…

TP • Réaliser en PROLOG une petite interface d’interrogation d’une base de données en langue naturelle • Ex: quels sont les romans écrits par Flaubert? • Qui a écrit « Le Rouge et le Noir » ? • Quels romans ont été écrits par Stendhal entre 1820 et 1830?