Analyse syntaxique Amalia Todirascu todirasunistra fr Plan n

Analyse syntaxique Amalia Todirascu todiras@unistra. fr

Plan n n Présentation des problématiques du TAL Etiquetage morpho-syntaxique, approches générales + Prise en main d'outils (Tree. Tagger, Flemm) Analyse syntaxique : présentation générale + Prise en main d'outils (Cordial) Ressources pour le Tal (grammaires, lexiques)

Plan du cours n n n Les objectifs d'un outil d'analyse syntaxique automatique Notions: grammaire, lexique, arbre syntaxique Comment fonctionne un outil d'analyse syntaxique automatique ? n n n approche classique approche statistique approche robuste

Motivation n Les objectifs des outils TAL sont de comprendre le sense du texte, en passant par la syntaxe n n Une personne qui parle sa langue maternelle va identifier les phrases mal-formées du point de vue syntaxique, en revanche les outils de TAL doivent acquerir cette capacité Un analyseur syntaxique automatique utilise n n n une grammaire un lexique un moyen de raisonner pour distinguer les phrases correctes et les erreurs

Motivation (II) n Matériel d'étude pour: n n les linguistes les traducteurs les chercheurs TAL Applications TAL: n n Outils d'aide à la traduction Apprentissage d'une langue étrangère Recherche d'information dans une base textuelle Applications de commerce électronique

Un exemple d'annotation Annotation pour "Goriot payait encore douze cents francs de pension. " STA: fcl S: prop("Goriot") Goriot P: v-fin('payer' IMPF 3 S IND) payait f. A: adv("encore") encore Od: np =DN: num("douze") douze =H: n('cent' M P) cents =DN: adj('franc' M P) francs =DN: pp ==H: prp("de") de ==DP: n('pension' F S) pension n 14/03/2009 Séminaire de formation LILPA 6

Grammaire, lexique, arbre n Point de vue linguistique n n n Une grammaire = un ensemble de règles qui identifient les phrases correctes d'une langue Le lexique = l'ensemble des mots qui sont reconnus par une langue Point de vue TAL n n Grammaire = un ensemble de règles qui s'appliquent pour construire la structure syntaxique de la phrase Lexique = l'ensemble des mots d'une langue en format électronique, avec leurs propriétés morpho-syntaxiques

Lexique n Collection des mots avec leurs propriétés morpho-syntaxiques, sémantiques n n Parfois seulement les lemmes sont disponibles Génération automatique des formes fléchies Utilisation des étiquetteurs peut remplacer le lexique Exemples <forme: abeilles, cat: nom, lemme: abeille, nombre: pl, genre: fém> <forme: suis, cat: verbe, lemme: être, mode: indicatif, temps: présent, pers: 1, nombre: sg> <forme: suis, cat: verbe, lemme: suivre, mode:

Problèmes n Ambiguïtés – plusieurs analyses syntaxiques seront possibles n n Lexiques de grande taille pour une couverture linguistique appropriée n n Eventuellement l'information sémantique peut servir pour éliminer les alternatives incomplètitude Traitement des erreurs – impossible si on s'appuie sur un lexique

Grammaire (I) n Chomsky (Structures Syntaxiques, 1969) propose une grammaire générative pour l'anglais n n n Caractériser la notion de grammaticalité Trouver un ensemble de règles qui décrivent l'infinité des phrases produites dans une langue Premiers élements pour un traitement automatique de la syntaxe

Grammaire en TAL (II) n n Utilisées pour la génération d'un langage et pour identifier si une phrase fait partie du langage (analyse) Composition n n Un symbole initial Un ensemble de composants syntaxiques identifiables par la grammaire Un ensemble de règles de transformation (dont au moins une ayant le symbole initial à gauche) Un ensembles de mots (le lexique)

Exemple – une grammaire du group nominal n n GN – symbole initial REL, GP – catégories intermédiaires Catégories lexicales: N, Adj, Prep, Pron. Rel, Det, P Règles n n n GN -> Det N Adj GN -> GN GP GP -> Prep GN GN -> GN Pron. Rel P

Exemple – les règles appliquées n n n P-> GN GV GN->Pron GN-> Det N GP GN-> Det N GV-> V GN GP-> Prep GN n n n n Pron -> Je V -> vois Det-> un N-> homme Prep -> avec Det -> des N-> jumelles

Arbre Syntaxique (I) n n Chomsky propose une théorie qui permet de modéliser la syntaxe pour être utilisable par une machine; Une règle de transformation d'une grammaire = un noeud dans l'arbre syntaxique avec ses descendants GN -> Det N Adj GN Det N Adj

fcl prop v-fin Goriot adv payait encore np num n adj pp douze cents francs prp de n pension fcl prop v-fin adv np np num n adj pp pp prp n 14/03/2009 Séminaire de formation LILPA 15

Comment construire un arbre syntaxique pour un texte? n n Ressources: Grammaire et lexique Stratégies possibles: n n n du haut vers le bas (du noeud racine vers les feuilles) du bas vers le haut (des feuilles vers le noeud racine) L'algorithme qui applique les régles de grammaire n n Entrée: la phrase à analyser Sortie: l'arbre syntaxique associée, si la phrase est correcte, sinon échec

Stratégie descendente n n S_courant = P le symbole initial de la grammaire Tant que il y a encore des règles dans la grammaire G n n Si S_courant est une catégorie lexicale et le mot de la phrase d'entrée fait partie du lexique et a la même catégorie lexicale, stop Sinon, identifie les règles ayant à gauche le symbole S_courant Choix d'une règle et transformation S_courant = le premier élément à droite de la règle

Problèmes n n Si plusieurs règles avec le même symbole gauche disponibles => plusieurs arbres Si un mot n’est pas dans le lexique, impossibilité de construire l’arbre syntaxique Si la grammaire n’est pas complète, impossibilité de construire l’arbre syntaxique Règles circulaires => branches infinies n n GN-> Det N GN -> GN GP

La stratégie ascendente n n S_courant = P le symbole initial de la grammaire; R – l’ensemble des règles de la grammaire; Pile – la pile des symboles à interpreter Tant qu’il y a des mots dans la phrase d’entrée n n Choix du mot suivant et cherche le mot dans le lexique Si le mot est dans le lexique, sélectionne la catégorie lexicale, rajoute un nœud dans l’arbre et dans la pile des symboles P Si les derniers n symboles de la pile forment la partie droite d’une règle, alors construit le nœud dans l’arbre et ajoute le symbole gauche de la règle utilisé en Pile Si Pile = {P}, alors succes, sinon echec

Problèmes de la stratégie ascendente n n n Règles circulaires => branches infinies aussi Si un mot n’est pas dans le lexique, l’algorithme s’arrête Il faut revenir en arrière s’il y a plusieurs règles applicables

Un exemple : Analyseurs syntaxiques en ligne FIPS n n http: //www. latl. unige. ch/ (Laboratoire d’Analyse et de Technologie du Langage) Langues traitées : n n Anglais, Français, Allemand, Italien Modèle chomskyen, théorie GB => architecture modulaire du programme n Modules universaux Modules spécifiques n principes paramètres n 14/03/2009 Séminaire de formation LILPA 21

FIPS -Utilisation 1. 2. Copier-coller le texte Sélectionner l’application (le type de sortie) 1. 2. 3. Parser : analyse syntaxique seule Tagger : analyse syntaxique + étiquettes XML : (bug) schéma X-barre Cliquer sur ‘Analyser’ 14/03/2009 Séminaire de formation LILPA 22

FIPS - Parser 14/03/2009 Séminaire de formation LILPA 23

Plan du cours n n n Les objectifs d'un outil d'analyse syntaxique automatique Notions: grammaire, lexique, arbre syntaxique Comment fonctionne un outil d'analyse syntaxique automatique ? n n n approche classique approche statistique approche robuste

Analyse syntaxique – divers approches n Analyse syntaxique “classique” (Gazdar 1996, Shieber 1984) n n Analyse syntaxique robuste (S. Abney 1991) n n Une phrase correcte = un arbre syntaxique complet Identifier que les constituents syntaxiques “pertinents” Analyse syntaxique statistique (Caroll 1996, Bod & all 2003) n Les règles de grammaires sont décorées avec des probabilités

Problèmes n comment gérer les ambiguïtés? n n n lexicales syntaxiques sémantiques ressources linguistiques incomplètes (grammaires, patrons) quantité importante de textes à traiter

Analyse statistique n n proposée pour résoudre les problèmes des analyseurs syntaxiques une méthode possible : n n grammaires probabilistes (indépendentes de contexte) (Charniak 1996) nécessite une phase d'apprentissage sur les données

Grammaires probabilistes n n n Un symbole de départ (le composant maximal à identifier) un ensemble de composants syntaxiques ou catégories lexicales (symboles non-terminaux) N un ensemble de symboles terminaux (mots) T un ensemble de règles A -> A 1…An (A N, Ai T N ) un ensemble de probabilités pi associés à chaque règle A pi(A->A 1…An)=1

Un exemple de grammaire probabiliste n n n P-> GN VN (1. 0) GP-> Prep GN (1. 0) GV-> V GN (0. 7) GV -> GV GP (0. 3) GN -> GN GP (0. 4) V-> saw (1. 0) n n n Prep-> with (1. 0) GN -> astronomers (0. 1) GN-> ears (0. 18) GN -> saw (0. 04) GN-> stars (0. 18) GN -> telescopes (0. 1)

Arbres syntaxiques probabilistes n n n les règles de grammaires s'appliquent pour créer l'arbre syntaxique associé au texte la probabilité de l'arbre = produit de tous les règles qui s'appliquent pour construire l'arbre P(Arbre|R) = p(ri), ri règle qui s'applique pour construire l'arbre

Un exemple P GV GN astronomers GN V saw GP N stars Prep N with ears p(t 1)=1*0. 7*1. 0*0. 4*0. 18*1. 0*0. 18

Analyse statistique n apprentissage n n des règles de grammaire des probabilités à partir d'un corpus (arboré), et des exemples positifs analyse syntaxique de la phrase: n construire un arbre syntaxique le plus probable, étant donnée une grammaire

Apprentissage n n sur un corpus arboré, on peut extraire les règles trouvés dans le corpus si S est la phrase à analyser, et T est l'arbre syntaxique associé, les règles LHS->RHS alors la probabilité: n n P(T|S) = i=1. . n P(LHSi->RHSi|LHSi) = Count(LHSi, RHSi)/Count(LHSi)

Apprentissage (II) à partir d'un corpus étiqueté, il faut calculer la probabilité que n mots apparaissent Log-likelihood ensemble n n 122 = n 1* - n 11 2 w ¬w w 1 n 12 ¬ n 21 n 22 w 1 n 21 = n*1 – n 11 n 22 = n** - n 11

L'analyseur syntaxique n n cherche l'arbre T qui maximise la quantité P(T|S) un algorithme qui est basé sur un diagramme, construite sur les mots de la phrase d'entrée (Caroll, Briscoe, 1996) n n liste de clés états

Autre modèle n n DOP (Data Oriented Parsing) (R. Bod 2003) chaque personne produit un nombre infini de phrases d'où l'idée de stocker tous les sous-arbres d'un arbre syntaxique identifié dans le corpus quand on présente une nouvelle phrase: n n n on décompose en segments on identifie les arbres partiels on recompose pour avoir l'arbre syntaxique le plus probable

DOP n n une règle qui identifie les phrases correctes des règles de décomposition des arbres n n n des règles de compositions n n racine (sélectionner un nœud racine et extraire le sous-arbre) frontière (sélectionner d'autres nœuds que les nœuds racines et effacer ces arbres) substitution comment calculer la probabilité d'une phrase à base des fréquences de ses fragments n P(t) = nb(t)/( (racine(t)=racine(t'))*nb(t')) t'

Avantages et limites n avantages n n apprentissage à partir des données, donc à des exemples rééls limites n n la taille et la qualité du corpus d'entraînement sont très importantes validation linguistique est nécessaire

Problèmes liés aux grammaires n Niveau d'ambiguïté élévé n n Couverture linguistique n n Information contextuelle nécessaire pour la desambiguïsation Exceptions pour les phénomènes spécifiques Traitement des erreurs - alternatives n n Analyse syntaxique partielle (S. Abney 1991) Analyse statistique (Carroll, 1999, Bod, 2003)

Cordial analyseur http: //www. synapse-fr. com/ Cordial_Analyseur/Presentation_Cordial_Analyseur. ht m n n n Logiciel commercial : pas d’information précise sur les principes de fonctionnement Installation sur sa propre machine, interface d’utilisation Choix des paramètres d’analyse 14/03/2009 Séminaire de formation LILPA 40

Cordial analyseur n Deux possibilités de sorties: n n n Dans les deux cas : n n n en arbre en liste relations (SUJ, COD, COI, Circonstant, Attribut, etc. ) groupes syntaxiques Sortie liste n n 14/03/2009 étiquette morphosyntaxique classe sémantique Séminaire de formation LILPA 41

Analyse syntaxique – divers approches n Analyse syntaxique “classique” (Gazdar 1996, Shieber 1984) n n Analyse syntaxique robuste (S. Abney 1991) n n Une phrase correcte = un arbre syntaxique complet Identifier que les constituents syntaxiques “pertinents” Analyse syntaxique statistique (Caroll 1996, Bod & all 2003) n Les règles de grammaires sont décorées avec des probabilités

Analyseurs syntaxiques en ligne 1. VISL n n http: //beta. visl. sdu. dk/visl/fr/parsing/ automatic/ Langues traitées : n n Danois, Anglais, Esperanto, Français, Allemand, Portugais, Espagnol, Italien, Norvégien (bokmål) Constraint Grammar n 14/03/2009 Règles contextuelles écrites par des linguistes (par opposition à une analyse probabiliste, statistique) Séminaire de formation LILPA 43

VISL - Utilisation Choisir une sortie : 1. arbre ou structure plate • 2. 3. Copier-coller le texte à analyser Cliquer sur ‘Go!’ 14/03/2009 Séminaire de formation LILPA 44

VISL - Arbre 14/03/2009 Séminaire de formation LILPA 45

VISL - Arbre 14/03/2009 Séminaire de formation LILPA 46

VISL – Structure plate 14/03/2009 Séminaire de formation LILPA 47

Analyseurs syntaxiques en ligne 2. XFG n n n http: //www. xlfg. org/ Développé par L. Clement Langues traitées : n n Anglais, Français Grammaire LFG (Lexical Functional Grammar) 14/03/2009 Séminaire de formation LILPA 48

Analyseurs syntaxiques en ligne 3. XIP n n n http: //www. xrce. xerox. com/xip/page 1. jsp Développé par S. Aït-Mokhtar et J. -P. Chanod Langues traitées : n n Anglais, Français, Espagnol, Italien, Portugais Grammaire de dépendances entre ‘tokens’ 14/03/2009 Séminaire de formation LILPA 49

Grammaires de dépendance S NP V EN NP D R 0 N SBJ ROOT EN Karl travaille le soir VMOD Karl NMOD V D travaille le N soir

Grammaires de dépendance (II) S ROOT R 0 NP V EN V: travaille NP D N SBJ VMOD NE: Karl N: soir NMOD Karl 51 travaille le soir D: le

Grammaires de dépendance ROOT n Formalisme: V: travaille T = terminaux SBJ VMOD n N = non-terminaux EN: Karl N: soir n L = étiquettes NMOD n ROOT = noeud initial D: le n règles: n RI : règle de catégorisation : X y 1 | … | yn n RII : règle de dépendence : X(Y 1…Yi*Yi+1…Yn) n RIII: catégories liées avec ROOT n 52 R 0

XIP - Utilisation 1. 2. 3. Choisir la langue Copier-coller le texte à analyser Choisir une sortie 1. 2. 3. 4. 5. 6. 4. minimale (analyse syntaxique) totale (lemme + analyse syntaxique) arbre complet (? ) extraction d’entités (fournit uniquement les Entités Nommées) format xml Cliquer sur ‘Start parsing’ 14/03/2009 Séminaire de formation LILPA 53

XIP – ‘full output’ 14/03/2009 Séminaire de formation LILPA 54

XIP – ‘tree’ 14/03/2009 Séminaire de formation LILPA 55

Conclusion n n Pas de standard Objectifs, fonctionnement des analyseurs divers n n => Evaluation et comparaison difficiles Relative médiocrité des performances n 14/03/2009 pour le français, campagne d’évaluation EASY Séminaire de formation LILPA 56

Evaluation des analyseurs Résultats de Syntex lors de la campagne EASY Précision, rappel et f-mesure, avec le rang de classement de SYNTEX (r) et l’écart avec l’analyseur classé deuxième pour la précision et la f-mesure (S-n° 2), et l’écart l’analyseur classé premier pour le rappel (S-n° 1) 14/03/2009 Séminaire de formation LILPA 57

Evaluation des analyseurs (II) Corpus Littéraire 14/03/2009 Corpus Le Monde Séminaire de formation LILPA 58

Evaluation (III) n n Nouvelle campagne: PASSAGE (20072009) http: //atoll. inria. fr/passage n n n mise à disposition des corpus de référence plate-forme d'annotations outils de visualisation

Références bibliographiques n n N. Chomsky – Structures syntaxiques, Editions du Seuil, 1969 Steven Abney - Parsing By Chunks. In: Robert Berwick, Steven Abney and Carol Tenny (eds. ), Principle-Based Parsing. Kluwer Academic Publishers, Dordrecht. 1991 R. Bod, J. Hay and S. Jannedy (eds. ) - Probabilistic Linguistics, The MIT Press, 2003 Carroll, J. and Briscoe, E. (1996) “Apportioning development effort in a probabilistic LR parsing system through evaluation”. In Proceedings of the ACL/SIGDAT Conference on Empirical Methods in Natural Language Processing, University of Pennsylvania, PA. n n 92 -100. Charniak, E. (1997) "Statistical parsing with a context-free grammar and word statistics", Proceedings of the Fourteen National Conference on Artificial Intelligence, AAAI Press/MIT Press, Menlo Park Collins, M. J. (1996) A New Statistical Parser Based on Bigram

Références n n n n Abeillé, A. , L. Clément, and F. Toussenel. (2003). `Building a treebank for French', in A. Abeillé (ed) Treebanks , Kluwer, Dordrecht Ait-Mokhtar, S. , Chanod J. -P. (1997) Incremental finite-state parsing. In Proceedings of Applied Natural Language Processing 1997, Washington, DC. April 97 Bick, Eckhard (2006). A Constraint Grammar-Based Parser for Spanish. In: Proceedings of TIL 2006 - 4 th Workshop on Information and Human Language Technology (Ribeirão Preto, October 27 -28, 2006). ISBN 85 -87837 -11 -7 Bourigault D. , Fabre C. , Frérot C. , Jacques M. -P. & Ozdowska S. (2005), Syntex, analyseur syntaxique de corpus, in Actes des 12èmes journées sur le Traitement Automatique des Langues Naturelles, Dourdan, France Joshi, A. (1994). Introduction to Tree Adjoining Grammars. In Computational Intelligence Lopez, P. (1999). Analyse d'énoncés oraux pour le dialogue homme-machine à l'aide de grammaires lexicalisées d'arbres, Thèse, INRIA-Lorraine Wehrli, E. (2005) Fips, a “Deep” Linguistic Multilingual Parser, Proceedings of the 5 th Workshop on Important Unresolved Matters, pages 120– 127, Ann Arbor, June 2005, Association for Computational Linguistics 14/03/2009 Séminaire de formation LILPA 61

Evaluation (I) n n Un dossier de 6 -8 pages : Contenu n n n soit vous présentez un outil d'analyse automatique (étiqueteur, analyseur syntaxique) ou une ressource utilisée pour l'analyse (lexique, grammaire) avec les avantages et les limites soit vous comparez deux outils de même catégorie avec les avantages et les inconvenients de chaque outil Date limite : 4 novembre 2010

Evaluation (II) n pas de reprise à l'identique du texte/source Web consulté n n n en cas de reprise identique, on cite l'auteur et on met le texte entre "" pas plus de 15% dédiées aux images (copies d'ecran) indiquer les sources consultées (même si pages Web)