Cration de rsum automatique Par Guillaume Blain blaingulexum

Création de résumé automatique Par Guillaume Blain (blaingu@lexum. umontreal. ca) & Marc-André Morissette (morissm@lexum. umontreal. ca) IFT 6255 – 8 avril 2003

Qu’est-ce qu’un résumé? n Une transformation réductrice d’un texte source vers un résumé par compression du contenu à l’aide d’une sélection et/ou généralisation de ce qui est important dans le texte source. - Karen Sparck Jones

Fonction Auto. Summarize de MS Office

Caractéristiques d’un résumé n Indicatif ou Informatif ¨ Indicatif: indique la nature du texte (teaser) ¨ Informatif: tente de se substituer au texte n Extrait ou abrégé ¨ Extrait: phrases ou passages tirés du texte ¨ Abrégé: reformule, compresse le texte n Court ou long ¨ Taux de compression =

Mécanique de construction d’un résumé Document → Repr. interne du document n Repr. interne du document → Repr. interne du résumé n Repr. interne du résumé → Texte du résumé n

Facteurs contextuels n Facteurs d’entrée ¨ Influence n Facteurs d’intention ¨ Influence n l’analyse les transformations Facteurs de sortie ¨ Influence la forme du résumé

Facteurs d’entrée - analyse (1) n Today on MSN ¨ ¨ n Your Week ¨ n Forme ¨ Structure ¨ Échelle ¨ Type de langue ¨ Genre littéraire Latest war updates Iraqis swim Tigris to flee Saddam's notorious cousin may be dead Why isn't cash obsolete? ¨ ¨ Online tax helper, $30 How to make DVD flicks 6 steps to sexier legs

Facteur d’entrée -analyse (2) n Type de sujet ¨ Ordinaire n (connaisances générales) Code de la route ¨ Spécialisé (informatique, recherche d’information) n Précision/Rappel ¨ Restreint n (étudiant du cours ift 6255) Date d’examen

Facteurs d’entrée - analyse (3) n Multiplicité ¨ Simple n Article de journal, rapport de recherche ¨ Multiple n Journal au complet, tous les rapports d’un laboratoire de recherche

Facteurs d’intention - transformation n Situation ¨ Précis, n Audience ¨ Ciblée, n flou; qui, pourquoi, comment non ciblée Utilisation ¨ Tâche: recherche, sommaire, mémoire, invite

Facteurs de sortie - construction n Contenu ¨ Tous les sujets, le sujet central, information partielle; couverture n Format ¨ Prose, informations tabulaires, phrases disparates n Style ¨ Indicatif, informatif, critique, recapitulatif

Approches étalon n Approche aléatoire ¨ On sélectionne n phrases au hasard dans le document n Approche en-tête ¨ On sélectionne les n premières phrases du document

Approche basée sur la RI n n Luhn 1958 Extrait = phrases significatives Une phrase significative contient des mots significatifs (mots-clés) Mots significatifs = entre A et B

Approches basée sur la structure du texte (1) Edmundson 69 n Mots-repères (cues) n ¨ Mots-bonus: greatest, significant, … ¨ Mots-malus: hardly, impossible, … n Mots-titre ¨ Mots-clés titres se trouvant dans le titre et les sous-

Approches basée sur la structure du texte (2) n Positionnement ¨ Début du texte ¨ Fin du texte ¨ Première phrase d’un paragraphe ¨ Dernière phrase d’un paragraphe n Toutes les méthodes! ¨ 1 Mots-repère + 2 Mots-clés + 3 Mots-titre + 4 Positionnement

Évaluation (Edmundson) Corpus d’entraînement avec des extraits sélectionnés manuellement (compression 25%) n Comparaison entre les résumés obtenus manuellement et automatiquement n n Précision =

Résultats (Edmundson) n Mots-clés diminuent efficacité

Extension probabiliste Kupiec, Pederson, Chen 1995 n Classification Bayesienne à partir de caractéristiques du texte n n En supposant les caractéristiques statistiquement indépendantes

Extension probabiliste (2) n Résultats (compression 25%) ¨ Précision de 84%

Problèmes (Paice 1990) n Extraits phrase par phrase sont incohérents et difficiles à lire. Anaphore (auteur) Anaphore Connecteur rhétorique J’aime les bananes. Elles sont toutefois trop jaunes à mon goût. ¨ n n Solution: ajouter les phrases nécessaires pour produire un passage propre. Balance: est-ce que des parties sont sur-représentées? Couverture: est-ce qu’on a oublié quelque chose?

Parsage rhétorique du discours (1) Analyse en profondeur n Basé sur les relations rhétorique entre les passages. (Mann et Thompson 88) n ¨ Objectif de l’auteur. Pourquoi ajouter cette phrase? ¨ Noyau – Satellite n À l’origine du sens et de la cohérence d’un texte

Parsage rhétorique du discours (2) n Exemple d’une relation: pièce à conviction [Noyau: En réalité, la tentation de fumer au secondaire est plus grande qu’à n’importe quel autre moment de la vie d’une personne : ] [Satellite: On sait que plus de 300 adolescents commencent à fumer chaque jour. ] ¨ Effet de la relation: le satellite augmente la crédibilité du noyau aux yeux du lecteur

2 Elaboration 3 Elaboration 2 Background Justification With its distant orbit (50 percent farther from the sun than Earth) and slim atmospheric blanket, (1) Mars experiences frigid weather conditions (2) 8 Example Surface temperature s typically average about -60 degrees Celsius (-76 degrees Fahrenheit) at the equator and can dip to 123 degrees C near the poles (3) 8 Concession 45 Contrast Only the midday sun at tropical latitudes is warm enough to thaw ice on occasion, (4) 5 Evidence Cause but any liquid water formed in this way would evaporate almost instantly (5) Although the atmosphere holds a small amount of water, and water-ice clouds sometimes develop, (7) because of the low atmospheric pressure (6) Most Martian weather involves blowing dust and carbon monoxide. (8) 10 Antithesis Each winter, for example, a blizzard of frozen carbon dioxide rages over one pole, and a few meters of this dry-ice snow accumulate as previously frozen carbon dioxide evaporates from the opposite polar cap. (9) Yet even on the summer pole, where the sun remains in the sky all day long, temperature s never warm enough to melt frozen water. (10)

Parsage rhétorique du discours (4) n Intuition de Daniel Marcu: Résumé peut être produit à partir de l’arbre de parsage. ¨ Nœuds près de la racine correspondent aux idées centrales du texte. Performance d’environ 65% avec des textes courts. n Question: est-ce que ça fonctionne avec des textes plus longs? n

Chaînes lexicales (1) n Établir des chaînes sur les mots qui ont un liens dans Word. Net (Barzilay & Elhadad) Les chatons sont très mignons. Ces petits animaux sont si adorables qu’on en déjeunerait. Les chats eux sont plus comme leur cousins les tigres: indépendants et chasseurs. Les félins on en général une bien mauvaise réputation.

Chaînes lexicales (2) n n n Les phrases importantes sont traversées par des chaînes fortes. Désambiguification tardive Stratégie de sélection: n n n Première phrase avec un membre de la chaîne Première phrase avec un membre significatif de la chaîne Déterminer le segment avec la plus haute densité de termes. Première phrase de ce segment.

Résumé multidocument – SUMMONS (1) Gabarits MUC, organisés chronologiquement n Opérateurs de combinaison n ¨ ¨ ¨ ¨ n Changement de perspective Contradiction Ajout Clarification Similarité Concaténation, généralisation Absence Tendance Favorise les combinaisons

Résumé multidocument – SUMMONS (2)

Cadre multilingue n Megumi Kameyama ¨ Extraction n n d’information dans les discours Extraction à objectifs clos vers objectifs dynamiques 3 étapes ¨ Requête en langue usager ¨ Recherche/abstraction dans la langue du corpus ¨ Résumé en langue usager

Évaluation n Mesure ¨ Précision ¨ Rappel n n Accord entre les juges humains Référentiel de base Compression: C = (longueur Résumé) / (longueur Txt) Rétention: R = (info dans Résumé) / (info dans Txt)

Conférences et évaluation (1) n SUMMAC (Programme TIPSTER) ¨ Ad hoc: pertinence selon une requête ¨ Catégorisation: textes sources vs résumé ¨ Question/réponse: sans lecture, lecture du résumé et lecture du texte

Conférences et évaluation (2) n MUC (Message Understanding Conference) ¨ Entités nommées ¨ Coréférence des entités (anaphores) ¨ Instantiation de gabarits (templates) prédéfinis ¨ Instantiation de scénarios par gabarits

Conférences et évaluation (3) n DUC (Programme TIDES) ¨ Précision/Rappel ¨ Méthode utilitaire (Radev et al. ) ¨ Similarité de contenu

Discussion et analyse n Top-down n n Bottom-up n n De la structure vers le contenu Du contenu (mots, phrases) vers la compréhension Hybride n Dans les deux directions simultanément ou en complément

Évaluation formelle Toute les méthodes ne sont pas évaluées n Évaluations varient n Corpus de test différent n n 25% de taux de compression ! ¨ 2 pages incohérentes pour 8 pages cohérentes (et encore)

Avenir Abstraction n Plus de rigueur n Passer de l’expérimentation à l’application n ¨ Améliorer la lisibilité ¨ Améliorer l’interaction avec l’usager

Conclusion Explosion du domaine n Intégration des technologies connexes n ¨ Traitement en langue naturelle ¨ Recherche d’information Avenir prometteur n Encore beaucoup de travail n