Charla Tesis I Universidad de Chile Facultad de

Charla Tesis I Universidad de Chile Facultad de Ciencias Físicas y Matemáticas Departamento de Ciencias de la Computación Magíster en Ciencias mención computación "Estimación de Confiabilidad de Sucesos Futuros Extraídos desde Fuentes de Noticias y su Utilización en un Motor de Búsqueda” Iván M. Rivera Jofré Profesor Guía: Dr. Ricardo Baeza-Yates Marzo 2006

Contenido de la Charla n Motivación y Objetivos n Descripción del Proceso n Trabajo Previo n Desarrollo n Prototipo

El futuro… El 9 de Junio del año 2006 comienza el XVIII Campeonato Mundial de Fútbol, en Alemania En el primer trimestre de 2006, Sky Airlines iniciará 7 vuelos semanales a Madrid En el año 2011 se cierra la línea de explotación de sulfuros en la mina de El Salvador 11 de Julio de 2010. Eclipse Total de Sol en la Isla de Pascua. Hora: 16: 10: 57. Duración 4 minutos 44 segundos 07/07/2007: Se publica la séptima y última entrega de la serie de libros Harry Potter El año 2009 estará disponible una vacuna contra la Malaria

Motivación n n Toda esta información fue extraída de la Web. Sin embargo, no es simple llegar a esta información, debo saber dónde buscar y prácticamente saber qué es lo que busco.

Motivación n n Conocer sucesos del futuro puede influir en: n una decisión de inversión n un programa político n un viaje n una planificación de un evento n una postulación a un trabajo n etc. Pero además se requiere saber qué tan confiable es la información

Oportunidad n n Recuperar desde fuentes confiables en la Web, información sobre eventos futuros y su contexto. Catalogarlos e indexarlos. Incorporar este índice de eventos futuros en un motor de búsqueda permitiendo la búsqueda por contenido o por fecha o lapso de tiempo

Ejemplo n Query: materia: "cobre Chile", periodo: "hoy – 2015" - Cierre de planta de sulfuros de El Salvador para el año 2011 - El año 2013 se inicia el Proyecto Chuquicamata Subterránea - La producción de cobre chileno se expandirá 26% al año 2012 - Codelco comienza la explotación de la mina Gaby el próximo año - Codelco aumentará la inversión a 1. 7 billones de US$ este año - En Octubre, el precio del cobre caerá a US$1. 25 … más otros 50 eventos aproximadamente

Recuperación del Futuro n n n En "Searching the future" (Baeza-Yates, 2005) se define el problema "Recuperación del Futuro". Recuperar información descriptiva de eventos que tienen asociada una ubicación temporal en el futuro, desde artículos de noticias, para luego utilizarlos en un sistema de Recuperación de Información que responda a consultas que combinen texto y tiempo. Se reformula el ordenamiento de los resultados recuperados definiendo un nivel de confiabilidad (estimación numérica) para cada uno de estos eventos R. Baeza-Yates. "Searching the future". ACM SIGIR Workshop MF/IR 2005.

Objetivo de la Tesis Obtener una implementación de un sistema de Recuperación del Futuro y un algoritmo de estimación de un coeficiente de confiabilidad de un documento basado en técnicas de Procesamiento de Lenguaje Natural, con el fin de que este coeficiente se incluya en un algoritmo de ordenamiento de resultados de un sistema de Recuperación de Información

News Downloading News Text Extraction Inverted Index Search Engine Temporal Entities Detection & Annotation Time Segments Index Future Events Extraction Event Index Future events Confidence Level: 45 % Confidence Level Calculation Ranking Calculation

Antecedentes n Extracción de Información (Information Extraction, IE) - Se enfoca en encontrar información específica en documentos relativamente no estructurados - Típicamente se reconocen ciertos patrones lingüísticos y se procesan. Además el análisis no se realiza sobre todo el documento, sino que en forma parcial.

Proceso: recuperación del texto n n El proceso se inicia con la recuperación de artículos de noticias (típicamente páginas HTML). Problemas: n n n Texto del artículo no viene incluido en RSS Editores dificultan la extracción de texto Comentarios de lectores a veces más extensos que el artículo Límites del texto difícil de detectar Extracción de Fecha de Publicación

Proceso: Extracción de Expresiones Temporales n n Una expresión temporal se define como trozos de texto que expresan alguna información temporal explícita o inferida. Ejemplos: § October 15 th, 2006 § 13/03/2006 3 p. m. § On Sunday § This Week-end § Next year § 2007 -2008 § Tomorrow § In July § Next day after the meeting § In several weeks § Friday at noon § Next Winter § Before Christmas § During the World Cup

Tipos de Expresiones Temporales n Las expresiones temporales pueden clasificarse en: n Explícitas October 24 th 2007 03 -13 -2006 n Relativas Tomorrow next Monday next Year n Vagas after Christmas in several weeks by the end of the day

Resolución de Expresiones Temporales n Un aproximación es utilizando expresiones regulares. Por ejemplo, si se considera: Categoría Términos baseterm day, weekday, monthname, quarter, season, year, decade indexical yesterday, tomorrow internal beginning, end, early, late, middle determiner this, last, next, previous, the temporal in, on, by, during, after, until, since, before, after postmodifier of, to numeral one, two, … ordinal first, second, …

Reconocimiento de Expresiones Temporales n Este autómata permite encontrar diversas expresiones que incluyen el mes, por ejemplo: "by August 14 th, 2006"

Resolución de Expresiones Temporales n n Una vez detectada la expresión temporal se debe encontrar la fecha o período al que hace referencia si es que la expresión no fuese explícita. Reglas: n n "tomorrow" fecha actual + 1 día "next week" Periodo : [ primer día próxima semana; último día próxima semana], / fecha_actual = '17/03/2006'

Definiciones n Sea t un instante, definido como un elemento dentro de un conjunto de instantes T, línea de tiempo global. Un intervalo ti, tk T, ti < tk es un conjunto de instantes { t j, t j | i ≤ j ≤ k }

Definiciones n n Sea G una granularidad, definida como una unidad básica de tiempo para un calendario dado. Por ejemplo, en el calendario gregoriano es posible definir las granularidades: Gyear, Gmonth, Gweek, Gday En un contexto financiero se puede definir una granularidad: Gquarter En un contexto deportivo se puede definir una granularidad: Gseason

Definiciones n Sea C un calendario, definido como una tripleta < T, , > donde: T es la línea de tiempo global de C, es el conjunto de granularidades de C, es un conjunto de funciones de conversión entre las granularidades. n Por ejemplo, en un calendario gregoriano, las funciones de permiten definir cuántos días tiene un mes, o cuántos meses un año.

Definiciones n Las funciones de conversión de son del tipo: f. C n G 1 G 2 (i 1, i 2, …) NG 2 Por ejemplo: f. C Gmonth Gday (2006, 3) 31 f. C Gmonth Gday (2006, 2) 28 Gyear Gday (2006) Gyear Gmonth (2006) 365 12

Definiciones n : G T T Retorna el punto de inicio de un elemento de granularidad G n : G T T Retorna el punto de inicio del siguiente elemento de granularidad G n L: G IN T T Retorna el instante desplazado hacia la izquierda en la línea del tiempo en n unidades de la granularidad G n R: G IN T T Retorna el instante desplazado hacia la derecha en la línea del tiempo en n unidades de la granularidad G

Ejemplos n Si tr es la fecha actual (Gweek, tr ) = 03 -13 -2006 (Gmonth, tr ) = 04 -01 -2006 (Gtuesday, tr ) = 03 -21 -2006 (Gquarter, (Gmonth, tr ) ) = 07 -01 -2006 R (Gday, 1, tr ) = 03 -18 -2006 tomorrow

Resolución de expresiones temporales utilizando funciones matemáticas n n Expresión: "en tres meses más" Fecha de Referencia: 2006 -03 -17 R (Gmonth, 3, tr ) = 2 Gmonth Gday (y(t ), m(t ) + k), t ) = R (Gday, f r r r k=0 C = R (Gday, (31 + 30 + 31), tr ) = 2006 -06 -17

Tagging de expresiones temporales n n Terminada a la resolución de las expresiones temporales, se suele anotar cada una de estas fechas o duraciones en el texto, para su posterior análisis. Existen especificaciones de anotación de expresiones temporales (fechas, períodos y duraciones): TIMEX, TIMEX 2, TIMEX 3, Time. ML

Ejemplo "The draw at the FIFA Congress in August will determine whether Australia plays the home or away leg first in its critical World Cup playoffs against the fifth-placed South American team. Australia has been given permission to quit the Oceania Football Confederation (OFC) and join the Asian Football Confederation (AFC) from January 1 st next year. ”

Ejemplo "The draw at the FIFA Congress <TIMEX 2 VAL='08 -XX -2005' NON-SPECIFIC="yes"> in August </TIMEX 2> will determine whether Australia plays the home or away leg first in its critical World Cup playoffs against the fifth-placed South American team. Australia has been given permission to quit the Oceania Football Confederation (OFC) and join the Asian Football Confederation (AFC) <TIMEX 2 VAL='01 -01 -2006' MOD='START'>from January 1 st next year</TIMEX 2>. ”

Extracción de Información del Evento: Procesamiento de Lenguaje Natural (NLP) n n El paso siguiente a la detección de la expresión temporal es la extracción del evento futuro en sí. La complejidad radica es que el evento es descrito en lenguaje natural. Ejemplos: "New Horizons was launched on Jan. 19, 2006, and will fly through the Pluto system in July 2015" "Troops on alert as protesters go on march"

NLP n 2 enfoques n Simbólico n n n Consiste de un conjunto de reglas para la manipulación de símbolos e. g. reglas gramaticales Análisis estadístico del lenguaje: Empírico n Implica obtener un modelo del lenguaje desde grandes recopilaciones de texto (corpora), tales como fuentes de noticias o páginas Web

NLP n n Para extraer la descripción del evento mismo, se requiere conocer las partes básicas de una oración. El sujeto y el predicado. Se requiere reconocer de qué clase léxica es cada una de las palabras de la oración. (En inglés: Part of Speech) "New Horizons will fly through the Pluto system in July 2015" PROP NOUN AUX + VERB DET + NOUN PREP+NOUN+ #

Part-Of-Speech (POS) Tagging n n n El objetivo de este proceso es etiquetar cada palabra. Sin embargo, el conjunto de posibles clases léxicas o Part-Of-Speech puede variar. Sustantivo, Verbo, Adverbio, Adjetivo Nombres Propios, Preposición, Artículo, Pronombre, Conjunciones, Verbos Auxiliares, Numerales Para este proceso se requiere escoger un conjunto estándar de tags para trabajar. El más común es "UPenn Treebank tagset", que define 45 tags

Ejemplo de POS-tagging Troops on alert as protesters go on march Troops/NN on/IN alert/NN as/IN protesters/NN go/VB on/IN march/NN

POS-Tagging n Básicamente existen 2 enfoques para resolver este problema: n n Simbólico: Aplicando reglas Estocástico: Utilizando un modelo probabilístico del lenguaje (e. g. : Hidden Markov Model)

POS-tagging mediante reglas n n Cada palabra la etiqueto con todos los posibles tags que puede tener. Estas posibles etiquetas las obtengo de un diccionario (lexicon). Aplicando reglas (típicamente gramaticales), se decide cuál es la etiqueta correcta. I promise it PRP VB NN PRP Regla: después de un PRP no puede haber un NN

POS-tagging mediante probabilidades n Cada palabra la etiqueto según un criterio probabilístico, e. g. ¿cuál es el tag más probable? the race began DET VB NN VBN En un corpus dado, "race" es 90% de las veces un sustantivo, y 10% un verbo

POS-tagging n n Utilizando Hidden Markov Models, es posible revisar la probabilidad de ocurrencia de un posible tag conociendo el tag anterior. . Por ejemplo, dado un artículo (the) un modelo de markov predice que la siguiente palabra es un sustantivo con un 40% de probabilidad, un adjetivo con 40% y un número con 20%.

POS-tagging n No sólo puede conocer la probabilidad del tag precedente, sino que 2 ó 3 ó más tags: n n bi-gram tri-grams N-grams Estas probabilidades se obtienen calculándolos desde un corpus existente.

Extracción del Evento n Una vez identificado el Part-Of-Speech de cada palabra, se procede a recuperar la descripción del evento. Se requiere entre otras cosas el sujeto o los sujetos del evento, el verbo y otras posibles descripciones esenciales de cada evento: July 2015: "New Horizons flies through Pluto system"

Extracción del Evento n n La información puede ser extraída aplicando expresiones regulares para detectar expresiones sin mayor dificultad gramatical, por ejemplo: NOUN + VERB + NOUN DET + NOUN + VERB + ADVERB + NOUN Etc. Para ello es posible utilizar Autómatas Finitos, el cual ha alcanzado niveles de reconocimiento y precisión de alrededor 70%.

Ejemplo de Autómata Finito No determinístico n "… the Pluto System …" DET + NOUN n "… the small planet …" NG DET + ADJ + NOUN ADJ DET s 1 NOUN s 2 NOUN s 3

Extracción del Evento n "Codelco, which is owned by Chilean government, will increase his production in 23%" NG RELPRO VG* donde RELPRO calza con los pronombres relativos "who" y "which" n Cada evento puedo describirlo en forma sencilla en base al sujeto (NG) y la acción en el evento (VG)

Extracción del Evento n n Lamentablemente algunas oraciones en inglés requieren un procesamiento más profundo y que ya no puede ser procesado por expresiones regulares. Un análisis con Gramáticas Libres de Contexto es más complejo permite procesar una mayor cantidad de expresiones. Por ejemplo, puedo definir un Noun Group (NG): NG = DET + NOUN NG = DET + ADJ + NOUN NG = NG + PREP + NG

Plantillas de Eventos n Una manera de describir un evento es con uso de plantillas Evento 5758 Fecha Evento <TIMEX 2 VAL='07 -XX-2015' NON-SPECIFIC="yes"/> Fecha Extracción <TIMEX 2 VAL='03 -12 -2006'/> Duración Sujeto New Horizons Predicado flies through Pluto system Modificadores Fuente http: //www. universetoday. com/am/publish/pluto_moons_born_together. html? 1332006

Plantillas de Eventos n n n Una ventaja del uso de plantillas es que un evento puede definirse aún sin llenar todos los posibles campos de la plantilla. Si un mismo evento es descrito en otra fuente, generará una plantilla distinta, pero con algunas coincidencias. Realizando un proceso de "merge" de plantillas se facilita el seguimiento de eventos, identificación de un mismo evento y complemento de información

Template Merge Fecha Evento <TIMEX 2 VAL='07 -XX-2015' NON-SPECIFIC="yes"/> Fecha Evento <TIMEX 2 VAL='07 -14 -2015 11: 59: 00 UTC'/> Sujeto New Horizons Duració n <TIMEX 2 VAL='P 2 D'/> Predica do flies through Pluto system Sujeto A spacecraft Fuente http: //www. universetoday. com/am/publ ish/pluto_moons_born_together. html? 1 332006 Predica do flies by Pluto Fuente http: //www. spaceref. com/news/viewsr. ht ml? pid=19795 merge Fecha Evento <TIMEX 2 VAL='07 -14 -2015 11: 59: 00 UTC'/> Duració n <TIMEX 2 VAL='P 2 D'/> Sujeto New Horizons Predica do flies by Pluto Fuente http: //www. spaceref. com/news/viewsr. ht ml? pid=19795 http: //www. universetoday. com/am/publis h/pluto_moons_born_together. html? 133

Aprovechando conocimiento del dominio del evento n n El proceso completo hasta ahora puede mejorarse aprovechando cierta información del dominio de los eventos Part-of-Speech más refinados: n n n gun, grenade, missile, bomb man, woman, child, kid, boy dollar, peso, GBP, euro /WEAPON /PEOPLE /CURRENCY

Aprovechando conocimiento del dominio del evento n El reconocimiento de patrones lingüísticos puede reconocer reglas del dominio: COMPANY SET-UP JOINT-VENTURE with COMPANY (en vez de NOUN VERB NOUN ADV NOUN) n n NOUN attacked PEOPLE with DEVICE n SPACECRAFT will be launched TEMPORAL from PLACE n STOCKQUOTE price TREND to CURRENCY QUANTITY

Aprovechando conocimiento del dominio del evento n Plantillas más apropiadas al dominio: Evento Deportivo 00263 Fecha Evento <TIMEX 2 VAL='07 -XX-2015' NON-SPECIFIC="yes"/> Fecha Extracción <TIMEX 2 VAL='03 -12 -2006'/> Deporte Fútbol Competidor Alemania Competidor Costa Rica Torneo Copa Mundial de Fútbol FIFA Lugar Berlin, Alemania

Topic Clustering n Para lograr una extracción de eventos adaptada al dominio, se requiere conocer a priori el tópico del evento. Antes de realizar el proceso completo se puede clasificar cada documento según su tópico en clusters. política deporte economía

Confiabilidad de información sobre el futuro n n No es factible predecir con certeza que un evento ocurrirá en el futuro. Pero si se puede definir que un evento es más confiable que otros según algunos criterios estadísticos y heurísticas

Confiabilidad n n Cantidad de Referencias: Si un evento es descrito por muchas fuentes de información, es más confiable que otro que aparece en un sola fuente. Tópico del Evento: Eventos de ciertos tópicos tienen una mayor probabilidad de ocurrencia por naturaleza, e. g. : suceso astronómico v/s precio de una acción

Confiabilidad n n Historial del predictor: Eventos pronosticados por una fuente que en promedio predice eventos correctos es más confiable que otros. Morfología utilizada: Si la descripción del evento puede clasificarse como un anuncio formal o una afirmación, es más confiable que una opinión personal o una pregunta.

Confiabilidad n n Eventos en conflicto: Si un evento tiene conflicto con otro, o es la negación de otro evento, entonces ambos tienen baja confiabilidad. Eventos obsoletos: Si un evento baja drásticamente su frecuencia de aparición, entonces su confiabilidad también baja.

Confiabilidad n n Eventos dependientes: Si la ocurrencia de un evento depende de un evento previo, su confiabilidad debe ser similar a la de éste. Cercanía al Evento: Eventos lejanos en el tiempo son menos confiables que los más cercanos.

Nivel de Confiabilidad n n El nivel de confiabilidad de un evento es una estimación de la probabilidad de que el evento ocurra en el tiempo pronosticado. Este nivel puede ser en un dominio discreto y/o cualitativo (e. g. alta, media, baja) ó en una escala numérica (1. 0 = certeza absoluta 0. 0= indeterminado)

Persistencia de un evento n Un evento será procesado y anexado al sistema, pero ¿por cuánto tiempo estará vigente? n n n Hasta que llegue la fecha del evento Hasta que la confiabilidad de un evento sea menor a un umbral predeterminado Hasta que un evento nuevo implique su cancelación (confiabilidad 0)

Nivel de Confiabilidad n Dado un evento e n n Sea Te el tópico del evento Sea Ne la cantidad de artículos desde donde se menciona este mismo evento Sea De el conjunto de eventos de los cuales depende Sea Ae el conjunto de agentes que pronosticaron el evento

Nivel de Confiabilidad: 0 ≤ γ( e ) ~ * γ (e ) ≤ 1 max ( γ( Ae ) ) confiabilidad de quien predice min ( γ( De ) ) confiabilidad de eventos de los que depende i i 1 ) *( 1 - cantidad de menciones γ( Te ) confiabilidad del tópico Ne * *( del eventos 1 – max γ( Ee ) ) confiabilidad contradictorios o en confl

Otros criterios de Confiabilidad n Cercanía al evento γ( Te ) n γ( Te, te – tref ) Morfología utilizada γ( Verbos(e ) ) = ∏ γ( Vi ) Vi Verbos(e ) n Obsolescencia γ( e ) ~ (ttoday - max(tref ) )-1

Ordenamiento de Resultados n Una vez determinada la confiabilidad de los eventos extraídos, en un algoritmo de ranking de resultados tras una query (de texto y tiempo): n n Aquellos eventos más confiables aparecerán sobre los menos confiables Si un documento incluye varios eventos de distinta confiabilidad, su relevancia puede estimarse según la confiabilidad de los eventos que coinciden con el segmento de tiempo requerido (periodo)

Prototipo http: //www. dcc. uchile. cl/~irivera/prototipo

Fin de la Presentación ¿ Preguntas ?

volver

volver