SEPLN 2007 Validacin de Respuestas Evaluacin y Retos

SEPLN 2007 Validación de Respuestas Evaluación y Retos para las Tecnologías del Lenguaje Anselmo Peñas Álvaro Rodrigo, Jesús Herrera, Valentín Sama, Víctor Peinado, Felisa Verdejo Grupo de Recuperación de Información y Procesamiento del Lenguaje Natural Universidad Nacional de Educación a Distancia nlp. uned. es

2 Validación de Respuestas Índice Introducción (15 min. ) ¡ Implicación Textual (15 min. ) ¡ Answer Validation Exercise (20 min. ) ¡ Técnicas y retos (25 min. ) ¡ Conclusión (5 min. ) ¡ Preguntas (10 min. ) ¡

3 QA system architecture Documents Pre-processing / indexing Question Analysis Key-terms Answer type / structure Passage retrieval Answer extraction Answer validation / scoring Answer

4 Validación de Respuestas Respuesta 1 Oráculo Respuesta 2 (Google) … Respuesta n ¡ ¡ Ranking Consulta con palabras clave + respuesta Más ocurrencias -> mejor candidata

5 Validación de Respuestas ¡ Validación como ranking l ¡ Question Problema procesamiento en cascada ¿Es necesario cambiar de arquitectura? Question Analysis Passage retrieval 0. 7 Answer extraction x 0. 7 Not enough evidence Answer validation / scoring x 1. 0 = Answer 0. 49

6 QA with Spanish as target (evolution) ¡ Top results around 50%

2006 81% preguntas contestadas por algún sistema Mejor sistema responde el 52, 5% 65% de las contestadas 7 Mejor en organizaciones Mejor en definiciones y personas Mejor en fechas

8 ¿Arquitecturas colaborativas? ¡ Sistemas diferentes responden mejor tipos de preguntas diferentes l l ¡ Especialización Colaboración ¿Criterios de selección? l l Valor de confianza en la respuesta Mejorar la validación de respuestas

9 ¿Por qué no se ha hecho ya? ¡ Problema en la definición de la tarea de evaluación l l Sólo cuentan los aciertos No se penalizan los fallos Validación como ranking de respuestas No se construyen respuestas completas ¡ 60 dólares l ¡ (significado únicamente en presencia de la pregunta) El barril de petróleo asciende a 60 doláres

10 Marco de evaluación ¡ ¡ Difícil cambiar la metodología o las medidas de evaluación Nueva tarea de evaluación l Answer Validation Exercise 2006 ¡ 2007 ¡

11 Validación de Respuestas ¡ Definición l Entrada Pregunta ¡ Respuesta ¡ Texto que soporta la respuesta ¡ l Salida ¡ Aceptación/rechazo de la respuesta

12 Validación de Respuestas ¡ ¿Cuántas personas viven en Madrid? l ¡ ¿Es correcta la respuesta? l ¡ Más de 6 millones ¿? ¿Es correcta de acuerdo con el texto? l l Según el último censo de la CAM, la población de la comunidad asciende a 6. 122. 435 habitantes Sí

13 Validación de Respuestas ¡ Cambio de aproximación l l ¡ Validación basada en recursos externos y redundancias (web) Validación basada en el análisis textual de: ¡ Pregunta ¡ Respuesta ¡ Texto que soporta la respuesta Efecto l l l Introducir aprendizaje automático +PLN Atraer comunidad de investigación en Implicación Textual

14 Índice Introducción ¡ Implicación Textual ¡ Answer Validation Exercise ¡ Técnicas utilizadas ¡ Conclusión ¡ Preguntas ¡

15 Implicación Textual ¿De T se infiere H? T: El precio del barril de petróleo se alzó hasta los 60 dólares H: El precio del petróleo ha subido

16 Implicación Textual Definición ¡ La verdad de un enunciado implica la verdad de otro enunciado: T H l l ¡ Primer enunciado: Texto T (contexto) Segundo enunciado: Hipótesis H Relación dirigida

17 Implicación Textual ¿De T se infiere H? T: El éxito tecnológico conocido como GPS se incubó en la mente de Ivan Getting H: I. Getting inventó el Sistema de Posicionamiento Global La verdad de un enunciado implica la verdad de otro enunciado l ¿En cualquier interpretación posible? (implicación estricta) l ¿En alguna interpretación?

18 Implicación Textual Definición Un humano que leyera T inferirá que H seguramente es cierto

19 Implicación Textual ¿De T se infiere H? T: El precio del barril de petróleo se alzó hasta los 60 dólares H: El precio del petróleo ha subido l l ¿Ha subido el precio del contenedor? El barril es una unidad de medida del petróleo

20 Implicación Textual Involucra conocimiento externo del mundo. . . T H Conocimiento H . . . pero en el contexto de T T AND conocimiento H Confirmar H en el contexto que proporciona T

21 Ambigüedad ¡ Redefinición del problema de desambiguación ¡ Interrelación texto-contexto: T -> H l Desambigua(T) -> Desambigua(H) ¡ Desambiguación: aquella que habilita la implicación (Matching) ¡ Procesamiento lingüístico en contexto Cambio de perspectiva ¡ l Desambigua(T -> H)

22 Implicación Textual Definición Existe una interpretación del contexto que permite afirmar una de las interpretaciones de la hipótesis l Del problema de la ambigüedad al problema de la variación

23 Implicación Textual Variación lingüística Verdadero reto en Implicación Textual T: El éxito tecnológico conocido como GPS se incubó en la mente de Ivan Getting H: I. Getting inventó el Sistema de Posicionamiento Global

24 ¿Por qué Implicación Textual? ¡ Necesidad de introducir inferencia en aplicaciones textuales l Aplicaciones -> Validación de Respuestas ¡ Investigación en semántica deslabazada: WSD, NER, SRL, Lexical Semantics, etc. ¡ Necesidad de un marco común de investigación en semántica

25 Planteamiento empírico ¡ Desde los textos Un humano que leyera T inferirá que H seguramente es cierto ¡ Un humano es capaz de realizar esta tarea semántica ¡ ¿Cómo podría resolverlo una máquina?

26 Evaluación ¡ Marco de Evaluación actual: l ¡ Intrínseca y Global l l ¡ PASCAL Recognizing Textual Entailment Challenge (RTE) Pares Texto-Hipótesis 50 -50% YES/NO Proporción de aciertos (accuracy) Baseline 50% Grupos participantes l l l 17 grupos en RTE 1 23 grupos en RTE 2 25 grupos en RTE 3

27 Implicación Textual Aplicaciones T: La adquisición de Overture por Yahoo ha finalizado ¡ ¡ Extracción de Información Resumen Automático Comprensión de lectura Búsqueda de respuestas l l ¿Quién compró a Overture? H: Yahoo compró a Overture

28 Índice Introducción ¡ Implicación Textual ¡ Answer Validation Exercise ¡ Técnicas utilizadas ¡ Conclusión ¡ Preguntas ¡

29 Answer Validation Exercise ¡ Ligar la evaluación a la tarea principal de QA l l Aprovechar los juicios humanos ya realizados en la tarea principal Activar la tarea en todos los idiomas de la tarea principal ¡ Inglés, Francés, Español, Alemán, Italiano, Portugués, Holandés

30 Answer Validation Exercise Objective Validate the correctness of the answers Given by real QA systems. . . the participants at CLEF QA

31 AVE 2006 Exact Answer Question QA system Into affirmative form Hypothesis Supporting snippet & doc ID Text If the text semantically entails the hypothesis, then the answer is expected to be correct.

32 AVE 2006 ¡ Question: Who is the President of Mexico? ¡ Answer (obsolete): Vicente Fox ¡ Hypothesis: Vicente Fox is the President of Mexico ¡ Supporting Text: “. . . President Vicente Fox promises a more democratic Mexico. . . ” ¡ Exercise l l Supporting Text entails Hypothesis? Answer: YES | NO

33 Answer Validation Exercise (AVE) Answer Validation Question Automatic Candidate answer Hypothesis Generation Question Answering Hypothesis Answer is correct Textual Entailment Supporting Text Answer is not correct or not enough evidence AVE 2007 AVE 2006

34 Answer Validation Exercise ¡ ¡ Conversión en problema RTE Asumiendo que es posible construir automáticamente las hipótesis l l AVE 2006 ¡ Hipótesis construidas por la organización ¡ Semi-automáticamente ¡ Instanciando patrones de hipótesis ¡ Estudio de error ¡ 200 patrones diferentes por idioma (7 idiomas) AVE 2007 ¡ Construcción automática de hipótesis ¡ Parte de la tarea de evaluación

35 Hypothesis generation Question “Which is the capital of Croatia? ” Pattern “<answer/> is the capital of Croatia” Answer Zagreb Hypothesis Zagreb is the capital of Croatia

36 Hypothesis Generation Question “Which is the capital of Croatia? ” Answer Zagreb was then seen as the political center Hypothesis Zagreb was then seen as the political center is the capital of Croatia ¡ ¡ ¡ Wrong semantics but also wrong syntactic structure Syntactic criteria for detecting wrong answers [Criteria for assessing Inexact answers in QA]

37 Hypothesis Generation ¡ ¡ ¡ Question: “Which is the capital of Croatia? ” Answer: placed in the continental part of Croatia Supporting text “The capital of Croatia is placed in the continental part of Croatia and has one million inhabitants”. ¡ Pattern 1: The capital of Croatia is </answer> The capital of Croatia is placed in the continental part of Croatia [Correct hypothesis: a non-responsive answer must be validated] ¡ Pattern 2: <answer/> is the capital of Croatia placed in the continental part of Croatia is the capital of Croatia [More robust pattern]

38 Hypothesis Generation ¡ ¡ ¡ Question: What is Deep Blue? Answer: developed by IBM QA assessment: Wrong Hypothesis: Deep Blue is developed by IBM Supporting text: . . . Deep Blue, developed by IBM, was the first machine to win. . . ¡ Entailment: YES

39 Hypothesis Generation ¡ ¡ ¡ Question: “Where did the Titanic sink? ” Pattern: “The Titanic sank in <answer/>” Answer 1: “Atlantic Ocean” Answer 2: “ 1912” Both can generate correct hypotheses entailed by a text Pattern l l ¡ The Titanic sank in <answer/> (1) <answer/> is a location (2) Compressed way: l “The Titanic sank in <answer type=location/>”

40 Tipo de respuesta Problemas desde la perspectiva de la evaluación l Consenso difícil en las taxonomías ¡ Tipos de pregunta y de respuesta l l Documentalistas vs. (Li & Roth, COLING 2002) Conocimiento implícito del mundo ¡ Atlantic Ocean es un lugar ¡ ¿Ontologías bien pobladas y consistentes con las taxonomías de tipos de respuestas?

41 Completitud de la respuesta ¡ Conocimiento implícito del mundo l “¿Qué compañía adquirió Nokia en 1998? ” Vienna Systems ¡ De acuerdo con: “Vienna Systems fue adquirida por Nokia en 1998” ¡ “Vienna Systems is a company” (presupuesto) ¡ ¡ ¿Qué presupuestos son aceptables?

42 AVE Assessment Mapping QA assessments AVE assessments Correct ACCEPT Incorrect REJECT Unsupported REJECT Non-exact UNKNOWN

43 AVE 2006 Collections Testing Training English 2088 (10% YES) 2870 (15% YES) Spanish 2369 (28% YES) 2905 (22% YES) German 1443 (25% YES) French 3266 (22% YES) Italian 1140 (16% YES) Dutch 807 Portuguese 1324 (14% YES) (10% YES) Available for CLEF participants at nlp. uned. es/QA/ave/

44 AVE 2006 Evaluation ¡ Not balanced collections ¡ Approach: Detect if there is enough evidence to accept an answer ¡ Measures: Precision, recall and F over pairs YES (where text entails hypothesis) ¡ Baseline system: Accept all answers, (give always YES)

45 AVE 2006 Participants and runs DE EN ES FR IT NL PT Fernuniversität in Hagen Language Computer Corporation 2 1 1 2 2 U. Rome "Tor Vergata" U. Alicante (Kozareva) 2 2 2 2 2 1 2 13 U. Politecnica de Valencia 1 1 U. Alicante (Ferrández) LIMSI-CNRS U. Twente 1 2 2 2 1 1 1 2 1 10 UNED (Herrera) UNED (Rodrigo) ITC-irst R 2 D 2 project 5 1 11 2 1 1 9 4 3 4 2 2 1 1 1 38 Total

46 AVE 2006 Results Language Baseline Best (F) Reported Techiques English . 27 . 44 Logic Spanish . 45 . 61 Logic German . 39 . 54 Lexical, Syntax, Semantics, Logic, Corpus French . 37 . 47 Overlapping, Learning Dutch . 19 . 39 Syntax, Learning Portuguese. 38 . 35 Overlapping Italian . 41 Overlapping, Learning . 29

47 AVE 2007 ¡ Problema en AVE 2006 l ¡ No fue posible cuantificar la ganancia potencial de los sistemas QA si incorporan los módulos de AV Cambio de metodología en AVE 2007 l Agrupar respuestas por pregunta ¡ l Eliminando respuestas repetidas Sistemas deben seleccionar una respuesta

48 AVE 2007 Collections <q id="116" lang="EN"> <q_str>What is Zanussi? </q_str> <a id="116_1" value=""> <a_str>was an Italian producer of home appliances</a_str> <t_str doc="Zanussi">Zanussi For the Polish film director, see Krzysztof Zanussi. For the hot-air balloon, see Zanussi (balloon). Zanussi was an Italian producer of home appliances that in 1984 was bought</t_str> </a> <a id="116_2" value=""> <a_str>who had also been in Cassibile since August 31</a_str> <t_str doc="en/p 29/2998260. xml">Only after the signing had taken place was Giuseppe Castellano informed of the additional clauses that had been presented by general Ronald Campbell to another Italian general, Zanussi, who had also been in Cassibile since August 31. </t_str> </a> <a id="116_4" value=""> <a_str>3</a_str> <t_str doc="1618911. xml">(1985) 3 Out of 5 Live (1985) What Is This? </t_str> </a> </q>

49 Comparing AV systems performance with QA systems in German Group System Type QA accuracy % of perfect selection QA 0. 54 100% FUH iglockner_2 AV 0. 50 93. 44% FUH iglockner_1 AV 0. 48 88. 52% DFKI dfki 071 dede QA 0. 35 65. 57% QA 0. 32 59. 02% AV 0. 28 51. 91% QA 0. 25 45. 9% QA 0. 21 39. 34% QA 0. 05 9. 84% Perfect selection FUH fuha 071 dede Random DFKI dfki 071 ende FUH fuha 072 dede DFKI dfki 071 ptde

50 AVE 2007 Results ¡ ¡ ¡ 9 groups, 16 systems, 4 languages All systems based on Textual Entailment 5 out of 9 groups participated in QA l ¡ Introduction of RTE techniques in QA Systems based on syntactic or semantic analysis perform Automatic Hypothesis Generation l l Combination of the question and the answer Some cases directly in a logic form

51 Índice Introducción ¡ Implicación Textual ¡ Answer Validation Exercise ¡ Técnicas y retos ¡ Conclusión ¡ Preguntas ¡

52 Técnicas utilizadas en AVE 2007 ¡ 10 informes (Overview AVE 2007) Generates hypotheses 6 Syntactic similarity 4 Wordnet 3 Functions (sub, obj, etc) 3 Chunking 3 n-grams, longest common Subsequences 5 Syntactic transformations 1 Word-sense disambiguation 2 Phrase transformations 2 Semantic parsing 4 NER 5 Semantic role labeling 2 Num. expressions 6 3 Temp. expressions 4 First order logic representation Coreference resolution 2 Theorem prover 3 Dependency analysis 3 Semantic similarity 2

53 Nivel Léxico T: El precio del barril de petróleo se alzó hasta los 60 dólares H: El precio del petróleo ha subido l l l Precio precio Petróleo petróleo alzar subir

54 Nivel Léxico ¡ Representación de los textos l ¡ Bolsas de términos Implicación l Si los términos de H están implicados por los términos de T Solapamiento léxico ¡ Sustitución léxica (sinónimos, hiperónimos, . . . ) ¡

55 Nivel Léxico Contar proporción de solapamientos ¡ Lemas, unigramas ¡ n-gramas ¡ Subsecuencias ¡ Derivaciones morfológicas l Han censado -> censo

56 Word. Net (inferencia) ¡ Synonymy Obtain <-> receive Lift <-> rise Allow <-> grant ¡ Hyponymy (encadenada, distancia) Glucose -> sugar Crude -> oil ¡ Antonymy Neg(change) <-> stay <-> continue

57 Word. Net (inferencia) ¡ Verb Entailment Kill -> death ¡ Part meronymy Italy -> Europe ¡ Pertainymy Italian -> Italy ¡ Multiwords Melanoma -> skin_cancer

58 Nivel Léxico T: Sacrificaron al perro que mordió a la niña H: Sacrificaron a la niña l l Sacrificar sacrificar Niña niña ¡ Necesidad de considerar sintaxis

59 Nivel Léxico T: Bill Gates visita Valencia H: La Comunidad Valenciana recibe al fundador de Microsoft l l l (X) comunidad (X) fundador (X) Microsoft ¡ Necesidad de reconocer entidades

60 Entidades T: Según el último censo de la CAM, la población de la comunidad asciende a 6. 122. 435 habitantes H: En Madrid viven más de 6 millones de personas l l l Expresiones numéricas: 6. 122. 435 -> más de 6 millones Entidades nombradas: CAM -> Madrid Correferencia: comunidad -> CAM Paráfrasis: población asciende -> viven Reordenación de constituyentes Implicación léxica: habitante -> persona

61 Implicación numérica (rangos) Texto recognize 17 million citizens Hipótesis More than 15 million people normalize Lím. inferior: 17, 000 Lím. superior: 17, 000 Unidad: citizen Lím. inferior: 15, 000 Lím. superior: infinite Unidad: person entailment Entailment is TRUE if [17, 000. . 17, 000] [15, 000. . Infinite) and citizen entails person

62 Entidades con nombre T: Bill Gates visita Valencia H: La Comunidad Valenciana recibe al fundador de Microsoft l l ¡ Bill Gates -> fundador de Microsoft Valencia -> Comunidad Valenciana Conocimiento del mundo

63 Resolución de correferencia T: Desde su formación en 1948, Israel… H: Israel fue establecida en 1948

64 Nivel sintáctico ¡ Representación de los textos l ¡ Árboles de dependencias (generalmente) Implicación l Si el árbol de H es similar, está incluido o se puede obtener por transformación del árbol de T

65 Example: graph alignment T: CNN reported that thirteen soldiers lost their lives in today’s ambush. © Stanford H: Several troops were killed in the ambush. reported nsubj CNN ccomp lost nsubj soldiers nn thirteen dobj lives dep their killed in nsubjpass ambush poss today’s troops amod several aux were in ambush det the

66 Nivel Sintáctico ¡ Distancia de edición entre árboles l l ¡ Coincidencia léxica y de funciones l ¡ Cuantificar coste de borrar, insertar o sustituir un nodo Medida de similitud sintáctica Sujeto, objeto, modificador Facilita algunas transformaciones l l Activa/pasiva Negación

67 Etiquetado de Roles Semánticos T: Sacrificaron al perro que mordió a la niña H: Sacrificaron a la niña T: Sacrificaron [al [perro]A 0 que mordió a [la niña]A 1 H: Sacrificaron a [la niña]A 1 perro -/-> niña

68 Etiquetado de Roles Semánticos Paradójicamente un análisis lingüístico más profundo hace más difícil tratar la variación T: The diplomat visited Iraq in September H: The diplomat was in Iraq T: [The diplomat]/ARG 0 visited [Iraq]/ARG 1 [in September]/AM_TMP H: [The diplomat]/ARG 0 was [in Iraq]/AM_LOC

69 Etiquetado de Roles Semánticos ¡ Diferencias en la estructura de los verbos provocan falta de coincidencia entre el tipo de los argumentos ¡ Necesidad de procesar los sintagmas verbales T: David Mc. Cool took the money and decided to start Muzzy Lane in 2002 H: David Mc. Cool is the founder of Muzzy Lane T: David Mc. Cool took the money and started Muzzy Lane in 2002 H: David Mc. Cool founded Muzzy Lane

70 Parsing semántico (LCC) The Muslim Brotherhood, Egypt's biggest fundamentalist group established in 1928, advocates turning Egypt into a strict Muslim state by political means, setting itself apart from militant groups that took up arms in 1992. AGENT(Muslim Brotherhood, advocate) PURPOSE(turning Egypt into a strict Muslim state, advocate) TEMPORAL(1928, establish) TEMPORAL(1992, took up arms) PROPERTY(strict, Muslim state) MEANS(political means, turning Egypt into a strict Muslim state) SYNONYMY(Muslim Brotherhood, Egypt's biggest fundamentalist group)

71 Hickl (RTE 2006) ¡ 75% accuracy

72 Monotonía ¡ © Stanford “Upward monotonity”. Generalizaciones en la hipótesis preservan la implicación. T: Algunos historiadores coreanos piensan que… H: Algunos historiadores piensan que. . . ¡ “Downward monotonity”. Generalizaciones en la hipótesis rompen la implicación. T: La mayoría de los historiadores coreanos piensan que… H: La mayoría de los historiadores piensan que…

73 Monotonía y adjuntos ¡ ¡ © Stanford Si un adjunto presente en T desaparece en H se preserva la implicación Si aparece en H, se rompe la implicación T: Zerich compró petróleo de Irak por valor de 422 millones de dólares H: Zerich compró petroleo de Irak durante el embargo ¡ Salvo en contextos downward monotone T: Zerich no compró petróleo Iraquí H: Zerich no compró petróleo Iraquí durante el embargo

74 Verbos factuales e implicativos T: Libia ha intentado desarrollar su propio misil SCUD H: Libia ha desarrollado un misil Clases de implicatividad l l Unknown: say, tell, suspect, try, … Fact: know, acknowledge, ignore, … True: manage to, … False: fail to, forget to, … © Stanford

75 Presupuestos T 1: Juan ama a su mujer T 2: Juan no ama a su mujer ¡ Ambos presuponen que H: Juan tiene mujer ¡ El oyente incorpora el presupuesto: acomodación

Hickl (RTE 2007) 76

Hickl (RTE 2007) 77

78 Hickl (RTE 2007) ¡ 80% accuracy

79 Nivel Lógico ¡ Nutcracker (Johan Bos) l Herramientas disponibles Parsing semántico (Clark and Curran, 2004) Combinatory Categorial Grammar ¡ Obtener Estructuras de Representación del Discurso (DRS, Boxer) (Bos 2005) ¡ Convertir DRSs a Lógica de Primer Orden ¡ Demostrador de teoremas: T -> H ¡ l Introducción natural de Word. Net

80 Nivel Lógico ¡ La demostración de “T->H” suele fallar en un demostrador de teoremas ¡ Necesidad de valorar la proximidad a completar la demostración l l Comparar tamaño entre modelos lógicos (Bos) Relajar predicados sucesivamente (Tatu & Moldovan)

81 Estrategias generales ¡ Demostrar que no hay implicación l l l ¡ Implicación por defecto Desarrollo de tests de fallo Aplicaciones como validación de respuestas Demostrar que sí hay implicación l l No hay implicación por defecto Representación lógica e inferencia Transformaciones léxicas y sintácticas Generación de proposiciones atómicas, presupuestos, compromisos de discurso

82 Estrategias generales ¡ Detectar similitud l ¡ Características de similitud (léxicas, sintácticas, semánticas…) Clasificador entrenado con toda la información obtenida l l Aprender el peso relativo de cada rasgo Entrenamiento: colecciones de desarrollo, adquisición de corpus

83 Índice Introducción ¡ Implicación Textual ¡ Answer Validation Exercise ¡ Técnicas utilizadas ¡ Conclusiones ¡ Preguntas ¡

84 Conclusiones ¡ Es posible reformular la Validación de Respuestas en términos de Implicación Textual l l ¡ Introduce un 4% de error en representaciones textuales de la hipótesis ¿Representación conceptual? Investigación abierta l l Consensuar taxonomías de tipos de preguntas y respuestas Consideración de conocimiento implícito (enciclopédico)

85 Conclusiones ¡ Análisis superficial l l ¡ Modelo léxico Baseline fácil de alcanzar Análisis profundo l l Mayoría de sistemas no mejoran el baseline del modelo léxico Sin embargo, los mejores sistemas realizan un análisis profundo

86 Investigación abierta ¡ Adquirir grandes bases de conocimiento (lingüístico y del mundo) l l l ¡ Reglas de transformación sintáctica Conjuntos de paráfrasis Relaciones léxicas Entidades y su variación terminológica … Adquirir grandes corpus de entrenamiento para Implicación Textual

87 Investigación abierta ¡ Adquisición de conocimiento l l ¡ No supervisada A partir de corpus general y web Representación del conocimiento Población de ontologías Inferencia l l Interacción de niveles de información Más allá de vectores de características y entrenar un modelo

88 Investigación abierta Implicación textual es un problema todavía demasiado amplio ¡ Validación de respuestas ¡ l l ¡ Subproblema Permite evaluación extrínseca (mejora de una aplicación: QA) ¿Modelos semánticos capaces de tratar la variabilidad del lenguaje?

89 Preguntas? Gracias! AVE: QA@CLEF: PASCAL RTE: http: //nlp. uned. es/QA/AVE/ http: //clef-qa. itc. it/ http: //www. clef-campaign. org http: //www. pascal-network. org/Challenges/RTE/