QUESTION ANSWERING

Cynthia Fresno

ndice:
1) 2) 3) 4) 5) 6)

7)
8) 9)

Qu es el question answering?. Sistema de question answering. TREC vs. CBC. Acontecimientos de respuesta por cada pregunta. Funciones de puntuacin en las respuestas candidatas. Limites en funciones que utilizan el traslapo de palabras. Apariciones de multiples respuestas en una frase. Conclusiones del anlisis. Aplicar Q/A a la web.
Cynthia Fresno 2

Qu es question answering?
Tcnicas IR: Eficaces para localizar informacin en grandes colecciones de datos. Cundo necesitamos respuestas especficas? De resolver esto se encarga el sistema de question answering.

Cynthia Fresno

Sistema de Q/A
SISTEMA IDEALIZADO TCNICA TIPO DE ANLISIS

Coleccin de documentos

1. Acontecimiento de mltiples respuestas

Propiedades de los datos

Recuperacin de documentos

2. Traslapo de palabras para funciones de puntuacin.

Anlisis de caractersticas

Recuperacin de sentencias

3. Sets de traslapo

Realizacin de lmites

Extraccin de respuesta corta

4. Confusin de respuestas

Cynthia Fresno

Se desarrollan cuatro tcnicas para poder llevar a cabo los tres tipos de anlisis: propiedades inherentes de los datos, anlisis de caractersticas y los limites.

Impacto de tener multiples respuestas para una pregunta. 2) Funciones de puntuacin que se utilizan para recuperar regiones de texto que se supone que obtendrn la respuesta. Recuperacin de informacin.
1)
Cynthia Fresno 5

Si un sistema asigna en el traslapo diferentes pesos a las palabras, que tal se desarrollar el sistema? 4) La extraccin de la respuesta corta. Habilidad del set de tipo de respuesta para discriminar entre diferentes tipos de respuestas.
3)

Cynthia Fresno

TREC vs. CBC

TREC: Coleccin: 500.000 documentos. Preguntas: 198 Respuestas: 5 y clasificadas (+ el documento en el que aparecen). Asesores de TREC juzgaban las respuestas en el entorno del documento.

Cynthia Fresno

CBC: 259 documentos. 8 a 12 preguntas. Varias respuestas aceptables 1 llave respuesta.

Cynthia Fresno

Acontecimientos de respuesta por cada pregunta

Diferentes respuestas para una pregunta: - Porque tiene varias respuestas. - Una respuesta se puede explicar de diferentes maneras. Hiptesis: Q/A trabaja mejor con preguntas que tienen muchos acontecimientos de respuesta que los que slo tienen uno.

Cynthia Fresno

TREC
Respuestas por pregunta

CRC 1

1 respuesta por pregunta

Pregunta con ms respuestas Correctas (1 respuesta por preg.) Correctas (7 respuestas por preg.)

26% 67
27% 50%
Cynthia Fresno

80% 6
----10

Deduccin: Mayor nmero de apariciones de respuestas mejor desarrollo del sistema.

Cynthia Fresno

11

Funciones de puntuacin en las respuestas candidatas

Muchos sistemas Q/A generan unas cuantas respuestas y las clasifican con una funcin de puntuacin que sita cada una en un rango de nmeros. Una de las funciones ms importantes: la funcin de traslapo de palabras entre la pregunta y las respuestas candidatas. Sistemas que utilizan el traslapo de palabras: problemas para juzgar si hay respuesta o no.

Cynthia Fresno 12

Traslapo de palabras: muy eficaz para clasificar respuestas. Cmo clasificar la absoluta cualidad de los candidatos? - En CRC y TREC no hay problema. - Tenemos que tener en cuenta que en el mundo real nos aparecern preguntas que no obtengan respuesta en determinados documentos.

Cynthia Fresno

13

Limites en funciones que utilizan el traslapo de palabras

Funcin de puntuacin: cuenta cuantas palabras en comn tienen la pregunta y la respuesta. Modificacin: poner pesos ms fuertes en unas palabras. Muchas respuestas tienen el mismo nmero de palabras traslapadas estn el la misma clase de equivalencias (tienen el mismo peso) Un candidato cuyo traslapo es un subset de otro candidato no podr tener mayor puntuacin.

Cynthia Fresno 14

CBC
Preguntas que pueden responderse correctamente Preguntas imposibles de contestar correctamente Mnimo de acierto de preguntas Mximo de acierto de preguntas

TRAC
65 % 35 % 10 % 48.8 %
15

79 % 21 % 24 % 72.7 %
Cynthia Fresno

En definitiva, el lmite superior es algo bajo y el lmite inferior algo alto. Se necesitan mtodos que amplen las caractersticas que se utilizan para puntuar las respuestas candidatas.

Cynthia Fresno

16

Apariciones de mltiples tipos de respuestas en una frase

Muchos sistemas Q/A primero deciden que tipo de respuesta esperan de una pregunta, y luego identifican estas instancias en una frase. Pero una funcin de puntuacin utiliza criterios adiccionales. Supondremos que dos respuestas cortas que tienen el mismo tipo de respuesta y son de la misma frase son indistinguibles para el sistema.

Cynthia Fresno 17

CBC
Acierto esperado

TRAC 59 %

61 %

Muestra las limitaciones del set de tipo de respuesta: Muchas frases tienen instancias del mismo tipo, como listas y rangos. Para mejor efectividad: los sistemas de Q/A necesitan utilizar caractersticas que precisen mejor la respuesta.

Cynthia Fresno 18

Conclusiones del anlisis

Mltiples respuestas en una coleccin de datos fuertemente atado al xito del sistema. Traslapo de palabras ms efectivo que el traslapo absoluto. Utilizar el set de tipo puede no ser suficiente.

Cynthia Fresno

19

Aplicar el Q/A a la web:

Pueden extenderse las tcnicas de Q/A a la web? Hoy en da hay ciertos sistemas que lo hacen:
MULDER es uno de ellos. Manda ciertas preguntas a google y utiliza la informacin que de ello obtiene para resolver la respuesta. AskJeeves

Cynthia Fresno

20

Objetivos para la web:

1) 2) 3)

4)

Formar las preguntas correctas. Ruido (apartar las pginas que no digan nada). Evitar los engaos. Mejorar la limitacin de recursos.

Cynthia Fresno

21

Sistema web de Q/A MULDER:

Cynthia Fresno

22

ANALIZADOR DE PREGUNTAS: Determina la estructura sintctica de las preguntas. CLASIFICADOR DE PREGUNTAS: Permite a MULDER reducir el nmero de respuestas candidatas en la fase de extraccin. FORMULACIN DE QUERYS: Este mdulo convierte la pregunta en un grupo de querys de palabras clave que se mandarn a la mquina de bsqueda para una evaluacin paralela. - MULDER implementa unas cuantas estrategias de renombramiento: conversin de verbos, expansiones query

Cynthia Fresno 23

Mquina de bsqueda: Se han considerado diferentes motores de bsqueda pero el ms utilizado es google. Extraccin de respuestas: 2 pasos 1) Se extraen sumarios de los textos que supuestamente contendrn la informacin. 2) Analiza los sumarios y obtiene frases del tipo esperado de respuesta. Seleccin de respuestas: 1) Clasifica las respuestas en funcin de las palabras clave.

Cynthia Fresno 24

2) Hace una agrupacin entre similares respuestas. 3) Se hace una votacin a todas las agrupaciones y gana la que tiene ms puntos. El proceso de agrupacin de candidatos tiene varios efectos favorables: - Reduce el ruido. - Permite respuestas alternativas. - Separa hechos de la ficcin.

Cynthia Fresno

25