LFQA tiene como objetivo dar una respuesta completa y exhaustiva a cualquier consulta. La información paramétrica en modelos de lenguaje grandes (LLM) y los documentos recuperados presentados en el momento de la inferencia permiten a los sistemas LFQA construir respuestas complicadas a preguntas en párrafos en lugar de extraer tramos en el documento de evidencia. Los últimos años han revelado la sorprendente impresionanteidad y fragilidad de las capacidades LFQA de los LLM a gran escala. Recientemente se ha propuesto la recuperación como un enfoque potente para proporcionar a los LM información adecuada y actualizada. Sin embargo, aún se desconoce cómo el aumento de recuperación influye en los LM durante la producción y no siempre tiene los efectos esperados.
Investigadores de la Universidad de Texas en Austin investigan cómo la recuperación influye en la creación de respuestas para LFQA, un desafiante problema de generación de textos largos. Su estudio proporciona dos contextos de investigación simulados, uno en el que el LM se mantiene constante mientras se cambian los documentos de evidencia y otro en el que ocurre lo contrario. Debido a la dificultad de evaluar la calidad de la LFQA, comienzan contando indicadores superficiales (p. ej., extensión, perplejidad) asociados con distintos atributos de respuesta como la coherencia. La capacidad de atribuir la respuesta generada a los documentos de prueba disponibles es una característica atractiva de los sistemas LFQA de recuperación aumentada. Las anotaciones humanas recién adquiridas sobre la atribución a nivel de oración se utilizan para probar tecnologías de detección de atribuciones disponibles comercialmente.
Basándose en su examen de los patrones de superficie, el equipo concluyó que la mejora de la recuperación modifica significativamente la creación de LM. No todos los impactos quedan silenciados cuando los artículos presentados son irrelevantes; por ejemplo, la longitud de las respuestas generadas puede cambiar. A diferencia de los documentos irrelevantes, aquellos que proporcionan evidencia importante en contexto hacen que los LM produzcan frases más inesperadas. Incluso cuando se utiliza un conjunto idéntico de documentos de evidencia, varios LM base pueden tener impactos contrastantes debido al aumento de la recuperación. Su conjunto de datos recién anotado proporciona un estándar de oro para medir las evaluaciones de atribución. Los hallazgos muestran que los modelos NLI que identificaron la atribución en el control de calidad factoide también funcionan bien en el contexto LFQA, superando el azar por un amplio margen pero no alcanzando el acuerdo humano por un margen del 15% en precisión.
La investigación muestra que incluso cuando se les da un conjunto idéntico de documentos, la calidad de la atribución puede diferir ampliamente entre los LM base. El estudio también arrojó luz sobre los patrones de atribución en la producción de textos extensos. El texto generado tiende a seguir la secuencia de los documentos de evidencia en contexto, incluso cuando el documento en contexto es una concatenación de numerosos artículos y la última oración es mucho menos rastreable que las oraciones anteriores. En general, el estudio arrojó luz sobre cómo los LM aprovechan los documentos de evidencia contextual para responder preguntas en profundidad y señalar elementos de la agenda de investigación viables.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 31k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
También estamos en WhatsApp. Únase a nuestro canal de IA en Whatsapp.
Dhanshree Shenwai es ingeniero en informática y tiene una buena experiencia en empresas de tecnología financiera que cubren el ámbito financiero, tarjetas y pagos y banca con un gran interés en las aplicaciones de IA. Le entusiasma explorar nuevas tecnologías y avances en el mundo en evolución de hoy que facilita la vida de todos.