La expansión de los sistemas de respuesta a preguntas (QA) impulsados por inteligencia artificial (IA) es el resultado de la creciente demanda de análisis y gestión de datos financieros. Además de mejorar el servicio al cliente, estas tecnologías ayudan en la gestión de riesgos y brindan sugerencias de acciones individualizadas. Las respuestas precisas y útiles a los datos financieros requieren una comprensión profunda del ámbito financiero debido a la complejidad de los datos, la terminología y los conceptos específicos del dominio, la incertidumbre del mercado y los procesos de toma de decisiones. Debido a las complejas tareas involucradas, como la recuperación de información, el resumen, el análisis de datos, la comprensión y el razonamiento, los escenarios de respuesta a preguntas de formato largo (LFQA) han adquirido importancia en este entorno.
Si bien hay varios conjuntos de datos LFQA disponibles de dominio público, como ELI5, WikiHowQA y WebCPM, ninguno de ellos está diseñado para el sector financiero. Esta brecha en el mercado es significativa, ya que las preguntas complejas y de dominio abierto a menudo requieren respuestas extensas de párrafos y recuperaciones de documentos relevantes. Los estándares actuales de control de calidad financiero, que dependen en gran medida del cálculo numérico y el análisis de sentimientos, a menudo tienen dificultades para manejar la diversidad y complejidad de estas preguntas.
A la luz de estas dificultades, los investigadores del HSBC Lab, la Universidad de Ciencia y Tecnología de Hong Kong (Guangzhou) y la Universidad de Harvard presentan FinTextQA, un nuevo conjunto de datos para probar modelos de control de calidad en cuestiones relacionadas con finanzas, regulación o políticas generales. Este conjunto de datos se compone de LFQA tomados de libros de texto sobre el campo, así como de sitios web de agencias gubernamentales. Los 1262 pares de preguntas y respuestas y contextos de documentos que componen FinTextQA son de excelente calidad y tienen la fuente atribuida. Seleccionado a partir de cinco rondas de selección humana, incluye seis categorías de preguntas con una longitud de texto promedio de 19,7 mil palabras. Al incorporar reglas y regulaciones financieras en LFQA, este conjunto de datos desafía los modelos con contenido más complejo y representa un trabajo innovador en el campo.
El equipo presentó el conjunto de datos y comparó los modelos de última generación (SOTA) utilizando FinTextQA para establecer estándares para futuros estudios. Muchos sistemas LFQA existentes dependen de modelos de lenguaje previamente entrenados y ajustados, como GPT-3.5-turbo, LLaMA2, Baichuan2, etc. Sin embargo, estos modelos no siempre están preparados para responder consultas financieras complejas o proporcionar respuestas exhaustivas. . Terminan utilizando el marco RAG como respuesta. El sistema RAG puede mejorar el rendimiento y las capacidades de explicación de los LLM al preprocesar documentos en varios pasos y proporcionarles la información más relevante.
Los investigadores destacan que FinTextQA tiene menos pares de control de calidad a pesar de su curación profesional y alta calidad, en contraste con conjuntos de datos más grandes generados por IA. Debido a esta restricción, es posible que los modelos entrenados en él no puedan extenderse a escenarios más generales del mundo real. Adquirir datos de alta calidad es difícil y las restricciones de derechos de autor frecuentemente impiden compartirlos. En consecuencia, los enfoques de vanguardia para la escasez y el aumento de datos deberían ser el foco de los estudios futuros. También puede resultar útil investigar capacidades RAG y métodos de recuperación más sofisticados y ampliar el conjunto de datos para incluir fuentes más diversas.
Sin embargo, el equipo cree que este trabajo representa un importante paso adelante para mejorar la comprensión y el respaldo del concepto financiero al introducir el primer conjunto de datos financieros de LFQA y realizar extensas pruebas comparativas con él. FinTextQA proporciona un marco sólido y completo para desarrollar y probar sistemas LFQA en finanzas generales. Además de demostrar la efectividad de diferentes configuraciones de modelos, la investigación experimental enfatiza la importancia de mejorar los enfoques existentes para hacer que los sistemas de respuesta a preguntas financieras sean más precisos y fáciles de entender.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 42k+ ML
Dhanshree Shenwai es ingeniero en informática y tiene una buena experiencia en empresas de tecnología financiera que cubren el ámbito financiero, tarjetas y pagos y banca con un gran interés en las aplicaciones de IA. Le entusiasma explorar nuevas tecnologías y avances en el mundo en evolución de hoy que facilita la vida de todos.