Comprender la información financiera significa analizar números, términos financieros y datos organizados como tablas para ideas útiles. Requiere cálculos matemáticos y conocimiento de conceptos económicos, reglas y relaciones entre los términos financieros. Aunque sofisticado AI Los modelos han mostrado una excelente capacidad de razonamiento general, su idoneidad para las tareas financieras es cuestionable. Dichas tareas requieren más que simples cálculos matemáticos, ya que implican interpretar el vocabulario específico del dominio, reconocer las relaciones entre los puntos financieros y analizar datos financieros estructurados.
En general, el razonamiento se acerca a cadena de pensamiento Autoring y refuerzo de refuerzo aumentan el rendimiento en múltiples tareas pero colapsan con justificación financiera. Mejoran el razonamiento lógico pero no pueden replicar la complejidad de la información económica, lo que requiere una comprensión numérica, conocimiento del campo e interpretación de datos de manera organizada. Si bien los modelos de idiomas grandes se utilizan ampliamente en finanzas para tareas como el análisis de sentimientos, la predicción del mercado y el comercio automatizado, los modelos generales no están optimizados para el razonamiento financiero. Modelos específicos de finanzas, como Bloombeggpt y Fingptayudar a comprender los términos financieros, pero aún enfrenta desafíos en el razonamiento sobre documentos financieros y datos estructurados.
Para resolver esto, investigadores de Thefinai propuesto Fino1un modelo de razonamiento financiero basado en Llama-3.1-8b-Instruir. Los modelos existentes lucharon con texto financiero, datos tabulares y ecuaciones, que muestran un bajo rendimiento en tareas de contexto largo y razonamiento múltiple. Mejoras de datos simples y técnicas generales como Cuna El ajuste fino no pudo traer resultados consistentes. Este marco empleó el aprendizaje de refuerzo y la iterativa Cuna ajuste fino para mejorar el razonamiento financiero, el refinamiento de pasos lógicos y la precisión de la toma de decisiones. Las secuencias lógicas se construyeron sistemáticamente para que el modelo pudiera analizar los problemas financieros paso a paso, y los mecanismos de verificación probaron la confiabilidad para determinar las conclusiones financieras correctas. De dos etapas Lora Autoring Fino Resuelto contradicciones en el razonamiento numérico y la resolución de ecuaciones, con la primera etapa ajustando el modelo a los principios financieros y la segunda etapa, ajuste los cálculos intrincados. Capacitación organizada en varios conjuntos de datos financieros, como informes y datos tabulares, una interpretación mejorada para proporcionar estados financieros más precisos y análisis de registros de transacciones.
Los investigadores evaluaron modelos de idiomas en tareas de razonamiento financiero y se encontraron Deepseek-r1 mejorado mejor (68.93) Debido a fuerte XBRL–Matemáticas Resultados, seguidos de Deepseek-r1-Distill-llama-70b y Deepseek-R1-Distill-Qwen-32b. GPT-4O se realizó bien pero se retrasó debido a las puntuaciones más bajas de XBRL-Math. Modelos de propósito general como Llama3.3-70b Su superado a algunos modelos centrados en el razonamiento, lo que demuestra que el razonamiento general no siempre mejoró las tareas financieras. Los investigadores encontraron que el ajuste lógico de la tarea luchaba con los datos económicos, mientras que mejoran las mejoras matemáticas XBRL-MATH pero herido Finqa y Dm-La precisión de simplificación. El tamaño del modelo de escala no siempre ayudó, ya que los modelos más pequeños a veces funcionaban mejor. Expandir los datos de pre-entrenamiento y la refinación de las técnicas posteriores a la capacitación mejoraron el razonamiento financiero. Finos1-8bentrenado con caminos de razonamiento de GPT-4O, Su superado a otros, demostrar que la capacitación financiera específica fue efectiva. Estos resultados destacaron la importancia de la capacitación específica del dominio para mejorar la comprensión financiera y el razonamiento numérico de múltiples pasos.
En resumen, el nuevo enfoque mejoró el pensamiento financiero en LLM. Aprovechando caminos de razonabilidad de GPT-4O en Finqa, Fino1 era 10% Mejor en tres pruebas financieras. Aunque los modelos matemáticos formales se desempeñaron mejor en tareas numéricas como XBRL-MATHno alcanzaron las expectativas en el procesamiento de textos financieros y contextos largos, con la adaptación del dominio necesaria. A pesar de la escala del modelo y las limitaciones de diversidad de conjuntos de datos, este marco puede actuar como una línea de base para futuras investigaciones. Los avances en la expansión del conjunto de datos, los métodos de recuperación y un razonamiento de múltiples pasos pueden mejorar aún más LLMS para aplicaciones del mundo real.
Verificar el Papel y Modelo en la cara abrazada. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 75k+ ml de subreddit.
Divyesh es un pasante de consultoría en MarktechPost. Está buscando un BTech en ingeniería agrícola y alimentaria del Instituto Indio de Tecnología, Kharagpur. Es un entusiasta de la ciencia de datos y el aprendizaje automático que quiere integrar estas tecnologías líderes en el dominio agrícola y resolver desafíos.