Incluso los modelos de lenguajes grandes (LLM) más avanzados, como GPT-4 y PaLM 2, tienen dificultades para resolver problemas matemáticos, ya que requieren imaginación, razonamiento matemático y computación. La posibilidad de que los LLM puedan descubrir una respuesta adecuada es considerablemente mayor cuando se les permite abordar el problema muchas veces. Por lo tanto, los LLM ya demuestran el potencial para mejorar este desafío de resolución de problemas aritméticos. Por ejemplo, el PaLM 2-L previamente entrenado puede alcanzar aproximadamente un 33,4% de precisión con una decodificación codiciosa. Sin embargo, el 79,4% de las veces, hay al menos una respuesta precisa (aprobado@64) al muestrear 64 soluciones mediante muestreo de temperatura (Tabla 1).
Tabla 1: Resultados del ajuste de soluciones supervisadas. Se contrastan el conjunto de datos MATH y el conjunto de datos PRM800K, que son dos fuentes diferentes de datos de entrenamiento.
Esta importante disparidad de desempeño muestra que los LLM pueden generar respuestas precisas pero tienen dificultades para diferenciar entre soluciones adecuadas y erróneas. Por lo tanto, para reducir la diferencia de desempeño mencionada anteriormente, investigan técnicas de ajuste específico de tareas que podrían mejorar la capacidad del LLM para el desarrollo y evaluación de soluciones.
Examinan tres técnicas de ajuste:
(1) SSFT, ajuste de solución paso a paso supervisado. Estudian si los LLM previamente capacitados pueden beneficiarse de un paso de ajuste supervisado como técnica de punto de partida.
Ajustan los LLM para brindar la solución y la respuesta completas.
(2) Reclasificación del grupo de soluciones (SCR). Continúan perfeccionando el generador como evaluador de soluciones para la reclasificación de soluciones candidatas para mejorar la capacidad del LLM para evaluar soluciones. Si bien investigaciones anteriores han analizado una solución de este tipo: clasificación de muestra o reclasificación, ofrecen un método novedoso que combina las ventajas de la votación por mayoría con la reclasificación y, al mismo tiempo, reduce los costos de clasificación. Para ser más precisos, como etapa preliminar en la votación por mayoría, primero clasifican las respuestas de los candidatos en varios grupos según su equivalencia matemática. Luego, para mejorar aún más los resultados del voto mayoritario, aplican el evaluador de soluciones a las soluciones en los grupos más frecuentes.
(3) Ajuste secuencial de múltiples tareas. Además de la tarea de evaluación de soluciones, también están interesados en mejorar el desempeño del LLM en la tarea de generación de soluciones y determinar si el objetivo de capacitación de la tarea de evaluación de soluciones puede ayudar al modelo a generar soluciones.
Para lograr esto, proporcionan un entorno de aprendizaje secuencial de múltiples tareas donde la tarea de evaluación de la solución se enmarca como un problema de generación de lenguaje natural, de modo que su objetivo de capacitación puede ofrecer una valiosa señal de supervisión al modelo de generación de soluciones. Con más detalle, ajustan el modelo en tres etapas: (1) como generador (SSFT), (2) como evaluador de soluciones (SCR) y (3) nuevamente como generador (SSFT).
Realizan una investigación exhaustiva utilizando PaLM 2-S* y PaLM 2-L, las formas pequeña y grande de PaLM 2, en el difícil conjunto de datos MATH, lo que da como resultado las siguientes conclusiones:
• Dado que SSFT se beneficia más de respuestas detalladas y bien formateadas, el calibre y el estilo de las soluciones paso a paso pueden influir significativamente en el modelo refinado.
• Reclasificar sólo los grupos de soluciones más comunes puede dar como resultado un mejor rendimiento que reclasificar todas las soluciones, y también puede mejorar la eficiencia computacional, razón por la cual piensan que sería una mejor práctica estándar para trabajos futuros.
• Demuestran el beneficio de entrenar el modelo tanto para la generación de soluciones como para las tareas de evaluación y presentan un intento exitoso de aprovechar la señal de aprendizaje de una tarea de evaluación binaria para un modelo de generación. El ajuste fino secuencial de múltiples tareas propuesto puede mejorar de manera más efectiva el rendimiento del modelo de generación de soluciones en comparación con el ajuste fino supervisado de la solución únicamente.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 32k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
También estamos en WhatsApp. Únase a nuestro canal de IA en Whatsapp.
Aneesh Tickoo es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en Ciencia de Datos e Inteligencia Artificial en el Instituto Indio de Tecnología (IIT), Bhilai. Pasa la mayor parte de su tiempo trabajando en proyectos destinados a aprovechar el poder del aprendizaje automático. Su interés de investigación es el procesamiento de imágenes y le apasiona crear soluciones en torno a él. Le encanta conectarse con personas y colaborar en proyectos interesantes.