Los modelos de idiomas capacitados en vastos conjuntos de datos a escala de Internet se han convertido en una destacada comprensión del lenguaje y herramientas de generación. Su potencial se extiende más allá de las tareas del lenguaje al funcionamiento como agentes de toma de decisiones en entornos interactivos. Cuando se aplican a entornos que requieren opciones de acción, se espera que estos modelos aprovechen su conocimiento interno y razonamiento para actuar de manera efectiva. Su capacidad para considerar el contexto, sopesar las opciones y elegir acciones abre nuevas posibilidades para su integración en sistemas de agente que interactúan con entornos dinámicos.
A pesar de esta promesa, estos modelos exhiben limitaciones críticas en la toma de decisiones. Si bien son capaces de formar cadenas precisas de razonamiento, a menudo no actúan sobre ellas. Este problema se identifica como la brecha de conocimiento de conocimiento, donde los modelos reconocen las estrategias correctas pero no las implementan en la práctica. Otra preocupación significativa es la codicia, donde los modelos seleccionan repetidamente opciones de alta recompensa prematuramente, ignorando estrategias alternativas que podrían conducir a mejores resultados. Además, los modelos más pequeños muestran sesgo de frecuencia, favoreciendo acciones comúnmente vistas, independientemente de la recompensa, la exploración y obstaculizan el aprendizaje de diversos escenarios.
Para abordar estos desafíos, los investigadores han experimentado con varias estrategias. Los métodos tradicionales de aprendizaje de refuerzo, incluidos los algoritmos de bandidos como el límite de confianza superior (UCB), tienen como objetivo gestionar las compensaciones de exploración-explotación. En contraste, el aprendizaje en contexto y la clonación de comportamiento imitan las trayectorias de expertos, pero a menudo refuerzan los mismos sesgos de decisión. Si bien algunas estrategias de exploración han mejorado el rendimiento marginalmente, estos enfoques carecen de un mecanismo para convertir el razonamiento interno en acciones óptimas de manera confiable, especialmente en entornos complejos o estocásticos.
Investigadores de Google Deepmind y el laboratorio de IA Lit en JKU Linz se centraron en refinar el comportamiento del modelo de lenguaje a través del aprendizaje de refuerzo (RLFT). Su enfoque emplea a los fundamentos de la cadena de pensamiento autogenerado (COT) como señales de capacitación. Al evaluar las recompensas de las acciones después de pasos de razonamiento específicos, el modelo aprende a favorecer las decisiones que suenan lógicas y producen altos rendimientos en la práctica. Este refuerzo vincula el razonamiento del modelo con la retroalimentación ambiental, promoviendo una mejor alineación de decisiones y reduciendo las brechas entre el pensamiento y el comportamiento.
La metodología se centra en el ajuste fino basado en token utilizando interacciones ambientales. En cada paso, el modelo recibe una instrucción de entrada y un historial reciente de recompra de acción, y genera una secuencia que contiene la justificación y la acción seleccionada. Estos resultados se evalúan en función de las recompensas ambientales y si la acción se ajusta al formato deseado. Se aplica una penalización cuando el modelo no genera una acción válida. Con el tiempo, la conformación de la recompensa fomenta el formato de salida consistente al tiempo que preserva la exploración. El proceso incluye estimaciones de línea de base de Monte Carlo y una estimación de ventaja generalizada para tareas de longitud variable como Tic-Tac-Toe, lo que permite que el modelo aprenda de diversas secuencias de decisión.
Los resultados de rendimiento muestran que RLFT mejora considerablemente las habilidades de toma de decisiones del modelo. En una configuración de bandido múltiple basada en botones con 10 brazos, la cobertura de acción para un modelo de parámetros 2B aumentó de 40% a más del 52% después de las actualizaciones de 30,000 gradientes. En entornos con 20 opciones, la cobertura se mantuvo subóptima pero mostró una mejora significativa. El sesgo de frecuencia en el modelo 2B disminuyó del 70% al 35% en las repeticiones tempranas después de RLFT. Además, en Tic-Tac-Toe, la tasa de victorias del modelo 2B contra un oponente aleatorio aumentó del 15% al 75%, y el modelo logró una tasa de extracción contra un agente de búsqueda óptimo de Monte Carlo Tree, mejorando de -0.95 a 0.0 en un rendimiento promedio. Además, los modelos más grandes como la variante 27B exhibieron una tasa del 87% de generación de fundamentos correctos, pero eligieron la acción óptima solo el 21% del tiempo sin RLFT. Esta brecha se redujo significativamente después del ajuste fino.
La investigación muestra que refinar modelos de idiomas grandes a través del refuerzo en sus procesos de razonamiento mejora su capacidad de actuar de acuerdo con su conocimiento. Esta conexión entre pensamiento y acción es vital para crear agentes confiables de toma de decisiones. El método propuesto ofrece un camino práctico para desarrollar agentes basados en LLM más capaces y autónomos al abordar directamente los errores de decisión comunes y reforzar comportamientos exitosos.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.