Alinear grandes modelos de lenguaje (LLM) con las preferencias humanas es una tarea esencial en la investigación de la inteligencia artificial. Sin embargo, los métodos actuales de aprendizaje por refuerzo (RL) enfrentan desafíos notables. La optimización de políticas proximales (PPO) y técnicas similares a menudo exigen un muestreo en línea extenso, lo que puede generar altos costos computacionales e inestabilidad. Los métodos de RL sin conexión, como la optimización directa de preferencias (DPO), evitan estos problemas, pero enfrentan dificultades con tareas que requieren razonamiento de varios pasos, como resolver problemas matemáticos o generar código complejo. Estos métodos frecuentemente tratan el proceso de generación como un problema de un solo paso, descuidando las dependencias de largo plazo intrínsecas a muchas tareas de razonamiento. Además, las escasas funciones de recompensa, que proporcionan retroalimentación sólo al final de una secuencia de razonamiento, hacen que la orientación en pasos intermedios sea un desafío.
Investigadores de ByteDance y UCLA han introducido la optimización directa de la función Q (DQO) para abordar estos desafíos. DQO encuadra el proceso de generación de respuestas como un proceso de decisión de Markov (MDP) y utiliza el marco de actor-crítico suave (SAC). Al parametrizar la función Q directamente a través del modelo de lenguaje, DQO convierte el problema de alineación de LLM en un proceso de aprendizaje estructurado paso a paso. A diferencia de los métodos basados en bandidos, DQO incorpora recompensas de proceso (señales de retroalimentación intermedia) para respaldar el razonamiento de varios pasos de manera más efectiva.
Una característica clave de DQO es su capacidad para identificar y optimizar los pasos de razonamiento correctos incluso dentro de respuestas parcialmente correctas. Por ejemplo, en la resolución de problemas matemáticos, DQO asigna un valor más alto a los pasos precisos y penaliza los errores, lo que permite una mejora incremental en el razonamiento. Esto hace que DQO sea particularmente adecuado para tareas que requieren una toma de decisiones detallada y a largo plazo.
Implementación técnica y ventajas prácticas
El enfoque de DQO se centra en parametrizar la función Q utilizando el modelo de lenguaje, integrando así funciones de política y valor. El modelo actualiza su función Q y su función de valor basándose en la ecuación de Soft Bellman. La regularización KL garantiza un aprendizaje estable y ayuda a evitar el sobreajuste de muestras específicas.
Para manejar desafíos como el alto sesgo en los errores de diferencia temporal, DQO emplea λ-retorno, un mecanismo que equilibra las recompensas a corto y largo plazo para un entrenamiento más estable. El muestreo de importancia mejora aún más las capacidades de aprendizaje fuera de línea de DQO al reducir los cambios distributivos entre los datos de entrenamiento y la política del modelo.
DQO ofrece varias ventajas prácticas. Elimina la necesidad de muestreo en línea, lo que reduce los costos computacionales. Además, puede aprender de muestras negativas y desequilibradas, lo que mejora su solidez en diversos escenarios. El uso de recompensas de proceso ayuda a refinar las capacidades de razonamiento al tiempo que mejora la alineación con los requisitos de la tarea.
Resultados y conocimientos
Las evaluaciones experimentales de DQO en conjuntos de datos de razonamiento matemático (GSM8K y MATH) demuestran su eficacia. En el conjunto de datos GSM8K, DQO mejoró el rendimiento desde una base de 59,06% a 87,26% para generación codiciosa y de 53,30% a 84,69% para generación basada en muestreo. Estos resultados superan a otros métodos de referencia, incluidos DPO y DRO. De manera similar, en el conjunto de datos MATH, DQO superó las líneas de base, logrando mejoras del 1,18% en el muestreo y del 1,40% en la generación codiciosa.
Mejorar la DQO con recompensas de proceso impulsó aún más el desempeño, lo que sugiere su potencial para incorporar señales de supervisión adicionales. Estos resultados subrayan la capacidad de DQO para manejar tareas de razonamiento de varios pasos de manera efectiva y alinear los LLM con objetivos complejos.
Conclusión
La optimización directa de la función Q (DQO) ofrece un enfoque reflexivo para el aprendizaje por refuerzo para la alineación de LLM. Al enmarcar la generación de respuestas como un MDP y utilizar el marco SAC, DQO aborda las limitaciones de los métodos existentes. Su capacidad para integrar recompensas de procesos, manejar datos desequilibrados y estabilizar el entrenamiento mediante retorno λ y muestreo de importancia lo convierte en una solución práctica para tareas que implican razonamiento de varios pasos.
Las investigaciones futuras podrían explorar la aplicación de DQO a otros dominios, como la generación de código y los sistemas de diálogo, donde la toma de decisiones a largo plazo es fundamental. A medida que los sistemas de inteligencia artificial evolucionen para abordar desafíos cada vez más complejos, métodos como DQO desempeñarán un papel importante para mejorar la alineación y el rendimiento de los modelos de lenguaje.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.