Los modelos de lenguaje grandes (LLM) han logrado avances significativos en diversas aplicaciones, pero siguen enfrentándose a desafíos sustanciales en tareas de razonamiento complejas. Por ejemplo, incluso los modelos avanzados como Mistral-7B solo pueden lograr una precisión del 36,5 % en el conjunto de datos GSM8K, a pesar de emplear técnicas como Chain-of-Thought (CoT). Si bien el ajuste fino ha demostrado ser prometedor para mejorar las capacidades de razonamiento, la mayoría de los LLM se basan en datos destilados o sintetizados por modelos superiores como GPT-4. Esta dependencia de modelos más avanzados ha llevado a los investigadores a explorar enfoques alternativos para mejorar el razonamiento sin depender de un LLM docente superior. Sin embargo, este esfuerzo presenta sus desafíos, en particular para los modelos de lenguaje más pequeños (SLM), que necesitan ayuda con la exploración efectiva del espacio de soluciones y la evaluación de la calidad de los pasos de razonamiento.
Los investigadores han hecho varios intentos para mejorar las capacidades de razonamiento de los modelos de lenguaje. Los métodos basados en indicaciones, como Chain-of-Thought, se centran en el diseño de instrucciones y secuencias para mejorar el rendimiento durante la inferencia. Estos enfoques incluyen planificación, descomposición de problemas, abstracción y técnicas de programación. Además, los métodos de automejora han ganado terreno, con enfoques de ajuste fino que utilizan LLM preentrenados para sintetizar datos y mejorar el rendimiento progresivamente. Las técnicas de indicaciones avanzadas, como la autoverificación y RAP, tienen como objetivo mejorar el rendimiento a través de la autoexploración iterativa. El muestreo de diversas rutas de razonamiento ha demostrado ser prometedor en tareas de razonamiento matemático, con métodos como la autoconsistencia y los enfoques de búsqueda de árboles que dividen las tareas en pasos más simples. Para la verificación de respuestas, se utiliza ampliamente la votación por mayoría, mientras que algunos investigadores han explorado modelos de valor de entrenamiento o recompensa, aunque estos requieren anotaciones adicionales y corren el riesgo de sobreajuste.
Investigadores de Microsoft Research Asia y la Universidad de Harvard presentaron el Razonamiento mutuo basado en el juego propio (rStar) Enfoque de búsqueda de árbol de Monte Carlo, una solución robusta para mejorar las capacidades de razonamiento de los SLM durante la inferencia, sin depender de ajustes finos o modelos superiores. rStar aborda los desafíos que enfrentan los SLM a través de un proceso único de discriminación-generación mutua de juego propio. Este método emplea una búsqueda de árbol de Monte Carlo (MCTS) convencional para los pasos de razonamiento autogenerados, pero amplía el conjunto de acciones de razonamiento para simular comportamientos de razonamiento humano. Estas acciones incluyen la descomposición de problemas, la búsqueda de pasos de razonamiento específicos, la propuesta de nuevas subpreguntas y la reformulación de preguntas dadas. Para guiar la exploración de trayectorias de razonamiento generadas de manera efectiva, rStar introduce un proceso de discriminación llamado consistencia mutua, que emplea un segundo SLM como discriminador para proporcionar retroalimentación no supervisada sobre las trayectorias de razonamiento candidatas.
El método rStar emplea una arquitectura única para mejorar las capacidades de razonamiento de los SLM. En esencia, rStar utiliza un algoritmo MCTS para aumentar el SLM objetivo y generar soluciones de razonamiento de múltiples pasos. El método introduce un conjunto completo de cinco acciones de razonamiento similares a las humanas, que incluyen proponer pensamientos de un paso, generar los pasos de pensamiento restantes, proponer y responder subpreguntas, volver a responder subpreguntas y reformular las preguntas. Este espacio de acción diverso permite una exploración exhaustiva en varias tareas de razonamiento.
rStar implementa una función de recompensa cuidadosamente diseñada que evalúa el valor de cada acción sin depender de técnicas de auto-recompensa o supervisión externa. El proceso de implementación de MCTS utiliza el algoritmo de Límites de Confianza Superior aplicados a Árboles (UCT) para equilibrar la exploración y la explotación durante la expansión del árbol. Para verificar las trayectorias de razonamiento generadas, rStar introduce un segundo SLM como discriminador, empleando un enfoque de consistencia mutua. Este proceso implica enmascarar parte de una trayectoria candidata y pedirle al SLM discriminador que la complete, para luego comparar los resultados en cuanto a consistencia.
Los resultados demuestran la eficacia de rStar en varios puntos de referencia de razonamiento y modelos de lenguaje:
1. Rendimiento en diversas tareas de razonamiento:
- rStar mejoró significativamente la capacidad de resolución de problemas de los SLM. Por ejemplo, la precisión de LLaMA2-7B en GSM8K aumentó del 12,51 % con CoT de pocos disparos al 63,91 % con rStar, casi igualando el rendimiento ajustado.
- rStar mejoró consistentemente la precisión del razonamiento en diferentes SLM y tareas hasta alcanzar niveles de última generación, superando otros enfoques básicos.
- Incluso sin el discriminador, el generador de rStar superó las líneas base de inferencia de múltiples rondas existentes como RAP, ToT y autoconsistencia en GSM8K.
2. Eficiencia:
- rStar mostró mejoras significativas en la precisión del razonamiento con solo 2 implementaciones en el conjunto de datos GSM8K.
3. Rendimiento en conjuntos de datos matemáticos desafiantes:
- En GSM-Hard y MATH-500, rStar mejoró significativamente la precisión de razonamiento de los SLM, con mejoras de hasta 12,9% y 9,14% respectivamente en comparación con las líneas de base de última generación.
4. Estudios de ablación:
- El generador MCTS en rStar superó otros enfoques como RAP y autoconsistencia en diferentes modelos y tareas.
- El discriminador de rStar superó consistentemente a otros métodos de verificación, incluida la votación mayoritaria y la autoverificación, en diferentes generadores.
5. Comparaciones de modelos:
- Se probaron diferentes modelos como discriminadores, y GPT-4 logró la mayor precisión (92,57 %) en GSM8K, seguido de Phi3-Mini-Instruct (91,13 %).
Estos resultados resaltan la eficacia de rStar para mejorar las capacidades de razonamiento de los SLM en diversas tareas y modelos, superando a los métodos existentes tanto en precisión como en eficiencia.
El rEstrella Este enfoque introduce un método robusto de autojuego de generador-discriminador que mejora significativamente las capacidades de razonamiento de los modelos de lenguaje durante la inferencia. Esta investigación revela que los modelos de lenguaje como LLaMA2-7B poseen fuertes capacidades de razonamiento inherentes incluso antes del ajuste fino supervisado específico del dominio. rStar demuestra un rendimiento de vanguardia en cinco modelos de lenguaje diferentes y cinco tareas de razonamiento diversas, superando sustancialmente las técnicas existentes de estimulación multironda y automejora. Los amplios estudios y análisis de ablación realizados en esta investigación aportan información valiosa al campo, allanando el camino para técnicas de razonamiento automejorado más avanzadas en los modelos de lenguaje. Estos hallazgos resaltan el potencial de rStar para desbloquear las capacidades de razonamiento latentes de los modelos de lenguaje sin la necesidad de un ajuste fino extenso o la dependencia de modelos más grandes.
Echa un vistazo a la PapelTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..
No olvides unirte a nuestro Subreddit de más de 48 000 millones de usuarios
Encuentra lo próximo Seminarios web sobre IA aquí
Asjad es consultor en prácticas en Marktechpost. Está cursando la licenciatura en ingeniería mecánica en el Instituto Indio de Tecnología de Kharagpur. Asjad es un entusiasta del aprendizaje automático y del aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en el ámbito de la atención médica.