El progreso reciente en los grandes modelos de lenguaje de razonamiento (LRLM), como Deepseek-R1 y GPT-O1, ha mejorado enormemente las habilidades complejas de resolución de problemas al extender la longitud de la generación de COT durante la inferencia. Estos modelos se benefician de las leyes de escala del tiempo de prueba, permitiendo caminos de razonamiento más ricos y diversos. Sin embargo, generar secuencias de cuna demasiado largas conduce a una ineficiencia computacional y una mayor latencia, lo que hace que la implementación de sistemas del mundo real sea desafiante. Además, el razonamiento excesivo a menudo introduce pasos redundantes o irrelevantes, lo que puede hacer que los modelos se desvíen de las respuestas correctas, reduciendo la precisión. Este problema de pensamiento excesivo proviene de los enfoques tradicionales supervisados de ajuste y refuerzo de refuerzo que no priorizan el control dinámico sobre la longitud del razonamiento. La investigación ha demostrado que en muchos casos, el razonamiento podría detenerse anteriormente, en lo que los autores llaman puntos de “razonamiento de perlas”, sin sacrificar la corrección. Identificar y parar en estos puntos críticos podría mejorar significativamente la eficiencia al tiempo que mantiene el rendimiento del modelo.
Los enfoques existentes para mejorar la eficiencia de la inferencia generalmente se dividen en tres categorías: métodos posteriores a la capacitación, basados en aviso y basados en la producción. Las técnicas posteriores a la capacitación implican reentrenciar modelos con ejemplos de cot de longitud variable o recompensas de longitud, pero a menudo son computacionalmente intensivas y excesivas de riesgo. Métodos basados en el aviso Ajuste la longitud de la cuna modificando las indicaciones de entrada basadas en la dificultad de la tarea, logrando un razonamiento más conciso sin sacrificar mucha precisión. Los métodos basados en la salida generalmente se centran en las técnicas de muestreo, como la parada temprana cuando múltiples salidas convergen en la misma respuesta. Sin embargo, con modelos más nuevos como R1, la dependencia del mejor muestreo de N ha disminuido. Los trabajos recientes han explorado estrategias de salida temprana, pero a menudo requieren modelos de verificación separados o solo son efectivos en entornos limitados. Por el contrario, el enfoque discutido tiene como objetivo capacitar a los modelos para reconocer puntos de detención óptimos durante su proceso de razonamiento, proporcionando una solución más perfecta y generalizable.
Investigadores del Instituto de Ingeniería de la Información, la Universidad de Academia de Ciencias de la Universidad de China y Huawei Technologies han propuesto ciervos, un método simple y sin capacitación para permitir que LRLM salga dinámicamente temprano durante el razonamiento. Los ciervos monitorea los puntos de transición clave, como la generación de tokens “Wait”, y pide al modelo que produzca respuestas de prueba en estos momentos. Si el modelo muestra alta confianza, el razonamiento se detiene; De lo contrario, continúa. Este enfoque se integra a la perfección con los modelos existentes, como Deepseek, y reduce la longitud de la cuna en un 31–43%, al tiempo que mejora la precisión en 1.7–5.7% en puntos de referencia, incluidos Math-500, AIME 2024 y GPQA Diamond.
El método de ciervo (salida temprana dinámica en razonamiento) permite que los grandes modelos de lenguaje de razonamiento salgan temprano al evaluar su confianza en las respuestas de los ensayos en puntos de transición clave. Utiliza tres módulos: un monitor de transición de razonamiento para detectar señales de “interruptor de pensamiento”, un inductor de respuesta para provocar una conclusión de prueba y un evaluador de confianza para evaluar si el razonamiento es suficiente. Si la confianza excede un umbral, el razonamiento se detiene; De lo contrario, continúa. Para reducir la latencia de la generación de respuestas de prueba, los ciervos también emplean la decodificación paralela de rama con gestión dinámica de caché, mejorando así la eficiencia sin sacrificar la precisión, particularmente para tareas como la generación de código.
Los experimentos evaluaron los modelos en cuatro puntos de referencia de razonamiento principales: Math-500, AMC 2023, AIME 2024 y GPQA Diamond, así como de la programación de referencia Humaneval y BigCodeBench. Las pruebas se realizaron utilizando modelos Deepseek-R1-Distill-Qwen de tamaños variables (parámetros de 1.5B a 32B) bajo una configuración de cadena de pensamiento cero. Los ciervos mejoraron significativamente el rendimiento al reducir la longitud del razonamiento en un 31 a 43%, al tiempo que aumenta la precisión en un 1,7 a 5,7% en comparación con la COT estándar. Un análisis detallado reveló que los ciervos corrigieron más respuestas a través de salidas tempranas, particularmente para modelos más pequeños y tareas más simples. En los puntos de referencia de programación, los ciervos también redujeron la longitud del razonamiento en más del 60% con una pérdida mínima o ninguna precisión, lo que demuestra su robustez en varias tareas.
En conclusión, el estudio valida la idea de usar salidas tempranas durante la generación de cuna a través de estudios piloto. Según estos hallazgos, introduce un método de salida temprana dinámica sin entrenamiento que permite a los modelos detener el razonamiento una vez que se recopila suficiente información. Probado en varios tamaños de modelo y seis puntos de referencia de razonamiento principales, el método logra una mejor precisión con menos tokens, equilibrando efectivamente la eficiencia y el rendimiento. A diferencia de los enfoques tradicionales que dependen de una cuna larga para tareas complejas, este método monitorea dinámicamente la confianza del modelo para determinar cuándo dejar de razonamiento, evitando así los pasos innecesarios. Los experimentos muestran reducciones significativas en la longitud del razonamiento al tiempo que aumenta la precisión general.
Mira el Papel. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 90k+ ml de subreddit.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.
