Los modelos de idiomas han mostrado grandes capacidades en varias tareas. Sin embargo, el razonamiento complejo sigue siendo desafiante, ya que a menudo requiere recursos computacionales adicionales y técnicas especializadas. Este desafío ha motivado el desarrollo de métodos de escala de cómputo de tiempo de inferencia (ITC), que asignan recursos computacionales adicionales para mejorar los resultados del modelo durante la inferencia. El paisaje del razonamiento del modelo de lenguaje ha evolucionado a lo largo de dos dimensiones principales: enfoques que aumentan las capacidades de razonamiento durante la inferencia y una nueva clase de “modelos de razonamiento”. Sin embargo, introducen una sobrecarga computacional significativa, planteando preguntas críticas sobre la eficiencia y la compensación óptima entre los recursos computacionales y el rendimiento del razonamiento.
La escala de tiempo de inferencia ha surgido como una alternativa prometedora a la costosa previación del modelo. Las arquitecturas de tiempo de inferencia que combinan técnicas como el conjunto de generación, el muestreo, el ranking y la fusión exceden el rendimiento del modelo individual, como lo demuestran los enfoques como la mezcla de agentes, la licuadora LLM y los marcos de orquestación como DSPY. Incluso las técnicas como la cadena de pensamiento y las capacidades de razonamiento mejoran la fusión de ramas para modelos individuales. Para reducir el costo computacional, los métodos como la autoconsistencia informada por la confianza (CISC) utilizan la votación ponderada por la confianza, la reducción de muestras requeridas significativamente. Otra técnica, Divsampling, inyecta perturbaciones rápidas para aumentar la diversidad de respuestas, lo que aumenta el rendimiento en varias tareas.
Investigadores de la Universidad de Duke, ALE AI, la Universidad de Chicago y la Universidad de Stanford han propuesto un análisis exhaustivo de los métodos de escala de tiempo de inferencia para los modelos de razonamiento y no de razonamiento en tareas de razonamiento desafiantes. Al construir la frontera de calidad y eficiencia de Pareto, los investigadores descubrieron que los modelos no iniciales, incluso con presupuestos de inferencia extremadamente altos, aún están sustancialmente detrás de los modelos de razonamiento. Para los modelos de razonamiento, la votación mayoritaria es una estrategia de inferencia sólida, competitiva o superan a otros métodos de ITC más complejos como las mejores revisiones secuenciales. Los investigadores realizaron análisis en profundidad de la asociación entre las características de respuesta clave y la calidad de la respuesta.
Los investigadores observaron que las versiones destiladas por R1 de LLAMA-3.3-70B superan significativamente a sus homólogos originales. A pesar del uso de métodos de escala de tiempo de inferencia complejos, los modelos de no razonamiento no coinciden en coincidir con el rendimiento de los modelos de razonamiento especialmente diseñados. Esta evidencia empírica sugiere que para los enfoques de cómputo óptimos, invertir en la capacitación de modelos de razonamiento especializados puede proporcionar una eficiencia a largo plazo sustancialmente mejor en comparación con la escala de tiempo de inferencia repetida de modelos generales. Los métodos, que incluyen métodos de escala de tiempo de inferencia sin verificadores sin capacitación, ofrecen mejoras mínimas para modelos de razonamiento. Casi todos los métodos tienen un rendimiento inferior a la mayoría votando tanto para Deepseek-R1-Distill-Llama-70B como para Deepseek-R1-Distill-Qwen-32 B.
Los modelos que no son de condensación muestran la clara ausencia de correlación entre la longitud de la respuesta y la corrección en la mayoría de las tareas, con brechas de longitud de respuesta que son consistentemente bajas. La única excepción es Llama-3.1-8 B-Instructo, que muestra una brecha no desplegable para la tarea de AIME. Por el contrario, los modelos de razonamiento demuestran una tendencia más clara donde las respuestas más cortas y precisas tienden a ser más precisas, proporcionando evidencia de una relación inversa entre la longitud de la respuesta y la precisión. Este fenómeno refleja los complejos mecanismos de razonamiento inherentes a estos modelos. Además, el análisis del conjunto de datos de matemáticas, con su gradiente de dificultad natural, confirma que los modelos de razonamiento tienden a generar respuestas más precisas con longitudes más cortas para problemas de alta perfección.
En conclusión, los investigadores evalúan a fondo los métodos de escala de tiempo de inferencia sin verificadores para LLM, enfatizando su eficiencia y efectividad en las tareas de razonamiento. A pesar del uso de técnicas de escala avanzada y recursos computacionales significativos, los modelos que no sean de condición se retrasan constantemente detrás de modelos de razonamiento especializados como modelos destilados por R1. Para los modelos de razonamiento, las estrategias más simples, como la votación mayoritaria, a menudo superan los métodos más complejos como las mejores revisiones de N-N-Secuentiales en el rendimiento. Además, las respuestas correctas son más cortas y cuentan con menos marcadores lingüísticos, lo que indica que estos rasgos podrían servir como predictores de precisión. Utilizar estas características de respuesta y características del marcador lingüístico para mejorar los métodos de inferencia puede ser una dirección futura intrigante.
Mira el Papel. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 90k+ ml de subreddit.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.