Razonamiento fraccional en LLM: una nueva forma de controlar la profundidad de la inferencia

Introducción: desafíos en el razonamiento uniforme durante la inferencia

Los LLM han mostrado mejoras en varios dominios, y el tiempo de cálculo de tiempo de prueba juega un papel crucial en su desempeño. Este enfoque mejora el razonamiento durante la inferencia mediante la asignación de recursos computacionales adicionales, como generar múltiples respuestas candidatas y seleccionar la más adecuada, o refinar respuestas de manera iterativa a través de la autorreflexión. Sin embargo, las estrategias actuales de tiempo de cálculo de tiempo de prueba tratan todos los problemas de manera uniforme, aplicando la misma profundidad de razonamiento independientemente de la dificultad o la estructura de la consulta. En realidad, las necesidades de razonamiento son muy variables, y el razonamiento con el pensamiento subyacente o la reflexión puede conducir a respuestas degradadas o costos computacionales innecesarios. Por lo tanto, los LLM deben ser capaces de ajustar su profundidad de razonamiento o nivel de reflexión dinámicamente.

Trabajo previo: Control de dirección y representación latente

La investigación existente ha explorado varios métodos para mejorar el razonamiento de LLM a través de la escala de tiempo de inferencia y el control estatal latente. La técnica de la cadena de pensamiento (COT) guía a los modelos para descomponer problemas complejos en pasos intermedios para mejorar el rendimiento del razonamiento. Los modelos de recompensa de resultados (ORMS) y los modelos de recompensa de proceso (PRMS) evalúan las respuestas generadas basadas en la corrección o la calidad del razonamiento interno. Además, los métodos de ingeniería de representación utilizan vectores de dirección en espacios latentes de LLM para la generación controlada, mientras que métodos como los vectores en contexto (ICV) extraen vectores latentes de las demostraciones para dirigir estados internos en el momento de la inferencia, y la representación Finetuning (Reft) aprende intervenciones de baja jornada de tareas sobre representaciones latentes.

El marco propuesto: razonamiento fraccional para la inferencia adaptativa

Investigadores de la Universidad de Stanford han propuesto un razonamiento fraccional (FR), un marco sin capacitación y agnóstico modelo para mejorar el cálculo de tiempo de prueba a través del control de razonamiento adaptativo. FR ajusta el comportamiento del razonamiento modificando directamente las representaciones internas del modelo, extrayendo el cambio latente inducido por entradas que promueven el razonamiento, como la cuna o las indicaciones de reflexión, y nuevamente aplicando este cambio con un factor de escala sintonizable. Esto permite que los modelos ajusten la profundidad del razonamiento durante la inferencia sin modificar el texto de entrada o requerir el ajuste fino. FR admite y mejora dos formas clave de escala de tiempo de prueba: (a) escala basada en amplitud, como el mejor voto de N y la mayoría, y (b) escala basada en la profundidad, como la autorreflexión.

Benchmarking: ganancias de rendimiento en tareas de razonamiento

FR se evalúa en tres puntos de referencia que requieren razonamiento de varios pasos: GSM8K, Math500 y GPQA. La evaluación utiliza conjuntos de pruebas para GSM8K y Math500 mientras se usa la división de diamantes para GPQA. Los experimentos principales utilizan dos modelos competitivos de instrucción abierta ajustados a las instrucciones: qwen2.5-7b-instructo y llama-3.1-8b-instructo, los cuales demuestran fuertes capacidades de razonamiento y proporcionan acceso a las representaciones estatales latentes requeridas por el método propuesto. FR supera los métodos de cómputo de tiempo de prueba estándar en todos los puntos de referencia y modelos, lo que demuestra que puede mejorar fuertemente el rendimiento. Ajustar la influencia de las indicaciones permite una exploración más amplia del espacio de la solución, lo que aumenta la eficiencia de los métodos de cómputo de tiempo de prueba tradicionales.

Comportamiento y generalidad agnóstica del modelo de razonamiento fraccional

Los investigadores analizaron además FR para comprender su dinámica conductual, generalidad entre modelos y otras métricas. El análisis revela que aumentar el parámetro de escala conduce a salidas más largas con un razonamiento más detallado de varios pasos, lo que confirma el comportamiento del modelo de novillos marco predecible y continuo. FR sigue siendo efectivo incluso cuando se aplica a modelos especializados en el razonamiento como Deepseek-R1-Distill-Qwen-7B, mejorando la precisión sobre las líneas de base estándar y mostrando su generalidad en LLM tanto de propósito general como especializado. El análisis de escala de rendimiento muestra mejoras consistentes con un número cada vez mayor de generaciones, y FR muestra una mayor precisión en la mayoría de los presupuestos de muestreo en comparación con la línea de base de la mayoría de los votos.

Conclusión: hacia la inferencia LLM más dinámica y eficiente

En conclusión, los investigadores de la Universidad de Stanford introdujeron el razonamiento fraccional (FR), un marco sin capacitación y agnóstico modelo que mejora el cálculo del tiempo de prueba a través del control adaptativo del comportamiento de razonamiento en LLM. Ofrece un enfoque general e interpretable para una asignación más precisa y eficiente del esfuerzo computacional durante la inferencia, superando la limitación de la aplicación de razonamiento uniforme en las estrategias actuales de cómputo de tiempo de prueba. Sin embargo, el marco actualmente depende de las direcciones de razonamiento predefinidas y carece de selección automática de factores de escala, lo que indica futuras direcciones de investigación hacia políticas adaptativas para una inferencia totalmente dinámica.

Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.