Los modelos de idiomas (LM) han progresado significativamente a través del aumento de la potencia computacional durante el entrenamiento, principalmente a través de la pretruación auto-supervisada a gran escala. Si bien este enfoque ha producido modelos poderosos, ha surgido un nuevo paradigma llamado escala de tiempo de prueba, centrándose en mejorar el rendimiento al aumentar el cálculo en el momento de la inferencia. El modelo O1 de OpenAI ha validado este enfoque, mostrando capacidades de razonamiento mejoradas a través de la escala de cómputo de tiempo de prueba. Sin embargo, replicar estos resultados ha demostrado ser desafiante, con varios intentos que utilizan técnicas como la búsqueda de árboles de Monte Carlo (MCTS), enfoques de agentes múltiples y aprendizaje de refuerzo. Incluso modelos como Deepseek R1 han utilizado millones de muestras y etapas de entrenamiento complejas, sin embargo, ninguno ha replicado el comportamiento de escala en el tiempo de prueba en O1.
Se han desarrollado varios métodos para abordar el desafío de escala de tiempo de prueba. Los enfoques de escala secuencial permiten que los modelos generen intentos de solución sucesivos, y cada iteración se basa en resultados anteriores. Los métodos de búsqueda basados en árboles combinan escala secuencial y paralela, implementando técnicas como MCTS y búsqueda de haz guiado. Rebase se ha convertido en un enfoque notable, utilizando un modelo de recompensa de proceso para optimizar la búsqueda de árboles a través de la explotación y la poda equilibradas, que muestra un rendimiento superior en comparación con los métodos y MCT basados en muestreo. Estos enfoques dependen en gran medida de los modelos de recompensa, que vienen en dos formas: modelos de recompensas de resultados para evaluar soluciones completas en la mejor selección de N y modelos de recompensa de procesos para evaluar los pasos de razonamiento individuales en los métodos de búsqueda basados en árboles.
Investigadores de la Universidad de Stanford, la Universidad de Washington, el Instituto Allen para la IA y la IA contextual han propuesto un enfoque simplificado para lograr la escala del tiempo de prueba y las capacidades de razonamiento mejoradas. Su método se centra en dos innovaciones clave: el conjunto de datos S1K cuidadosamente seleccionado que comprende 1,000 preguntas con trazas de razonamiento, seleccionadas en función de la dificultad, la diversidad y los criterios de calidad, y una técnica novedosa llamada Forzing Presupuesto. Este mecanismo de falsificación de presupuesto controla el cálculo del tiempo de prueba al acortar o extender el proceso de pensamiento del modelo a través de inserciones estratégicas de “espera”, lo que permite que el modelo revise y corrija su razonamiento. El enfoque se implementó ajustando el modelo de lenguaje de instrucciones QWEN2.5-32B en el conjunto de datos S1K.
El proceso de selección de datos sigue un enfoque de filtrado de tres etapas basado en criterios de calidad, dificultad y diversidad. La etapa de filtrado de calidad comienza eliminando muestras con errores de API y problemas de formato, reduciendo el conjunto de datos inicial a 51,581 ejemplos, de los cuales se seleccionan inicialmente 384 muestras de alta calidad. La evaluación de dificultad emplea dos métricas clave: evaluación del rendimiento del modelo utilizando los modelos QWEN2.5-7B-Instructo y QWEN2.5-32B-Instructo, con la corrección verificada por el soneto Claude 3.5, y la longitud de traza de razonamiento medido por el tokenizador Qwen2.5. Para la diversidad, las preguntas se clasifican en dominios específicos utilizando el sistema de clasificación de asignaturas de matemáticas a través del soneto Claude 3.5. Este proceso de filtrado integral da como resultado un conjunto de datos final de 1,000 muestras que abarcan 50 dominios.
El modelo S1-32B demuestra mejoras significativas en el rendimiento a través del escala de cálculo de tiempo de prueba con forzamiento presupuestario. S1-32B funciona en un paradigma de escala superior en comparación con el modelo base QWEN2.5-32B-Instructo utilizando la votación mayoritaria, validando la efectividad de la escala secuencial sobre los enfoques paralelos. Además, S1-32B surge como el modelo de razonamiento de datos abiertos más eficientes en la eficiencia de la muestra, que muestra una mejora notable sobre el modelo base con solo 1,000 muestras de entrenamiento adicionales. Mientras que R1-32B logra un mejor rendimiento, requiere 800 veces más datos de entrenamiento. En particular, S1-32B se acerca al rendimiento de Gemini 2.0 Thinking en AIME24, lo que sugiere una destilación exitosa de conocimiento.
Este artículo muestra que el ajuste fino supervisado (SFT) con solo 1,000 ejemplos cuidadosamente seleccionados puede crear un modelo de razonamiento competitivo que coincida con el rendimiento de la previsión O1 y logra una eficiencia óptima. La técnica de forzamiento presupuestario introducida, cuando se combina con el modelo de razonamiento, reproduce con éxito el comportamiento de escala de tiempo de prueba de OpenAI. La efectividad de tales datos de capacitación mínimos sugiere que las capacidades de razonamiento del modelo están presentes en gran medida desde elaborado previamente en billones de tokens, con el proceso de ajuste fino que simplemente activa estas habilidades latentes. Esto se alinea con la “hipótesis de alineación superficial” de la investigación de Lima, lo que sugiere que un número relativamente pequeño de ejemplos puede alinear efectivamente el comportamiento de un modelo con los resultados deseados.
Verificar el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 75k+ ml de subreddit.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.