Introducción
Los modelos de lenguaje grande (LLM) han mostrado mejoras sustanciales en el razonamiento y la precisión a través del aprendizaje de refuerzo (RL) y las técnicas de escala de tiempo de prueba. A pesar de superar los métodos de generación de pruebas unitarias tradicionales, la mayoría de los enfoques existentes, como O1 coder y UTGEN requieren supervisión del código de verdad en tierra. Esta supervisión aumenta los costos de recopilación de datos y limita la escala de datos de capacitación utilizables.
Limitaciones de los enfoques existentes
La generación de pruebas unitarias convencionales se basa en:
- Métodos de análisis de softwareque están basados en reglas y rígidos.
- Técnicas de traducción de máquina neuronalque a menudo carecen de alineación semántica.
Si bien los métodos recientes basados en información y agente mejoran el rendimiento, aún dependen en gran medida del código etiquetado para el ajuste fino. Esta confianza restringe la adaptabilidad y la escalabilidad, particularmente en escenarios de implementación a gran escala del mundo real.
Cure: un enfoque coevolutivo auto-supervisado
Investigadores de la Universidad de Chicago, la Universidad de Princeton, la Universidad de Pekín y la introducción de semillas de byte CURARun marco de aprendizaje de refuerzo auto-supervisado que capacita conjuntamente un generador de código y un generador de pruebas unitarias sin ningún código de verdad en tierra.
Cure opera utilizando un mecanismo de autoestima en el que:
- El LLM genera código correcto e incorrecto.
- El generador de prueba unitario aprende a distinguir los modos de falla y se refina en consecuencia.
Esta evolución bidireccional mejora tanto la generación de código como la verificación sin supervisión externa.
Arquitectura y metodología
Modelos base y estrategia de muestreo
Cure se basa en modelos de instrucciones QWEN2.5-7B y 14B, con QWEN3-4B utilizado para variantes de cadena de pensamiento largo (COT). Cada paso de entrenamiento muestras:
- 16 finalizaciones de código candidato.
- 16 pruebas unitarias derivadas de tareas.
El muestreo se realiza usando VLLM con temperatura 1.0 y TOP-P 1.0. Para los modelos de cabina larga, una transformación de la longitud de respuesta penaliza largas salidas, lo que mejora la eficiencia de tiempo de inferencia.
Función de recompensa y optimización
Cure introduce una formulación de recompensas matemáticamente basada en:
- Maximizar precisión de recompensadefinido como la probabilidad de que corrija los puntajes de código más altos que el código incorrecto en las pruebas unitarias generadas.
- Aplique ajustes de recompensas basados en respuesta para respuestas largas para reducir la latencia.
La optimización se realiza a través de métodos de gradiente de políticas, actualizando conjuntamente el codificador y el probador unitario para mejorar su rendimiento mutuo.
Conjuntos de datos de referencia y métricas de evaluación
La cura se evalúa en cinco conjuntos de datos de codificación estándar:
- LiveBench
- MBPP
- LivecodeBench
- CodeContests
- Codeforces
El rendimiento se mide a través de:
- Precisión de la prueba unitaria
- Precisión de la generación de código de un disparo
- La mejor precisión (Bon) con 16 muestras de código y prueba.
Ganancias de rendimiento y eficiencia
El RAVENTEFLUX-CODER Modelos derivados a través de Cure logro:
- +37.8% En la precisión de la prueba unitaria.
- +5.3% En la precisión de la generación de código de un disparo.
- +9.0% En precisión de Bon.
En particular, lo asciende razonflux-coder-4b 64.8% Reducción en la longitud promedio de la respuesta de la prueba unitaria: mejora sustancialmente la velocidad de inferencia. En todos los puntos de referencia, estos modelos superan a los modelos tradicionales de ajuste y ajustados con la codificación (p. Ej., QWEN2.5-Coder-Instructo).
Aplicación a LLMS comerciales
Cuando razonflux-coder-4b se combina con Modelos de la serie GPT:
- GPT-4O-Mini ganancias +5.5% de precisión de Bon.
- GPT-4.1-Mini mejora por +1.8%.
- Los costos de API se reducen mientras que el rendimiento se mejora, lo que indica una solución rentable para las tuberías de inferencia de nivel de producción.
Usar como modelo de recompensa para ajuste fino sin etiquetas
Los generadores de pruebas unitarias capacitadas en cura pueden reutilizarse como modelos de recompensa en el entrenamiento RL. El uso de las pruebas unitarias generadas de Rauualflux-Coder-4B produce mejoras comparables a la supervisión de pruebas marcadas con humanos, lo que está habilitando Tuberías de aprendizaje de refuerzo totalmente sin etiquetas.
Aplicabilidad más amplia y direcciones futuras
Más allá de Bon, los modelos de codificadores de razonflux se integran a la perfección con los marcos de codificación de agente como:
- MPSC (autoconsistencia multiperspectiva)
- Alfacodio
- S*
Estos sistemas se benefician de la capacidad de Cure para refinar el código y las pruebas de forma iterativa. La cura también aumenta la precisión de la generación de pruebas unitarias de la agencia 25.1%reforzando su versatilidad.
Conclusión
CURE representa un avance significativo en el aprendizaje auto-supervisado para la generación y validación de código, lo que permite que los modelos de idiomas grandes evolucionen conjuntamente sus capacidades de codificación y generación de pruebas unitarias sin dependencia del código de verdad en tierra. Al aprovechar un marco de aprendizaje de refuerzo co-evolucionario, la cura no solo mejora las métricas de rendimiento del núcleo, como la precisión de un disparo y la mejor selección de N, sino que también mejora la eficiencia de la inferencia a través de la optimización de la longitud de respuesta. Su compatibilidad con las tuberías de codificación de agente existentes y la capacidad de funcionar como un modelo de recompensa sin etiquetas lo convierten en una solución escalable y rentable para escenarios de capacitación e implementación.
Mira el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 99k+ ml de subreddit y suscribirse a Nuestro boletín.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.
