El razonamiento con LLMS puede beneficiarse de la utilización de más cómputo de prueba, que depende de los modelos de recompensa de procesos de alta calidad (PRM) para seleccionar rutas prometedoras para la búsqueda o clasificación. Los PRMS obtienen pares de solución de problemas para indicar si la solución es correcta y se han implementado como clasificadores discriminativos. Sin embargo, estos modelos requieren recursos extensos, incluida la anotación humana, las soluciones de oro paso a paso o los despliegos de intensas computacionalmente intensivos. Los enfoques de LLM-AS-A-Judge ofrecen ventajas en la eficiencia de los datos e interpretabilidad, pero tienen un desempeño pobre en comparación con los modelos de recompensas especializados para tareas de razonamiento complejas, no reconocer un razonamiento incorrecto. Esto crea un desafío para mantener las ventajas de eficiencia de datos e interpretabilidad al tiempo que logran el rendimiento superior de las PRM discriminativas.
Los enfoques de investigación para resolver los desafíos de verificación de procesos han seguido tres rutas principales. Los PRMS discriminativos funcionan como clasificadores que predicen puntajes de corrección numérica para cada paso de razonamiento, que requieren anotaciones extensas a nivel de paso. La verificación generativa de los PRMS como una tarea de generación de lenguaje, produciendo decisiones de corrección como tokens de lenguaje natural acompañados de la cadena de pensamiento de verificación (COT). Estos modelos calculan los puntajes de corrección a través de probabilidades de token condicional como P (“correcto”), lo que los hace inherentemente interpretables y escalables. Técnicas de escala de tiempo de prueba como la mejor selección de N y la búsqueda basada en árboles mejoran el rendimiento del razonamiento utilizando un cómputo de tiempo de inferencia adicional. La efectividad de estos enfoques depende en gran medida de la calidad del verificador para las soluciones de puntuación.
Investigadores de la Universidad de Michigan, Mila, LG AI Research y la Universidad de Illinois Urbana-Champaign han propuesto ThinkPrm, un verificador largo y cotizado en un sintonizado con significativamente menos etiquetas de proceso que las requeridas por los PRM discriminativos. Utiliza las habilidades de razonamiento inherentes de los modelos COT largos para superar a los verificadores LLM-AS-A-A-Judge y discriminativos al tiempo que usan solo el 1% de las etiquetas de proceso en PRM800K en varios puntos de referencia desafiantes. Bajo presupuestos de token iguales, ThinkPrm Scales Verification Compute de manera más efectiva que LLM-AS-A-A-Judge, superando en un 7.2% en un subconjunto de ProcessBench, resaltando el valor de los PRM generativos y largos para escalar la verificación de tiempo de prueba de prueba con una supervisión mínima.
El ThinkPRM se evalúa contra discPrm, el mismo modelo base Finetuned con entropía transversal binaria en todo el conjunto de datos PRM800K que contiene 712k de etiquetas de proceso de 98k pares de solución de problemas. Las comparaciones adicionales incluyen la mayoría no ponderada de votación y la mayoría ponderada por el verificador para los mejores experimentos de N. Los resultados se muestran en tres tareas de razonamiento matemático: 100 problemas de Math-500 que cubren todos los niveles de dificultad, 2024 problemas de examen de matemáticas de invitación (AIME) de 2024 y tareas fuera de dominio, incluidos los problemas de física de GPQA-Diamond y un subsesto de 200 procedimientos de LivecodeBench V5. Para Math-500, los investigadores usaron ThinkPrm-1.5B y ThinkPrm-14b con dos modelos generadores diferentes.
En la mejor selección de N con Math500, ThinkPrm logra una precisión de razonamiento más alta o comparable a Discprm en todos los presupuestos de muestreo. Bajo la búsqueda guiada por el verificador en Math-500, ThinkPrm-1.5b supera a Discprm en aproximadamente 5 puntos porcentuales y supera a LLM-AS-A-Judge utilizando el mismo modelo base (R1-Qwen-1.5b). La curva de escala de ThinkPrm-1.5B excede todas las líneas de base en comparación con los PRMS fuertes como Rlhfflow-DePseek-PRM y Math-Shepherd-PRM, superando a Rlhfflow-Deepseek-PRM por más del 7% a 16 vigas. Para la evaluación fuera del dominio, ThinkPrm muestra una mejor escala que la discrula en la física GPQA, superando la superación en un 8%, mientras que en LivecodeBench, ThinkPrm supera a DISCPRM en un 4,5%.
En conclusión, los investigadores introdujeron ThinkPrm, un modelo de recompensa de proceso generativo entrenado con una supervisión mínima en los datos sintéticos, lo que permite una verificación eficiente y escalable del razonamiento paso a paso. Los investigadores muestran que el ajuste ligero de los PRM generativos en tan solo 8K de etiquetas de proceso puede mejorar las líneas de base LLM-AS-A-Judge. ThinkPrm también supera los PRM discriminatorios capacitados con órdenes de magnitud más etiquetas de proceso, destacando las ventajas de utilizar objetivos generativos de modelación del lenguaje para la interpretabilidad, la escalabilidad y la eficiencia de los datos. Los resultados subrayan el potencial de los PRM generativos para la verificación de escala calculador en el tiempo de prueba de manera efectiva, beneficiando dominios desafiantes como el razonamiento matemático y científico.
Mira el Papel. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 90k+ ml de subreddit.
Sajjad Ansari es un pregrado de último año de IIT Kharagpur. Como entusiasta de la tecnología, profundiza en las aplicaciones prácticas de la IA con un enfoque en comprender el impacto de las tecnologías de IA y sus implicaciones del mundo real. Su objetivo es articular conceptos complejos de IA de manera clara y accesible.
