En los últimos años, la rápida escala de modelos de idiomas grandes (LLM) ha llevado a mejoras extraordinarias en la comprensión del lenguaje natural y las capacidades de razonamiento. Sin embargo, este progreso viene con una advertencia significativa: el proceso de inferencia, las respuestas degeneración de una token a la vez, levanta un cuello de botella computacional. A medida que los LLM crecen en tamaño y complejidad, las demandas de latencia y energía para la generación de token secuencial se vuelven sustanciales. Estos desafíos son particularmente agudos en las implementaciones del mundo real, donde el costo, la velocidad y la escalabilidad son críticos. Los enfoques de decodificación tradicionales, como los métodos de búsqueda codiciosos o de haz, a menudo requieren evaluaciones repetidas de modelos grandes, lo que lleva a una alta sobrecarga computacional. Además, incluso con técnicas de decodificación paralela, mantener tanto la eficiencia como la calidad de las salidas generadas pueden ser difícil de alcanzar. Este escenario ha estimulado una búsqueda de nuevas técnicas que pueden reducir los costos de inferencia sin sacrificar la precisión. Por lo tanto, los investigadores han estado explorando enfoques híbridos que combinan modelos livianos con contrapartes más potentes, luchando por un equilibrio óptimo entre la velocidad y el rendimiento, un equilibrio que es esencial para aplicaciones en tiempo real, sistemas interactivos y despliegue a gran escala en entornos en la nube.
Salesforce AI Research presenta una decodificación especulativa guiada por recompensas (RSD), un marco novedoso destinado a mejorar la eficiencia de la inferencia en modelos de idiomas grandes (LLM). En esencia, RSD aprovecha una estrategia de doble modelo: un modelo de “borrador” rápido y ligero funciona en conjunto con un modelo de “objetivo” más robusto. El modelo de borrador genera salidas candidatas preliminares rápidamente, mientras que un modelo de recompensa de proceso (PRM) evalúa la calidad de estas salidas en tiempo real. A diferencia de la decodificación especulativa tradicional, que insiste en una estricta coincidencia de token imparcial entre los modelos de borrador y objetivo, RSD introduce un sesgo controlado. Este sesgo está cuidadosamente diseñado para favorecer las salidas de alta recompensa, que se consideran más propensas a ser correctas o contextualmente relevantes, lo que reduce significativamente los cálculos innecesarios. El enfoque se basa en una estrategia de umbral derivada matemáticamente que determina cuándo debe intervenir el modelo objetivo. Al mezclar dinámicamente salidas de ambos modelos basados en una función de recompensa, RSD no solo acelera el proceso de inferencia, sino que también mejora la calidad general de las respuestas generadas. Detallado en el documento adjunto, esta metodología de avance representa un salto significativo hacia adelante en la abordación de las ineficiencias inherentes de la generación de token secuencial en LLM.
Detalles técnicos y beneficios de RSD
Al profundizar en los aspectos técnicos, RSD opera integrando dos modelos de manera secuencial pero colaborativa. Inicialmente, el borrador del modelo produce tokens candidatos o pasos de razonamiento a un bajo costo computacional. Luego, cada candidato se evalúa utilizando una función de recompensa, que actúa como una puerta de calidad. Si la recompensa de un token candidato excede un umbral predeterminado, se acepta la salida; Si no, el sistema requiere que el modelo de destino más intensivo computacionalmente genere un token refinado. Este proceso se guía por una función de ponderación, típicamente una función de paso binario, que ajusta la dependencia del borrador versus el modelo de destino. El control de calidad dinámico que ofrece el Modelo de recompensa del proceso (PRM) asegura que solo las salidas más prometedoras eviten el modelo de destino, ahorrando así en el cálculo. Uno de los beneficios destacados de este enfoque es la “aceleración sesgada”, donde el sesgo controlado no es un detrimento, sino una elección estratégica para priorizar los resultados de alta referencia. Esto da como resultado dos beneficios clave: primero, el proceso de inferencia general puede ser hasta 4.4 × más rápido en comparación con ejecutar el modelo objetivo solo; En segundo lugar, a menudo produce una mejora de precisión promedio de +3.5 sobre las líneas de base de decodificación paralela convencionales. En esencia, el RSD armoniza la eficiencia con la precisión, lo que sigue por una reducción sustancial en el número de operaciones de punto flotante (FLOP) mientras se entrega salidas que cumplen o incluso exceden el rendimiento del modelo objetivo. Las bases teóricas y los detalles algorítmicos, como la distribución de la mezcla definida por PRSD y el criterio de aceptación adaptativa, proporcionan un marco robusto para la implementación práctica en diversas tareas de razonamiento.
Perspectivas
La validación empírica de RSD es convincente. Los experimentos detallados en el documento demuestran que, en puntos de referencia desafiantes como GSM8K, Math500, Olympiadbench y GPQA, RSD ofrece constantemente un rendimiento superior. Por ejemplo, en el punto de referencia Math500, un conjunto de datos diseñado para probar el razonamiento matemático, RSD logró una precisión de 88.0 cuando se configuró con un modelo de destino 72B y un PRM 7B, en comparación con 85.6 para el modelo de destino que se ejecuta solo. Esta configuración no solo reduce la carga computacional en casi 4.4 × menos fracasos, sino que también mejora la precisión del razonamiento. Los resultados subrayan el potencial de RSD para superar los métodos tradicionales, como la decodificación especulativa (SD) e incluso las técnicas avanzadas basadas en la búsqueda como la búsqueda del haz o las mejores estrategias de N.
Conclusión: un nuevo paradigma para una inferencia de LLM eficiente
En conclusión, la decodificación especulativa guiada por recompensas (RSD) marca un hito significativo en la búsqueda de una inferencia LLM más eficiente. Al combinar de manera inteligente un modelo de borrador liviano con un modelo objetivo potente, y al introducir un criterio de aceptación basado en recompensas, RSD aborda efectivamente los desafíos duales del costo computacional y la calidad de la producción. El enfoque innovador de la aceleración sesgada permite que el sistema pase por alto selectivamente los cálculos costosos para salidas de alta recompensa, agilizando así el proceso de inferencia. El mecanismo dinámico de control de calidad, anulado por un modelo de recompensa de proceso, se asegura que los recursos computacionales se asignan juiciosamente, involucrando el modelo objetivo solo cuando sea necesario. Con resultados empíricos que muestran hasta 4.4 × inferencia más rápida y una mejora de precisión promedio de +3.5 sobre los métodos tradicionales, RSD no solo allana el camino para implementaciones de LLM más escalables, sino que también establece un nuevo estándar en el diseño de marcos de decodificación híbridos.
Verificar el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 75k+ ml de subreddit.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.