Los sistemas de búsqueda y recomendación necesitan cada vez más devolver un conjunto de resultados, no una mejor coincidencia. Una consulta como “equipo de camping” debería devolver una tienda de campaña, un saco de dormir, una estufa y una lámpara de cabeza. No debería devolver 10 tiendas de campaña casi idénticas.
Google Research ha introducido Retrieve-for-Train (R4T) para este problema. El marco utiliza el aprendizaje por refuerzo (RL) una vez, sin conexión, para aprender a distribuir bien las consultas. Luego, destila ese comportamiento en un pequeño modelo de difusión que produce todas las direcciones de recuperación en una sola pasada.
Por qué la distribución en abanico estándar se queda corta
La distribución de consultas divide un mensaje amplio en varias subconsultas. El equipo de investigación identifica 2 problemas cuando un LLM genérico hace esto en el momento de la inferencia.
El primero es el colapso parafrástico. Para “estilo de festival bohemio”, Qwen3-4B, de tiro cero, escribió “moda de festival bohemio” y “ropa bohemia de festival”. Estos casi sinónimos recuperan una pizarra homogénea.
El segundo es la latencia. La generación autorregresiva más llamadas de recuperación repetidas es lenta. El muestreo lo mejor de N mejora la calidad pero multiplica el costo de inferencia.
El canal R4T de 3 pasos
Entrenamiento de LM en abanico: un modelo de lenguaje en abanico (FOLM) genera k subconsultas. Un perro perdiguero denso y congelado los ejecuta. Una recompensa a nivel de conjunto puntúa todo el conjunto recuperado, no cada elemento solo. Síntesis de supervisión: el FOLM entrenado toma muestras de 128 despliegues por consulta a una temperatura de 0,9. Estos se convierten en pares de entrenamiento (consulta, conjunto de objetivos) sin etiquetas humanas. Para tareas abiertas, los objetivos son incrustaciones de contenido recuperado. Para tareas de composición, los objetivos son incorporaciones de subconsultas. Entrenamiento de recuperador difusivo: un transformador de difusión de 53,9 M de parámetros aprende a asignar una incrustación de consulta a un conjunto completo de incrustaciones de destino. Utiliza una formulación que explota la varianza dentro del marco de EDM. En inferencia, genera todas las incrustaciones en un único paso no autorregresivo. La búsqueda del vecino más cercano luego asigna cada incorporación a los elementos de la base de datos.
Diseño de recompensas y piratería de recompensas
Para la recuperación de resúmenes abiertos (OAR), la recompensa combina 3 términos ponderados:
Conexión a tierra (λg = 0,6): penaliza la distancia entre cada incrustación de subconsulta y su elemento de base de datos más cercano. Diversidad (λd = 0,2): la puntuación Vendi sobre elementos recuperados representativos, como el primer elemento por subconsulta. Alineación (λa = 0,2): similitud media del coseno entre cada subconsulta y la consulta original.
Para la recuperación de composición débilmente supervisada (WSCR), la recompensa es la fracción de elementos del conjunto de referencia que recupera el despliegue.
La ablación explica por qué los 3 términos OAR son importantes. Solo con conexión a tierra, Gemma3-4B convergió en cadenas como ‘final de línea final de línea final de línea’. Agregar alineación hizo que el colapso fuera aún más rápido, ya que la política repetía paráfrasis de la consulta. Agregar diversidad cerró ambos atajos.
El entrenamiento utiliza GRPO con regularización suave de PPO, que agrega penalizaciones de KL hacia adelante y hacia atrás. Las configuraciones clave incluyen tamaño de grupo 8, tasa de aprendizaje 1 × 10⁻⁷ y tamaño de lote global 512.
Explicador interactivo
Resultados
Los experimentos utilizaron el conjunto de datos de vestimenta de moda de Polyvore con un codificador de matrioska basado en CLIP en 128 dimensiones. También utilizaron un conjunto de datos de música de listas de reproducción de expertos patentado con incrustaciones de MuLan. Cada método de distribución produjo k = 10 subconsultas, y Best-of-N utilizó N = 5.
La calidad de OAR fue calificada por un juez de LLM en escalas Likert de 5 puntos. En Polyvore, Gemma3-4B R4T-FOLM promedió 49,1, frente a 40,9 para Best-of-N y 38,5 zero-shot. La diversidad aumentó de 56,0 cero a 76,8. R4T-Diffusion retuvo la mayor parte en 74,3. En música, Gemma3-4B R4T-FOLM promedió 58,1 frente a 49,2 en Best-of-N. La conexión a tierra no se informa para R4T-Diffusion, ya que no genera subconsultas de texto.
Los resultados de WSCR en Polyvore muestran una compensación entre cobertura y diversidad. R4T-FOLM (Qwen) alcanzó 20,9 Recall@5K y 64,6 Hit@5K, frente a 15,7 y 52,1 de Gemini-2.5-Flash. Su puntuación Vendi, sin embargo, cayó a 27,5. Los autores vinculan esto con una entropía de salida reducida bajo una fuerte optimización de RL. R4T-Diffusion (Qwen) mantuvo una puntuación Vendi más alta de 34,7 con 16,5 Recall@5K.
Eficiencia
En el tamaño de lote 8, la distribución autorregresiva tardó aproximadamente 1,46 segundos. El modelo de difusión tardó 0,07 segundos. Con un tamaño de lote de 1024, la distribución autorregresiva alcanzó casi 50 segundos, frente a los 4,21 segundos de la difusión. Los autores informan una aceleración constante de 12x a 20x.
Conclusiones clave
R4T ejecuta RL una vez fuera de línea y luego implementa un recuperador de difusión de 53,9 millones de parámetros. Tres recompensas (fundamento, diversidad, alineación) bloquean la piratería de recompensas y el colapso parafrástico. Gemma3-4B R4T-FOLM elevó el promedio de Polyvore OAR de 40,9 (Best-of-N) a 49,1. El despliegue por difusión se ejecuta entre 12 y 20 veces más rápido que el despliegue autorregresivo.
Consulte el documento y los detalles técnicos. Todo el crédito es para el investigador de este proyecto. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ml y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros
Asif Razzaq es el director ejecutivo de Marktechpost AI Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.