Yandex ha introducido Argus (modelado secuencial de usuario generativo autorregresivo)un marco basado en transformadores a gran escala para sistemas de recomendación que escala hasta mil millones de parámetros. Este avance coloca a Yandex entre un pequeño grupo de líderes de tecnología global, junto con Google, Netflix y Meta, que han superado con éxito las barreras técnicas de larga data para escalar transformadores de recomendaciones.
Romper las barreras técnicas en los sistemas de recomendación
Los sistemas de recomendación han luchado durante mucho tiempo con tres restricciones tercas: memoria a corto plazo, escalabilidad limitada y mala adaptabilidad para cambiar el comportamiento del usuario. Las arquitecturas convencionales recortan los antecedentes de los usuarios a una pequeña ventana de interacciones recientes, descartando meses o años de datos de comportamiento. El resultado es una visión superficial de la intención que pierde los hábitos a largo plazo, los cambios sutiles en el sabor y los ciclos estacionales. A medida que los catálogos se expanden en los miles de millones de ítems, estos modelos truncados no solo pierden precisión sino que también se ahogan en las demandas computacionales de personalización a escala. El resultado es familiar: recomendaciones obsoletas, menor compromiso y menos oportunidades para el descubrimiento fortuito.
Muy pocas compañías han escalado con éxito transformadores de recomendación más allá de las configuraciones experimentales. Google, Netflix y Meta han invertido mucho en esta área, informando ganancias de arquitecturas como YouTubednn, Pinnerformer y los recomendadores generativos de Meta. Con ARGOSYandex se une a este grupo selecto de empresas que demuestran modelos de recomendación de miles de millones de parámetros en servicios en vivo. Al modelar las líneas de tiempo de comportamiento enteras, el sistema descubre correlaciones obvias y ocultas en la actividad del usuario. Esta perspectiva de orificio largo permite a Argus capturar la intención evolutiva y los patrones cíclicos con fidelidad mucho mayor. Por ejemplo, en lugar de reaccionar solo a una compra reciente, el modelo aprende a anticipar los comportamientos estacionales, al igual que la superficie automáticamente la marca preferida de pelotas de tenis cuando se acerca el verano, sin requerir que el usuario repita las mismas señales año tras año.
Innovaciones técnicas detrás de Argus
El marco presenta varios avances clave:
- Pre-entrenamiento de doble objetivo: ARGOS descompone el aprendizaje autorregresivo en dos subtareas – Predicción del siguiente ítem y Predicción de retroalimentación. Esta combinación mejora tanto la imitación del comportamiento del sistema histórico como el modelado de las verdaderas preferencias de los usuarios.
- Codificadores de transformadores escalables: Los modelos escaman de 3.2M a parámetros 1b, con mejoras de rendimiento consistentes en todas las métricas. A escala de miles de millones de parámetros, la elevación de precisión por pares aumentó en un 2,66%, lo que demuestra la aparición de una ley de escala para los transformadores de recomendación.
- Modelado de contexto extendido: ARGOS Maneja historias de usuarios hasta 8,192 interacciones en una sola pasada, lo que permite la personalización durante meses de comportamiento en lugar de solo los últimos clics.
- Ajuste fino eficiente: Una arquitectura de dos torres permite el cálculo fuera de línea de integridades y implementación escalable, reduciendo el costo de inferencia en relación con los modelos en línea de nivel objetivo previo o de impresión.
Despliegue del mundo real y ganancias medidas
ARGOS ya se ha implementado a escala en la plataforma de música de Yandex, sirviendo a millones de usuarios. En las pruebas A/B de producción, el sistema logró:
- +2.26% Aumento en el tiempo de escucha total (TLT)
- +6.37% de aumento en la probabilidad similar
Estos constituyen las mejoras de calidad registradas más grandes en la historia de la plataforma para cualquier aprendizaje profundo–OLOLO DE RECOMENDO BASADO.
Direcciones futuras
Los investigadores de Yandex planean extender ARGOS a tareas de recomendación en tiempo realexplorar Ingeniería de características para clasificación por paresy adaptar el marco a dominios de alta cardinalidad como grandes plataformas de comercio electrónico y video. La capacidad demostrada para escalar el modelado de secuencia de usuario con arquitecturas de transformadores sugiere que los sistemas de recomendación están listos para seguir una trayectoria de escala similar al procesamiento del lenguaje natural.
Conclusión
Con ARGOSYandex se ha establecido como uno de los pocos líderes mundiales que impulsan los sistemas de recomendación de última generación. Al compartir abiertamente sus avances, la compañía no solo está mejorando la personalización en sus propios servicios, sino que también acelera la evolución de las tecnologías de recomendación para toda la industria.
Mira el Papel aquí. Gracias al equipo de Yandex por el liderazgo/ recursos de pensamiento para este artículo.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.