Los sistemas de recomendación han ganado prominencia en diversas aplicaciones, con algoritmos basados en redes neuronales profundas que muestran capacidades impresionantes. Los modelos de lenguaje grande (LLM, por sus siglas en inglés) han demostrado recientemente su competencia en múltiples tareas, lo que ha impulsado a los investigadores a explorar su potencial en los sistemas de recomendación. Sin embargo, dos desafíos principales obstaculizan la adopción de LLM: los altos requisitos computacionales y el descuido de las señales colaborativas. Estudios recientes se han centrado en métodos de alineación semántica para transferir conocimiento de los LLM a los modelos colaborativos. Sin embargo, persiste una brecha semántica significativa debido a la naturaleza diversa de los datos de interacción en los modelos colaborativos en comparación con el lenguaje natural utilizado en los LLM. Los intentos de cerrar esta brecha a través del aprendizaje contrastivo han mostrado limitaciones, lo que podría introducir ruido y degradar el rendimiento de las recomendaciones.
Las redes neuronales de grafos (GNN) han ganado prominencia en los sistemas de recomendación, particularmente para el filtrado colaborativo. Métodos como LightGCN, NGCF y GCCF utilizan GNN para modelar interacciones usuario-elemento, pero enfrentan desafíos de retroalimentación implícita ruidosa. Para mitigar esto, se han empleado técnicas de aprendizaje autosupervisado como el aprendizaje contrastivo, con enfoques como SGL, LightGCL y NCL que muestran una mayor solidez y rendimiento. Las LLM han despertado interés en las recomendaciones, y los investigadores exploran formas de integrar sus poderosas capacidades de representación. Estudios como RLMRec, ControlRec y CTRL utilizan el aprendizaje contrastivo para alinear las incrustaciones de filtrado colaborativo con las representaciones semánticas de LLM.
Investigadores de la Universidad Nacional de Tecnología de Defensa, Changsha, Baidu Inc, Beijing y el Laboratorio Clave de la Provincia de Anhui de la Universidad de Ciencia y Tecnología de China presentaron un Marco de alineación desenredado para el modelo de recomendación y LLM (DaRec), Un marco único plug-and-play que aborda las limitaciones en la integración de LLM con sistemas de recomendación. Motivado por hallazgos teóricos, alinea el conocimiento semántico a través de una representación desenredada en lugar de una alineación exacta. El marco consta de tres componentes clave: (1) desenredar las representaciones en componentes compartidos y específicos para reducir el ruido, (2) emplear uniformidad y pérdida ortogonal para mantener la informatividad de la representación, y (3) implementar una estrategia de alineación estructural a nivel local y global para una transferencia efectiva de conocimiento semántico.
DaRec es un marco innovador para alinear el conocimiento semántico entre los LLM y los modelos colaborativos en los sistemas de recomendación. Este enfoque está motivado por hallazgos teóricos que sugieren que la alineación exacta de las representaciones puede ser subóptima. DaRec consta de tres componentes principales:
- Desenredo de representaciones: el marco separa las representaciones en componentes compartidos y específicos para los modelos colaborativos y los LLM. Esto reduce el impacto negativo de la información específica que puede introducir ruido durante la alineación.
- Uniformidad y restricciones ortogonales: DaRec emplea funciones de uniformidad y pérdida ortogonal para mantener la informatividad de las representaciones y garantizar información única y complementaria en componentes específicos y compartidos.
- Estrategia de alineación de la estructura: El marco implementa un enfoque de alineación de dos niveles:
- Alineación de estructura global: alinea la estructura general de las representaciones compartidas.
- Alineación de estructura local: utiliza la agrupación para identificar centros de preferencia y los alinea de forma adaptativa.
DaRec tiene como objetivo superar las limitaciones de los métodos anteriores al proporcionar una estrategia de alineación más flexible y efectiva, mejorando potencialmente el rendimiento de los sistemas de recomendación basados en LLM.
DaRec superó tanto a los métodos de filtrado colaborativo tradicionales como a los enfoques de recomendación mejorados por LLM en tres conjuntos de datos (Amazon-book, Yelp, Steam) en múltiples métricas (Recall@K, NDCG@K). Por ejemplo, en el conjunto de datos de Yelp, DaRec mejoró al segundo mejor método (AutoCF) en un 3,85 %, 1,57 %, 3,15 % y 2,07 % en R@5, R@10, N@5 y N@10 respectivamente.
El análisis de hiperparámetros reveló un rendimiento óptimo con el número de clúster K en el rango [4,8]parámetro de compensación λ en el rango [0.1, 1.0]y un tamaño de muestra N̂ de 4096. Los valores extremos de estos parámetros provocaron una disminución del rendimiento.
La visualización t-SNE demostró que DaRec capturó con éxito los grupos de intereses subyacentes en las preferencias de los usuarios.
En general, DaRec mostró un rendimiento superior al de los métodos existentes, demostrando solidez en varios valores de hiperparámetros y capturando eficazmente las estructuras de interés del usuario.
Esta investigación presenta DaRec, un marco plug-and-play único para alinear modelos colaborativos y LLM en sistemas de recomendación. Basándose en un análisis teórico que muestra que la alineación de brecha cero puede no ser óptima, DaRec desenreda las representaciones en componentes compartidos y específicos. Implementa una estrategia de alineación de estructura de doble nivel a nivel global y local. Los autores proporcionan una prueba teórica de que su método produce representaciones con información más relevante y menos irrelevante para las tareas de recomendación. Los experimentos exhaustivos en conjuntos de datos de referencia demuestran el rendimiento superior de DaRec sobre los métodos existentes, lo que representa un avance significativo en la integración de LLM con modelos de filtrado colaborativo.
Echa un vistazo a la Papel. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..
No olvides unirte a nuestro Más de 49 000 suscriptores de ML en Reddit
Encuentra lo próximo Seminarios web sobre IA aquí
Asjad es consultor en prácticas en Marktechpost. Está cursando la licenciatura en ingeniería mecánica en el Instituto Indio de Tecnología de Kharagpur. Asjad es un entusiasta del aprendizaje automático y del aprendizaje profundo que siempre está investigando las aplicaciones del aprendizaje automático en el ámbito de la atención médica.