Las redes neuronales gráficas (GNN) y los modelos de lenguaje grande (LLM) se han convertido en dos ramas principales de la inteligencia artificial, logrando un inmenso éxito en el aprendizaje a partir de datos estructurados en gráficos y en lenguaje natural, respectivamente.
A medida que los datos estructurados en gráficos y en lenguaje natural se interconectan cada vez más en aplicaciones del mundo real, existe una necesidad creciente de sistemas de inteligencia artificial que puedan realizar un razonamiento multimodal.
Este artículo explora arquitecturas integradas de lenguaje de gráficos que combinan las fortalezas complementarias de las redes neuronales de gráficos (GNN) y los modelos de lenguaje grande (LLM) para un análisis mejorado.
Los escenarios del mundo real a menudo implican datos interconectados con modalidades tanto estructurales como textuales. Esto plantea la necesidad de arquitecturas integradas que puedan realizar un razonamiento multifacético unificando las fortalezas complementarias de GNN y LLM.
Específicamente, mientras que los GNN aprovechan la transmisión de mensajes a través de gráficos para agregar patrones locales, las incrustaciones de nodos tienen una capacidad limitada para capturar características ricas.
Por el contrario, los LLM exhiben capacidades excepcionales de razonamiento semántico, pero luchan con el razonamiento relacional sobre la topología estructurada inherentemente entendida por los GNN.
La fusión de los dos paradigmas permite un análisis más contextual e informado.
Recientemente, han ganado importancia las arquitecturas integradas de lenguaje gráfico que combinan las fortalezas complementarias de los codificadores GNN y los decodificadores LLM.
Como se resume en un estudio (Li et al. 2023), estos enfoques integrados se pueden clasificar según el papel que desempeñan los LLM:
LLM como potenciador: Los LLM fortalecen las incorporaciones de nodos y las características textuales para mejorar el rendimiento de GNN en gráficos atribuidos a texto. Las técnicas aplican mejoras basadas en explicaciones que aprovechan información adicional generada por LLM o mejoras basadas en incrustaciones de resultados directos.
LLM como predictor: Aprovecha las capacidades generativas de los LLM para hacer predicciones en gráficos. Las estrategias aplanan gráficos en descripciones de texto secuenciales o emplean GNN para…