Los conocidos modelos de lenguaje grande (LLM) como GPT, BERT, PaLM y LLaMA han aportado grandes avances en el procesamiento del lenguaje natural (NLP) y la generación del lenguaje natural (NLG). Estos modelos han sido entrenados previamente en grandes corpus de texto y han mostrado un rendimiento increíble en múltiples tareas, incluida la respuesta a preguntas, la generación de contenido, el resumen de texto, etc.
Aunque los LLM han demostrado ser capaces de manejar texto sin formato, el manejo de aplicaciones donde los datos textuales están vinculados a información estructural en forma de gráficos se vuelve cada vez más necesario. Los investigadores han estado estudiando cómo los LLM, con su buen razonamiento basado en texto, se pueden aplicar a tareas básicas de razonamiento gráfico, incluida la comparación de subgrafos, los caminos más cortos y la inferencia de conexiones. Se han asociado con la integración de los LLM tres tipos de aplicaciones basadas en gráficos, es decir, gráficos puros, gráficos ricos en texto y gráficos de pares de texto. Las técnicas incluyen tratar los LLM como predictores de tareas, codificadores de funciones para redes neuronales gráficas (GNN) o alineadores con GNN, según su función e interacción con los GNN.
Los LLM se están volviendo cada vez más populares para aplicaciones basadas en gráficos. Aún así, hay muy pocos estudios que analicen cómo interactúan los LLM y los gráficos. En una investigación reciente, un equipo de investigadores ha propuesto una descripción metódica de las situaciones y métodos asociados con la integración de grandes modelos de lenguaje con gráficos. El objetivo es clasificar posibles situaciones en tres categorías principales: gráficos ricos en texto, gráficos de pares de texto y gráficos puros. El equipo ha compartido métodos específicos para usar LLM en gráficos, como usar LLM como alineadores, codificadores o predictores. Cada estrategia tiene ventajas e inconvenientes, y el propósito del estudio publicado es contrastar estos diversos enfoques.
El equipo ha enfatizado las aplicaciones prácticas de estas técnicas, demostrando los beneficios de usar LLM en actividades relacionadas con gráficos. El equipo ha compartido información sobre conjuntos de datos de referencia y scripts de código abierto para ayudar a aplicar y evaluar estos métodos. Los resultados resaltaron la necesidad de más investigación y creatividad al delinear posibles temas de estudio futuros en este campo en rápido desarrollo.
El equipo ha resumido sus principales contribuciones de la siguiente manera.
- El equipo ha contribuido clasificando metódicamente las situaciones en las que se utilizan modelos de lenguaje en gráficos. Estos escenarios están organizados en tres categorías: texto rico, texto pareado y gráficos puros. Esta taxonomía proporciona un marco para comprender los distintos entornos.
- Los modelos de lenguaje se han analizado cuidadosamente utilizando enfoques gráficos. La evaluación ha resumido modelos representativos para varios contextos gráficos, lo que la convierte en la más completa.
- Se ha seleccionado una gran cantidad de materiales relacionados con modelos de lenguaje en gráficos, incluidas aplicaciones del mundo real, bases de código de fuente abierta y conjuntos de datos de referencia.
- Se han sugerido seis posibles direcciones para futuras investigaciones en el campo de los modelos de lenguaje sobre gráficos, profundizando en las ideas fundamentales.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería Informática con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.