Graph Neural Networks ha surgido como una fuerza transformadora en muchas aplicaciones de la vida real, desde la gestión de riesgos de finanzas corporativas hasta la predicción del tráfico local. Por lo tanto, no se puede negar que gran parte de la investigación se ha centrado en las GNN durante mucho tiempo. Sin embargo, una limitación significativa del estudio actual es su dependencia de los datos: con un enfoque en paradigmas supervisados y semisupervisados, el potencial de la investigación depende de la disponibilidad de datos reales, un requisito que a menudo no se cumple. Otra razón de la escasez de etiquetas reales es la naturaleza inherente de las propias GNN. Dado que un gráfico es una abstracción del mundo real, no es tan sencillo como un vídeo, una imagen o un texto, y requiere experiencia y conocimiento experto.
Con los desafíos prevalecientes y los crecientes gastos para resolver paradigmas de gráficos supervisados, los investigadores han comenzado a girar hacia el aprendizaje contrastivo no supervisado. Funciona basándose en información mutua entre diferentes vistas de gráficos aumentadas generadas al perturbar sus nodos, bordes y características. Aunque este enfoque es prometedor y elimina la necesidad de etiquetas, no siempre es posible confirmar si las etiquetas y la semántica permanecen sin cambios después del aumento, lo que socava significativamente el rendimiento de los gráficos. Para comprender los efectos perjudiciales del aumento, tomemos el ejemplo de un nodo. Se podría agregar o eliminar un nodo en el gráfico existente, lo que agrega ruido o elimina información, ambos perjudiciales. Por lo tanto, los métodos de aprendizaje contrastivo de gráficos estáticos existentes pueden no ser óptimos para los gráficos dinámicos. Este artículo analiza las últimas investigaciones que pretenden generalizar el aprendizaje contrastivo a gráficos dinámicos.
Investigadores de la Universidad Xi’an Jiaotong (China) presentaron CLDG, un marco eficiente de aprendizaje contrastivo no supervisado en gráficos dinámicos, que realiza aprendizaje de representación en gráficos dinámicos discretos y de tiempo continuo. Resuelve el dilema de seleccionar períodos como pares contrastivos mientras se aplica el aprendizaje contrastivo a gráficos dinámicos. CLDG es un algoritmo ligero y altamente escalable, mérito de su simplicidad. Los usuarios obtienen una menor complejidad de tiempo y espacio y la oportunidad de elegir entre un conjunto de codificadores.
El marco propuesto consta de cinco componentes principales:
- capa de muestreo de vista de intervalo de tiempo
- codificador base
- función de lectura
- cabeza de proyección
- función de pérdida contrastiva
El equipo de investigación primero generó múltiples vistas a partir de gráficos dinámicos continuos mediante un método de muestreo de vistas de intervalo de tiempo. Aquí, la capa de muestreo de vista extrae las señales temporalmente persistentes. Luego aprendieron las representaciones de características de nodos y vecindades a través de un codificador de peso compartido, una función de lectura y un cabezal de proyección de peso compartido. Los autores utilizaron métodos estadísticos como promedio, máximo y suma para la capa de función de lectura.
Una idea importante a discutir en este punto es la invariancia de la traducción temporal. Bajo esto, se observa que independientemente del codificador utilizado para el entrenamiento, las etiquetas de predicción de un mismo nodo tienden a ser similares en diferentes lapsos de tiempo. El artículo presentó dos pérdidas contrastivas separadas a nivel local y global para mantener la invariancia de traducción temporal en ambos niveles. En la invariancia de traducción temporal a nivel local, la semántica se trató como pares positivos para un nodo a lo largo de períodos de tiempo, lo que acercó las mismas representaciones de nodos y separó nodos diferentes. Por el contrario, la pérdida por invariancia global unió diferentes nodos y eliminó la misma representación. Siguiendo lo anterior, los autores diseñaron cuatro estrategias de muestreo de vista de intervalo de tiempo diferentes para explorar la selección de distancia de intervalo de vista óptima para pares contrastantes. Estas estrategias diferían en la tasa de superposición física y temporal y, por lo tanto, tenían diferentes contextos semánticos.
El artículo validó CLDG en siete conjuntos de datos de gráficos dinámicos del mundo real y en doce líneas de base. El método propuesto superó a ocho líneas de base de última generación no supervisadas y estuvo a la par con los cuatro métodos semisupervisados restantes. Además, en comparación con los métodos gráficos existentes, CLDG redujo los parámetros del modelo en un promedio de 2000 veces y el tiempo de entrenamiento en 130.
Conclusión: CLDG es un marco práctico y liviano que generaliza el aprendizaje contrastivo a gráficos dinámicos. Utiliza información temporal adicional y logra un rendimiento de última generación en técnicas de gráficos dinámicos no supervisados mientras compite con métodos semisupervisados.
Verificar el Papel y Página de GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
Adeeba Alam Ansari actualmente está cursando su doble titulación en el Instituto Indio de Tecnología (IIT) de Kharagpur, donde obtuvo una licenciatura en Ingeniería Industrial y una maestría en Ingeniería Financiera. Con un gran interés en el aprendizaje automático y la inteligencia artificial, es una lectora ávida y una persona curiosa. Adeeba cree firmemente en el poder de la tecnología para empoderar a la sociedad y promover el bienestar a través de soluciones innovadoras impulsadas por la empatía y una profunda comprensión de los desafíos del mundo real.