Un gráfico de conocimiento (KG) es una base de datos basada en gráficos que almacena información como nodos y aristas. Por otro lado, un perceptrón multicapa (MLP) es un tipo de red neuronal utilizada en el aprendizaje automático. Los MLP están compuestos por nodos interconectados dispuestos en múltiples capas. Cada nodo obtiene información de la capa anterior y envía la salida a la siguiente capa.
Investigadores de la Universidad de Stanford han introducido un nuevo modelo de aprendizaje automático llamado PLATO, que aprovecha un KG para proporcionar información de dominio auxiliar. PLATO regulariza un MLP introduciendo un sesgo inductivo que garantiza que nodos similares en el KG tengan vectores de peso equivalentes en la primera capa del MLP. Este método aborda el desafío de los modelos de aprendizaje automático que necesitan ayuda con conjuntos de datos tabulares que presentan muchas dimensiones en comparación con las muestras.
PLATO aborda el escenario poco explorado de conjuntos de datos tabulares con características de alta dimensión y muestras limitadas, en contraste con los métodos tabulares de aprendizaje profundo existentes diseñados para entornos con más piezas que características. Se distingue de otros modelos tabulares profundos, como NODE y transformadores tabulares, y enfoques tradicionales como PCA y LASSO al introducir un KG para la regularización. A diferencia de los métodos de regularización de gráficos, PLATO incorpora nodos de características y no características en el KG. Infiere ponderaciones para un modelo MLP, utilizando el gráfico como base para las predicciones en un conjunto de datos tabulares distinto.
Los modelos de aprendizaje automático a menudo sobresalen en entornos ricos en datos, pero necesitan ayuda con conjuntos de datos tabulares donde la cantidad de características supera con creces la cantidad de muestras. Esta discrepancia es especialmente frecuente en conjuntos de datos científicos, lo que limita el rendimiento del modelo. Los enfoques tabulares de aprendizaje profundo existentes se centran principalmente en escenarios con más ejemplos que características, mientras que los métodos estadísticos tradicionales dominan en el régimen de pocos datos con más características que muestras. Para abordar esto, PLATO, un marco que utiliza un KG auxiliar para regularizar un MLP, permite el aprendizaje profundo para datos tabulares con características > muestras y logra un rendimiento superior en conjuntos de datos con características de alta dimensión y modelos limitados.
Utilizando un KG auxiliar, PLATO asocia cada característica de entrada con un nodo KG e infiere vectores de peso para la primera capa de un MLP en función de la similitud de los nodos. El enfoque emplea múltiples rondas de transmisión de mensajes, refinando la incorporación de funciones. En un estudio de ablación, PLATO demuestra un rendimiento constante en todos los métodos de incorporación de nodos superficiales (TransE, DistMult, ComplEx) en el KG. Este método innovador ofrece mejoras potenciales para modelos de aprendizaje profundo en entornos tabulares con escasez de datos.
PLATO, un método para datos tabulares con características de alta dimensión y muestras limitadas, supera 13 líneas de base de vanguardia hasta en un 10,19 % en seis conjuntos de datos. La evaluación del rendimiento implica una búsqueda aleatoria con 500 configuraciones por modelo, que informa la media y la desviación estándar de la correlación de Pearson entre los valores previstos y reales. Los resultados afirman la eficacia de PLATO, aprovechando un KG auxiliar para lograr un rendimiento sólido en el desafiante régimen de datos bajos. El análisis comparativo con diversas líneas de base subraya la superioridad de PLATO, estableciendo su eficacia para mejorar las predicciones de conjuntos de datos tabulares.
En conclusión, la investigación realizada se puede resumir en los siguientes puntos:
- PLATO es un marco de aprendizaje profundo para datos tabulares.
- Cada característica de entrada se asemeja a un nodo en un KG auxiliar.
- PLATO regula un MLP y logra un rendimiento sólido en datos tabulares con características de alta dimensión y muestras limitadas.
- El marco infiere vectores de peso basándose en la similitud de los nodos KG, capturando el sesgo inductivo de que características de entrada similares deberían compartir vectores de peso similares.
- PLATO supera 13 líneas de base hasta en un 10,19% en seis conjuntos de datos.
- Se ha demostrado que el uso de KG auxiliares mejora el rendimiento en regímenes de datos bajos.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 34k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Hola, mi nombre es Adnan Hassan. Soy pasante de consultoría en Marktechpost y pronto seré aprendiz de gestión en American Express. Actualmente estoy cursando una doble titulación en el Instituto Indio de Tecnología, Kharagpur. Me apasiona la tecnología y quiero crear nuevos productos que marquen la diferencia.