Diseñar modelos de aprendizaje profundo de última generación es un desafío increíblemente complejo que los investigadores han estado abordando utilizando un enfoque llamado Búsqueda de arquitectura neuronal (NAS). El objetivo de NAS es automatizar el descubrimiento de arquitecturas de redes neuronales óptimas para una tarea determinada mediante la evaluación de miles de arquitecturas candidatas frente a una métrica de rendimiento como la precisión en un conjunto de datos de validación.
Sin embargo, los métodos NAS anteriores enfrentaban importantes cuellos de botella debido a la necesidad de entrenar exhaustivamente cada arquitectura candidata, lo que hacía que el proceso fuera extremadamente costoso desde el punto de vista computacional y consumía mucho tiempo. Los investigadores han propuesto varias técnicas, como compartir peso, espacios de búsqueda diferenciables y métodos basados en predictores, para acelerar NAS, pero la complejidad computacional siguió siendo un obstáculo importante.
Este artículo presenta NASGraph (mostrado en la Figura 1), un método innovador que reduce drásticamente la carga computacional de la búsqueda de arquitectura neuronal. En lugar de entrenar completamente cada arquitectura candidata, NASGraph las convierte en representaciones gráficas y utiliza métricas gráficas para estimar su rendimiento de manera eficiente.
Específicamente, la red neuronal primero se divide en bloques graficos que contiene capas como convoluciones y activaciones. Para cada bloque, la técnica determina con qué fuerza contribuye cada canal de entrada a los canales de salida realizando un único paso hacia adelante. Estas contribuciones forman los bordes ponderados cuando se asignan las entradas a los nodos y las conexiones a los bordes en la representación del gráfico.
Una vez que la arquitectura se representa como un gráfico, NASGraph calcula la grado promedio (número promedio de conexiones por nodo) como indicador para clasificar la calidad de la arquitectura. Sin embargo, los investigadores introducen modelos sustitutos con requisitos computacionales reducidos para acelerar aún más este proceso.
Estos NASGraph(h, c, m) Los modelos sustitutos tienen menos canales. hmenos celdas de búsqueda C por módulo y menos módulos metro. Como se muestra en su estudio sistemático siguiendo la convención en EcoNAS, el uso de configuraciones computacionalmente reducidas permite compensar la precisión a cambio de aceleraciones significativas.
Para evaluar NASGraph, el equipo lo probó en múltiples puntos de referencia de NAS como NAS-Bench-101, NAS-Bench-201 y TransNAS-Bench-101. Compararon las clasificaciones de la métrica de grado promedio con la verdad básica y otros métodos NAS sin capacitación. La métrica de grado promedio mostró una fuerte correlación con el rendimiento real de la arquitectura, superando a los métodos NAS sin capacitación anteriores y mostró un bajo sesgo hacia operaciones particulares en comparación con las clasificaciones reales. Además, la combinación de esta medida gráfica con otras métricas sin entrenamiento, como la covarianza jacobiana, impulsó aún más las capacidades de clasificación, logrando nuevos Correlaciones de clasificación de Spearman de última generación que superan 0,8 en conjuntos de datos como CIFAR-10, CIFAR-100 e ImageNet-16-120.
En conclusión, NASGraph presenta un cambio de paradigma en la búsqueda de arquitectura neuronal al aprovechar un ingenioso enfoque basado en gráficos. Supera un importante cuello de botella computacional que afectaba a los métodos NAS anteriores al evitar la necesidad de capacitación en arquitectura. Con su rendimiento estelar, bajo sesgo, naturaleza independiente de los datos y eficiencia notable, NASGraph podría catalizar una nueva era de exploración rápida de arquitectura neuronal y descubrimiento de potentes modelos de IA en diversas aplicaciones.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro SubReddit de 41k+ ML
Vineet Kumar es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en el Instituto Indio de Tecnología (IIT), Kanpur. Es un entusiasta del aprendizaje automático. Le apasiona la investigación y los últimos avances en Deep Learning, Computer Vision y campos relacionados.