La implementación de redes neuronales profundas (DNN) en dispositivos perimetrales, como teléfonos inteligentes y vehículos autónomos, sigue siendo un desafío importante debido a su naturaleza computacional intensiva. La mayoría de los algoritmos de poda existentes luchan por equilibrar las altas tasas de compresión y la precisión de la inferencia y tienen que ser compatibles con el hardware comercial: la poda no estructurada produce una escasez irregular que a menudo limita su uso en escenarios prácticos. Por el contrario, la poda estructurada ha tendido a comprometer la precisión porque su granularidad es relativamente gruesa. Además, la poda semiestructurada, con la expectativa optimista de equilibrar esas compensaciones, tiene aplicaciones mínimas en una amplia gama de arquitecturas DNN. Estos desafíos exigen un marco de poda unificado y eficiente para cualquier modelo, promoviendo así un mejor rendimiento en escenarios de recursos limitados.
Las estrategias de poda actuales se dividen en tres categorías: no estructuradas, estructuradas o semiestructuradas. La poda no estructurada ofrece la máxima flexibilidad en la eliminación de peso, pero da como resultado configuraciones dispersas incompatibles con la aceleración de hardware. La poda estructurada elimina filtros o capas completos, lo que mejora la compatibilidad con el hardware, pero a costa de la precisión debido a la granularidad excesiva. La poda semiestructurada se centra en patrones sistemáticos dentro de matrices de peso y busca equilibrar la eficiencia y la precisión. Sin embargo, la aplicación del método se ha restringido principalmente a un tipo particular de DNN, como las CNN, y las arquitecturas restantes, como Vision Transformers, han quedado poco exploradas. Los métodos automatizados que involucran GNN y aprendizaje por refuerzo se han utilizado principalmente en poda estructurada y no estructurada, mientras que las técnicas de poda basadas en patrones están poco desarrolladas. Esta brecha requiere un marco de poda más sólido y generalizado.
Investigadores de la Ocean University de China proponen AutoSculpt, una solución de vanguardia para la poda de modelos que emplea Graph Neural Networks (GNN) y Deep Reinforcement Learning (DRL) para optimizar las estrategias de compresión. Lo logra representando las DNN como gráficos que capturan su estructura topológica y dependencias de parámetros. Incorpora estrategias de poda basadas en patrones en estas representaciones gráficas, aprovechando de manera efectiva las estructuras regulares para mejorar la compatibilidad del hardware y la eficiencia de la inferencia. Utilizando un codificador Graph Attention Network (GATv2), la metodología propuesta mejora sistemáticamente los patrones de poda mediante el aprendizaje por refuerzo, logrando así un equilibrio ideal entre compresión y precisión. Esta estrategia aumenta enormemente la flexibilidad de la poda basada en patrones, ampliando así su aplicabilidad a CNN y Vision Transformers, entre otras arquitecturas.
En AutoSculpt, los DNN son representaciones gráficas donde los nodos denotan pesos o capas y los bordes denotan dependencias, incluido el mapeo explícito de conexiones residuales para arquitecturas como ResNet. La estrategia de poda utiliza un agente DRL que evalúa las incrustaciones de gráficos para sugerir patrones de poda óptimos que equilibren objetivos como la reducción de FLOP y la retención de precisión. Una función de recompensa dinámica ajusta las prioridades entre estos objetivos. El marco propuesto se probó utilizando conjuntos de datos CIFAR-10/100 e ImageNet-1K, junto con arquitecturas como ResNet, MobileNet, VGG y Vision Transformers. Las representaciones gráficas enriquecidas permiten el uso eficiente de patrones de poda y demuestran la versatilidad y usabilidad de amplio rango del enfoque.
AutoSculpt logró resultados notables, superando consistentemente a los métodos más modernos en compresión de modelos. Según se informa, pudo alcanzar tasas de poda de hasta el 90 % en arquitecturas mucho más simples como VGG-19, pero también disminuyó los FLOP hasta en un 18 % en comparación con otros métodos de última generación. Para modelos más complejos, como ResNet y Vision Transformers, el documento pudo equilibrar esto logrando índices de poda de hasta el 55 % y el 45 % respectivamente, con no menos del 3 % en términos de pérdida de precisión.
La latencia de inferencia también se redujo en un grado significativo, mientras que los tiempos de ejecución mejoraron hasta un 29 por ciento y fueron adecuados para aplicaciones con recursos limitados. Los modelos podados, en la mayoría de los casos, igualaron o superaron a sus contrapartes originales después del ajuste fino, lo que muestra cuán robusto es el método con respecto a la retención de parámetros críticos durante la compresión.
AutoSculpt transforma la poda de DNN en una mejor solución para una compresión eficiente, brindando un rendimiento superior en diversas arquitecturas. Aborda los compromisos de larga data en materia de precisión, compresión y compatibilidad de hardware mediante la aplicación de GNN y el aprendizaje por refuerzo. Es flexible y robusto; por lo tanto, acerca a la realidad el hito de implementar DNN en dispositivos de borde, ofreciendo vías hacia aplicaciones de IA más prácticas y eficientes en entornos con recursos limitados.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. No olvides unirte a nuestro SubReddit de más de 60.000 ml.
Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.