El éxito de las ANN se debe a que imitan estructuras cerebrales simplificadas. La neurociencia revela que las neuronas interactúan a través de varios patrones de conectividad, conocidos como motivos de circuito, que son cruciales para procesar la información. Sin embargo, la mayoría de las ANN solo modelan uno o dos de esos motivos, lo que limita su desempeño en diferentes tareas: las primeras ANN, como los perceptrones multicapa, organizaban las neuronas en capas que se parecían a las sinapsis. Las arquitecturas neuronales recientes siguen inspirándose en los sistemas nerviosos biológicos, pero carecen de la conectividad compleja que se encuentra en el cerebro, como la densidad local y la escasez global. La incorporación de estos conocimientos podría mejorar el diseño y la eficiencia de las ANN.
Los investigadores de Microsoft Research Asia presentaron CircuitNet, una red neuronal inspirada en las arquitecturas de circuitos neuronales. La unidad central de CircuitNet, la Unidad de Motivos de Circuito (CMU), consta de neuronas densamente conectadas capaces de modelar diversos motivos de circuitos. A diferencia de las redes tradicionales de retroalimentación, CircuitNet incorpora conexiones laterales y de retroalimentación, siguiendo la estructura localmente densa y globalmente dispersa del cerebro. Los experimentos muestran que CircuitNet, con menos parámetros, supera a las redes neuronales populares en aproximación de funciones, clasificación de imágenes, aprendizaje de refuerzo y pronóstico de series temporales. Este trabajo destaca los beneficios de incorporar principios de neurociencia al diseño de modelos de aprendizaje profundo.
Los diseños de redes neuronales anteriores a menudo imitan las estructuras neuronales biológicas. Los primeros modelos, como los perceptrones de una o varias capas, se inspiraron en la señalización neuronal simplificada. Las CNN y las RNN se basaron en el procesamiento visual y secuencial del cerebro, respectivamente. Otras innovaciones, como las redes neuronales de picos y las redes de cápsulas, también reflejan procesos biológicos. Las técnicas clave de aprendizaje profundo incluyen mecanismos de atención, abandono y normalización, funciones neuronales paralelas como la atención selectiva y patrones de activación neuronal. Estos enfoques han logrado un éxito significativo, pero no pueden modelar de manera genérica combinaciones complejas de circuitos neuronales, a diferencia del CircuitNet propuesto.
Circuit Neural Network (CircuitNet) modela la transmisión de señales entre neuronas dentro de las unidades de medida de la corteza cerebral para respaldar diversos motivos de circuitos, como conexiones de retroalimentación, mutuas, de avance y laterales. Las interacciones de señales se modelan utilizando transformaciones lineales, atención neuronal y productos de pares neuronales, lo que permite a CircuitNet capturar patrones neuronales complejos. Las neuronas se organizan en unidades de medida de la corteza cerebral localmente densas y globalmente dispersas, interconectadas a través de puertos de entrada/salida, lo que facilita la transmisión de señales dentro y entre unidades. CircuitNet se adapta a diversas tareas, incluido el aprendizaje de refuerzo, la clasificación de imágenes y la previsión de series temporales, y funciona como una arquitectura de red neuronal general.
El estudio presenta los resultados experimentales y el análisis de CircuitNet en diversas tareas, comparándolo con los modelos de referencia. Si bien el objetivo principal no era superar los modelos de última generación, se realizan comparaciones para contextualizar. Los resultados muestran que CircuitNet demuestra una aproximación de funciones superior, una convergencia más rápida y un mejor rendimiento en tareas de aprendizaje de refuerzo profundo, clasificación de imágenes y pronóstico de series temporales. En particular, CircuitNet supera a los MLP tradicionales y logra resultados comparables o mejores que otros modelos avanzados como ResNet, ViT y transformadores, con menos parámetros y recursos computacionales.
En conclusión, CircuitNet es una arquitectura de red neuronal inspirada en los circuitos neuronales del cerebro. CircuitNet utiliza CMU, grupos de neuronas densamente conectadas, como sus bloques básicos capaces de modelar diversos motivos de circuitos. La estructura de la red refleja la conectividad localmente densa y globalmente dispersa del cerebro. Los resultados experimentales muestran que CircuitNet supera a las redes neuronales tradicionales como las MLP, las CNN, las RNN y los transformadores en varias tareas, incluidas la aproximación de funciones, el aprendizaje de refuerzo, la clasificación de imágenes y la previsión de series temporales. El trabajo futuro se centrará en refinar la arquitectura y mejorar sus capacidades con técnicas avanzadas.
Echa un vistazo a la PapelTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..
No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios
A continuación se muestra un seminario web muy recomendado por nuestro patrocinador: ‘Desarrollo de aplicaciones de IA de alto rendimiento con NVIDIA NIM y Haystack’
Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en el IIT Madrás, es un apasionado de la aplicación de la tecnología y la IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una perspectiva nueva a la intersección de la IA y las soluciones de la vida real.