El cerebro humano es un órgano extraordinariamente complejo, a menudo considerado uno de los sistemas más intrincados y sofisticados del universo conocido. El cerebro está organizado jerárquicamente, con áreas de procesamiento sensorial de nivel inferior que envían información a regiones cognitivas y de toma de decisiones de nivel superior. Esta jerarquía permite la integración de conocimientos y comportamientos complejos. El cerebro procesa información en paralelo, con diferentes regiones y redes trabajando simultáneamente en diversos aspectos de la percepción, la cognición y el control motor. Este procesamiento paralelo contribuye a su eficiencia y adaptabilidad.
¿Podemos adaptar estas técnicas de organización jerárquica y procesamiento paralelo en el aprendizaje profundo? Sí, el campo de estudio se llama Redes neuronales. Investigadores de la Universidad de Copenhague presentan un tipo de codificación de red neuronal gráfica en el que el crecimiento de una red de políticas está controlado por otra red que se ejecuta en cada neurona. Lo llaman Programa de Desarrollo Neural (NDP).
Algunos procesos biológicos implican mapear un genotipo compacto a un fenotipo más grande. Inspirándose en esto, los investigadores han creado métodos de codificación indirecta. En la codificación indirecta, la descripción de la solución está comprimida. Esto permite reutilizar la información y la solución final contendrá más componentes que la propia descripción. Sin embargo, estas codificaciones (particularmente la familia de codificación indirecta) deben desarrollarse.
La arquitectura NDP comprende un perceptrón multicapa (MLP) y un autómata celular gráfico (GNCA). Esto actualiza las incorporaciones de nodos después de cada paso de paso de mensaje durante la fase de desarrollo. En general, los autómatas celulares son modelos matemáticos que consisten en una cuadrícula de celdas en uno de varios estados. Estos autómatas evolucionan en pasos de tiempo discretos basados en un conjunto de reglas que determinan cómo cambian los estados de las células con el tiempo.
En NDP, se aplica el mismo modelo a todos. Entonces, el número de parámetros es constante con respecto al tamaño del gráfico en el que opera. Esto proporciona una ventaja a NDP, ya que puede operar en cualquier red neuronal de tamaño o arquitectura arbitraria. La red neuronal NDP también se puede entrenar con cualquier algoritmo de optimización de caja negra para satisfacer cualquier función objetivo. Esto permitirá que las redes neuronales resuelvan tareas de clasificación y aprendizaje por refuerzo y exhiban propiedades topológicas.
Los investigadores también intentaron evaluar el NDP diferenciable comparando modelos entrenados y probados en diferentes números de pasos de crecimiento. Observaron que para la mayoría de las tareas, el rendimiento de la red disminuía después de una cierta cantidad de pasos de crecimiento. La razón para observar esto fue que los nuevos modos de la red se hicieron más grandes. Necesitaría un método automatizado para saber cuándo dejar de aumentar los pasos. Dicen que esta automatización sería una adición importante al PND. En el futuro, también quieren incluir técnicas de adaptación y crecimiento dependientes de la actividad y moduladas por la recompensa para el NDP.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 31k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Ahora también estamos en WhatsApp. Únase a nuestro canal de IA en Whatsapp.
Arshad es pasante en MarktechPost. Actualmente cursa su carrera internacional. Maestría en Física del Instituto Indio de Tecnología Kharagpur. Comprender las cosas hasta el nivel fundamental conduce a nuevos descubrimientos que conducen al avance de la tecnología. Le apasiona comprender la naturaleza fundamentalmente con la ayuda de herramientas como modelos matemáticos, modelos de aprendizaje automático e inteligencia artificial.