Screenshot 2024 07 09 At 6.45.17 Pm.png

Los avances en hardware y software han permitido la integración de la IA en dispositivos IoT de bajo consumo, como microcontroladores de consumo ultrabajo. Sin embargo, la implementación de redes neuronales artificiales complejas en estos dispositivos requiere técnicas como la cuantificación y la poda para cumplir con sus limitaciones. Además, los modelos de IA de borde pueden enfrentar errores debido a cambios en la distribución de datos entre los entornos de entrenamiento y operativos. Además, muchas aplicaciones ahora necesitan algoritmos de IA para adaptarse a los usuarios individuales al tiempo que garantizan la privacidad y reducen la conectividad a Internet.

Un nuevo paradigma que ha surgido para resolver estos problemas es el aprendizaje continuo o CL, que consiste en la capacidad de aprender constantemente de situaciones nuevas sin perder nada de la información que ya se ha descubierto. Las mejores soluciones de CL, conocidas como métodos basados ​​en ensayos, reducen la probabilidad de olvido al enseñar continuamente al alumno datos y ejemplos nuevos de tareas adquiridas previamente. Sin embargo, este enfoque requiere más espacio de almacenamiento en el dispositivo. Una posible compensación en la precisión puede estar involucrada con los enfoques sin ensayos, que dependen de ajustes específicos a la arquitectura de la red o la estrategia de aprendizaje para hacer que los modelos sean resistentes al olvido sin almacenar muestras en el dispositivo. Varios modelos de ANN, como las CNN, requieren grandes cantidades de almacenamiento en el dispositivo para datos de aprendizaje complicados, lo que podría sobrecargar el CL en el borde, en particular los enfoques basados ​​en ensayos.

Teniendo en cuenta todo esto, las redes neuronales de picos (SNN) son un paradigma potencial para el procesamiento de series temporales energéticamente eficiente gracias a su gran precisión y eficiencia. Al intercambiar información en picos, que son cambios breves y discretos en el potencial de membrana de una neurona, las SNN imitan la actividad de las neuronas orgánicas. Estos picos se pueden registrar fácilmente como datos de 1 bit en estructuras digitales, lo que abre oportunidades para construir soluciones CL. Se ha estudiado el uso del aprendizaje en línea en SNN de software y hardware, pero la investigación de técnicas CL en SNN utilizando enfoques sin ensayo es limitada.

Un nuevo estudio realizado por un equipo de la Universidad de Bolonia, el Politécnico de Turín y la Escuela Politécnica Federal de Zúrich presenta una implementación de vanguardia de CL basada en Rehearsal para redes neuronales de red (SNN), que es eficiente en el uso de la memoria y está diseñada para funcionar sin problemas con dispositivos con recursos limitados. Los investigadores utilizan una técnica basada en Rehearsal, específicamente Latent Replay (LR), para habilitar CL en redes neuronales de red (SNN). LR es un método que almacena un subconjunto de experiencias pasadas y las utiliza para entrenar la red en nuevas tareas. Este algoritmo ha demostrado alcanzar una precisión de clasificación de vanguardia en redes neuronales de red (CNN). Utilizando la codificación de información resiliente de las SNN para reducir la precisión, aplican una compresión con pérdida en el eje de tiempo, que es una forma novedosa de disminuir la memoria de ensayo.

El enfoque del equipo no solo es sólido sino también impresionantemente eficiente. Utilizan dos configuraciones CL populares, Sample-Incremental y Class-Incremental CL, para probar su enfoque. Apuntan a una aplicación de detección de palabras clave que utiliza SNN recurrente. Al aprender diez clases nuevas a partir de un conjunto inicial de 10 aprendidas previamente, prueban el enfoque propuesto en un extenso procedimiento CL Multi-Class-Incremental para demostrar su eficiencia. En el conjunto de prueba Spiking Heidelberg Dataset (SHD), su enfoque logró una precisión Top-1 del 92,46% en la disposición Sample-Incremental, con 6,4 MB de datos LR requeridos. Esto sucede cuando se agrega un nuevo escenario, lo que mejora la precisión en un 23,64% mientras se conservan todos los enseñados previamente. Al aprender una nueva clase con una precisión del 92,50% en la configuración Class-Incremental, el método logró una precisión Top-1 del 92% mientras consumía 3,2 MB de datos, con una pérdida de hasta el 3,5% en las clases anteriores. Al combinar la compresión con la selección del mejor índice LR, la memoria necesaria para los datos de ensayo se redujo 140 veces, con una pérdida de precisión de solo hasta el 4 % en comparación con el método ingenuo. Además, al aprender el conjunto de 10 nuevas palabras clave en la configuración Multi-Class-Incremental, el equipo alcanzó una precisión del 78,4 por ciento utilizando datos de ensayo comprimidos. Estos hallazgos sientan las bases para un nuevo método de CL en el borde que es a la vez eficiente en términos de energía y preciso.


Revisar la Papel. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo.

Únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!.

Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..

No olvides unirte a nuestro Subreddit de más de 46 000 millones de usuarios


Dhanshree Shenwai es ingeniera informática y tiene una amplia experiencia en empresas de tecnología financiera que abarcan los ámbitos financiero, de tarjetas y pagos y bancario, y está muy interesada en las aplicaciones de la inteligencia artificial. Le entusiasma explorar nuevas tecnologías y avances en el cambiante mundo actual, facilitando la vida de todos.