Las interfaces cerebro-computadora (BCI) finalmente están teniendo su momento de “modelo básico”. Zyphra, un laboratorio de investigación centrado en modelos a gran escala, lanzó recientemente ZUNA, un modelo básico con parámetros de 380M específicamente para señales EEG. ZUNA es un codificador automático de difusión enmascarada diseñado para realizar relleno de canales y superresolución para cualquier diseño de electrodo. Esta versión incluye pesos bajo una licencia Apache-2.0 y una pila de inferencia compatible con MNE.
El problema de los modelos de EEG “frágiles”
Durante décadas, los investigadores han luchado con el “salvaje oeste” de los datos de EEG. Diferentes conjuntos de datos utilizan distintos números de canales y posiciones de electrodos inconsistentes. La mayoría de los modelos de aprendizaje profundo se entrenan en montajes de canales fijos, lo que hace que fallen cuando se aplican a nuevos conjuntos de datos o condiciones de grabación. Además, las mediciones de EEG suelen estar plagadas de ruido debido a los cambios de electrodos o al movimiento del sujeto.
Arquitectura 4D de ZUNA: Inteligencia espacial
ZUNA resuelve el problema de la generalización al tratar las señales cerebrales como datos con base espacial. En lugar de asumir una cuadrícula fija, ZUNA inyecta una estructura espaciotemporal a través de una codificación posicional rotativa 4D (4D RoPE).
El modelo tokeniza el EEG multicanal en ventanas temporales cortas de 0,125 segundos, o 32 muestras. Cada token se asigna a una coordenada 4D: su ubicación del cuero cabelludo 3D (x, y, z) y su índice de tiempo aproximado
La difusión como motor generativo
ZUNA utiliza un enfoque de difusión porque las señales de EEG son continuas y de valor real. El modelo combina un decodificador de difusión con un codificador que almacena información de señal en un cuello de botella latente.
Durante el entrenamiento, Zyphra utilizó un objetivo pesado de abandono de canales. Eliminaron aleatoriamente el 90% de los canales, reemplazándolos con ceros en la entrada del codificador. Luego se asignó al modelo la tarea de reconstruir estas señales “enmascaradas” a partir de la información del 10% restante de los canales. Esto obligó al modelo a aprender correlaciones profundas entre canales y una poderosa representación interna de la actividad cerebral.
El canal de datos masivo: 2 millones de horas
La calidad de los datos es el corazón de cualquier modelo básico. Zyphra agregó un corpus armonizado que abarca 208 conjuntos de datos públicos. Esta enorme colección incluye:
2 millones de horas de canal de grabaciones de EEG. Más de 24 millones de muestras de 5 segundos que no se superponen. Una amplia gama de canales cuenta desde 2 hasta 256 por grabación.
El proceso de preprocesamiento estandarizó todas las señales a una frecuencia de muestreo común de 256 Hz. Utilizaron MNE-Python para aplicar filtros de paso alto a 0,5 Hz y un filtro de muesca adaptativo para eliminar el ruido de línea. Luego, las señales se normalizaron con puntuación z para garantizar una media cero y una varianza unitaria preservando al mismo tiempo la estructura espacial.
Puntos de referencia: acabar con el spline esférico
Durante años, el estándar de la industria para completar los datos EEG faltantes ha sido la interpolación esférica. Si bien los splines son útiles para capturar la suavidad local, no tienen un “aprendizaje previo” y fallan cuando los espacios entre sensores crecen demasiado.
ZUNA supera consistentemente la interpolación spline esférica en múltiples puntos de referencia, incluido el conjunto de datos ANPHY-Sleep y el conjunto de datos de imágenes de motor BCI2000. La brecha de desempeño se amplía significativamente cuando las tasas de deserción son más altas. En escenarios extremos de abandono del 90% (esencialmente un muestreo superior de 10 veces), ZUNA mantiene una alta fidelidad de reconstrucción mientras que los métodos spline se degradan drásticamente.
Conclusiones clave
Generalización universal: ZUNA es un modelo de 380M de parámetros que funciona con cualquier sistema de EEG, independientemente del número o posición de los electrodos. A diferencia de los modelos de IA anteriores limitados a diseños fijos, se generaliza en diversos conjuntos de datos y posiciones de canales novedosos. Inteligencia espaciotemporal 4D: el modelo utiliza un sistema de codificación posicional rotativa 4D (4D RoPE) para mapear señales cerebrales en el espacio 3D (x, y, z) y el tiempo
Consulte el documento, los detalles técnicos, el repositorio y los pesos de los modelos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.