Esta semana, Zyphra lanzó ZUNA1.1 bajo la licencia Apache 2.0. El modelo básico de EEG reconstruye, elimina el ruido y aumenta las muestras de datos en diseños de canales arbitrarios. Se basa en ZUNA1, el modelo básico de EEG abierto anterior de Zyphra.
El principal cambio es la flexibilidad, no un salto en la precisión bruta. Las grabaciones de EEG reales son confusas. Las sesiones varían en duración y los canales se vuelven ruidosos o se interrumpen a mitad de la sesión. Los montajes van desde diademas de cuatro electrodos hasta gorros de investigación de 256 canales. ZUNA1 procesó sólo segmentos fijos de cinco segundos. ZUNA1.1 acepta entradas de longitud variable de 0,5 a 30 segundos.
¿Qué es ZUNA1.1?
Para comprender esa flexibilidad, comience con lo que hace el modelo.
ZUNA1.1 es un codificador automático de difusión enmascarada con parámetros de 380M para señales EEG del cuero cabelludo. Dado un subconjunto de canales, elimina el ruido de los segmentos y canales de EEG existentes. Reconstruye los desaparecidos. También predice nuevas señales de canales dadas las coordenadas físicas en el cuero cabelludo.
El recuento de parámetros no ha cambiado desde ZUNA1. Se ejecuta en una GPU de consumo y funciona aceptablemente en la CPU para muchas cargas de trabajo. Las pesas se sientan en la cara abrazada; El código de inferencia y preprocesamiento se encuentra en GitHub. Instalar con pip install zuna. Zyphra también aloja un EEG Playground de navegador gratuito y envía todo esto únicamente para uso en investigación.
Cómo funciona la arquitectura
Esa flexibilidad se basa en la tokenización.
ZUNA es un autocodificador de difusión codificador-descodificador con transformador. Divide cada canal en segmentos de 0,125 segundos, lo que equivale a 32 muestras a 256 Hz. Cada segmento se convierte en un token de valor continuo. Los tokens se serializan en orden de canal x tiempo.
La codificación posicional es la idea clave. Cada token lleva una codificación posicional rotativa 4D sobre (x, y, z, t). Esa es la coordenada 3D del cuero cabelludo del electrodo junto con su índice de tiempo aproximado. Debido a que la posición, no el índice de la matriz, le indica al modelo dónde se encuentra un canal, ZUNA es independiente del canal. Acepta cualquier disposición de electrodos y puede generar señales en posiciones nunca registradas. Esa capacidad permite el muestreo arbitrario de canales por ubicación.
El codificador comprime la señal hasta dejarla latente. Esas condiciones latentes del decodificador a través de la norma RMS adaptativa. El decodificador está entrenado con un objetivo de flujo rectificado. Los cambios arquitectónicos de ZUNA1.1 apuntaron a la estabilidad del entrenamiento, como capas de normalización agregadas.
Lo que cambió de ZUNA1
Dado que la arquitectura se mantuvo cercana, las diferencias provienen de la formación.
1. Entradas de longitud variable (0,5 a 30 segundos): ZUNA1.1 muestrea la longitud de un segmento por ejemplo de entrenamiento, ajustado a la cuadrícula de tokens de 0,125 s. Las longitudes se distribuyen en cuatro contenedores, desde muy cortas hasta largas. El rango medio de 1,5 a 10 s está sobremuestreado, ya que es el punto de funcionamiento más común. Debido a que los recuentos de tokens varían, Zyphra incluye varios segmentos por lote hasta un presupuesto fijo. Flexibilice la atención con una máscara que reconoce muestras y evita que los tokens atiendan entre muestras. Por lo tanto, un modelo ofrece un fragmento de 0,5 s y un estiramiento de 30 s sin reconfiguración.
2. Una combinación más rica de tareas de reconstrucción: ZUNA1 entrenado en un patrón de abandono: canales completos uniformemente aleatorios. ZUNA1.1 entrena en cuatro. El primero es la caída de todo el canal, que cubre montajes dispersos y electrodos muertos. El segundo elimina tramos cortos de tiempo en cada canal. El tercero elimina esos tramos sólo de algunos canales, agrupando espacios en el espacio y el tiempo. El cuarto dispersa los valores faltantes en puntos individuales.
3. Preprocesamiento consciente de la calidad y un corpus más grande: ZUNA1 realizó llamadas con calidad de canal en todo el nivel de grabación, descartando la señal utilizable. En cambio, ZUNA1.1 calcula un puntaje de calidad por canal y por segundo, establecido en el momento de la carga. Esto hizo crecer el corpus de aproximadamente 2 millones a aproximadamente 3,5 millones de horas de canal de datos públicos de EEG. El equipo de Zyphra también precalcula dos variantes de filtro por grabación: un paso de banda de 0,1 a 45 Hz y un paso alto de 0,01 Hz junto con muesca. Generalizar entre estrategias de preprocesamiento es un objetivo declarado, no un resultado de referencia.
Los resultados
En consecuencia, la pregunta es si la flexibilidad cuesta precisión.
En tareas pendientes, ZUNA1.1 alcanza una reconstrucción NMSE mejor o esencialmente la misma que ZUNA1. Ambos superan claramente la interpolación esférica-spline clásica de MNE. Para una comparación justa, esos conjuntos de evaluación utilizaron exactamente muestras de cinco segundos.
Zyphra también realizó una prueba regional. Se eliminan los electrodos de una región del cerebro y luego se reconstruyen a partir de las siete restantes. Esa configuración es más realista que la caída aleatoria de canales. ZUNA1.1 supera tanto al spherical-spline como al ZUNA1 allí.
Explicador interactivo
Para concretar esas mecánicas, la siguiente demostración anima la tubería de un extremo a otro.