La retropropagación es un algoritmo global: un pase hacia adelante, luego un pase hacia atrás, luego una actualización de peso, cada uno bloqueado detrás del anterior. Los cerebros no tienen ningún mecanismo conocido para ese tipo de bloqueo de fase en toda la red, razón por la cual las alternativas de aprendizaje local, como la codificación predictiva (PC), siguen atrayendo el interés de la investigación. Los investigadores de Sakana AI proponen la codificación predictiva lagrangiana aumentada (PC-ALM), una variante de PC que mantiene cada capa de actualización local pero recupera señales de crédito alineadas con backprop. El equipo de investigación informa que entrenó MLP residuales hasta 1000 capas dentro de aproximadamente 2 puntos porcentuales de backprop en MNIST.
¿Es desplegable? Sí, como código de investigación: una implementación de referencia JAX con licencia del MIT se ejecuta en la CPU y reproduce la cuadrícula de ancho y profundidad del artículo. Es un método de entrenamiento, no un modelo, y solo se ha probado en pruebas comparativas de imágenes pequeñas.
Por qué la PC estándar se atasca en redes profundas y estrechas
PC trata cada activación oculta como una variable de optimización y penaliza el desajuste al cuadrado entre la activación de cada capa y la predicción que llega de la capa inferior. La inferencia es un descenso de gradiente sobre esa energía; El aprendizaje es un paso de peso similar al de Hebb. El problema es que la supervisión entra por la salida y debe difundirse a través de una cadena de compromisos locales. En redes profundas y estrechas, la señal de crédito se desvanece mucho antes de llegar a la entrada. Innocenti et al. caracterizaron esta brecha PC-BP como una función del ancho y la profundidad, y es peor cuando el ancho es menor que la profundidad.
Qué cambia PC-ALM
PC-ALM parte de la visión restringida del entrenamiento: minimizar la pérdida supervisada sujeta a hi=σ(Wihi−1)h_i = \sigma(W_i h_{i-1}) en cada capa. PC es la relajación de penalización cuadrática de ese problema. PC-ALM usa el Lagrangiano aumentado en su lugar, adjuntando un multiplicador de Lagrange λi∈ℝdital quedim(λi)=dim(hi)\lambda_i \in \mathbb{R}^{d_i} \quad \text{tal que} \quad \text{dim}(\lambda_i) = \text{dim}(h_i) a cada restricción de capa mientras manteniendo la penalización del PC. Configurar λ = 0 recupera la PC exactamente.
La inferencia alterna 2 pasos locales: un paso de gradiente primario en las activaciones y un paso dual λi←λi+αri\lambda_i \leftarrow \lambda_i + \alpha r_i que acumula el error de predicción de la capa. Completar el cuadrado muestra que cada paso primario es un paso de PC estándar con el objetivo de predicción desplazado en −λi/ρ-\lambda_i/\rho. Después de T pasos, la actualización del peso actúa sobre la señal compuesta λi+ρri\lambda_i + \rho r_i. El equipo de investigación interpretó esto como un controlador PI por capa: el error de predicción es el término proporcional y el multiplicador es el término integral. α = 0 da PC; α = ρ con el problema interno resuelto exactamente da el método clásico de multiplicadores.
gradientes de backprop exactos en el caso lineal
LeCun observó en 1988 que los multiplicadores de Lagrange de una red restringida son iguales a los adjuntos de backprop en un punto KKT. El equipo demuestra que en redes de PC lineales, bajo una condición de estabilidad de radio espectral, PC-ALM converge a ese punto KKT: las activaciones regresan a sus valores de paso directo mientras cada λi\lambda_i se integra al adjunto BP exacto. El límite de estabilidad por modo es ηhσi2(2ρ+α)<4\eta_h \sigma_i^2 (2\rho + \alpha) < 4, lo que se reduce a la condición de PC en α = 0. A diferencia del flujo de gradiente monótono de PC, la matriz de iteración de PC-ALM tiene valores propios complejos que producen oscilaciones amortiguadas; α establece su frecuencia pero no su tasa de caída.
Resultados
El equipo de investigación barre MLP residuales con ancho y profundidad de 8 a 128 en Fashion-MNIST y MNIST bajo la parametrización de campo medio de Innocenti et al., entrenando durante 1 época. Con un presupuesto de inferencia de T = 2L, PC-ALM coincide con backprop en todos los anchos, profundidades y activaciones (identidad, tanh, ReLU), mientras que PC cae bruscamente en celdas estrechas y profundas. La celda de referencia del repositorio (ancho 32, profundidad 32, ReLU, Fashion-MNIST) informa una precisión de prueba del 78,66 % para BP, del 68,13 % para PC y del 77,75 % para PC-ALM, con un gradiente de coseno a BP que aumenta de 0,604 a 0,909.
La investigación amplía el panorama: los MLP residuales de 1000 capas en MNIST (ancho 32, ReLU, 5 épocas) se mantienen dentro de aproximadamente 2 puntos de BP, y PC-ALM mejora con respecto a PC en todos los puntos de referencia probados, incluido ResNet-18 en CIFAR-10 y Tiny ImageNet.