Los autoencoders escasos son herramientas centrales para analizar cómo funcionan internamente los modelos de lenguaje grandes. Traducir estados internos complejos en componentes interpretables permite a los investigadores dividir las activaciones neuronales en partes que tienen sentido para los humanos. Estos métodos respaldan el rastreo de rutas lógicas e identificando cómo los tokens o frases particulares influyen en el comportamiento del modelo. Los autoencoders escasos son especialmente valiosos para las aplicaciones de interpretabilidad, incluido el análisis de circuitos, donde comprender lo que cada neurona contribuye es crucial para garantizar el comportamiento del modelo confiable.
Un problema apremiante con el entrenamiento escaso de autoencoder radica en alinear los objetivos de entrenamiento con la forma en que se mide el rendimiento durante la inferencia del modelo. Tradicionalmente, el entrenamiento utiliza un error cuadrático medio (MSE) en activaciones de modelo precomputadas. Sin embargo, esto no optimiza la pérdida de entropía cruzada, que se utiliza para juzgar el rendimiento cuando las activaciones reconstruidas reemplazan los originales. Este desajuste da como resultado reconstrucciones que funcionan mal en entornos de inferencia real. Los métodos más directos que entrenan tanto en la divergencia de MSE como en KL resuelven este problema, pero exigen un cálculo considerable, lo que limita su adopción en la práctica.
Varios enfoques han intentado mejorar el entrenamiento escaso de autoencoder. El entrenamiento completo de extremo a extremo que combina la divergencia de KL y las pérdidas de MSE ofrece una mejor calidad de reconstrucción. Aún así, viene con un alto costo computacional de hasta 48 × más alto debido a múltiples pases hacia adelante y falta de amortización de activación. Una alternativa implica el uso de adaptadores Lora para ajustar el modelo de lenguaje base alrededor de un autoencoder fijo. Si bien es eficiente, este método modifica el modelo en sí, que no es ideal para aplicaciones que requieren analizar la arquitectura inalterada.
Un investigador independiente de Deepmind ha introducido una nueva solución que aplica un breve paso de ajuste de KL+MSE en el extremo de la cola del entrenamiento, específicamente para los últimos 25 millones de tokens, solo 0.5-10% del volumen de datos de entrenamiento habitual. Los modelos provienen del equipo de Gemma y el Proyecto Pythia. Evita alterar la arquitectura del modelo y minimiza la complejidad al tiempo que alcanza el rendimiento similar al entrenamiento completo de extremo a extremo. También permite un ahorro de tiempo de entrenamiento de hasta 90% en escenarios con modelos grandes o colección de activación amortizada sin requerir infraestructura adicional o cambios algorítmicos.
Para implementar esto, la capacitación comienza con MSE estándar en activaciones barajadas, seguida de una corta fase de ajuste de KL+MSE. Esta fase utiliza un mecanismo de equilibrio dinámico para ajustar el peso de la divergencia KL en relación con la pérdida de MSE. En lugar de ajustar manualmente un parámetro β fijo, el sistema recalcula el factor de escala KL por lote de entrenamiento. La fórmula asegura que la pérdida combinada total mantenga la misma escala que la pérdida original de MSE. Este control dinámico evita la necesidad de hiperparámetros adicionales y simplifica la transferencia a través de los tipos de modelos. El ajuste fino se ejecuta con una descomposición lineal de la tasa de aprendizaje de 5e-5 a 0 sobre la ventana de token de 25 m, alineando el proceso con presupuestos de cómputo prácticos y preservando la configuración de escasez de la capacitación anterior.
Las evaluaciones de rendimiento muestran que este enfoque redujo la brecha de pérdida de entropía cruzada en un 20% a 50%, dependiendo del entorno de escasez. Por ejemplo, en Pythia-160m con K = 80, el modelo KL+MSE ajustado fino funcionó ligeramente mejor que un modelo completo de extremo a extremo, lo que requiere 50% menos de tiempo de pared. A mayor dispersión (K = 160), el modelo solo ajustado solo MSE logró resultados similares o marginalmente mejores que KL+MSE, posiblemente debido a la simplicidad del objetivo. Las pruebas con Lora y adaptadores lineales revelaron que sus beneficios no se acumulan, ya que cada método corrige una fuente de error compartida en Autoencoders entrenados por MSE. Incluso los adaptadores Lora de muy bajo rango (rango 2) capturaron más de la mitad de las ganancias de rendimiento de ajuste completo.
Aunque los resultados de la entropía cruzada favorecieron constantemente el método ajustado, las métricas de interpretabilidad mostraron tendencias mixtas. En Saebench, los autoencoders escasos basados en RELU vieron mejoras en el sondeo escaso y las métricas de Ravel, mientras que el rendimiento de la correlación espuria y las tareas de sonda específicas disminuyeron. Los modelos basados en Topk mostraron cambios más pequeños y más inconsistentes. Estos resultados sugieren que el ajuste fino puede producir reconstrucciones mejor alineadas con las predicciones del modelo, pero no siempre puede mejorar la interpretabilidad, dependiendo de la tarea de evaluación específica o el tipo de arquitectura.
Esta investigación subraya un avance significativo en la capacitación escasa de autoencoder: un método computacionalmente ligero y técnicamente simple que mejora la precisión de la reconstrucción sin modificar modelos base. Aborda los problemas clave de alineación en los objetivos de capacitación y ofrece resultados prácticos en modelos y niveles de escasez. Si bien no es uniformemente superior en todas las métricas de interpretabilidad, ofrece una compensación favorable entre el rendimiento y la simplicidad para tareas como el análisis a nivel de circuito.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.
