Cuando los transformadores cantan: adaptación de SpectralKD para la destilación de conocimientos basada en texto

Mientras trabajaba en mi problema de Destilación de conocimientos para la clasificación de intenciones, me enfrenté a un obstáculo desconcertante. Mi configuración involucró un modelo de maestro, que es RoBERTa-large (ajustado a mi clasificación de intención), y un modelo de estudiante, que estaba tratando de entrenar sin perder demasiada precisión en comparación con el maestro.

Experimenté con múltiples técnicas de mapeo, conectando cada segunda capa a la capa de estudiantes, promediando dos capas de maestros en una e incluso asignando pesos personalizados como dar (0,3 a l1 y 0,7 a l2). Pero no importa qué combinación probé, la precisión del maestro nunca coincidió con el modelo del estudiante.

Fue entonces cuando comencé a explorar cómo asignar las capas más informativas a mi modelo de estudiante para que el estudiante pueda maximizar su rendimiento. Quería una forma de cuantificar qué capa del modelo docente realmente importa para la destilación.

En esa búsqueda, me topé con un artículo fascinante.—”SpectralKD: Un marco unificado para interpretar y destilar transformadores de visión mediante análisis espectral”, que abordó un problema similar pero en el dominio de la imagen. Los autores utilizaron un enfoque de análisis espectral (Spectral KD) para alinear de forma más inteligente los modelos de profesor y estudiante..

Por curiosidad, decidí adaptar la idea a datos de texto y ¡¡¡BOOM!!!, ¡realmente funcionó! Por primera vez, mi modelo de alumno empezó a pensar casi como su profesor.

Aquí está el gráfico de intensidad de capa de mi modelo RoBERTa-grande ajustado. Con base en los conocimientos espectrales, seleccioné las capas 1 a 9 y 21 a 23 para mi modelo de estudiante durante la destilación del conocimiento, las que contienen la información más rica.

No puedo compartir mi conjunto de datos o código por razones de confidencialidad, pero le explicaré cómo el enfoque basado en imágenes del artículo inspiró mi adaptación basada en texto y cómo puede pensar en hacer lo mismo.

Detrás de escena: cómo FFT revela el alma espectral de un modelo

Entonces, comencemos con la intensidad espectral y profundicemos lentamente en el verdadero mago: la Transformada Rápida de Fourier (FFT).

En el artículo de spectralKD, los autores presentan un marco que nos ayuda a ver Vision Transformer (ViT), no solo lo que predicen, sino también cómo fluye la información en las capas. En lugar de confiar en la intuición o la visualización, utilizan el análisis espectral, una forma de medir la riqueza de frecuencias de las representaciones internas del modelo.

Imagine cada capa de Transformer como el músico de una orquesta, algunas capas tocan notas altas (detalles finos), mientras que otras tocan notas bajas (características amplias). La FFT nos ayuda a escuchar la música de cada reproductor por separado y filtrar cuál tiene las melodías más fuertes, es decir, las señales más ricas en información.

Paso 1: mapas de características, la materia prima

B es el tamaño del lote
C es el número de canales y,
H,W es la altura y el ancho espacial.

Paso 2: aplicar la transformada de Fourier

Los autores aplican una FFT unidimensional a lo largo de la dimensión del canal para traducir estas activaciones de valor real al dominio de la frecuencia:
F(X)=FFT(X)

Esto significa:
Para cada ubicación espacial (b, h, w), se calcula una FFT 1D en todos los canales.
El resultado es un tensor de valores complejos (ya que FFT genera partes reales + imaginarias).
Por lo tanto, F(X) nos dice qué cantidad de cada frecuencia está presente en la representación de esa capa.

Y si se pregunta: “¿Por qué FFT?” – mantén ese pensamiento.
Porque más adelante en este blog descubriremos exactamente por qué FFT es la herramienta perfecta para medir la intensidad interna de un modelo.

Paso 3: medir la intensidad de la frecuencia

Re(F(X)) es la parte real,
Im(F(X)) es la parte imaginaria.

Paso 4: Promediar en el mapa

Ahora queremos resumir esta intensidad en todas las posiciones de la capa:

Este paso nos dice la intensidad promedio del canal único.

Y luego puedes simplemente hacer el promedio de cada canal. ¡Voilá! Ahora tienes la intensidad espectral de la capa única del Vision Transformer.

Una mirada al reino de las frecuencias: la lente de Fourier de SpectralKD

Analicemos la transformada rápida de Fourier:

Xₖ es la secuencia de entrada (su señal, característica o patrón de activación).
xₙ es el componente de frecuencia en el índice de frecuencia.
N es el número de puntos en la secuencia (es decir, el número de canales o características).

Cada término e⁻ʲ²πᵏⁿ/ᴺ actúa como un fasor giratorio, una pequeña onda compleja que gira a través del espacio de la señal, y juntos forman una de las ideas más hermosas en el procesamiento de señales.