Comprender el comportamiento de sistemas complejos de aprendizaje automático, en particular los modelos de lenguaje grande (LLM), es un desafío crítico en la inteligencia artificial moderna. La investigación sobre la interpretabilidad tiene como objetivo hacer que el proceso de toma de decisiones sea más transparente para los constructores de modelos y los humanos afectados, un paso hacia una IA más segura y confiable. Para obtener una comprensión integral, podemos analizar estos sistemas a través de diferentes lentes: atribución de características, que aísla las características de entrada específicas que impulsan una predicción (Lundberg & Lee, 2017; Ribeiro et al., 2022); atribución de datos, que vincula los comportamientos del modelo con ejemplos de entrenamiento influyentes (Koh & Liang, 2017; Ilyas et al., 2022); e interpretabilidad mecanicista, que analiza las funciones de los componentes internos (Conmy et al., 2023; Sharkey et al., 2025).
En todas estas perspectivas, persiste el mismo obstáculo fundamental: la complejidad a escala. El comportamiento del modelo rara vez es el resultado de componentes aislados; más bien, surge de dependencias y patrones complejos. Para lograr un rendimiento de última generación, los modelos sintetizan relaciones de características complejas, encuentran patrones compartidos de diversos ejemplos de entrenamiento y procesan información a través de componentes internos altamente interconectados.
Por lo tanto, los métodos de interpretabilidad fundamentados o verificados por la realidad también deben poder capturar estas interacciones influyentes. A medida que crece la cantidad de características, puntos de datos de entrenamiento y componentes del modelo, la cantidad de interacciones potenciales crece exponencialmente, lo que hace que el análisis exhaustivo sea computacionalmente inviable. En esta publicación de blog, describimos las ideas fundamentales detrás de SPEX y ProxySPEX, algoritmos capaces de identificar estas interacciones críticas a escala.
Atribución mediante ablación
Un elemento central de nuestro enfoque es el concepto de ablación, que mide la influencia observando qué cambia cuando se retira un componente.
Atribución de características: enmascaramos o eliminamos segmentos específicos del mensaje de entrada y medimos el cambio resultante en las predicciones. Atribución de datos: entrenamos modelos en diferentes subconjuntos del conjunto de entrenamiento, evaluando cómo cambia la salida del modelo en un punto de prueba en ausencia de datos de entrenamiento específicos. Atribución de componentes del modelo (interpretabilidad mecanística): intervenimos en el avance del modelo eliminando la influencia de componentes internos específicos, determinando qué estructuras internas son responsables de la predicción del modelo.
En cada caso, el objetivo es el mismo: aislar los impulsores de una decisión perturbando sistemáticamente el sistema, con la esperanza de descubrir interacciones influyentes. Dado que cada ablación conlleva un costo significativo, ya sea mediante costosas llamadas de inferencia o reentrenamiento, nuestro objetivo es calcular las atribuciones con la menor cantidad de ablaciones posibles.
Enmascarando diferentes partes de la entrada, medimos la diferencia entre las salidas originales y eliminadas.
Marco SPEX y ProxySPEX
Para descubrir interacciones influyentes con un número manejable de ablaciones, hemos desarrollado SPEX (Explicador espectral). Este marco se basa en la teoría de codificación y procesamiento de señales para avanzar en el descubrimiento de interacciones a escalas de órdenes de magnitud mayores que los métodos anteriores. SPEX evita esto explotando una observación estructural clave: si bien el número de interacciones totales es prohibitivamente grande, el número de interacciones influyentes es en realidad bastante pequeño.
Formalizamos esto a través de dos observaciones: escasez (relativamente pocas interacciones realmente impulsan el resultado) y bajo grado (las interacciones influyentes generalmente involucran solo un pequeño subconjunto de características). Estas propiedades nos permiten replantear el difícil problema de búsqueda en un problema de recuperación escasa con solución. Aprovechando poderosas herramientas de la teoría de codificación y procesamiento de señales, SPEX utiliza ablaciones seleccionadas estratégicamente para combinar muchas interacciones candidatas. Luego, utilizando algoritmos de decodificación eficientes, desenredamos estas señales combinadas para aislar las interacciones específicas responsables del comportamiento del modelo.
En un algoritmo posterior, ProxySPEX, identificamos otra propiedad estructural común en modelos complejos de aprendizaje automático: la jerarquía. Esto significa que cuando una interacción de orden superior es importante, es probable que sus subconjuntos de orden inferior también lo sean. Esta observación estructural adicional produce una mejora espectacular en el coste computacional: iguala el rendimiento de SPEX con alrededor de 10 veces menos ablaciones. En conjunto, estos marcos permiten el descubrimiento de interacciones eficientes, desbloqueando nuevas aplicaciones en la atribución de características, datos y componentes del modelo.
Atribución de funciones
Las técnicas de atribución de características asignan puntuaciones de importancia a las características de entrada en función de su influencia en la salida del modelo. Por ejemplo, si se utilizara un LLM para hacer un diagnóstico médico, este enfoque podría identificar exactamente qué síntomas llevaron al modelo a su conclusión. Si bien atribuir importancia a características individuales puede ser valioso, el verdadero poder de los modelos sofisticados reside en su capacidad para capturar relaciones complejas entre características. La siguiente figura ilustra ejemplos de estas interacciones influyentes: desde un doble sentimiento cambiante negativo (izquierda) hasta la necesaria síntesis de múltiples documentos en una tarea RAG (derecha).
La siguiente figura ilustra el rendimiento de la atribución de características de SPEX en una tarea de análisis de sentimiento. Evaluamos el rendimiento utilizando la fidelidad: una medida de la precisión con la que las atribuciones recuperadas pueden predecir el resultado del modelo en ablaciones de prueba invisibles. Descubrimos que SPEX iguala la alta fidelidad de las técnicas de interacción existentes (Faith-Shap, Faith-Banzhaf) en entradas breves, pero conserva de manera única este rendimiento a medida que el contexto escala a miles de características. Por el contrario, si bien los enfoques marginales (LIME, Banzhaf) también pueden operar a esta escala, exhiben una fidelidad significativamente menor porque no logran capturar las interacciones complejas que impulsan el resultado del modelo.
SPEX también se aplicó a una versión modificada del problema del tranvía, donde se elimina la ambigüedad moral del problema, haciendo que “Verdadero” sea la respuesta clara y correcta. Dada la modificación a continuación, GPT-4o mini respondió correctamente solo el 8% de las veces. Cuando aplicamos la atribución de características estándar (SHAP), identificó casos individuales de la palabra carrito como los factores principales que impulsan la respuesta incorrecta. Sin embargo, sustituir trole por sinónimos como tranvía o tranvía tuvo poco impacto en la predicción del modelo. SPEX reveló una historia mucho más rica, identificando una sinergia dominante de alto orden entre las dos instancias de trolebús, así como las palabras tirar y palanca, un hallazgo que se alinea con la intuición humana sobre los componentes centrales del dilema. Cuando estas cuatro palabras fueron reemplazadas por sinónimos, la tasa de fracaso del modelo cayó a casi cero.
Atribución de datos
La atribución de datos identifica qué puntos de datos de entrenamiento son los más responsables de la predicción de un modelo en un nuevo punto de prueba. Identificar interacciones influyentes entre estos puntos de datos es clave para explicar comportamientos inesperados del modelo. Las interacciones redundantes, como los duplicados semánticos, a menudo refuerzan conceptos específicos (y posiblemente incorrectos), mientras que las interacciones sinérgicas son esenciales para definir límites de decisión que ninguna muestra podría formar por sí sola. Para demostrar esto, aplicamos ProxySPEX a un modelo ResNet entrenado en CIFAR-10, identificando los ejemplos más significativos de ambos tipos de interacción para una variedad de puntos de prueba difíciles, como se muestra en la siguiente figura.
Como se ilustra, las interacciones sinérgicas (izquierda) a menudo involucran clases semánticamente distintas que trabajan juntas para definir un límite de decisión. Por ejemplo, basando la sinergia en la percepción humana, el automóvil (abajo a la izquierda) comparte rasgos visuales con las imágenes de entrenamiento proporcionadas, incluido el chasis de perfil bajo del auto deportivo, la forma cuadrada del camión amarillo y la franja horizontal del vehículo de reparto rojo. Por otro lado, las interacciones redundantes (derecha) tienden a capturar duplicados visuales que refuerzan un concepto específico. Por ejemplo, la predicción del caballo (centro a la derecha) está fuertemente influenciada por un grupo de imágenes de perros con siluetas similares. Este análisis detallado permite el desarrollo de nuevas técnicas de selección de datos que preservan las sinergias necesarias y al mismo tiempo eliminan las redundancias de forma segura.
Atribución de cabeza de atención (interpretabilidad mecanicista)
El objetivo de la atribución de componentes del modelo es identificar qué partes internas del modelo, como capas específicas o cabezas de atención, son las más responsables de un comportamiento particular. También en este caso, ProxySPEX descubre las interacciones responsables entre diferentes partes de la arquitectura. Comprender estas dependencias estructurales es vital para las intervenciones arquitectónicas, como la poda de la cabeza de atención para tareas específicas. En un conjunto de datos MMLU (highschool-us-history), demostramos que una estrategia de poda basada en ProxySPEX no solo supera a los métodos de la competencia, sino que también puede mejorar el rendimiento del modelo en la tarea objetivo.
En esta tarea, también analizamos la estructura de interacción en toda la profundidad del modelo. Observamos que las primeras capas funcionan en un régimen predominantemente lineal, donde los jefes contribuyen en gran medida de forma independiente a la tarea objetivo. En capas posteriores, el papel de las interacciones entre cabezas de atención se vuelve más pronunciado, y la mayor parte de la contribución proviene de las interacciones entre cabezas de la misma capa.
¿Qué sigue?
El marco SPEX representa un importante paso adelante para la interpretabilidad, ampliando el descubrimiento de interacciones de docenas a miles de componentes. Hemos demostrado la versatilidad del marco a lo largo de todo el ciclo de vida del modelo: explorando la atribución de características en entradas de contexto largo, identificando sinergias y redundancias entre puntos de datos de entrenamiento y descubriendo interacciones entre los componentes internos del modelo. En el futuro, quedan muchas preguntas de investigación interesantes en torno a la unificación de estas diferentes perspectivas, proporcionando una comprensión más holística de un sistema de aprendizaje automático. También es de gran interés evaluar sistemáticamente los métodos de descubrimiento de interacciones en comparación con el conocimiento científico existente en campos como la genómica y la ciencia de materiales, lo que sirve tanto para fundamentar los hallazgos como modelos como para generar hipótesis nuevas y comprobables.
Invitamos a la comunidad de investigación a unirse a nosotros en este esfuerzo: el código para SPEX y ProxySPEX está completamente integrado y disponible en el popular repositorio SHAP-IQ (enlace).