En Representaciones verbalizables forman un espacio de trabajo global en modelos de lenguaje, los investigadores de Anthropic presentan el espacio J, un análogo de LLM (demostrado en Claude Opus 4.6) al espacio de trabajo global en la corteza humana, el circuito neuronal que se supone sustenta el acceso a la conciencia. Los autores presentan una amplia evidencia empírica que valida esta conexión y demuestran la utilidad del espacio J como herramienta de auditoría para la alineación del LLM.
Nuestro objetivo en este breve artículo no es contribuir a ese debate conceptual más amplio. En cambio, de manera más modesta, reexaminamos la definición formal y las propiedades matemáticas del espacio J y brindamos justificaciones precisas para las intervenciones quirúrgicas realizadas por Anthropic. Debido a que el estilo conciso del artículo original puede dejar implícitas mecánicas clave, nuestro objetivo es proporcionar una explicación clara, paso a paso, para los lectores que valoran definiciones claras y derivaciones explícitas, entregadas directamente a través de una lente matemática aplicada, sin jerga innecesaria.
El espacio J como unión de conos
Para que este artículo sea autónomo, primero recordamos las definiciones básicas. La representación semántica de un token en la posición t en la capa 𝓁 dentro del flujo residual de un Transformador:
Luego definimos el impacto causal promedio de una variación en esta representación en la capa final L del Transformador como una expectativa sobre un conjunto de indicaciones p, en todas las posiciones simbólicas t, y en todas las posiciones de contexto futuras t’:
La conversión de este impacto a puntuaciones logit se logra multiplicando a la izquierda por la matriz de desincrustación. Las filas de la matriz resultante son, por definición, los vectores de lentes J (omitiendo el paso de normalización por simplicidad):
Por lo tanto, hay tantos vectores de lentes J como tokens en el vocabulario del LLM, esto para cada capa 𝓁 (a partir de ahora eliminamos el índice 𝓁 para evitar el desorden). Porque
Estos vectores de lentes J forman un marco sobrecompleto en el espacio de representación.
El impacto promedio de una representación en la capa 𝓁 en la propensión del Transformador a generar el token i en el paso t viene dado simplemente por el producto interno
Como nota al margen, suponiendo que estos vectores se distribuyan aproximadamente uniformemente en la esfera, un resultado clásico de la geometría de alta dimensión (la concentración de medida de Lévy en la esfera) garantiza que los productos internos por pares entre distintos vectores sean cercanos a cero en promedio
excepto para vectores semánticamente relacionados (como “rey” y “emperador”, por ejemplo). Para una dimensión de modelo estándar de 4096, este producto interno es del orden de 0,015.
El espacio J en sí se define formalmente como el conjunto de combinaciones lineales k-dispersas de vectores de lentes J con coeficientes no negativos. Más precisamente, para cualquier subconjunto de índices
definimos el cono
Finalmente, el espacio J se define como el conjunto de todos los puntos expresables como una combinación k-escasa y no negativa de vectores de lentes J. Geométricamente, corresponde a la unión de todos esos conos:
que es una unión de conos, en lugar de un subespacio lineal.
Componentes verbalizables y no verbalizables
El componente verbalizable de una representación se define como su proyección ortogonal en el espacio J o, planteado de otra manera, como una expansión k-dispersa aproximada sobre los vectores de la lente J:
La restricción de escasez selecciona vectores de lentes J en esta suma que son aproximadamente ortogonales y, por lo tanto, semánticamente distantes. Dado que los productos internos entre dichos vectores son cercanos a cero, los únicos tokens que reciben puntuaciones altas en (4) pertenecen a grupos semánticos cercanos a los k vectores de lentes J en la descomposición.
El componente no verbalizable de una representación es simplemente el residuo de esta proyección:
Los resultados estándar en optimización convexa establecen que el residual de una proyección sobre un cono convexo cerrado es ortogonal a la proyección misma. En consecuencia, el producto interno
es idénticamente cero, una propiedad que resultará útil en la siguiente sección.
Definición de la capacidad del espacio J y selección de la dispersión k
Una pregunta clave es cómo seleccionar el parámetro de escasez k en (8). Para abordar esto, introducimos la fracción de varianza explicada (FVE) por la proyección en el espacio J:
donde la expectativa está en las indicaciones p y las posiciones t. La segunda igualdad se deriva de la relación de ortogonalidad (10). Para aislar la señal del ruido, dado que k vectores aleatorios naturalmente representarían una fracción de la varianza, consideramos el exceso de varianza explicado por k vectores de lentes J, definido como:
donde el segundo término en (12) se define de manera idéntica al primero, pero reemplaza los k vectores de lentes J con k vectores seleccionados aleatoriamente. Empíricamente, este exceso de varianza se estabiliza más allá de k = 25. La interpretación es que k≈25 representa un codo natural: hasta este umbral, proyectar en el espacio J captura significativamente más información que proyectar en un número equivalente de vectores aleatorios, después de lo cual el exceso de varianza se estabiliza.
Numéricamente, este exceso de varianza es aproximadamente del 10%, lo que resulta instructivo de comparar con la varianza explicada por 25 vectores aleatorios. Para d = 4096 y k = 25, la fracción esperada de varianza explicada por vectores aleatorios sería del orden de 25/4096 < 1% suponiendo que los componentes sean independientes. Este marcado desequilibrio confirma la hipótesis de que las representaciones verbalizables se encuentran sustancialmente dentro de una variedad de dimensiones muy bajas (25 ≪ 4096).
Una nota sobre la complejidad computacional: calcular la proyección exacta en (9) sobre el espacio J requiere resolver un problema de codificación dispersa no negativa, que es NP-duro en general. Es probable que este cálculo exacto solo sea necesario al evaluar el FVE en (11), que luego se realiza fuera de línea. El uso de un método aproximado, como la heurística de regresión que se analiza a continuación, haría que los vectores de lentes J correlacionados contaran dos veces la varianza.
Intervenciones en el Espacio J
Para definir intervenciones en representaciones del espacio J que sean computacionalmente manejables en la práctica, los investigadores de Anthropic se basan en un marco de regresión lineal simple, evitando la proyección exacta NP-hard sobre el espacio J. Examinemos esto en detalle.
El objetivo práctico de una intervención es intercambiar un concepto activo en el espacio J por otro. Definimos una matriz de dos columnas que contiene los vectores de origen y de destino:
Calcular la proyección ortogonal de una representación h en este subespacio bidimensional se reduce a resolver un problema de regresión lineal:
con la proyección resultante dada por:
Esta proyección se calcula explícitamente utilizando la pseudoinversa de Moore-Penrose:
Sustituir un concepto por otro en el espacio J simplemente equivale a permutar los componentes de c:
Al reemplazar el espacio J, que es una variedad cónica, por un subespacio lineal 2D, la costosa optimización se reemplaza por una expresión de forma cerrada, ideal para manipulaciones causales específicas.
Queda por demostrar que esta intervención de hecho se aproxima al intercambio de los coeficientes exactos de la descomposición dispersa en (9).
Supongamos que los índices ‘s’ y ‘t’ pertenecen al conjunto activo S. Usando (13), podemos escribir sin ninguna aproximación:
Por lo tanto, necesitamos establecer que los coeficientes de regresión para los dos vectores intercambiados se aproximan mucho a los coeficientes exactos:
De (16) y (18), tenemos:
Primero, demostramos la igualdad estricta para el último término de (20):
El argumento es geométrico. Debido a que los vectores asociados con los conceptos de origen y destino están activos, sus coeficientes en la proyección cónica (9) son estrictamente positivos. Por tanto, una pequeña perturbación en cualquier dirección permanece dentro del cono. Formalmente, ya que:
resulta que:
Dado que la proyección minimiza la distancia entre la representación original y los puntos del cono, diferenciar esta distancia a lo largo del vector fuente o objetivo debe dar cero:
Esto da la condición de desaparición exacta reclamada en (21) cuando se usa (16):
En cuanto al segundo término en (20), su desaparición es sólo aproximada, basándose en (5) a través del lema de concentración de Lévy:
que establece (19), confirmando que el uso de la regresión lineal utilizada para intercambiar dos conceptos en el espacio J proporciona una buena aproximación a una permutación exacta de coeficientes.
Este razonamiento supone, sin embargo, que los vectores fuente y destino corresponden a conceptos razonablemente distintos. De lo contrario, los vectores se vuelven casi colineales, lo que hace que la pseudoinversa en (16) esté mal planteada a medida que la matriz de Gram se acerca a la singularidad:
lo que desestabiliza los coeficientes c e incluso puede producir valores negativos, provocando que el vector resultante escape fuera del cono del espacio J.
Con esto concluye nuestra breve excursión al álgebra lineal del espacio J.