La geometría de la pereza: lo que los ángulos revelan sobre las alucinaciones de la IA

sobre un fracaso que se convirtió en algo interesante.

Durante meses, yo (junto con cientos de personas más) he intentado construir una red neuronal que pudiera aprender a detectar cuándo los sistemas de inteligencia artificial alucinan, cuando generan con confianza tonterías que suenan plausibles en lugar de interactuar realmente con la información que se les proporciona. La idea es sencilla: entrenar un modelo para que reconozca las firmas sutiles de la fabricación en cómo responden los modelos de lenguaje.

Pero no funcionó. Los detectores aprendidos que diseñé colapsaron. Encontraron atajos. Fallaron en cualquier distribución de datos ligeramente diferente a la del entrenamiento. Cada enfoque que probé chocó contra la misma pared.

Entonces dejé de “aprender”. Y comencé a pensar, ¿por qué no convertimos esto en un problema de geometría? Y esto es lo que hice.

Copia de seguridad

Antes de entrar en la geometría, déjame explicarte a qué nos enfrentamos. Porque “alucinación” se ha convertido en uno de esos términos que significan todo y nada. Aquí está la situación específica. Tiene un sistema de generación aumentada de recuperación: un sistema RAG. Cuando le hace una pregunta, primero recupera documentos relevantes de alguna base de conocimientos. Luego genera una respuesta que se supone debe estar basada en esos documentos.

La promesa: respuestas respaldadas por fuentes. La realidad: a veces el modelo ignora por completo las fuentes y genera algo que suena razonable pero que no tiene nada que ver con el contenido recuperado.

Esto es importante porque el objetivo de RAG es la confiabilidad. Si quisieras improvisación creativa, no te molestarías en recuperarla. Está pagando el costo computacional y de latencia de la recuperación específicamente porque desea respuestas fundamentadas.

Entonces: ¿podemos saber cuándo falló la conexión a tierra?

Oraciones sobre una esfera

Los LLM representan texto como vectores. Una oración se convierte en un punto en un espacio de alta dimensión: 768 dimensiones de incrustación para los primeros modelos, aunque el número específico no importa mucho (DeepSeek-V3 y R1 tienen un tamaño de incrustación de 7168). Estos vectores de incrustación están normalizados. Cada oración, independientemente de su longitud o complejidad, se proyecta en una esfera unitaria.

Figura 1: Geometría semántica de puesta a tierra. En la esfera de incrustación S^{d-1}, las respuestas válidas r (azul) parten de la pregunta q hacia el contexto recuperado c; Las respuestas alucinadas (rojo) se mantienen cerca de la pregunta. SGI captura esto como una proporción de distancias angulares: las respuestas con SGI > 1 viajaron hacia sus fuentes. Imagen del autor.

Una vez que pensamos en esta proyección, podemos jugar con ángulos y distancias en la esfera. Por ejemplo, esperamos que oraciones similares se agrupen. “El gato se sentó en la alfombra” y “Un felino descansó en la alfombra” terminan uno cerca del otro. Las oraciones no relacionadas terminan muy separadas. Esta agrupación es la forma en que se entrenan los modelos de integración.

Consideremos ahora lo que sucede en RAG. Tenemos tres fragmentos de texto (Figura 1):

La pregunta, q (un punto de la esfera) El contexto recuperado, c otro punto) La respuesta generada, r (un tercer punto)

Tres puntos de una esfera forman un triángulo. Y los triángulos tienen geometría (Figura 2).

La hipótesis de la pereza

Cuando un modelo utiliza el contexto recuperado, ¿qué debería suceder? La respuesta debe partir de la pregunta y avanzar hacia el contexto. Debe recoger el vocabulario, el encuadre y los conceptos del material original. Geométricamente implica que la respuesta debe estar más cerca del contexto que de la pregunta (Figura 1).

Pero cuando un modelo alucina (cuando ignora el contexto y genera algo a partir de su propio conocimiento paramétrico), la respuesta permanece en el vecindario de la pregunta. Continúa el marco semántico de la pregunta sin aventurarse en territorio desconocido. A esto lo llamé pereza semántica. La respuesta no viaja. Se queda en casa. La Figura 1 ilustra la firma de la pereza. La pregunta q, el contexto c y la respuesta r forman un triángulo en la esfera unitaria. Una respuesta fundamentada se aventura hacia el contexto; el alucinado se queda en casa cerca de la pregunta. La geometría es de alta dimensión, pero la intuición es espacial: ¿la respuesta realmente llegó a alguna parte?

Índice de base semántica

Para medir esto, definí una proporción:

y lo llamé Semantinc Grounding Index o SGI.

Si SGI es mayor que 1, la respuesta se desvió hacia el contexto. Si SGI es menor que 1, la respuesta permaneció cerca de la pregunta, lo que significa que el modelo no puede encontrar una manera de explicar el espacio de respuestas y permanece demasiado cerca de la pregunta (una especie de estado de seguridad). La SGI tiene sólo dos ángulos y una división. Sin redes neuronales, sin parámetros aprendidos, sin datos de entrenamiento. Geometría pura.

Figura 2: Interpretación geométrica de SGI en la hiperesfera de incrustación. Las respuestas válidas (azul) parten angularmente hacia el contexto; Las alucinaciones (rojo) permanecen cerca de la pregunta: la firma semántica de la pereza. Imagen del autor.

¿Funciona realmente?

Las ideas simples necesitan validación empírica. Ejecuté esto en 5.000 muestras de HaluEval, un punto de referencia donde conocemos la verdad sobre el terreno: qué respuestas son genuinas y cuáles son alucinaciones.

Figura 3: Cinco modelos de incrustación, un patrón. Las curvas sólidas muestran respuestas válidas; las curvas discontinuas muestran alucinaciones. Las distribuciones se separan consistentemente en todos los modelos, con respuestas alucinadas agrupadas por debajo de SGI = 1 (el umbral de "quedarse en casa"). Los modelos fueron entrenados por diferentes organizaciones con datos diferentes; sin embargo, coinciden en qué respuestas viajaron hacia sus fuentes. Imagen del autor.

Realicé el mismo análisis con cinco modelos de integración completamente diferentes. Diferentes arquitecturas, diferentes procedimientos de formación, diferentes organizaciones: Sentence-Transformers, Microsoft, Alibaba, BAAI. Si la señal fuera un artefacto de un espacio de incrustación particular, estos modelos no estarían de acuerdo. No estuvieron en desacuerdo. La correlación promedio entre modelos fue r = 0,85 (de 0,80 a 0,95).

Figura 4. Correlación entre los diferentes modelos y arquitecturas utilizadas en el experimento. Imagen del autor.

Cuando las matemáticas predijeron algo

Hasta este punto, tenía una heurística útil. Las heurísticas útiles están bien. Pero lo que ocurrió después convirtió una heurística en algo más basado en principios. La desigualdad del triángulo. Probablemente recuerdes esto de la escuela: la suma de dos lados cualesquiera de un triángulo debe ser mayor que el tercer lado. Esta restricción también se aplica a las esferas, aunque la fórmula parece ligeramente diferente.

La desigualdad del triángulo esférico limita los valores SGI admisibles. Imagen del autor.

Si la pregunta y el contexto están muy juntos (semánticamente similares), entonces no hay mucho “espacio” para que la respuesta los diferencie. La geometría obliga a que los ángulos sean similares independientemente de la calidad de la respuesta. Los valores de la SGI se reducen hacia 1. ¿Pero cuando la pregunta y el contexto están muy separados en la esfera? Ahora hay espacio geométrico para la divergencia. Las respuestas válidas pueden claramente apartarse del contexto. Las respuestas perezosas claramente pueden quedarse en casa. La desigualdad del triángulo pierde fuerza.

Esto implica una predicción:

El poder discriminativo de la SGI debería aumentar a medida que aumenta la separación entre la pregunta y el contexto.

Los resultados confirman esta predicción: aumento monótono. Exactamente como predijo la desigualdad del triángulo.

Tamaño del efecto de separación pregunta-contexto (d) AUCLBajo (similar)0,610,72Medio0,900,77Alto (diferente)1,270,83
Tabla 1: Aumento del valor del SGI con la escala de la separación del contexto de la pregunta

Esta diferencia tiene un peso epistémico. Observar el comportamiento en los datos a posteriori ofrece evidencia débil: tal comportamiento puede reflejar ruido o grados de libertad del analista en lugar de una estructura genuina. La prueba más fuerte es la predicción: derivar lo que debería suceder a partir de principios básicos antes de examinar los datos. La desigualdad del triángulo implicaba una relación específica entre θ(q,c) y el poder discriminativo. Los resultados empíricos lo confirmaron.

Donde no funciona

TruthfulQA es un punto de referencia diseñado para probar la precisión de los hechos. Preguntas como "¿Qué causa las estaciones?" con respuestas correctas (“Inclinación del eje de la Tierra”) y conceptos erróneos comunes (“Distancia desde el Sol”). Ejecuté SGI en TruthfulQA. El resultado: AUC = 0,478. Ligeramente peor que adivinar al azar.

La geometría angular captura la similitud actual. “Las estaciones son causadas por la inclinación del eje” y “Las estaciones son causadas por la distancia solar” tratan sobre el mismo tema. Ocupan regiones cercanas en la esfera semántica. Una es verdadera y la otra falsa, pero ambas son respuestas que abordan el contenido astronómico de la pregunta.

SGI detecta si una respuesta se dirigió hacia sus fuentes. No puede detectar si la respuesta acertó en los hechos. Estos son modos de falla fundamentalmente diferentes. Es un límite de alcance. Y conocer los límites de su alcance es posiblemente más importante que saber dónde funciona su método.

Lo que esto significa en la práctica

Si está construyendo sistemas RAG, SGI clasifica correctamente las respuestas alucinadas por debajo de las válidas aproximadamente el 80% de las veces, sin ningún entrenamiento ni ajuste.

Si su sistema de recuperación devuelve documentos que están semánticamente muy cerca de las preguntas, SGI tendrá un poder discriminatorio limitado. No porque esté roto, sino porque la geometría no permite diferenciación. Considere si su recuperación en realidad está agregando información o simplemente haciendo eco de la consulta. Los tamaños del efecto aproximadamente se duplicaron para las respuestas largas en comparación con las cortas. Aquí es precisamente donde la verificación humana es más cara: leer una respuesta de cinco párrafos lleva tiempo. La señalización automatizada es más valiosa exactamente donde SGI funciona mejor. La SGI detecta una retirada. La inferencia del lenguaje natural detecta contradicciones. La cuantificación de la incertidumbre detecta la confianza del modelo. Estos miden cosas diferentes. Una respuesta puede ser temáticamente comprometida pero lógicamente inconsistente, o claramente equivocada, o perezosamente correcta por accidente. Defensa en profundidad.

La cuestión científica

Tengo una hipótesis sobre por qué ocurre la pereza semántica. Quiero ser honesto: es una especulación: no he probado el mecanismo causal.

Los modelos de lenguaje son predictores autorregresivos. Generan texto token por token, cada elección condicionada a todo lo anterior. La pregunta proporciona un fuerte condicionamiento: vocabulario familiar, encuadre establecido, un vecindario semántico que el modelo conoce bien.

El contexto recuperado representa una desviación de ese vecindario. Usarlo bien requiere unir confianza: tomar conceptos de una región semántica e integrarlos en una respuesta que comenzó en otra región.

Cuando un LLM no está seguro de cómo tender un puente, el camino de menor resistencia es quedarse en casa. Los modelos generan algo fluido que continúa el encuadre de la pregunta sin aventurarse en territorio desconocido porque es estadísticamente seguro. Como consecuencia, el modelo se vuelve semánticamente vago.

Si esto es correcto, SGI debería correlacionarse con la incertidumbre del modelo interno: patrones de atención, entropía logit, ese tipo de cosas. Las respuestas con un SGI bajo deberían mostrar signos de vacilación. Ese es un experimento futuro.

Comidas para llevar

Primero: la geometría simple puede revelar estructuras que los sistemas complejos aprendidos pasan por alto. Pasé meses intentando entrenar detectores de alucinaciones. Lo que funcionó fueron dos ángulos y una división. A veces la abstracción correcta es la que expone el fenómeno más directamente, no la que tiene más parámetros. Segundo: las predicciones importan más que las observaciones. Encontrar un patrón es fácil. Derivar qué patrón debería existir a partir de los primeros principios y luego confirmarlo: así es como sabes que estás midiendo algo real. El análisis estratificado no fue el número más impresionante de este trabajo, pero sí el más importante. Tercero: los límites son características, no errores. SGI falla completamente en TruthfulQA. Ese fracaso me enseñó más sobre lo que realmente mide la métrica que los éxitos. Cualquier herramienta que pretenda funcionar en todas partes probablemente no funcione de manera confiable en ninguna parte.

Conclusión honesta

No estoy seguro de si la pereza semántica es una verdad profunda sobre cómo fallan los modelos de lenguaje, o simplemente una aproximación útil que funciona para las arquitecturas actuales. La historia del aprendizaje automático está plagada de ideas que parecían fundamentales y resultaron ser contingentes.

Pero por ahora, tenemos una firma geométrica de desconexión: un práctico detector de “alucinaciones”. Es consistente en todos los modelos integrados. Es predecible a partir de los primeros principios matemáticos. Y es barato de calcular.

Eso se siente como un progreso.

Nota: El artículo científico con metodología completa, análisis estadísticos y detalles de reproducibilidad está disponible en https://arxiv.org/abs/2512.13771.

Puedes citar este trabajo en BibText como:

@misc{marín2025semanticgroundingindexgeometric, title={Índice de fundamento semántico: límites geométricos en la interacción contextual en sistemas RAG}, autor={Javier Marín}, año={2025}, eprint={2512.13771}, archivePrefix={arXiv}, PrimaryClass={cs.AI}, URL={https://arxiv.org/abs/2512.13771}, }

Javier Marín es un investigador de IA independiente con sede en Madrid que trabaja en la evaluación de la confiabilidad de los sistemas de IA de producción. Intenta ser honesto sobre lo que no sabe. Puedes contactar con Javier en [email protected]. ¡Cualquier contribución será bienvenida!

Referencias

Azaria, A. y Mitchell, T. (2023). El estado interno de un LLM sabe cuándo miente. En Hallazgos de la Asociación de Lingüística Computacional: EMNLP 2023, páginas 967–976. Bao, F., Chen, Y. y Wang, X. (2025). FaithBench: un punto de referencia de alucinaciones diversas para resumir por parte de los LLM modernos. Preimpresión de arXiv arXiv:2501.00942. Bridson, MR y Haefliger, A. (2013). Espacios métricos de curvatura no positiva, volumen 319 de Grundlehren der mathematischen Wissenschaften. Springer-Verlag, Berlín. Catak, FO, Kuzlu, M. y Guler, O. (2024). Cuantificación de la incertidumbre en grandes modelos lingüísticos mediante análisis de casco convexo. Preimpresión de arXiv arXiv:2406.19712. Firth, JR (1957). Una sinopsis de la teoría lingüística, 1930-1955. En Estudios de análisis lingüístico, páginas 1–32. Blackwell, Oxford. Pescador, RA (1953). Dispersión en una esfera. Actas de la Royal Society de Londres. Serie A, 217(1130):295–305. Guu, K., Lee, K., Tung, Z., Pasupat, P. y Chang, M.-W. (2020). REALM: Entrenamiento previo del modelo de lenguaje de recuperación aumentada. En Actas de la 37ª Conferencia Internacional sobre Aprendizaje Automático, páginas 3929–3938. Huang, L., Yu, W., Ma, W., Zhong, W., Feng, Z., Wang, H., Chen, Q., Peng, W., Feng, X., Qin, B. y Liu, T. (2023). Una encuesta sobre alucinaciones en modelos lingüísticos grandes: principios, taxonomía, desafíos y preguntas abiertas. Transacciones ACM sobre sistemas de información. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, YJ, Madotto, A. y Fung, P. (2023). Estudio de las alucinaciones en la generación del lenguaje natural. Encuestas de informática ACM, 55(12):1–38. Kovács, Á. y Recski, G. (2025). LettuceDetect: un marco de detección de alucinaciones para aplicaciones RAG. Preimpresión de arXiv arXiv:2502.17125. 10 UNA PREIMPRESIÓN — 15 DE DICIEMBRE DE 2025 Kuhn, L., Gal, Y. y Farquhar, S. (2023). Incertidumbre semántica: invarianzas lingüísticas para la estimación de la incertidumbre en la generación del lenguaje natural. En La Undécima Conferencia Internacional sobre Representaciones del Aprendizaje. Li, X., Wang, Y. y Chen, Z. (2025). Estimación del volumen semántico para la cuantificación de la incertidumbre en modelos lingüísticos. Preimpresión de arXiv arXiv:2501.08765. Meng, Y., Huang, J., Zhang, G. y Han, J. (2019). Incrustación de texto esférico. En Avances en sistemas de procesamiento de información neuronal, volumen 32, páginas 8208–8217. Pestov, V. (2000). Sobre la geometría de la búsqueda de similitudes: maldición de la dimensionalidad y concentración de la medida. Cartas de procesamiento de información, 73(1–2):47–51. Wang, T. e Isola, P. (2020). Comprender el aprendizaje de representaciones contrastantes a través de la alineación y la uniformidad en la hiperesfera. En Actas de la 37ª Conferencia Internacional sobre Aprendizaje Automático, páginas 9929–9939.