Los resumidores de LLM se saltan el paso de identificación

toma un intercambio de cinco minutos y devuelve ocho secciones limpias. Decisiones. Elementos de acción. Riesgos. Preguntas abiertas. Cada sección se lee como si hubiera sido escrita por alguien que estaba prestando atención.

Sin embargo, lea la transcripción subyacente y descubrirá que dos de esas secciones se infirieron a partir de una sola oración ambigua, una fue inventada por completo y tres coincidieron con el patrón del modelo anterior sobre lo que debe contener un resumen de la reunión. Confiado, formateado, estructuralmente indistinguible de un resumen de una reunión donde esas cosas realmente sucedieron.

Éste no es un problema de alucinaciones en el sentido habitual. El modelo no está inventando un hecho sobre el mundo. Es inventar un hecho sobre la reunión. Y el modo de falla no es visible en la salida. Es simplemente un texto que suena seguro y que el lector no puede verificar fácilmente con la fuente.

Hay un nombre para este modo de falla en otro campo y es más antiguo que los modelos de lenguaje. Es lo que sucede cuando haces una estimación sin identificación.

Este artículo no es un nuevo punto de referencia de resumen. Es un argumento a favor de un patrón de diseño que no he visto tratado como la restricción de diseño central en la literatura de ingeniería de IA: tratar los resúmenes generados por LLM como reclamos estructurados sobre una fuente, exigir que cada reclamo declare su categoría de soporte y restringir las etapas de revisión para que solo puedan debilitar los reclamos no respaldados en lugar de hacer que el resultado sea más fluido. Explicaré cómo se ve eso en la práctica, qué produce y dónde se rompe.

El paso faltante

La inferencia causal es la tradición analítica que formaliza la diferencia entre identificar una cantidad y estimarla. La identificación es el argumento de que los datos que tienes pueden respaldar la afirmación que quieres hacer. La estimación es el procedimiento que produce un número una vez establecida la identificación. El pedido no es negociable. No se puede estimar un efecto de tratamiento que no haya argumentado primero que es identificable a partir de sus datos de observación, porque el número resultante no tiene sentido. Parece un efecto. No es un efecto.

Los profesionales que trabajan en entornos de observación dedican una fracción sustancial de su tiempo a la identificación. Dibujan gráficos causales. Discuten sobre factores de confusión. Distinguen entre lo que los datos pueden respaldar y lo que no pueden respaldar. El paso de estimación, cuando finalmente llega, suele ser la parte fácil.

Ahora considere lo que hace un resumidor de LLM. Recibe una transcripción. Produce afirmaciones estructuradas sobre el contenido de esa transcripción: decisiones tomadas, compromisos aceptados, riesgos planteados, próximos pasos asignados. Cada afirmación es, en un sentido real, una estimación de una cantidad latente. La decisión se tomó o no. El compromiso fue aceptado o no. El resumen afirma un valor para cada una de estas cantidades.

No hay ningún paso de identificación. El modelo no pregunta si la transcripción contiene evidencia suficiente para respaldar la afirmación. Produce el reclamo porque el formato lo requiere.

El resumen de LLM se comporta como un análisis observacional, pero a menudo se implementa sin nada parecido a un paso de identificación.

La literatura sobre ingeniería de IA no ha guardado silencio sobre el problema subyacente. Detección de alucinaciones, incertidumbre calibrada, predicción y abstención selectivas, fundamento de RAG, verificación de citas, coherencia de los hechos y verificación de afirmaciones: cada una de ellas es una línea de trabajo seria y cada una aborda una capa real del fracaso. Lo que tienen en común es que tratan la fabricación como un comportamiento modelo que debe medirse, calificarse o suprimirse después del hecho.

La identificación es una capa diferente. No califica el resultado por su confiabilidad. Cambia lo que el modelo puede afirmar en primer lugar al exigir que cada afirmación declare qué es y de dónde proviene. Las dos capas son complementarias. Una tubería que realiza una buena identificación aún se beneficia del trabajo de calibración y conexión a tierra aguas abajo. Un oleoducto que solo hace el trabajo posterior está filtrando resultados que nunca deberían haberse producido en la forma en que se produjeron.

Cómo se ve la identificación para una transcripción

La identificación en datos de observación es una cuestión de qué pueden respaldar los datos. La identificación para una transcripción es la misma pregunta, limitada a una fuente específica. Dada esta transcripción, ¿qué se puede observar directamente, qué se puede inferir con supuestos establecidos y qué no se puede respaldar en absoluto?

Ese es todo el movimiento. Cada afirmación que produzca un resumidor debe declarar a cuál de esas tres categorías pertenece. Las afirmaciones observadas apuntan a un tramo específico de la transcripción y no afirman nada más allá de lo que dice ese tramo. Las afirmaciones inferidas declaran la suposición que se hace y la evidencia que la inferencia está uniendo. Las recomendaciones declaran que son sugerencias del modelo, no decisión de los participantes.

Un resumidor que no puede colocar un reclamo en una de esas categorías no tiene por qué producir el reclamo. El resultado correcto en ese caso no es un reclamo más fluido. No es ningún reclamo.

Esto resulta incómodo para el consumidor de resúmenes, porque significa que muchas secciones estarán vacías cuando la conversación subyacente sea escasa. Esa incomodidad es el punto. Es información. Le dice al lector que la reunión, de hecho, no produjo ocho secciones sustanciales, independientemente de lo que el resumidor quisiera escribir.

Un oleoducto que refuerza la disciplina

La arquitectura se deriva del encuadre. Tres etapas LLM y un renderizador determinista.

La primera etapa extrae hechos estructurados de la transcripción. Turnos de oradores, compromisos explícitos, decisiones explícitas, cantidades explícitas. Esta etapa es deliberadamente conservadora. Está permitido perderse cosas. No está permitido inventarlos.

La segunda etapa sintetiza esos hechos en objetos de reclamación en ocho secciones. Cada afirmación lleva una etiqueta: observada, inferida o recomendación. Cada afirmación lleva un indicador de la evidencia de los hechos extraídos. La síntesis es donde ocurre el trabajo analítico y también es donde es más probable que el modelo se desvíe.

Las auditorías de la tercera etapa. Esta es la etapa que realiza el trabajo de identificación, y la restricción es la parte del diseño que más importa.

La etapa de auditoría no puede reescribir el análisis en algo más fluido. No puede agregar una recomendación que suene mejor. No puede inventar el contexto faltante.

Se le asigna un conjunto limitado de operaciones y se le prohíbe hacer cualquier otra cosa. Puede eliminar un reclamo. Puede degradar una afirmación de observada a inferida, o de inferida a recomendación. Puede mover un reclamo a una sección más apropiada. Puede reemplazar un reclamo con un marcador de posición explícito de evidencia insuficiente. Puede colapsar una sección entera cuando nada de su contenido sobrevive a la revisión.

La operación replace_with_insufficient_evidence merece su propia línea. Es el sistema, literalmente, escribiendo un marcador de posición en la salida donde solía estar una afirmación segura. Se trata de una labor de identificación operativa. El lector ve, en prosa, exactamente dónde la etapa de síntesis produjo una afirmación que la fuente no pudo respaldar.

Por qué es importante la asimetría. Un revisor al que se le permite mejorar el análisis se convierte en otra fuente del mismo problema que el sistema está tratando de resolver. Un revisor al que sólo se le permite debilitar o eliminar sólo puede fallar en una dirección: siendo demasiado cauteloso. Ése es un modo de fracaso tolerable. Lo contrario no lo es.

Lo que el diseño produce y lo que se niega a producir

Este no es un punto de referencia. Es una pequeña prueba de estrés basada en dispositivos diseñada para verificar si la arquitectura produce el comportamiento para el que fue construida. Tres transcripciones no son suficientes para hacer afirmaciones generales sobre el resumen de LLM. Son suficientes para comprobar si una elección de diseño específica tiene las consecuencias que el diseño predijo.

Los eventos son: una reunión de decisión en la que se seleccionó un modelo de fijación de precios entre tres alternativas reales, una sesión de trabajo en la que surgió un problema de medición sin resolverlo y una pequeña sincronización de dos personas que casi no contenía contenido de decisión.

Lo que no pasó. En los tres tramos, el oleoducto no produjo compromisos inventados ni cantidades no fundamentadas. Esto es para lo que la arquitectura está diseñada para hacer más difícil. Un reclamo no puede sobrevivir al proceso si no tiene un indicador de evidencia, y la etapa de auditoría no puede fabricar evidencia para mantener vivo un reclamo. El resultado no es una garantía. El renderizador determinista es la única etapa que da garantías. La extracción, la síntesis y la auditoría siguen siendo llamadas de LLM y aún pueden fallar. El punto es que la arquitectura empuja sus fallas hacia la eliminación en lugar de hacia la fabricación, y los accesorios son consistentes con eso.

¿Qué pasó? El resultado que me parece más interesante es la tasa de abstención.

En la reunión de decisión rica, el proceso dejó el diecisiete por ciento de los espacios de sección vacíos o reemplazados con el marcador de posición de evidencia insuficiente. Durante la sesión de trabajo la cifra aumentó al veinticinco por ciento. En la sincronización delgada, alcanzó el cincuenta y ocho por ciento. El sistema produjo aproximadamente tres veces y media más secciones vacías cuando la señal de entrada era escasa en comparación con cuando era rica.

Ese es el comportamiento que el diseño intenta producir. Un resumidor que llena las mismas ocho secciones independientemente de las entradas no está resumiendo. Está generando resultados que se ajustan a una plantilla. La plantilla hace el trabajo y el modelo es el acabado cosmético.

Un resumidor que se abstiene en proporción a la delgadez de la entrada está haciendo algo diferente. Es tratar la transcripción como una fuente cuyo contenido varía y dejar que esa variación aparezca en el resultado. Las secciones vacías no son fallos del modelo. Son el modelo que se niega a afirmar lo que la fuente no respalda.

Leyendo el resultado. Las etiquetas no son decoración. Cambian lo que el lector hace con el resultado. Una afirmación observada invita a la verificación de la transcripción. Una afirmación inferida invita a examinar el supuesto que la produjo. Un marcador de posición de evidencia insuficiente invita al lector a mirar la fuente por sí mismo o aceptar que la reunión, de hecho, no produjo una afirmación de esa forma.

La objeción del consumidor.

Existe el argumento de que las secciones vacías son un problema de usabilidad. El lector esperaba un resumen. El lector obtuvo un resumen parcial con lagunas explícitas. El lector tiene que trabajar más.

Esa objeción merece una respuesta directa. El lector que obtuvo un resumen fluido de ocho secciones de un intercambio de cinco minutos ya estaba trabajando más, aunque de manera invisible. Iban a leer el resumen, actuar en consecuencia y, en algún momento, descubrirían que dos de las acciones en realidad no fueron acordadas y que uno de los riesgos nunca se planteó. El costo de ese descubrimiento es alto. Se paga en reuniones mal asignadas, compromisos incumplidos y la lenta erosión de la confianza en las herramientas.

El vacío honesto hace avanzar el costo. El lector ve la brecha inmediatamente y puede decidir cómo manejarla. Abra la transcripción. Pregúntele a un participante. Trate la reunión como no concluyente. Cada una de ellas es una mejor respuesta que actuar basándose en un resumen seguro que se generó a partir de una confianza que la fuente no se ganó.

Esto es lo mismo que hacen los analistas de observación del comercio cuando se niegan a informar una estimación puntual sin identificación. El consumidor preferiría un número. El analista declina. La decisión que el consumidor toma sin ningún número es, en promedio, mejor que la decisión que habría tomado con un número que los datos no podrían respaldar.

Generalizando el patrón

La arquitectura se transfiere. Cualquier flujo de trabajo de LLM que produzca afirmaciones estructuradas a partir de una fuente puede reformularse como un análisis observacional y recibir una capa de identificación.

Revisión de documentos para descubrimiento legal. Resumen de notas del paciente. Análisis de llamadas de clientes. Resúmenes de revisión de código. Cada uno de estos se implementa actualmente como un problema de generación de una sola vez, con un modelo que produce resultados estructurados desde una fuente y el consumidor confía en el resultado. Cada uno de ellos tiene una versión del mismo modo de falla que tiene el resumidor de reuniones, y cada uno puede hacerse más auditable con una arquitectura similar: una etapa de extracción que es conservadora acerca de lo que extrae de la fuente, una etapa de síntesis que produce afirmaciones etiquetadas con indicadores de evidencia y una etapa de auditoría en la que se prohíbe agregar o fortalecer nada. La implementación y el perfil de riesgo difieren entre estos dominios. El patrón se transfiere. Los detalles no.

Las etiquetas y los indicadores de evidencia no son características opcionales. Son el paso de identificación operativo. Un reclamo sin etiqueta no es identificable. Una afirmación sin un indicador de evidencia no puede ser auditada. La restricción de debilitamiento monótono de la etapa de auditoría es lo que impide que el trabajo de identificación sea deshecho por un modelo que quiere producir resultados más fluidos.

Qué significa esto para las personas que construyen estos sistemas

Las estimaciones de incertidumbre calibradas son valiosas. Los puntos de referencia de alucinaciones son valiosos. El trabajo de fundamentación y citación es valioso. Ninguno de ellos sustituye la disciplina de negarse a presentar una afirmación que la fuente no respalda.

Esa disciplina falta en muchos sistemas LLM, en parte por razones culturales. El campo surgió del aprendizaje automático, donde el objetivo de un modelo es producir un resultado para cada entrada. La noción de que el resultado correcto a veces es no producir ningún resultado no es ajena a la literatura, pero sí lo es a la disposición por defecto de un modelo generativo entrenado para completar lo que viene a continuación. Sin embargo, es nativo del análisis observacional, donde la respuesta correcta a muchas preguntas es que los datos no pueden respaldar una respuesta.

Por lo tanto, es posible que las técnicas para hacer que los sistemas analíticos de LLM sean confiables no provengan principalmente de la literatura de LLM. Pueden provenir de disciplinas que ya han descubierto lo que significa hacer un análisis honesto en condiciones donde la fuente es la restricción vinculante. La inferencia causal es una de esas disciplinas. La metodología de la encuesta es otra. La contabilidad forense es otra.

Las personas que ya saben cómo negarse a realizar estimaciones sin identificación tienen un punto de vista inusualmente bueno sobre lo que está mal con las herramientas analíticas actuales de LLM y qué hacer al respecto.

La inferencia causal enseñó a una generación de profesionales a no estimar lo que no habían identificado primero. Los resumidores de LLM cometen el mismo error, solo que en prosa en lugar de números. La solución no es sólo un modelo mejor. La solución es dar marcha atrás al paso que el análisis observacional nunca abandonó y reforzarlo con una arquitectura de la que no se pueda disuadir de hacer lo correcto.

Algunas trampas finales

Tratar las etiquetas como cosméticas. Si las etiquetas no se aplican en sentido ascendente, son decoración. Deben asignarse en la síntesis con un puntero a la evidencia y auditarse posteriormente con respecto a ese puntero. Una etapa de síntesis que produce una etiqueta sin un indicador de evidencia no realiza trabajo de identificación. Está produciendo una categoría que parece identificación. Dejar que la etapa de auditoría sea útil. Este es el error fácil. Un revisor que pueda agregar una recomendación, proporcionar el contexto faltante o reescribir una afirmación torpe se siente útil. También es exactamente el modo de falla que ya tiene la etapa de síntesis, simplemente disfrazado de control de calidad. Limitar la auditoría a un conjunto fijo de operaciones debilitantes. Cualquier otra cosa es el sistema discutiendo consigo mismo. Confundir abstención con baja calidad. Un resumidor que devuelve secciones en su mayoría vacías en una reunión escasa no está fallando. Un resumidor que arroja resultados seguros de ocho secciones en la misma reunión delgada está fallando, aunque sea de manera invisible. La forma de evaluar estos sistemas no es la integridad del resumen, sino si la tasa de abstención aumenta con la señal en la fuente. Razonamiento desde tres puntos fijos hasta afirmaciones generales. Tres transcripciones son suficientes para comprobar si una elección de diseño produce el comportamiento para el que fue construida. No son suficientes para hacer afirmaciones sobre el resumen de LLM en general. Si crea una versión de esto, necesitará su propio conjunto de accesorios y su propia definición de lo que cuenta como el nivel correcto de abstención para su caso de uso.

La asimetría que importa

Un oleoducto que sólo puede debilitar sus resultados tiene un único modo de falla: puede ser demasiado cauteloso. Un oleoducto que puede fortalecer sus resultados tiene todos los modos de falla que la literatura ha estado documentando durante los últimos años.

Elegir el primer tipo en lugar del segundo no es una decisión técnica. Es una decisión sobre para qué sirve el sistema. Si el sistema es para producir texto fluido, el segundo tipo gana en todas las métricas. Si el sistema sirve para producir afirmaciones que un lector pueda auditar antes de actuar, sólo el primer tipo es defendible.

La mayoría de las herramientas actuales se construyen para el primer objetivo y se implementan como si se hubieran construido para el segundo. Tratar esa brecha como un problema metodológico en lugar de un problema de calidad del modelo es lo que cambia los remedios disponibles.

El repositorio, el instrumento de evaluación y los resultados de ejemplo están disponibles en GitHub. El cuaderno completo recorre una transcripción a través de cada etapa y ejecuta el arnés de evaluación en los tres partidos.

Staff Data Scientist se centró en la inferencia causal, la experimentación y la ciencia de la toma de decisiones. Escribo sobre cómo convertir preguntas comerciales ambiguas en análisis listos para tomar decisiones.

Más como este en LinkedIn 👇

🔗 LinkedIn