en el arnés de evaluación. Luego lo cerraron.
Estuve en la sala para la revisión que lo mató. Una empresa SaaS del mercado medio había creado un agente de operaciones con clientes para manejar la facturación y los tickets de cuentas. Lo habían instrumentado según el marco de evaluación de doce métricas que publiqué en este sitio hace dos meses. Finalización de tareas, fidelidad, precisión de recuperación, precisión de llamada de herramientas, latencia, tasa de alucinaciones. Cada métrica estaba dentro de su banda objetivo. El agente, según todos los indicadores del arnés, estaba funcionando.
La directora financiera abrió su computadora portátil y puso un número en la pantalla. El costo por ticket resuelto, incluidos los tickets que el agente intentó y no pudo resolver, era mayor que lo que la empresa había estado pagando a los humanos para que hicieran el mismo trabajo. No por un error de redondeo. El flujo de trabajo asistido por agentes le estaba costando a la empresa más por ticket resuelto que el flujo de trabajo totalmente humano que se suponía debía reemplazar.
El jefe de ingeniería retrocedió. Cada métrica de calidad es verde, dijo. El agente es más preciso que el equipo en los mismos tipos de tickets. Eso era cierto. En esa habitación también era irrelevante. El agente fue preciso y económico bajo el agua, y el arnés de evaluación no tenía ninguna métrica que pudiera ver la segunda mitad de esa frase.
Yo construí ese arnés. Mantengo las doce métricas. Pero me equivoqué en algo, y dos meses de ver a los equipos desplegarse contra él han hecho que la brecha sea imposible de ignorar. El arnés mide si el agente tiene razón. No mide si el agente se paga por sí mismo. En 2026, esa segunda pregunta es la que decide qué agentes se quedan en producción, y no está en el marco.
Esta pieza es la métrica que debería haber incluido, por qué es más difícil de medir de lo que parece y qué hacen los equipos cuando el número vuelve a estar bajo el agua.
Lo que mide el arnés y la mitad que le falta
El arnés de doce métricos fue construido para responder a una pregunta específica: ¿este agente se está comportando correctamente en producción? Cubre los modos de falla que hacen que un agente se equivoque. Recuperación que emerge en el contexto equivocado. Generación que alucina. Llamadas a herramientas que construyen malos argumentos. Bucles de razonamiento que nunca terminan. Resultados que se desvían de la intención del usuario. Cada métrica aísla una forma en que el agente puede producir un resultado incorrecto y, en conjunto, le brindan una lectura defendible sobre la calidad.
Cada una de esas métricas es una métrica de calidad. Ninguno de ellos es una métrica económica.
Esto no parecía un vacío cuando escribí el marco. La calidad era el problema difícil. El costo parecía un detalle operativo que se podía leer en un panel de facturación cuando lo deseaba. Los costos de los tokens caían cada trimestre. La narrativa a principios de 2026 era que la inferencia se estaba volviendo más barata y que el verdadero desafío era la confiabilidad. Mida la calidad, se pensaba, y la economía se cuidará sola.
La economía no se cuidó sola. Los costos de inferencia por token siguieron cayendo, pero las arquitecturas de agentes se volvieron hambrientas más rápido de lo que los tokens se abarataron. Una resolución de agente único en 2026 no es una llamada modelo. Es un paso del plan, varias llamadas a herramientas, algunos pases de razonamiento, a veces un ciclo de autocrítica, a veces un reintento después de una llamada fallida a una herramienta y una síntesis final. El precio del token bajó y los tokens por resolución aumentaron, y en muchos flujos de trabajo ganó el segundo efecto.
Ésa es la razón estructural por la que un arnés de calidad induce a error. Le indica que el agente es bueno en el trabajo. No dice nada acerca de si vale la pena realizar el trabajo realizado de esta manera. Un agente puede sentarse cómodamente dentro de cada banda de calidad del marco y aun así perder dinero en cada unidad de trabajo que completa. El arnés le mostrará todo en verde mientras la economía unitaria sangra, porque el arnés nunca apuntó a la economía unitaria.
La métrica: costo por resultado exitoso
La métrica que necesitaba el arnés es el costo por resultado exitoso. Sin coste por llamada. Sin costo por token. No precisión. El costo total de producir un resultado comercial exitoso, dividido por el número de resultados exitosos.
La palabra que hace el trabajo en esa definición es exitosa. El costo por llamada es fácil y engañoso. El costo por resultado exitoso es difícil y honesto, y la diferencia entre ellos es dónde salió mal la economía de la empresa SaaS.
Aquí está la aritmética que mató a su agente, con los números redondeados para proteger al cliente pero la estructura intacta.
El agente intentó cada ticket entrante. Cada intento cuesta alrededor de 3,40 dólares en inferencia completa: los pases de razonamiento, las llamadas de la herramienta a su sistema de facturación, los reintentos, la síntesis. El agente resolvió el 71 por ciento de las multas en un bar de calidad que el arnés de evaluación confirmó que era alto. El otro 29 por ciento pasó a ser humano después de intentarlo.
Toma mil boletos. El agente gasta $3,400 intentándolos todos. Resuelve 710 y escala 290. Esas 290 escaladas luego van a un agente humano a aproximadamente $4.20 de costo cargado cada una, otros $1,218. La empresa pagó 4.618 dólares para resolver mil tickets que habrían costado 4.200 dólares solo con humanos. El flujo de trabajo asistido por agentes era un 10 por ciento más caro que el flujo de trabajo al que reemplazó.
Ahora calcule la métrica que importa. El costo por resultado exitoso del agente no es los $3,40 por intento que aparece en el panel de inferencia. Es el gasto total del agente dividido por las resoluciones exitosas: $3400 sobre 710, lo que equivale a $4,79 por ticket resuelto. Cada ticket que el agente resolvió con éxito costó efectivamente $4,79, porque el costo de los intentos que fallaron y se intensificaron debe ser sufragado por los intentos que tuvieron éxito. Un humano resolvió el mismo ticket por $4,20. El agente era más preciso y cincuenta y nueve centavos más caro por cada éxito, incluso antes de contar el doble pago en las escaladas.
El arnés de evaluación obtuvo una tasa de resolución del 71 por ciento en alta calidad y reportó éxito. El director financiero vio el costo real de un ticket resuelto por encima de la base humana e informó el fracaso. Ambos tenían razón. Estaban midiendo cosas diferentes y sólo una de esas cosas determinaba si el agente sobrevivía.
Por qué es más difícil de medir de lo que parece
Si el costo por resultado exitoso es la métrica que decide la supervivencia, la pregunta obvia es por qué los equipos no lo siguen. La respuesta es que es realmente difícil de calcular, en tres formas específicas que oculta un panel de costo por llamada.
La primera es la atribución de intentos fallidos. El costo de un resultado exitoso incluye el costo de los fracasos en el camino hacia él. Cuando un agente intenta un ticket, gasta $3,40 en razonamiento y llamadas de herramientas, y luego aumenta, esos $3,40 no produjeron un resultado exitoso, pero son un costo real de ejecutar el sistema que produce resultados exitosos. No se puede calcular honestamente el costo por éxito sin distribuir el costo del intento fallido entre los éxitos. La mayoría de los equipos calculan el costo por llamada, ven un número cómodo y nunca hacen la división que revela la cifra real. El número de costo por llamada y el número de costo por éxito pueden diferir en más de un factor de dos, y la brecha crece a medida que disminuye la tasa de resolución.
El segundo es el pago doble en escalada. En cualquier flujo de trabajo con presencia humana, un intento fallido de un agente no reemplaza el costo humano. Se suma a ello. La empresa paga al agente para que lo intente y luego paga al humano para que termine. Esto es lo opuesto a la intuición de que los agentes reducen los costos desviando el trabajo. Por debajo de una determinada tasa de resolución, la desviación ahorra menos de lo que cuestan los intentos fallidos y el agente se convierte en un impuesto sobre el flujo de trabajo humano en lugar de un sustituto del mismo. Si está por encima o por debajo de esa línea es invisible a menos que mida el costo por resultado exitoso con respecto a la línea de base humana.
La tercera es que el valor comercial de un resultado a menudo no es una cifra clara. El costo por resultado exitoso sólo significa algo en comparación con lo que vale un resultado exitoso. Para un ticket de soporte, el valor es el costo cargado de la alternativa humana, que se puede conocer. Para un agente que califica una oportunidad de venta, redacta una cláusula de contrato o clasifica una alerta de seguridad, el valor de un resultado exitoso es un ejercicio de modelado, no una búsqueda. Los equipos evitan la métrica en parte porque el denominador es difícil y el lado del valor es más difícil. Pero evitarlo no significa que la economía desaparezca. Simplemente significa que usted se enterará a través de un director financiero en una revisión en lugar de hacerlo a través de un panel de control a tiempo para actuar.
Ninguna de estas son razones por las que la métrica no importa. Estas son las razones por las que se omite, y omitirlo es exactamente como un agente preciso termina cerrado.
El umbral que decide la supervivencia
Una vez que pueda calcular el costo por resultado exitoso, la prueba de supervivencia es una comparación única. El costo por resultado exitoso debe ubicarse por debajo del valor comercial de ese resultado, con un margen suficiente para justificar los gastos operativos de ejecutar el agente.
Para la empresa SaaS, el valor comercial de un ticket resuelto fue el costo humano cargado que desplazó, alrededor de $4,20. Su costo por resultado exitoso fue de $4,79. El agente estaba bajo el agua por cincuenta y nueve centavos en cada resolución exitosa, y el sistema en su conjunto estaba bajo el agua una vez que se agregaba el pago doble escalado. No había margen para discutir. El agente estaba perdiendo dinero con sus ganancias.
El umbral tiene una propiedad que hace que sea peligroso ignorarlo tempranamente. Se mueve en tu contra a medida que el flujo de trabajo aumenta, no contigo. La intuición del software tradicional es que los costos unitarios caen con la escala. Los costos unitarios de los agentes a menudo no lo hacen, porque cada unidad de trabajo es su propia ejecución de inferencia y no se abarata porque se hagan más. Si su costo por resultado exitoso está marginalmente por encima de la línea de valor a escala piloto, escalar la implementación no lo rescata. Multiplica la pérdida. Esto es lo opuesto a la curva de escalamiento de SaaS que la mayoría de los equipos llevan en la cabeza, y es por eso que un agente que mira lo suficientemente cerca del piloto puede convertirse en una partida de seis cifras que financia banderas antes de los avisos de ingeniería.
Los equipos que mantienen a sus agentes en producción no son los que tienen mejores métricas de calidad. Son aquellos cuyo costo por resultado exitoso se sitúa cómodamente por debajo del valor del resultado, y tienen margen de sobra. Se trata de un criterio de selección diferente al que aplica el método de evaluación y explica por qué los agentes que sobreviven un año en producción con frecuencia no son los más sofisticados. Son los que se implementan en flujos de trabajo donde un resultado exitoso vale lo suficiente para cubrir lo que cuesta un éxito.
¿Qué hacen los equipos cuando el número vuelve bajo el agua?
Un costo bajo por resultado exitoso no es automáticamente una sentencia de muerte. Es una señal de que el flujo de trabajo, la arquitectura o el alcance de la implementación deben cambiar. Hay palancas reales y hay una trampa específica.
La primera palanca es reducir el costo por intento sin tocar la tasa de resolución. La mayoría de los agentes en 2026 tendrán un exceso de provisiones para la tarea mediana. Ejecutan la misma cadena de razonamiento profundo y el mismo conjunto completo de herramientas tanto en los tickets fáciles como en los difíciles. Recortar la profundidad del razonamiento en las tareas que no lo necesitan, almacenar en caché la recuperación y los resultados de las herramientas que se repiten y recortar el presupuesto de reintentos cuando los reintentos rara vez ayudan pueden reducir significativamente el costo por intento. La empresa SaaS consiguió que su coste por intento pasara de 3,40 dólares a aproximadamente 2,30 dólares mediante este tipo de trabajo, sin modificar de forma mensurable la tasa de resolución.
La segunda palanca es aumentar la tasa de resolución sin aumentar el costo por intento, lo que distribuye el mismo gasto entre más éxitos y reduce directamente el costo por resultado exitoso. Esta es una verdadera mejora del agente y es lenta, pero es la palanca que agrava.
La tercera palanca es reducir el alcance de la implementación a los tipos de tickets en los que el costo del agente por resultado exitoso ya está por debajo de la línea de valor, y dirigir el resto a los humanos desde el principio en lugar de dejar que el agente intente y falle. Si el agente es económicamente fuerte en cuestiones de facturación y está bajo en disputas complejas, implementarlo solo en cuestiones de facturación puede darle un giro positivo a todo el sistema.
Esa tercera palanca es donde vive la trampa, y es la trampa sobre la que escribí en un artículo separado en este sitio. La forma obvia de reducir costos es dirigir el trabajo duro a un modelo más barato o alejarlo por completo del agente. Hecho con un clasificador ingenuo, que reintroduce una falla de calidad que el arnés de evaluación eventualmente detectará, y se cambia un problema económico por un problema de calidad. La palanca de costos y la palanca de calidad están acopladas. No puedes tirar de uno con fuerza sin mirar al otro. Los equipos que hacen esto bien optimizan el costo por resultado exitoso como una restricción conjunta con las métricas de calidad, no como un dial separado. Para los equipos que crean automatización del flujo de trabajo impulsada por IA a escala de producción, esa optimización conjunta es el problema de ingeniería real, y es el que ocultan los paneles de control de métrica única a ambos lados.
La empresa SaaS utilizó la primera y la tercera palanca. Obtuvieron un costo por intento de $2.30, redujeron la implementación a los tipos de boletos donde el agente era económicamente fuerte y dirigieron disputas complejas a humanos desde la admisión en lugar de después de un intento fallido del agente. El costo por resultado exitoso se redujo a aproximadamente $3,10 frente a la línea de valor de $4,20. El agente pasó de ser un diez por ciento más caro que los humanos a aproximadamente un veinticinco por ciento más barato, en un ámbito más limitado, en un nivel de calidad que el arnés aún confirmaba. Se mantuvo en producción. Sobrevivió porque alguien finalmente midió lo que decide la supervivencia y luego cambió el despliegue hasta que el número superó la línea.
La misma métrica, apuntando en otra dirección
La razón por la que quiero el costo por resultado exitoso en el marco no es que mate a los agentes. Es que es la única métrica que dice la verdad en ambas direcciones, y la segunda dirección es en la que un panel de costo por llamada se equivoca catastróficamente.
Unas semanas después de la revisión de SaaS, observé una implementación muy diferente. Un equipo de operaciones legales había creado un agente para revisar contratos comerciales para una clase específica de cláusulas de riesgo antes de que un abogado humano los aprobara. El agente gestionaba un costoso oleoducto. Ingestión de contexto prolongado del contrato completo, múltiples pases de razonamiento sobre la biblioteca de cláusulas, un paso de recuperación de líneas rojas anteriores y un pase de autocrítica antes de producir sus hallazgos. El coste por intento fue de unos dieciocho dólares. En un panel de control de costo por llamada, dieciocho dólares por llamada es el tipo de cifra que hace que un agente sea marcado para revisión de costos y restringido silenciosamente.
Había sido marcado. En la revisión trimestral del gasto en IA en la que asistí, el agente contratado era la línea marcada con un círculo rojo en la parte superior de la lista de recortes: la carga de trabajo por llamada más cara del presupuesto. El instinto en la sala fue cambiarlo a un modelo más barato y una tubería más corta. Si se hubiera seguido ese instinto, se habría destruido lo que hacía que valiera la pena ejecutar al agente.
El costo por resultado exitoso contó la historia opuesta. El agente señaló una verdadera cláusula de riesgo, confirmada posteriormente por un abogado, en aproximadamente uno de cada nueve contratos. Póngale un precio conservador y cuente sólo aquellas capturas como resultados por los que vale la pena pagar. Nueve carreras por dieciocho dólares equivalen a 162 dólares de gasto de agente por cláusula atrapada. Una sola cláusula incumplida de esa clase generaba cinco o seis cifras de exposición posterior, y el equipo legal pudo cuantificar a partir de su propio historial de reclamaciones con qué frecuencia la revisión exclusivamente humana les había permitido pasar. Frente a un valor por resultado exitoso medido en decenas de miles de dólares, 162 dólares no era caro. Era una de las cargas de trabajo de mayor retorno de la empresa.
La visión del costo por llamada decía que este era su agente más caro y un candidato para reducir costos. La visión del costo por resultado exitoso decía que era su agente más valioso y un candidato para la expansión. Mismo agente, mismo gasto, conclusiones opuestas y sólo una de las dos opiniones estaba relacionada con el valor del trabajo. En cambio, el equipo que había estado a punto de estrangularlo amplió su alcance a dos clases de cláusulas más, aceptó la factura de inferencia más alta sin pestañear y trató la cifra de dieciocho dólares por ejecución exactamente como lo que era: un seguro barato.
Es por eso que la métrica pertenece al lado de las métricas de calidad y no en una nota a pie de página. El costo por llamada de un agente le indica lo que gasta. Sólo su costo por resultado exitoso, medido en comparación con el valor de un resultado, indica si ese gasto es el mejor o el peor dinero que la empresa está invirtiendo en IA. El agente SaaS parecía asequible por llamada y estaba bajo el agua por resultado. El agente legal parecía caro por llamada y tenía uno de los mejores rendimientos del edificio. Ninguna de esas verdades es visible sin la métrica, y analizarlas al revés, algo que el panel por llamada invita a hacer, es la forma en que las empresas aceleran a los agentes que deben escalar y escalan a los agentes que deben acelerar.
Instrumentarlo sin reconstrucción
La objeción práctica que escucho es que esto suena como un proyecto de medición para el que el equipo no tiene tiempo. Es más liviano de lo que parece, porque la mayoría de las entradas ya se están registrando.
El lado de los costos necesita tres cosas unidas en un único identificador. El costo de inferencia por intento, que la facturación de su proveedor o una capa de instrumentación ya captura a nivel de llamada. La etiqueta de resultado de cada intento, que indica si el intento produjo un resultado comercial exitoso, intensificó o falló. Y un identificador estable que vincula cada llamada en un intento de varios pasos con el intento único al que pertenecía, de modo que los pases de razonamiento y las llamadas de herramientas y los reintentos de un ticket se suman en un solo intento cuestan en lugar de dispersarse por el tablero como llamadas no relacionadas. Ese identificador de seguimiento suele ser la pieza única que los equipos no han cableado y es una pequeña adición a la instrumentación que en su mayoría ya está ejecutando.
El lado del valor necesita un número por flujo de trabajo: lo que vale un resultado exitoso, defendido honestamente. Para un flujo de trabajo que desplaza el trabajo humano, es el costo cargado de la alternativa humana. Para un flujo de trabajo que evita una pérdida, es el valor esperado de la pérdida evitada, tomado de sus propios datos históricos en lugar del punto de referencia de un proveedor. No es necesario que tenga una precisión de tres decimales. Tiene que ser lo suficientemente defendible como para que la comparación con el costo por resultado exitoso signifique algo en una revisión. Una cifra de valor aproximada pero honesta supera a una cifra de costo precisa sin nada con qué compararla.
Una vez que están implementados, el costo por resultado exitoso es una sola consulta: el gasto total del agente en una ventana, dividido por los resultados exitosos en esa ventana, comparado con la línea de valor. Los equipos que ejecutan este número mensualmente dejan de sorprenderse en las reuniones de revisión, porque están observando la métrica de la que realmente se trata la reunión de revisión.
La métrica que debería haber incluido
El arnés de doce métricas responde si un agente se está comportando correctamente. Ésta es una pregunta necesaria y no eliminaría ni una sola métrica de ella. Pero es la mitad de la pregunta que realmente enfrentan los equipos de producción, y el marco presentó la mitad como un todo.
La pregunta completa tiene una segunda cláusula. ¿Se está comportando correctamente el agente? ¿Un resultado exitoso cuesta menos de lo que vale? Una evaluación que mida la primera cláusula e ignore la segunda seguirá pasando agentes que financian muertes posteriores, y los ingenieros que construyeron esos agentes seguirán siendo sorprendidos en las reuniones de revisión por un número que era conocible desde el principio.
Si publicara el método hoy, el costo por resultado exitoso sería la decimotercera métrica y no sería una ocurrencia tardía al final de la lista. Se ubicaría junto a la finalización de la tarea, porque en 2026 los dos juntos decidirán si un agente es una capacidad o un pasivo. La precisión le indica que el agente puede hacer el trabajo. El costo por resultado exitoso indica si vale la pena realizar el trabajo realizado de esta manera. Los agentes que sobreviven al año son aquellos en los que ambas respuestas son sí, y la forma más rápida de saber cuáles son esos agentes es medir el número antes de que lo haga el director financiero.
Pratik Rupareliya es cofundador y director de estrategia de Intuz. Ha pasado más de 18 años implementando IA empresarial, IoT y plataformas en la nube en producción en más de 700 proyectos. Escribe sobre la economía de la IA a escala para profesionales. Qué funciona, qué falla y hacia dónde se destina realmente el presupuesto.