Más allá de la precisión: cinco métricas que realmente importan para los agentes de IA

Introducción

Los agentes de IA, o sistemas autónomos impulsados ​​por IA agente, han remodelado el panorama actual de los sistemas y despliegues de IA. A medida que estos sistemas se vuelven más capaces, también necesitamos métricas de evaluación especializadas que cuantifiquen no sólo la corrección, sino también el razonamiento, la confiabilidad y la eficiencia de los procedimientos. Si bien la precisión es una de las métricas más comunes utilizadas en las evaluaciones de modelos estáticos de lenguaje grande, las evaluaciones de agentes a menudo requieren medidas adicionales centradas en la calidad de la acción, el uso de herramientas y la eficiencia de la trayectoria, especialmente cuando se crean agentes de IA modernos.

Este artículo enumera cinco de estas métricas, junto con lecturas adicionales para profundizar en cada una de ellas.

1. Tasa de finalización de tareas (TCR)

También conocida como Tasa de Éxito, esta métrica mide el porcentaje de tareas asignadas que se llevan a cabo con éxito sin necesidad de supervisión o intervención humana. Piense en ello como una medida de la capacidad del agente para conectar el razonamiento con un resultado final correcto. Por ejemplo, un robot de atención al cliente que resuelva un problema de reembolso por sí solo podría contar para esta métrica. Tenga cuidado: el uso de esta métrica como una medida binaria (éxito versus fracaso) por sí sola puede enmascarar casos dudosos o tareas que técnicamente tuvieron éxito pero que tardaron un tiempo prohibitivo en completarse.

Lea más en este documento.

2. Precisión en la selección de herramientas

Esto mide con qué precisión el agente selecciona y ejecuta la función, el componente externo o la API correctos en un paso determinado; en otras palabras, con qué coherencia toma buenas decisiones orientadas a la selección en lugar de actuar al azar. La selección de acciones se vuelve especialmente importante en ámbitos de alto riesgo como las finanzas. Para utilizar esta métrica correctamente, normalmente se necesita una ruta de “verdad sobre el terreno” o “estándar de oro” con la que comparar, lo que puede ser complicado de definir en algunos contextos.

Lea más en esta descripción general.

3. Puntuación de autonomía

También conocida como Tasa de Intervención Humana, es la relación entre las acciones realizadas de forma autónoma por el agente y aquellas que requirieron algún tipo de intervención humana (aclaración, corrección, aprobaciones, etc.). Está fuertemente relacionado con el retorno de la inversión (ROI) del uso de agentes de IA. Sin embargo, hay que tener en cuenta que en ámbitos críticos como la atención sanitaria, una baja autonomía no es necesariamente algo malo. De hecho, aumentar demasiado la autonomía puede ser una señal de que faltan barandillas de seguridad, por lo que esta métrica debe interpretarse en el contexto de la aplicación.

Lea más en esta publicación de investigación antrópica.

4. Tasa de recuperación (RR)

¿Con qué frecuencia un agente identifica un error y vuelve a planificar eficazmente su solución? Ésa es la idea central detrás de la tasa de recuperación: una métrica para medir la resiliencia de un agente ante resultados inesperados, especialmente cuando interactúa frecuentemente con herramientas y sistemas externos fuera de su control directo. Requiere una interpretación cuidadosa, ya que una tasa de recuperación muy alta a veces puede revelar una inestabilidad subyacente si el agente se corrige solo casi todo el tiempo.

Lea más en este documento.

5. Costo por tarea exitosa

Esta métrica también se describe con nombres como eficiencia del token y costo por objetivo, pero en esencia, mide el costo computacional o económico total invertido para completar una tarea con éxito. Esta es una métrica importante a tener en cuenta cuando se planifica escalar sistemas basados ​​en agentes para manejar mayores volúmenes de tareas sin sorpresas en costos.

Lea más en esta guía.