tener una línea como ESCALATION_THRESHOLD = 0,90. Por encima de él actúa el agente. Debajo de él, se hace ping a un humano.
Es sencillo. Es sintonizable. Permite que todos sientan que la autonomía está bajo control.
Pero no es la solución correcta.
La solución no es un número mejor. La solución es darse cuenta de que, en primer lugar, el umbral de escalada nunca fue un porcentaje. Es un precio.
Empiece con la pregunta equivocada
La mayoría de los equipos hacen una pregunta sobre capacidad. ¿Puede el agente escribir el SQL? ¿Puede emitir el reembolso? Si es así, déjelo funcionar.
Pero poder hacer algo y decidir hacerlo solo son cuestiones diferentes. La segunda tiene que ver realmente con la decisión en sí: ¿cuánto cuesta un error y cuánto cuesta involucrar a un ser humano?
Esa es la verdadera elección. Si el agente actúa, usted corre el riesgo de cometer un error. Si escala, paga por el tiempo de un ser humano, ya sea que el agente tuviera razón o no.
Póngale números y la comparación es casi vergonzosamente simple. Primero, una suposición: el ser humano recibe correctamente las multas escaladas. Lo relajaremos más tarde. Por ahora, actúa solo cuando:
(1 – p) * costo_de_error < costo_de_escalada
donde p es la probabilidad de que el agente tenga razón. Reorganizado, escalar siempre que:
p < 1 - (coste_de_escalada / costo_de_error)
Ese valor de la derecha es el umbral real. Observe de qué depende. No el modelo. No es una póliza de un taller. Sólo una relación entre dos costos. Si los errores son baratos, el umbral es menor y el agente puede actuar con más frecuencia. Si los errores son costosos, el umbral es más alto e incluso un agente confiado debería pedir ayuda.
Un límite fijo supone que la proporción es la misma para cada decisión que enfrentará el agente. Eso es raro.
Este enfoque se basa en la regla de rechazo de Chow de 1970, que es la base de la investigación actual sobre aprender a diferir. Las viejas ideas envejecen bien cuando son correctas.
dos entradas
La forma más sencilla de demostrarlo: clasificación de tickets de soporte. Un agente lee los tickets entrantes y los resuelve o los envía a una persona. Los números aquí están inventados para el argumento, pero están unidos.
Una solicitud de reembolso de rutina. Pequeña cantidad, política clara. Si el agente falla, la limpieza es un ticket de seguimiento y un crédito de buena voluntad. Llámalo £15. La escalada de quemaduras dura aproximadamente tres minutos del tiempo de un especialista. Llámalo £ 4.
El umbral es 1 menos 4/15. Aproximadamente 0,73.
Entonces, si el agente tiene un 90% de confianza, debe actuar claramente. Escalar gastaría £4 para evitar sólo £1,50 de error esperado. Cuando lo dices en voz alta, nadie haría ese intercambio, pero un límite fijo lo hace automáticamente durante todo el día.
Ahora una posible apropiación de cuenta. Un cliente informa un cambio de contraseña que no realizó. Si el agente trata esto como una rutina, la desventaja no es un crédito. Es pérdida por fraude, remediación, exposición regulatoria, un cliente que nunca regresa. Ponle unas conservadoras £2.000. La escalada todavía cuesta £4.
El nuevo umbral es 1 menos 4/2000, o 0,998. En la práctica, esto significa que siempre debes escalar. Con un 90% de confianza, dejar que el agente actúe solo conlleva un riesgo de £200 de costo esperado, en comparación con solo £4 si aumenta. Es cincuenta veces más barato entregarlo.
Mismo agente. Mismo 90%. Respuestas correctas opuestas. La regla del 90% dice actuar en ambos casos, y en el segundo quema silenciosamente £196 por boleto para ahorrarle a alguien tres minutos.
Esa observación suele desembocar en una conversación.
Una arruga honesta. El ejemplo supone que el agente sabe qué ticket tiene. En el triaje real, esa es la incertidumbre. Si el agente está 90% seguro de que un boleto es un reembolso de rutina, parte del 10% restante podría ser una adquisición encubierta. Por lo tanto, sopese el costo del error en función de lo que podría ser el ticket, no de lo que probablemente sea. En caso de duda, póngalo como la peor clase posible. Los billetes que parecen baratos son exactamente donde se esconden los errores caros.
la captura
Toda esa aritmética se basa en una suposición. Cuando el agente dice 90%, tiene razón aproximadamente el 90% de las veces.
Eso es calibración y no es lo mismo que confianza. La confianza es un número que emite el modelo. La calibración es si el número significa algo.
Introduzca eso en la regla y observe cómo se rompe. Si se dice que 0,95 en realidad significa 0,70, el coste de error esperado es seis veces mayor de lo que afirma la aritmética. El umbral que usted valoró con tanto cuidado es ficción. Ya no estás gestionando el riesgo. Lo estás blanqueando a través de un número que parece una probabilidad pero no lo es.
Entonces, antes de todo esto, verifique el número. Registre cada decisión con su confianza declarada. Grupo por banda de confianza, por clase de decisión. Compare la precisión indicada con la obtenida en cada segmento. Si el agente dice 90% y alcanza el 78%, ha encontrado su corrección: asigne uno al otro antes de que nada toque el umbral. La regresión isotónica o la escala de Platt harán el ajuste.
Aquí muerden dos detalles. Los agentes suelen estar peor calibrados en la clase rara y de alto riesgo, precisamente porque es rara. Esa es la clase que lleva su umbral extremo, por lo que un promedio global oculta el fracaso que importa. Y el mapa cambia a medida que cambia la combinación de boletos, así que vuelva a medirlo según un cronograma. La técnica importa menos que el hábito. Hasta que no haya medido la brecha, ningún umbral se habrá ganado su confianza.
La regla en código
Aquí está como juguete didáctico. Unas pocas líneas para hacer visible la estructura, no algo que yo haya construido o enviado.
def debería_act_autonomfully(stated_confidence: float, cost_of_error: float, cost_of_escalation: float, calibrate) -> bool: “”” Juguete didáctico: actuar solo o escalar, según el costo esperado. `calibrate` asigna la confianza declarada a una probabilidad medida de ser correcto, construida a partir de decisiones registradas y resultados obtenidos. “”” p_correct = calibrate(stated_confidence) expected_cost_of_acting = (1 – p_correct) * costo_de_error costo_esperado_de_pedir = costo_de_escalada return costo_esperado_de_actuar
Donde los números se complican
Dos factores complican las entradas.
El costo de escalamiento no es solo minutos multiplicado por el salario. Las escaladas se acumulan en una cola y las colas se congestionan. Peor aún, la escalada excesiva entrena a los revisores para que aprueben. Envíe a alguien cuarenta reembolsos de rutina por hora y al cabo de una semana dejará de leerlos. Un humano que aprueba todo no es un control. Es un rito. De modo que la escalada marginal cuesta más de lo que parece y la brecha se amplía con el volumen.
Y recuerde la suposición que dejamos antes: el humano lo hace bien. Muchas veces no lo hacen. Déle al especialista una tasa de error h y la regla se convierte en ley cuando (1 − p) × el costo del error es menor que el costo de escalada más h × el costo del error. Normalmente h es lo suficientemente pequeño como para ignorarlo. En tickets genuinamente ambiguos no lo es, e inclina el umbral hacia el agente. Eso sorprende a la gente.
Ninguna de estas cuestiones cambia el enfoque general; solo afectan los números. Ese es el beneficio de utilizar un método numérico.
Hacer esto para su propio agente
El procedimiento es corto.
Primero, agrupe las decisiones del agente en clases donde el costo de un error sea aproximadamente el mismo. Por ejemplo, coloque los reembolsos en una clase y los incidentes de seguridad en otra. Si no puedes estimar el costo de un error en una clase, aún no está lista para la autonomía. De hecho, descubrir esto es una parte valiosa del proceso.
Luego ponle precio a cada clase. Hable con las personas que limpian el desorden, no sólo con las personas que crearon el agente. Las operaciones de finanzas y soporte conocen estos números mejor que los ingenieros y, por lo general, están encantados de que alguien finalmente los pregunte.
Además, estime el costo de la escalada, incluidos los efectos de la congestión y la aprobación.
Utilice la probabilidad corregida en su regla, no la puntuación bruta.
Último paso: derivar el umbral por clase a partir de la relación de costos y dejar que se mueva cuando los costos cambien. Un nuevo patrón de fraude eleva el precio de un error de seguridad, de modo que el umbral aumenta con él. No se requiere reunión, porque es derivada más que decretada.
Al final, su agente tendrá varios umbrales, no sólo uno. Tendrá más autonomía donde los errores son baratos y mucho menos donde los errores son costosos. El modelo y la comparación siguen siendo los mismos.
Y esa es la respuesta honesta a la pregunta con la que todos comienzan. “¿Qué confianza debe tener mi agente antes de actuar solo?” no se puede responder porque está poco especificado. “¿Cuánto cuesta aquí una llamada equivocada y cuánto cuesta preguntar?” poder. Establezca el umbral como precio. El porcentaje se soluciona solo.