El fraude dejó de ser una actividad puramente humana en algún momento del último año. No todo, obviamente; Quiero decir, la mayoría de los fraudes siguen siendo alguien que escribe en un teléfono en algún lugar intentando mover dinero que no es suyo.
Pero ha cambiado lo suficiente como para que el pronóstico del futuro del fraude para 2026 de Experian le ponga un nombre. Los agentes de IA que realizan transacciones y compras en nombre de las personas son ahora un verdadero impulsor del fraude financiero.
El informe lo llama “caos de máquina a máquina”, lo que suena como un titular escrito para obtener clics y, sinceramente, funcionó.
Porque un agente de compras legítimo y un robot fraudulento pueden aparecer en un registro de transacciones con un aspecto básicamente idéntico. Nadie ha descubierto la señal todavía.
Quiero reflexionar sobre por qué eso es más importante de lo que parece. La mayor parte de la detección de fraude, en todas las escalas, desde una fintech local hasta un banco Fortune 500, se ha basado silenciosamente en la misma suposición durante una década o más.
Y es que hay un humano al otro lado de la transacción, y los humanos dejan huellas dactilares.
Cosas como cómo escriben, cuándo cambian de dispositivo, básicamente la forma en que alguien se comporta cuando está ansioso o tiene prisa.
Cada modelo de fraude, ya sea que alguien lo diga en voz alta, está entrenado para darse cuenta cuando un humano deja de actuar como él mismo.
Me encontré con una versión más pequeña y tonta de este mismo problema mientras construía un sistema de detección de fraude, uno que dependía mucho de SHAP para explicarse.
Vale la pena contarlo porque lo que me sacó del problema en ese momento es exactamente lo que ahora creo que se está quedando sin camino.
La pregunta que no era realmente sobre el modelo.
En mi presentación, uno de los panelistas se reclinó en su silla e hizo una pregunta que no tenía nada que ver con la precisión o el recuerdo.
Si un director ejecutivo realiza una transacción de un millón de dólares y un estudiante universitario realiza la misma transacción, ¿su sistema los marca de la misma manera?
Recuerdo que la habitación quedó en silencio y recuerdo que tardé más de lo que quería en responder.
Mi modelo, un clasificador de Random Forest que había entrenado en el conjunto de datos de PaySim después de compararlo con XGBoost y LightGBM, no sabía ni le importaba quién estaba realizando transacciones.
Observó la transacción: monto, momento, dispositivo, velocidad.
Básicamente, las mismas características para la cuenta de un CEO que para la de un estudiante en quiebra.
Sobre el papel, así es como se supone que debe ser la equidad en el aprendizaje automático. Frente a un panel cuyo trabajo consiste exclusivamente en encontrar lagunas en los modelos de riesgo, parecía que me había perdido algo obvio.
Esto es lo que realmente me salvó, y no fue un modelo más inteligente.
Conecté SHAP a la tubería situada encima del clasificador, principalmente porque un supervisor a principios de año había rechazado tratar el modelo como una caja negra, y resultó ser la razón por la que sobreviví a esa pregunta.
Podría abrir la transacción específica, mostrar los valores SHAP clasificados y decir: esto es lo que realmente impulsó esta predicción, en orden y con números adjuntos.
Esa pregunta ha permanecido conmigo más tiempo que casi cualquier otra cosa de esa presentación. No por lo que expuso específicamente sobre mi modelo, sino por la suposición subyacente a todo el campo: que la cosa que realiza una transacción tiene una vida fuera de la transacción, un trabajo, una historia, una razón para mover esa cantidad particular de dinero.
En palabras más simples, contexto.
Si desea la compilación completa, las comparaciones de modelos, las peculiaridades del conjunto de datos de PaySim y lo que mi supervisor realmente dijo cuando vio el resultado de SHAP por primera vez, lo escribí todo aquí: Entrené seis modelos para la detección de fraudes y el mejor no está en producción. Este artículo parte de aquel, pero no requiere que lo hayas leído.
Entrené seis modelos para la detección de fraudes y el mejor no está en producciónLo que me enseñó un proyecto de último año sobre la brecha entre las métricas de evaluación y las decisiones de producciónBenjamín Nweke · 10 minutos de lectura
···
Por qué la explicabilidad dejó de ser opcional
Los modelos de fraude de caja negra siempre han tenido un problema de confianza, con IA agente o no.
Los modelos que funcionan mejor, conjuntos profundos y árboles potenciados por gradientes, tienden a ser los más difíciles de interpretar, y esa es una compensación realmente molesta si alguna vez ha tenido que explicar una transacción marcada a alguien que no es un científico de datos.
Si un analista de cumplimiento no puede decir si una bandera es una señal real o simplemente un ruido al que se aferró el modelo, aprobará todo o ignorará el modelo por completo.
He visto suceder ambas cosas, y ninguna es la razón por la que construiste la cosa.
SHAP se ganó su lugar entre los fraudes al responder una pregunta estrecha y poco glamorosa, no “¿es bueno este modelo?” sino “¿por qué hizo esto, para esta transacción, ahora mismo?”.
Es menos emocionante que la arquitectura modelo, razón por la cual tal vez no surge en la conversación tanto como probablemente debería.
Una puntuación de riesgo sin ningún razonamiento adjunto es casi inútil en el momento en que un ser humano tiene que actuar en consecuencia. Ese fue exactamente mi problema en la presentación.
En lugar de “92% de probabilidad de fraude”, obtiene algo como: el monto es alto para esta cuenta, la cuenta tiene menos de 48 horas o el comerciante tiene indicadores anteriores.
La gente confía en eso.
O al menos confían en él más que en un número sin nada debajo.
El suelo se mueve bajo la huella digital.
Esta es la parte que me molesta.
Cada método de explicabilidad creado para la detección de fraude, incluido SHAP, explica una decisión utilizando características que describen una transacción: monto, tiempo, dispositivo, velocidad.
Ahora quédate conmigo aquí.
Esas características existen porque se correlacionan con cómo se comportan los humanos cuando algo anda mal.
La cuenta de un estudiante que de repente mueve dinero del tamaño de un CEO parece extraña precisamente porque asumimos que detrás de ella hay un ser humano estable, con un patrón de vida del que se está rompiendo la anomalía.
Un agente no tiene un patrón de vida que se corresponda de ninguna manera con esas características.
No se cansa a las 2 am. No se complica con una transferencia ni se entra en pánico al enviar dinero a la cuenta equivocada.
Puede realizar transacciones a una velocidad y consistencia que ningún ser humano podría sostener durante cinco minutos, y eso rompe toda la premisa sobre la que se ha basado silenciosamente la detección de fraude: esa desviación de una línea de base humana es la señal.
Este no es un problema de algún día. Ya se está reflejando en los números.
El número que encuentro más interesante que el titular 84% es el 60% que espera que la banca mediada por IA haga que las defensas tradicionales contra el fraude sean menos efectivas.
Esto apunta a algo más profundo que el simple hecho de que los delincuentes obtengan mejores herramientas. Las señales en torno a las cuales se construyeron esas defensas pueden estar cambiando.
Los reguladores ya están dándole vueltas a esto, y no de la forma glacial habitual.
La Iniciativa de Estándares para Agentes de IA del NIST, lanzada en febrero de 2026, trata a los agentes como principales no humanos identificables que necesitan sus propios ciclos de vida de credenciales y pistas de auditoría, basándose en el razonamiento de que los marcos de autenticación existentes se crearon para humanos y no se extienden para cubrir el software autónomo.
En Estados Unidos, ya va más allá de una iniciativa de normas. El proyecto de ley AI AGENT del senador Mark Warner, presentado a mediados de 2026, crearía un registro federal de agentes confiables y les exigiría actuar de manera transparente en interés del usuario en las principales plataformas.
No sé si este proyecto de ley exacto sobrevive al contacto con el Congreso; la mayoría no lo hace en su primer borrador.
Pero el instinto detrás de esto es algo que vale la pena notar: los legisladores han llegado a la identidad y la responsabilidad como la cuestión más importante, antes de que la industria se haya puesto de acuerdo sobre cómo registrar el razonamiento de un agente de una manera que un humano pueda auditar más tarde.
Qué se rompe y qué no
Quiero ser claro: no creo que SHAP esté muerto o muriendo, créanme, ni siquiera cerca.
Las explicaciones a nivel de características siguen siendo importantes para la porción de fraude en forma de transacción y, desafortunadamente, los humanos no van a ninguna parte como actores del fraude.
Pero la atribución de funciones en los campos de transacción solo respondió por qué esto parecía incorrecto. El fraude agente está poniendo sobre la mesa una cuestión diferente.
¿Por qué este actor hizo esto?
Esa segunda pregunta requiere un tipo de rastro completamente diferente.
No las características de la transacción, sino la ruta de decisión real del agente, qué herramientas llamó, qué estaba autorizado a hacer y si la acción que tomó cae dentro o tres pasos fuera del alcance que alguien le delegó.
Un sistema creado para explicar el veredicto de Random Forest sobre una cantidad en dólares literalmente no tiene nada que decir sobre si un agente se salió del guión antes de la transacción que finalmente realizó.
Eso está más cerca de auditar una trayectoria que de calificar un punto de datos.
Fui a buscar a alguien que haya resuelto esto correctamente y en su mayoría encontré documentos que señalan el problema sin cerrarlo, lo que significa que soy malo para encontrar cosas o que realmente todavía está abierto. Posiblemente ambos.
(Además, y este es un pensamiento secundario que no puedo respaldar por completo: me pregunto si parte de la razón por la que nadie ha descifrado esto todavía es que las trayectorias de los agentes son registradas por las mismas empresas que construyen los agentes, y no hay muchos incentivos para hacer que ese registro sea legible para un auditor externo. Eso es más una sospecha que un argumento, así que tómelo por lo que vale).
Supongo, y es sólo una suposición, que esto no se soluciona haciendo que SHAP sea más sofisticado.
Probablemente se solucione tomando prestado de un rincón completamente diferente de la seguridad de la IA, el monitoreo de agentes y la evaluación de trayectorias, y luego uniéndolo a la disciplina de explicabilidad que ya tiene la detección de fraude.
O tal vez esos dos campos nunca se fusionan realmente y alguien construye una tercera cosa desde cero. Voy y vengo sobre cuál es más probable.
···
Pensamientos finales
Construí un sistema para atrapar a un humano haciendo algo que un humano normalmente no haría, y SHAP fue lo que lo hizo defendible frente a una sala de personas pagadas para encontrar sus puntos débiles.
Ese problema sigue siendo real y aún no está completamente resuelto, así que no soy yo quien dice que mi sistema de detección de fraude u otros similares están acabados.
Pero el objetivo se ha movido a algún lugar para el que el conjunto de herramientas actual no estaba diseñado inicialmente, y no creo que sea una pequeña nota a pie de página.
Es la brecha entre explicar una partitura y explicar a un actor. En este momento la mayoría de nosotros, incluido yo, sólo sabemos cómo hacer el primero.
Si está creando o evaluando la detección de fraude, la pregunta que realmente me plantearía no es si su modelo es preciso.
Se trata de si tus explicaciones todavía significan algo una vez que la cosa en el otro extremo de la transacción deja de ser una persona.
···
¡Antes de que te vayas!
Escribo sobre la brecha entre lo que hace un modelo y lo que realmente puedes demostrar que hizo, especialmente una vez que quien toma las decisiones deja de ser obviamente humano. Puedes suscribirte a mi boletín si quieres más de eso.
Conéctate conmigo