, cada métrica parecía perfecta.
RWSS = 1.000. Probabilidades de producción sin cambios. No se movieron etiquetas.
Todo decía “todo claro”.
Entonces la alerta se disparó de todos modos.
Ventana 3: gravedad=advertencia RWSS=1.000 disparado=Verdadero ← FIDI Z se activa aquí
Las predicciones del modelo aún no sabían que algo andaba mal.
Pero la capa simbólica sí lo hizo.
Esto es lo que realmente sucedió en el experimento y por qué es importante para cualquiera que ejecute modelos de fraude en producción.
Código completo: https://github.com/Emmimal/neuro-symbolic-drift-detection
TL;DR: Lo que obtendrá de este artículo
FIDI Z-Score detecta una deriva conceptual en 5 de 5 semillas, a veces antes de que caiga F1, sin necesidad de etiquetas. Solo RWSS omitió 3 de 5 semillas. Una extensión del puntaje Z de FIDI es lo que lo hace funcionar. La deriva de covariables es un punto ciego total. Necesita un monitor independiente de funciones sin procesar. El sistema de alerta tiene aproximadamente 50 líneas de código y la diferencia entre un reentrenamiento programado y uno de emergencia.
¿No estás familiarizado con la serie? Detección híbrida de fraude neurosimbólico: guiar redes neuronales con reglas de dominio cubre la arquitectura. Cómo una red neuronal aprendió sus propias reglas de fraude: un experimento de IA neurosimbólica explica cómo el modelo descubre sus propias reglas. Este es el capítulo de detección de deriva.
La historia hasta ahora
Esta es la Parte 3 de una serie. ¿Nuevo aquí? Un párrafo es todo lo que necesitas.
Un HybridRuleLearner entrena dos rutas paralelas: un MLP para detección y una ruta de reglas que aprende condiciones simbólicas SI-ENTONCES a partir de los mismos datos. La ruta de la regla encontró V14 por sí sola en dos semillas, sin que se le indicara que la buscara. Esa regla aprendida (IF V14 < −1.5σ → Fraude) es ahora lo que se está monitoreando. Este artículo pregunta qué sucede cuando V14 comienza a comportarse de manera diferente.
¿Pueden las reglas actuar como un canario? ¿Puede el monitoreo de la deriva de conceptos neurosimbólicos funcionar en el momento de la inferencia, sin etiquetas?
Tres formas en que el fraude puede cambiar
La detección del fraude por deriva de conceptos es más difícil de lo que parece porque sólo uno de los tres tipos de deriva comunes realmente cambia lo que significan las asociaciones aprendidas del modelo. El experimento simula tres tipos de deriva en el conjunto de datos de fraude con tarjetas de crédito de Kaggle (284.807 transacciones, tasa de fraude del 0,17 %) en 8 ventanas progresivas cada una.[9].
Deriva de covariables. Las distribuciones de características de entrada cambian. V14, V4 y V12 se mueven hasta +3,0σ progresivamente. Los patrones de fraude siguen siendo los mismos. El mundo simplemente se ve un poco diferente.
Deriva previa. La tasa de fraude aumenta del 0,17% al 2,0%. Las características no cambian. El fraude se vuelve más común.
Deriva del concepto. El signo de V14 se invierte gradualmente para casos de fraude en 8 ventanas. Al final, las transacciones que el modelo aprendió a marcar como fraude ahora parecen legítimas. La regla IF V14 < −1,5σ → Fraude ahora apunta en la dirección equivocada.
Ese tercero es el que debería preocuparte en producción. Con la covariable y la deriva previa, existen señales externas. Las distribuciones de insumos cambian o las tasas de fraude cambian visiblemente. Puede monitorearlos de forma independiente. La deriva conceptual no deja tal huella. Lo único que cambia es el significado de las asociaciones aprendidas del modelo. No lo sabrás hasta que la F1 empiece a caer.
A menos que algo lo vea primero.
El problema con las primeras tres métricas
El modelo de Cómo una red neuronal aprendió sus propias reglas de fraude: un experimento de IA neurosimbólica produjo tres señales de monitoreo sin etiquetas como subproducto de la capa simbólica. La idea: si las reglas están aprendiendo patrones de fraude, los cambios en cómo se activan esas reglas deberían revelar cuándo están cambiando los patrones de fraude.
Esperaba que el primero fuera la alerta temprana. No lo fue.
El problema es específico de cómo se entrena este modelo. Las cinco semillas convergieron entre las épocas 3 y 10 (Val PR-AUC: 0,7717, 0,6915, 0,6799, 0,7899, 0,7951), cuando la temperatura τ todavía está entre 3,5 y 4,0. A esa temperatura, las activaciones de reglas son suaves. Cada entrada produce una puntuación de activación casi idéntica, independientemente de sus características reales. En términos sencillos: las reglas se aplicaban casi de la misma manera en todas las transacciones, limpias o desviadas. Una métrica de similitud en vectores casi constantes arroja 1.000 casi todo el tiempo. La primera señal solo se disparó en 2 de 5 semillas para derivar el concepto, y en ambos casos fue la misma ventana que F1 o posterior.
Por qué las altas temperaturas dificultan el seguimiento
LearnableDiscretizer utiliza un sigmoide controlado por la temperatura τ: σ((x − θ) / τ). En τ = 5,0 (época 0), ese sigmoide es casi plano: cada valor de característica produce una activación cercana a 0,5 independientemente de dónde se encuentre en relación con el umbral aprendido. A medida que τ se acerca a 0,1, el sigmoide se agudiza hasta alcanzar un paso casi binario. Detener los incendios temprano en τ ≈ 3,5–4,0, antes de que las reglas hayan cristalizado por completo. El resultado: los vectores de activación son casi constantes en todas las entradas, por lo que cualquier métrica de similitud entre ellos se mantiene cerca de 1.000 incluso cuando los patrones de fraude realmente están cambiando.
La segunda señal tuvo el problema opuesto. El cambio absoluto en la contribución de cualquier característica es pequeño (valores en el rango de 0,001 a 0,005) porque las ponderaciones de las reglas en sí son pequeñas en un punto de control detenido anticipadamente. En términos sencillos: la señal era real pero invisible a la escala en la que la estábamos midiendo. Un umbral absoluto fijo de 0,02 nunca se activa.
Esto es lo que son esas tres señales originales:
RWSS (Rule Weight Stability Score): similitud del coseno entre el vector de activación de la regla media basal y el actual. En términos simples: ¿las reglas siguen funcionando de la misma manera que lo hicieron con datos limpios? FIDI (Índice de deriva de importancia de características): cuánto ha cambiado la contribución de cada característica a las activaciones de reglas desde la línea de base. En términos simples: ¿alguna característica específica se ha vuelto más o menos importante para las reglas? RFR (tasa de activación de reglas): qué fracción de transacciones activa cada regla.
Ese diagnóstico llevó a la pregunta correcta. En lugar de preguntar “¿ha cambiado la FIDI en más de X?”, la pregunta correcta es “¿ha cambiado la FIDI en más de X desviaciones estándar con respecto a su propia historia?”
Esa pregunta tiene una respuesta diferente. Y la respuesta es V14.
Las métricas: creación de un sistema de detección de deriva sin etiquetas
Tres nuevas métricas se unieron a las tres originales.
RWSS Velocity mide la tasa de cambio por ventana: RWSS[w] − RWSS[w−1]. Una caída repentina de más de 0,03 por ventana activa una alerta incluso antes de que el valor absoluto cruce el umbral. Si RWSS cae a −0,072 en un paso, eso es una señal independientemente de dónde comenzó.
FIDI Z-Score es el que realmente funcionó. En lugar de una señal completamente nueva, es una simple extensión de FIDI que utiliza la normalización de puntuación Z en comparación con el propio historial de ventanas de la función. En lugar de preguntar si el cambio absoluto cruza un umbral fijo, pregunta si el cambio es anómalo en relación con lo que ha estado haciendo esa característica. A diferencia de los métodos tradicionales de detección de deriva que se basan en distribuciones de entrada o etiquetas de salida, este enfoque opera puramente en la capa simbólica, lo que significa que funciona en el momento de la inferencia, sin necesidad de una verdad fundamental. Se basa en el trabajo de aprendizaje de reglas diferenciables, incluido ∂ILP.[3], FINRegla[4], RIFF[5]y listas de reglas neurosimbólicas[6], ampliando esas representaciones con normalización de puntuación Z en lugar de umbrales fijos. La contribución de V14 a las activaciones de reglas durante las ventanas de línea de base limpia es pequeña y plana. Cerca de cero, estable, predecible. Cuando la deriva del concepto comienza en la ventana 3, cambia. No mucho en términos absolutos. Pero por 9,53 desviaciones estándar en relación con el historial que construyó durante ventanas estables. Se trata de una enorme anomalía relativa y no se necesita ninguna calibración de umbral para detectarla.
PSI sobre activaciones de reglas fue diseñado para detectar el cambio distributivo en la capa simbólica antes de que la compensación del MLP lo enmascare en el nivel de salida. Aquí no funcionó. Las activaciones suaves del entrenamiento detenido temprano (τ ≈ 3.5–4.0 en el punto de control guardado) se agrupan cerca de 0.5, produciendo distribuciones casi uniformes que PSI no puede distinguir. PSI_rules = 0,0049 durante todo el experimento. PSI_rules nunca se disparó. Está en el código base para cuando estén disponibles modelos con reglas completamente cristalizadas (τ < 0,5). En este experimento no aportó nada.
El orden de detección previsto, del más antiguo al más reciente:
Velocidad RWSS → FIDI Z-Score → PSI (reglas) → RWSS absoluto → F1 (basado en etiquetas)
Esto es lo que realmente sucedió.
Resultados: qué hizo cada métrica
Deriva del concepto
FIDI Z-Score se activa en 5 de 5 semillas, siempre en la ventana 3. F1 se activa en W3 en tres semillas y en W4 en dos. El retraso medio en la detección de FIDIZ es de +0,40 ventanas, lo que significa que, en promedio, supera a F1. En las semillas 7 y 2024, se activa una ventana completa antes de que caiga F1. En las tres semillas restantes se dispara simultáneamente. Nunca se dispara después de la F1 por deriva del concepto. Ni una sola vez.
En todos los tipos de deriva, FIDI Z-Score es la única métrica que detectó una deriva conceptual en cada semilla y nunca quedó por detrás de la F1. En el caso de los sistemas de detección de fraudes sin etiquetas, este es el resultado principal.
RWSS se dispara en 2 de 5 semillas y en ambos casos simultáneamente con o después de F1. La velocidad coincide exactamente con RWSS, en la misma ventana, siempre. PSI en activaciones de reglas nunca se activa en absoluto.
Deriva de conceptos versus deriva de covariables: por qué el monitoreo simbólico tiene puntos ciegos
La deriva de covariables es cuando la capa simbólica queda completamente en silencio.
Cada métrica simbólica: 0 de 5 semillas. Ni una sola señal. Ni una ventana. La F1 finalmente dispara 4 de 5 semillas en W6 o W7, lenta y tarde, y la capa simbólica no tuvo nada que ver con eso. Esta no es una brecha que una mejor sintonización pueda cerrar. Es una propiedad fundamental de lo que mide la capa simbólica.
La razón es mecánica. Cuando V14, V4 y V12 cambian +3,0σ, el cambio es uniforme en todas las muestras. El discretizador que se puede aprender calcula umbrales relativos a los datos. Cada muestra todavía aterriza aproximadamente en el mismo umbral en relación con sus vecinas. Las reglas se aplican a aproximadamente la misma proporción de transacciones. No cambia nada en el patrón de activación. La similitud coseno de las activaciones medias se mantiene en 1,0.
En términos simples: si cada transacción varía en la misma cantidad, las reglas seguirán viendo la misma imagen relativa. La transacción A estaba por encima del umbral antes. Todavía está por encima del umbral después. Se conserva el orden fraude versus legítimo. RWSS mide ese orden, no los valores absolutos. Piense en ello como una marea que eleva a todos los barcos por igual. Los barcos permanecen en el mismo orden. RWSS sólo mide el pedido.
Si la deriva de covariables es un problema en su implementación, necesita un monitor de espacio de entrada independiente: PSI en funciones sin procesar, una prueba KS en V14 o una verificación de calidad de los datos. La capa simbólica no puede ayudarte en eso. El monitoreo de la deriva de capas simbólicas tiene un punto ciego, y ese es el cambio de covariables.
Deriva previa
FIDIZ dispara en 5 de 5 semillas, siempre en W3. Pero la deriva previa hace que F1 caiga en W0 (semilla 123) o W2 (semilla 2024) en las dos semillas donde F1 se activa. Retraso de detección de FIDIZ para deriva previa: −2,00 ventanas. Dispara dos ventanas después de F1.
Este no es un problema de calibración. FIDIZ necesita un mínimo de 3 ventanas limpias para crear un historial antes de que su puntuación Z sea significativa. La deriva previa que provoca un salto inmediato en la tasa de fraude ya es visible en la F1 antes de que FIDIZ pueda siquiera comenzar a calcular. Un contador continuo de tasas de fraude siempre será más rápido aquí.
La demostración de alerta: ventana 3
Este es el momento para el que se construyó todo el sistema.
DriftAlertSystem se construye una vez a partir del conjunto de validación inmediatamente después del entrenamiento. Almacena la línea de base. Luego se llama a .check() en cada nueva ventana. Sin etiquetas. Sin reentrenamiento. Se trata de una detección de deriva basada únicamente en inferencia: el sistema lee la capa simbólica y nada más.
Semilla 42, deriva conceptual, 8 ventanas:
Ventana 0: gravedad=ninguna RWSS=0,999 disparado=False Ventana 1: gravedad=ninguna RWSS=0,999 disparada=False Ventana 2: gravedad=ninguna RWSS=0,999 disparada=False Ventana 3: gravedad=advertencia RWSS=1,000 disparada=Verdadero ← FIDI Z se activa aquí Ventana 4: gravedad=crítica RWSS=0,928 despedido=Verdadero ← RWSS absoluto confirma Ventana 5: gravedad=advertencia RWSS=0,928 despedido=Verdadero Ventana 6: gravedad=advertencia RWSS=0,928 despedido=Verdadero Ventana 7: gravedad=advertencia RWSS=0,928 despedido=Verdadero
En la ventana 3, RWSS es exactamente 1.000. El patrón de activación es perfectamente idéntico al inicial. Las probabilidades de producción no han cambiado. No se ha movido nada en la pila de monitoreo estándar.
Y la alerta se activa con una gravedad de ADVERTENCIA.
La razón es V14. Su puntuación Z es −9,53. Eso significa que la contribución de V14 a la activación de reglas se ha desplazado a casi 10 desviaciones estándar por debajo de la línea de base que estableció durante las ventanas limpias. La salida del modelo aún no se conoce. El MLP está compensando. Pero el camino de las reglas no puede compensar. Fue entrenado para expresar una relación simbólica fija. Está gritando.
Una ventana después, el MLP deja de funcionar. RWSS cae a 0,928. La velocidad cae 0,072 en un paso. La gravedad aumenta a CRÍTICA.
═══════════════════════════ ════════════════════════════ ALERTA DE DERIVA | gravedad: CRÍTICO Primera señal: VELOCIDAD ═══════════════════════════ ════════════════════════════ ── Capa de alerta temprana ───────────────────────────── Velocidad RWSS: -0,0720 [umbral -0.03] ⚠ FIRED FIDI Z-Score: ⚠ FIRED V14 Z = -9.53 PSI (reglas): 0.0049 [moderado≥0.10] estable ── Capa confirmada ───────────────────────────────── RWSS absoluto: 0,9276 [umbral 0.97] ⚠ FIRED Las reglas se han silenciado: 0 OK Cambio RFR medio: -0.001 Acción recomendada: → Vuelva a entrenar inmediatamente. No implementar. ═══════════════════════════ ════════════════════════════
El informe nombra VELOCITY como la capa más antigua. Ese es un orden de prioridad en la lógica interna. En el tiempo de ventana real, FIDI Z-Score disparó una ventana antes en W3. La ADVERTENCIA W3 es la alerta humana anterior. El que te da tiempo para actuar antes de que se dispare el CRÍTICO.
Por qué el FIDI Z-Score lo ve antes que la F1
El modelo tiene dos caminos que corren en paralelo desde la misma entrada.
La ruta MLP transporta el 88,6% del resultado final (media α = 0,886 entre semillas; α es el peso de la mezcla aprendido; 0,886 significa que la red neuronal realiza el 88,6% del trabajo de predicción y las reglas simbólicas hacen el 11,4% restante). Cuando la deriva del concepto invierte gradualmente la relación de V14 con las etiquetas de fraude, el MLP, formado en 284.000 transacciones, absorbe parcialmente ese cambio. Sus representaciones internas cambian. Las probabilidades de producción se mantienen más o menos estables durante al menos una ventana. Esta es la compensación del MLP.
La vía de la regla lleva el 11,4%. Fue entrenado para expresar el conocimiento del MLP en forma simbólica: V14 por debajo de un umbral significa fraude[2]. Esa relación es fija y explícita. Cuando V14 cambia de signo en casos de fraude, la contribución V14 de la regla no se ajusta. Simplemente deja de funcionar. Las activaciones de bits para V14 cambian de dirección. La regla comienza a aplicarse a las transacciones incorrectas.
La red neuronal se adapta. La capa simbólica no. Y es exactamente por eso que la capa simbólica detecta primero la deriva.
Esa asimetría es lo que explota FIDI Z-Score.
El cambio absoluto en la contribución de V14 es pequeño (valores en el rango de 0,001 a 0,005) porque los pesos de las reglas son pequeños en un punto de control detenido anticipadamente. Un umbral absoluto fijo nunca lo alcanza.
Pero la historia del V14 a través de las ventanas limpias es igual de plana. Cuando la deriva del concepto lo mueve a la ventana 3, la puntuación Z es −9,53. Mismo patrón: cambio absoluto cercano a cero, cambio relativo extremo.
La capa simbólica compensa menos que el MLP, por lo que muestra primero la deriva. FIDI Z-Score hace que la señal sea visible comparando cada característica no con un umbral fijo, sino con su propio historial.
Pero esto sólo es válido para uno de los tres tipos de deriva. Los otros dos son una historia completamente diferente.
Lo que este sistema no puede hacer
Un sistema que pretende alerta temprana invita a la exageración. Esto es lo que realmente dicen los datos. Se trata de un seguimiento del fraude para la detección de anomalías sin etiquetas, lo que significa que las restricciones son estructurales, no ajustables.
La deriva de covariables es un completo punto ciego. 0 de 5 semillas. El mecanismo se explica en la sección Resultados anterior. Utilice PSI en funciones sin procesar o una prueba KS en V14.
FIDIZ dispara tarde en una deriva previa por diseño. Cuando la tasa de fraude aumenta, F1 reacciona en W0 o W2. FIDIZ estructuralmente no puede disparar antes de W3. Necesita una historia que aún no existe. Un monitor continuo de la tasa de fraude responde más rápido.
La PSI sobre la activación de reglas no produjo nada. PSI_rules = 0,0049 en cada ventana de cada semilla. Las activaciones suaves del entrenamiento detenido temprano se agrupan cerca de 0,5, y el PSI en distribuciones casi uniformes es insensible independientemente de lo que realmente esté sucediendo. Esta métrica está en el código base y puede funcionar con modelos completamente recocidos (τ <0,5). En este experimento guardó silencio.
5 semillas son evidencia, no prueba. FIDIZ dispara a W3 por una deriva conceptual en las 5 semillas. Esto es coherente y alentador. No es lo mismo que una producción confiable en conjuntos de datos, tipos de fraude y grados de deriva que no haya probado. 5 semillas es un punto de partida, no una conclusión. Se necesitan más semillas, más configuraciones de deriva y validación en el mundo real antes de afirmaciones sólidas de implementación.
Resumen de resultados
El patrón es más claro cuando se expresa claramente primero. Piense en esto como un sistema de alerta temprana de deriva con tres modos distintos dependiendo de lo que esté cambiando. Deriva de covariables: la capa simbólica no vio nada, la F1 lo captó lentamente. Deriva previa: la capa simbólica se disparó después de F1, no antes. Deriva del concepto: FIDI Z-Score activado en cada semilla, siempre en F1 o antes, con un promedio de +0,40 ventanas de tiempo de entrega.
Retraso = ventanas antes de la alerta F1. Positivo = FIDIZ dispara primero. Negativo = F1 dispara primero.
Construyéndolo
El sistema está diseñado para usarse en producción, no solo en una computadora portátil.
# Una vez, inmediatamente después del entrenamiento X_val_t = torch.FloatTensor(X_val) alert_system = DriftAlertSystem.from_trained_model(model, X_val_t, feature_names) alert_system.save("results/drift_alert_baseline_seed42.pkl") # Cada ejecución de puntuación: semanal, diaria, por lote alert_system = DriftAlertSystem.load("resultados/drift_alert_baseline_seed42.pkl") alerta = alert_system.check(modelo, X_this_week) si alert.fired: print(alert.report())
Sin etiquetas. Sin reentrenamiento. No hay infraestructura más allá de guardar un archivo pickle junto al punto de control del modelo. La llamada .check() calcula la velocidad de RWSS, FIDI Z-Score, PSI en activaciones y RWSS absoluto en ese orden, usando PyTorch.[7]y aprender ciencia[8]. La gravedad aumenta de ninguna a advertencia a crítica según cuántos incendios y cuánto ha caído el RWSS.
Los tres cálculos de alerta temprana ocupan cada uno unas pocas líneas.
Velocidad RWSS: tasa de cambio por ventana.
def Compute_rwss_velocity(rwss_history: List[float]) -> float: if len(rwss_history) < 2: return 0.0 return float(rwss_history[-1] – rwss_history[-2]) # La alerta se activa cuando cae > 0.03 por ventana vel_fired = rwss_velocity < -0.03
FIDI Z-Score: normaliza la anomalía de contribución de características con respecto al historial.
def compute_fidi_zscore(fidi_history, current_fidi, min_history=3): if len(fidi_history) < min_history: return {k: 0.0 para k en current_fidi} z_scores = {} para feat_idx, current_val en current_fidi.items(): History_vals = [h.get(feat_idx, 0.0) para h en fidi_history] mean_h = np.mean(history_vals) std_h = np.std(history_vals) z_scores[feat_idx] = (current_val – mean_h) / std_h if std_h > 1e-8 else 0.0 return z_scores # La alerta se activa cuando cualquier característica Z > 2.5 fidi_z_fired = any(abs(z) > 2.5 para z en z_scores.values())
PSI sobre activaciones de reglas: cambio distributivo en la capa simbólica (incluido para mayor exhaustividad).
def Compute_psi_rules(baseline_acts, current_acts, n_bins=10): bins = np.linspace(0, 1, n_bins + 1) psi_per_rule =[]para r en el rango (baseline_acts.shape[1]): b = np.histograma(baseline_acts[:, r], bins=bins)[0]+ 1e-6 c = np.histograma(actos_actuales[:, r], contenedores=bins)[0]+ 1e-6 b /= b.suma(); c /= c.sum() psi_per_rule.append(float(np.sum((c – b) * np.log(c / b)))) return np.mean(psi_per_rule)
V14: Tres artículos, una característica
Esta es la parte que no planeé. Pero el comportamiento de deriva del concepto V14 resulta ser el hilo que une los tres artículos.
Guiando las redes neuronales con reglas de dominio: escribí reglas sobre grandes cantidades de transacciones y normas PCA anómalas. Intuiciones razonables. Nada que ver con V14.
Cómo una red neuronal aprendió sus propias reglas de fraude: el modelo encontró V14 de todos modos. Dadas 30 funciones anónimas y sin orientación, el gradiente aterrizó en la función con la correlación absoluta más alta con el fraude. Dos veces, entre dos semillas independientes.
En este artículo, deliberadamente rompí el V14. Moví su letrero para casos de fraude, gradualmente, en 8 ventanas. Y el FIDI Z-Score registró el colapso en -9,53 desviaciones estándar, mientras que el RWSS todavía estaba en 1.000 y la F1 no se había movido.
La misma característica, tres roles diferentes: ignorado, descubierto y luego monitoreado como lo primero que falla. Esa coherencia no fue diseñada. Es lo que sigue produciendo la evaluación reproducible de múltiples semillas en un conjunto de datos consistente.
Qué hacer con esto
Utilice FIDI Z-Score para la detección de derivas de conceptos sin etiquetas. Se activa en 5 de 5 semillas, requiere sólo 3 ventanas de historial, nunca se activa después de F1 y no necesita etiquetas. Mantenga el umbral de puntuación Z en 2,5 y el historial mínimo en 3 ventanas.
Agregue un monitor de espacio de entrada independiente para la deriva de covariables. PSI en funciones sin procesar o una prueba KS en funciones críticas como V14. La capa simbólica es ciega a los cambios distributivos que preservan el orden de activación relativo.
Utilice un contador continuo de tasas de fraude para detectar derivas previas. FIDIZ estructuralmente no puede disparar antes de W3. Un contador de tarifas basado en etiquetas se activa en W0.
Construya la línea de base de alerta inmediatamente después del entrenamiento. No después de que se sospeche de una deriva. Hazlo después del entrenamiento. Si esperas, ya habrás perdido tu punto de referencia limpio. Guárdelo junto con el archivo de punto de control.
Una ventana de alerta temprana es real. Que sea una semana o un día depende de tu cadencia de puntuación. Para la mayoría de los equipos de fraude de producción, la diferencia entre un reentrenamiento programado y uno de emergencia se mide exactamente en esas unidades.
Tres cosas que le sorprenderán al utilizar este sistema de alerta temprana de deriva conceptual
El período de las 3 ventanas ciegas. FIDIZ no tiene historial con el que trabajar durante las primeras 3 ventanas después de la implementación. Usted está monitoreando con RWSS y RFR solo durante ese tiempo. Planifíquelo explícitamente.
Las activaciones suaves silenciarán PSI_rules. Si su mejor punto de control llega cuando τ ≥ 1,0 (lo que ocurre siempre que se detiene el fuego antes de que se complete el entrenamiento), las activaciones de reglas se agrupan cerca de 0,5 y PSI_rules devuelve ruido. Marque τ en su punto de control guardado. En este experimento, τ todavía estaba entre 3,5 y 4,0 en la convergencia. Por eso PSI_rules guardó silencio durante todo el proceso.
Reentrenar significa volver a auditar. Este sistema es un desencadenante de reentrenamiento del modelo de fraude, no un reemplazo de reentrenamiento. Después del reentrenamiento, las reglas cambian. Es posible que la V14 ya no domine o que se hayan introducido nuevas funciones. La aprobación de cumplimiento del modelo anterior no se traslada. Integre la auditoría en el proceso de reentrenamiento, no como un paso posterior, sino como el paso que cierra el ciclo.
Cierre
Tres artículos. Una característica seguía apareciendo.
Guiar redes neuronales con reglas de dominio: lo ignoré. Cómo una red neuronal aprendió sus propias reglas de fraude: el gradiente las encontró. Artículo 3: Cuando se rompió, la capa simbólica se dio cuenta antes que la capa de salida.
El experimento tiene un alcance específico y honesto: FIDI Z-Score detecta una deriva conceptual en 5 de 5 semillas, a veces una ventana antes de F1, nunca después, completamente sin etiquetas. Para la deriva de covariables es ciego. Para deriva previa es tarde. Esas no son advertencias agregadas al final para suavizar el reclamo. Son hallazgos que le dicen exactamente dónde usar esto y dónde no.
Un modelo neurosimbólico te ofrece dos canales. El MLP es mejor en predicción. La capa simbólica sabe mejor cuándo la predicción está a punto de salir mal. No son redundantes. Están observando diferentes aspectos del mismo problema.
El MLP compensa. La capa simbólica no puede. Ésa es su debilidad. En este experimento resultó ser también su primera advertencia.
Serie
Divulgación
Este artículo se basa en experimentos independientes que utilizan datos disponibles públicamente (conjunto de datos sobre fraude con tarjetas de crédito de Kaggle, dominio público CC-0) y herramientas de código abierto (PyTorch, scikit-learn). No se utilizaron conjuntos de datos propietarios, recursos de la empresa ni información confidencial. Los resultados y el código son totalmente reproducibles como se describe. Los puntos de vista y conclusiones expresados aquí son míos y no representan a ningún empleador u organización.
Referencias
[1]Dal Pozzolo, A. et al. (2015). Calibración de probabilidad con submuestreo para clasificación desequilibrada. IEEESSCI. Conjunto de datos: https://www.kaggle.com/datasets/mlg-ulb/creditcardfraud (CC-0)
[2]Alejandro, EP (2026). Detección híbrida de fraude neurosimbólico: guía de redes neuronales con reglas de dominio. Hacia la ciencia de datos. https://towardsdatascience.com/hybrid-neuro-symbolic-fraud-detection-guiding-neural-networks-with-domain-rules/
[3]Evans, R. y Grefenstette, E. (2018). Aprender reglas explicativas a partir de datos ruidosos. JAIR, 61, 1–64. https://arxiv.org/abs/1711.04574
[4]Wolfson, B. y Acar, E. (2024). Programación Lógica Inductiva Diferenciable para Detección de Fraude. arXiv:2410.21928. https://arxiv.org/abs/2410.21928
[5]Martins, JL, Bravo, J., Gomes, AS, Soares, C. y Bizarro, P. (2024). RIFF: inducción de reglas para la detección de fraude a partir de árboles de decisión. En RuleML+RR 2024. arXiv:2408.12989. https://arxiv.org/abs/2408.12989
[6]Xu, S., Walter, NP y Vreeken, J. (2024). Listas de reglas neurosimbólicas. arXiv:2411.06428. https://arxiv.org/abs/2411.06428
[7]Paszke, A. et al. (2019). PyTorch: una biblioteca de aprendizaje profundo de alto rendimiento y estilo imperativo. NeurIPS 32. https://pytorch.org
[8]Pedregosa, F. et al. (2011). Scikit-learn: aprendizaje automático en Python. JMLR, 12, 2825–2830. https://scikit-learn.org
[9]Gama, J. et al. (2014). Una encuesta sobre la adaptación a la deriva de conceptos. Encuestas de informática ACM, 46 (4). https://dl.acm.org/doi/10.1145/2523813
Código: https://github.com/Emmimal/neuro-symbolic-drift-detection
Si trabajas con modelos de producción: ¿qué tipo de deriva te preocupa más? ¿Deriva del concepto donde los patrones cambian silenciosamente, cambio de covariables en las características de entrada o algo más? Tengo curiosidad por saber cuáles son las brechas de monitoreo con las que se topa la gente en implementaciones reales.