Para un viejo desafío
Estás entrenando a tu modelo para la detección de spam. Su conjunto de datos tiene muchos más positivos que negativos, por lo que invierte innumerables horas de trabajo para reequilibrarlo a una relación 50/50. Ahora está satisfecho porque pudo abordar el desequilibrio de clases. ¿Qué pasaría si te dijera que 60/40 podría haber sido no solo suficiente, sino incluso mejor?
En la mayoría de las aplicaciones de clasificación de aprendizaje automático, el número de instancias de una clase superan a las de otras clases. Esto ralentiza el aprendizaje [1] y potencialmente puede inducir sesgos en los modelos entrenados [2]. Los métodos más utilizados para abordar esto dependen de una prescripción simple: encontrar una manera de dar a todas las clases el mismo peso. La mayoría de las veces, esto se realiza a través de métodos simples, como dar más importancia a los ejemplos de clase minoritarios (rewe -weighting), eliminar ejemplos de clases mayoritarios del conjunto de datos (bajo muestreo) o incluir instancias de clase minoritarias más de una vez (exhibición).
A menudo se discute la validez de estos métodos, con un trabajo teórico y empírico que indica qué solución funciona mejor depende de su aplicación específica [3]. Sin embargo, hay una hipótesis oculta que rara vez se discute y con demasiada frecuencia se da por sentado: ¿es el reequilibrio incluso una buena idea? Hasta cierto punto, estos métodos funcionan, por lo que la respuesta es sí. Pero deberíamos completamente reequilibrar nuestros conjuntos de datos? Para simplificarlo, tomemos un problema de clasificación binaria. ¿Deberíamos reequilibrar nuestros datos de capacitación para tener el 50% de cada clase? La intuición dice que sí, y la práctica guiada de la intuición hasta ahora. En este caso, la intuición es incorrecta. Por razones intuitivas.
¿Qué queremos decir con ‘desequilibrio de entrenamiento’?
Antes de profundizar en cómo y por qué el 50% no es el desequilibrio de entrenamiento óptimo en la clasificación binaria, definamos algunas cantidades relevantes. Llamamos norte₀ El número de instancias de una clase (generalmente la clase minoritaria), y norte₁ los de la otra clase. De esta manera, el número total de instancias de datos en el conjunto de capacitación es norte=norte₀+norte₁. La cantidad que analizamos hoy es el desequilibrio de entrenamiento,
ρ⁽ᵗʳᵃⁱⁿ⁾ = norte₀/norte .
Evidencia de que el 50% es subóptima
La evidencia inicial proviene del trabajo empírico en bosques aleatorios. Kamalov y los colaboradores midieron el desequilibrio de entrenamiento óptimo, ρ⁽ᵒᵖᵗ⁾, en 20 conjuntos de datos [4]. Encuentran que su valor varía de un problema a otro, pero concluyen que es más o menos ρ⁽ᵒᵖᵗ⁾ = 43%. Esto significa que, según sus experimentos, desea un poco más de la mayoría que los ejemplos de clase minoritaria. Sin embargo, esta no es la historia completa. Si desea apuntar a modelos óptimos, no se detenga aquí y confíe a su ρ⁽ᵗʳᵃⁱⁿ⁾ al 43%.
De hecho, este año, trabajo teórico de Pezzicoli et al. [5]demostró que el desequilibrio de entrenamiento óptimo no es un valor universal que es válido para todas las aplicaciones. No es del 50% y no es del 43%. Resulta que el desequilibrio óptimo varía. Algunas veces puede ser menor que el 50% (como midieron Kamalov y los colaboradores), y otras mayores del 50%. El valor específico de ρ⁽ᵒᵖᵗ⁾ dependerá de los detalles de cada problema de clasificación específico. Una forma de encontrar ρ⁽ᵒᵖᵗ⁾ es entrenar el modelo para varios valores de ρ⁽ᵗʳᵃⁱⁿ⁾, y medir el rendimiento relacionado. Esto podría, por ejemplo, verse así:
Aunque los patrones exactos determinan ρ⁽ᵒᵖᵗ⁾ Todavía no están claros, parece que cuando los datos son abundantes en comparación con el tamaño del modelo, el desequilibrio óptimo es menor al 50%, como en los experimentos de Kamalov. Sin embargo, muchos otros factores, desde lo intrínsecamente raras que son las instancias minoritarias, hasta lo ruidosa que es la dinámica de entrenamiento, se unen para establecer el valor óptimo del desequilibrio de entrenamiento y determinar cuánto rendimiento se pierde cuando uno se aleja de ρ⁽ᵒᵖᵗ⁾.
Por qué el equilibrio perfecto no siempre es mejor
Como dijimos, la respuesta es realmente intuitiva: como diferentes clases tienen diferentes propiedades, no hay ninguna razón por la cual ambas clases llevarían la misma información. De hecho, el equipo de Pezzicoli demostró que generalmente no lo hacen. Por lo tanto, para inferir el mejor límite de decisión, podríamos necesitar más instancias de una clase que de la otra. El trabajo de Pezzicoli, que está en el contexto de la detección de anomalías, nos proporciona un ejemplo simple y perspicaz.
Supongamos que los datos provienen de una distribución gaussiana multivariada, y que etiquetamos todos los puntos al derecho de un límite de decisión como anomalías. En 2D, se vería así:
La línea discontinua es nuestro límite de decisión, y los puntos a la derecha del límite de decisión son el norte₀ Anomalías. Vamos ahora reequilibrándonos nuestro conjunto de datos para ρ⁽ᵗʳᵃⁱⁿ⁾ = 0.5. Para hacerlo, necesitamos encontrar más anomalías. Dado que las anomalías son raras, las que es más probable que encuentren están cerca del límite de decisión. Ya a ojos, el escenario es sorprendentemente claro:
Las anomalías, en amarillo, se apilan a lo largo del límite de decisión y, por lo tanto, son más informativos sobre su posición que los puntos azules. Esto podría inducir a pensar que es mejor privilegiar puntos de clase minoritarios. Por otro lado, las anomalías solo cubren un lado del límite de decisión, por lo que una vez que uno tiene suficientes puntos de clase minoritarios, puede ser conveniente invertir en más puntos de clase mayoritarios, para cubrir mejor el otro lado del límite de decisión. Como consecuencia de estos dos efectos competitivos, ρ⁽ᵒᵖᵗ⁾ Generalmente no es del 50%, y su valor exacto depende del problema.
La causa raíz es la asimetría de clase
La teoría de Pezzicoli muestra que el desequilibrio óptimo es generalmente diferente del 50%, porque diferentes clases tienen diferentes propiedades. Sin embargo, solo analizan una fuente de diversidad entre las clases, es decir, el comportamiento atípico. Sin embargo, como se muestra, por ejemplo, Sarao-Mannelli y coautores [6]hay muchos efectos, como la presencia de subgrupos dentro de las clases, que pueden producir un efecto similar. Es la concurrencia de una gran cantidad de efectos que determinan la diversidad entre las clases, lo que nos dice cuál es el desequilibrio óptimo para nuestro problema específico. Hasta que tengamos una teoría que trata todas las fuentes de asimetría en los datos juntos (incluidas las inducidas por cómo los procesa la arquitectura del modelo), no podemos conocer el desequilibrio de entrenamiento óptimo de un conjunto de datos de antemano.
Control de clave y lo que puede hacer de manera diferente
Si hasta ahora reequilibró su conjunto de datos binario al 50%, lo estaba haciendo bien, pero lo más probable es que no estuviera haciendo lo mejor posible. Aunque todavía no tenemos una teoría que pueda decirnos cuál debería ser el desequilibrio de entrenamiento óptimo, ahora sabes que es probable que no sea el 50%. La buena noticia es que está en camino: los teóricos del aprendizaje automático están abordando activamente este tema. Mientras tanto, puedes pensar en ρ⁽ᵗʳᵃⁱⁿ⁾ Como hiperparámetro que puede ajustar de antemano, al igual que cualquier otro hiperparámetro, para reequilibrar sus datos de la manera más eficiente. Entonces, antes de su próxima ejecución de entrenamiento modelo, pregúntese: ¿es realmente 50/50 realmente óptimo? Intente ajustar su desequilibrio de clase: el rendimiento de su modelo podría sorprenderlo.
Referencias
[1] E. Francazi, M. Baity-Jesi y A. Lucchi, Un análisis teórico de la dinámica de aprendizaje bajo desequilibrio de clases (2023), ICML 2023
[2] K. Ghosh, C. Bellinger, R. Corizzo, P. Branco, b. Krawczyk y N. Japkowicz, El problema del desequilibrio de la clase en el aprendizaje profundo (2024), Aprendizaje automático, 113(7), 4845–4901
[3] E. Loffredo, M. Pastore, S. Cocco y R. Monasson, Balance de restauración: Principalmente bajo/sobremuestreo de datos para una clasificación óptima (2024), ICML 2024
[4] F. Kamalov, AF Atiya y D. Elreedy, Revuestre parcial de datos desequilibrados (2022), prexiv preimpresión ARXIV: 2207.04631
[5] FS Pezzicoli, V. Ros, FP Landes y M. Baity-Jesi, Desequilibrio de clases en la detección de anomalías: aprender de un modelo solucionable exactamente (2025). Aistats 2025
[6] S. Sarao-Mannelli, F. Gerace, N. Rostamzadeh y L. Saglietti, Geometrías inductoras de sesgo: un modelo de datos solucionable exactamente con implicaciones de equidad (2022), preimpresión arxiv arxiv: 2205.15935