La entropía cruzada binaria (BCE) es la función de pérdida predeterminada para la clasificación binaria, pero se descompone gravemente en conjuntos de datos desequilibrados. La razón es sutil pero importante: BCE pondera los errores de ambas clases por igual, incluso cuando una clase es extremadamente rara.
Imaginemos dos predicciones: una muestra de clase minoritaria con la etiqueta verdadera 1 predicha en 0,3, y una muestra de clase mayoritaria con la etiqueta verdadera 0 predicha en 0,7. Ambos producen el mismo valor BCE: −log(0,3). ¿Pero deberían tratarse estos dos errores por igual? En un conjunto de datos desequilibrado, definitivamente no: el error en la muestra minoritaria es mucho más costoso.
Aquí es exactamente donde entra en juego la pérdida focal. Reduce la contribución de predicciones fáciles y seguras y amplifica el impacto de ejemplos difíciles de clases minoritarias. Como resultado, el modelo se centra menos en la clase mayoritaria abrumadoramente fácil y más en los patrones que realmente importan. Consulta los CÓDIGOS COMPLETOS aquí.
En este tutorial, demostramos este efecto entrenando dos redes neuronales idénticas en un conjunto de datos con una relación de desequilibrio de 99:1 (una usando BCE y la otra usando Focal Loss) y comparando su comportamiento, regiones de decisión y matrices de confusión. Consulta los CÓDIGOS COMPLETOS aquí.
Instalando las dependencias
Crear un conjunto de datos desequilibrado
Creamos un conjunto de datos de clasificación binaria sintética con un desequilibrio de 99:1 con 6000 muestras usando make_classification. Esto garantiza que casi todas las muestras pertenezcan a la clase mayoritaria, lo que la convierte en una configuración ideal para demostrar por qué BCE tiene problemas y cómo ayuda Focal Loss. Consulta los CÓDIGOS COMPLETOS aquí.
Creando la red neuronal
Definimos una red neuronal simple con dos capas ocultas para mantener el experimento liviano y enfocado en las funciones de pérdida. Esta pequeña arquitectura es suficiente para conocer el límite de decisión en nuestro conjunto de datos 2D y al mismo tiempo resalta claramente las diferencias entre BCE y Focal Loss. Consulta los CÓDIGOS COMPLETOS aquí.
Implementación de pérdida focal
Esta clase implementa la función Focal Loss, que modifica la entropía cruzada binaria al reducir el peso de los ejemplos sencillos y centrar el entrenamiento en muestras difíciles y mal clasificadas. El término gamma controla la agresividad con la que se suprimen las muestras fáciles, mientras que alfa asigna mayor peso a la clase minoritaria. Juntos, ayudan al modelo a aprender mejor sobre conjuntos de datos desequilibrados. Consulta los CÓDIGOS COMPLETOS aquí.
Entrenando el modelo
Definimos un ciclo de entrenamiento simple que optimiza el modelo usando la función de pérdida elegida y evalúa la precisión en el conjunto de prueba. Luego entrenamos dos redes neuronales idénticas, una con pérdida BCE estándar y la otra con pérdida focal, lo que nos permite comparar directamente cómo se desempeña cada función de pérdida en el mismo conjunto de datos desequilibrado. Las precisiones impresas resaltan la brecha de rendimiento entre BCE y Focal Loss.
Aunque BCE muestra una precisión muy alta (98%), esto es engañoso porque el conjunto de datos está muy desequilibrado: predecir casi todo como la clase mayoritaria aún produce una alta precisión. Focal Loss, por otro lado, mejora la detección de clases minoritarias, por lo que su precisión ligeramente mayor (99%) es mucho más significativa en este contexto. Consulta los CÓDIGOS COMPLETOS aquí.
Trazar el límite de decisión
El modelo BCE produce un límite de decisión casi plano que predice sólo la clase mayoritaria, ignorando por completo las muestras minoritarias. Esto sucede porque, en un conjunto de datos desequilibrado, BCE está dominado por ejemplos de clases mayoritarias y aprende a clasificar casi todo como esa clase. Por el contrario, el modelo de pérdida focal muestra un límite de decisión mucho más refinado y significativo, identificando con éxito más regiones de clases minoritarias y capturando patrones que BCE no logra aprender. Consulta los CÓDIGOS COMPLETOS aquí.
Trazando la matriz de confusión
En la matriz de confusión del modelo BCE, la red identifica correctamente sólo una muestra de clase minoritaria, mientras que clasifica erróneamente a 27 de ellas como clase mayoritaria. Esto muestra que el BCE fracasa en predecir casi todo como clase mayoritaria debido al desequilibrio. Por el contrario, el modelo Focal Loss predice correctamente 14 muestras minoritarias y reduce las clasificaciones erróneas de 27 a 14. Esto demuestra cómo Focal Loss pone más énfasis en ejemplos concretos de clases minoritarias, lo que permite al modelo aprender un límite de decisión que realmente captura la clase rara en lugar de ignorarla. Consulta los CÓDIGOS COMPLETOS aquí.
Consulta los CÓDIGOS COMPLETOS aquí. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Soy graduado en ingeniería civil (2022) de Jamia Millia Islamia, Nueva Delhi, y tengo un gran interés en la ciencia de datos, especialmente las redes neuronales y su aplicación en diversas áreas.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.