El organismo de control de la igualdad de Francia dictaminó que el algoritmo de publicidad laboral de Facebook incurrió en discriminación indirecta de género, un hallazgo que por primera vez trata el sesgo en el código como una violación de la ley de igualdad. Aquí, Vendan Kumararajah examina un precedente que extiende la responsabilidad de los tomadores de decisiones humanos a los sistemas mecánicos: un cambio con importantes implicaciones para la contratación, la atención médica y las finanzas, donde los algoritmos ahora dan forma al acceso al trabajo, el crédito y la atención.
El organismo de control de la igualdad de Francia dictaminó que el algoritmo de publicidad laboral de Facebook era sexista, una decisión histórica que establece que los sistemas automatizados pueden generar discriminación. Según se informa, el Défenseur des Droits llegó a esta conclusión tras descubrir que los anuncios de puestos de mecánico se mostraban casi exclusivamente a hombres, mientras que los puestos de profesora de preescolar estaban dirigidos principalmente a mujeres. El regulador consideró que la distribución automatizada de Facebook trataba a los usuarios de manera diferente según su sexo y, por lo tanto, violaba los principios de igualdad. A Meta se le han dado tres meses para delinear medidas correctivas.
El fallo se produjo tras una investigación detallada realizada por Global Witness, en colaboración con la Fundación para Mujeres (La Fondation des Femmes) y Mujeres Ingenieras (Femmes Ingénieurs). Su investigación reveló que nueve de cada diez destinatarios de anuncios de trabajo de mecánico eran hombres, mientras que nueve de cada diez que atendieron puestos de enseñanza preescolar eran mujeres. Ocho de cada diez espectadores de anuncios de psicólogos eran mujeres, y siete de cada diez de los que mostraron puestos vacantes de piloto eran hombres. El patrón surgió de un comportamiento algorítmico moldeado por la participación de los usuarios en el pasado, lo que reforzó la segregación ocupacional que la ley de igualdad busca prevenir.
Meta ha manifestado que no está de acuerdo con la decisión y está considerando su respuesta. No obstante, el hallazgo sienta un precedente europeo al tratar el sesgo algorítmico como discriminación en la ley. Un proceso digital ahora puede caer dentro del mismo marco de responsabilidad que gobierna la toma de decisiones humana, ampliando el alcance de la regulación de la igualdad al ámbito del aprendizaje automático.
El caso llama la atención sobre una transformación más amplia. En los ámbitos del empleo, la atención sanitaria, las finanzas y los servicios públicos, los sistemas algorítmicos ahora determinan el acceso al trabajo, el tratamiento, el crédito y el apoyo. Los reclutadores dependen de herramientas de selección automatizadas; los hospitales utilizan motores de clasificación; Los prestamistas se basan en modelos de puntuación. Las decisiones con consecuencias materiales se toman mediante sistemas que no brindan explicación ni ofrecen ninguna vía de apelación. La discriminación se ha vuelto estructural, integrada en datos y procesos de optimización que replican patrones de desigualdad.
En el sector sanitario han surgido problemas similares. Los estudios de algoritmos de clasificación de emergencia en Europa y Estados Unidos han encontrado que a las mujeres y a los pacientes de minorías se les asignan con frecuencia puntuaciones de urgencia más bajas porque los datos históricos codifican décadas de subdiagnóstico. Cuando los investigadores sustituyeron etiquetas de género en notas clínicas idénticas, los mismos síntomas se clasificaron como menos graves cuando se atribuyeron a una paciente femenina. Estos resultados revelan cómo los sistemas aprenden y repiten las distorsiones de las sociedades que producen sus datos.
Los modelos financieros y de seguros exhiben la misma lógica. Los motores de riesgo clasifican a los individuos según patrones de pago e historial demográfico, penalizando con frecuencia a los grupos con menor acceso histórico al crédito. En cada uno de estos campos, la IA ha asumido una función de control que alguna vez estuvo reservada a la discreción humana. El cambio ha alterado la estructura de la justicia sin un debate público y sin una rendición de cuentas clara.
Algunos gobiernos han comenzado a responder. La ciudad de Nueva York exige auditorías de sesgo para los algoritmos de contratación, y la próxima Ley de IA de la UE clasificará ciertas aplicaciones en reclutamiento, medicina y vigilancia como de alto riesgo, colocándolas bajo una supervisión más estricta. Estos esfuerzos indican una creciente conciencia de la necesidad de supervisar la toma de decisiones automatizada. Sin embargo, la velocidad de adopción en los sectores público y privado sigue superando el ritmo de la gobernanza.
El fallo francés introduce una base legal para la rendición de cuentas. Reconoce que los sistemas automatizados que afectan la vida de las personas deben ser transparentes, auditables y abiertos al escrutinio. Los desarrolladores y las instituciones implementadoras requieren responsabilidades claras para prevenir daños. Las evaluaciones independientes de equidad, las explicaciones comprensibles de la lógica de las decisiones y los derechos exigibles para cuestionar los resultados deberían constituir las condiciones básicas para el uso responsable de la IA.
Se están volviendo esenciales mayores salvaguardias. Los sistemas de esta escala deben someterse a auditorías de equidad independientes durante el desarrollo y la implementación. Sus resultados deben seguir siendo interpretables por las personas a las que afectan. El seguimiento demográfico continuo debería formar parte de su funcionamiento. La responsabilidad por daños algorítmicos debe definirse claramente entre los creadores y las organizaciones que utilizan sus productos. La automatización en áreas de alto riesgo como la atención médica, la contratación y el acceso financiero debe permanecer bajo supervisión humana activa.
La supervisión humana sigue siendo esencial en áreas relacionadas con el empleo, la atención sanitaria y la libertad personal. Los sistemas de decisión que influyen en estos dominios deben operar bajo la supervisión de individuos capaces de razonar moral y legalmente. La tecnología puede ayudar en ese proceso, pero no puede asumir autoridad ética.
La decisión de París representa una etapa temprana en la creación de dicho marco. Al afirmar que la discriminación puede originarse dentro del código, se extiende el alcance de la ley de igualdad a la esfera digital y proporciona una base para futuras reformas. La rendición de cuentas en la gobernanza algorítmica dependerá de la aplicación continua de la transparencia, la equidad y la responsabilidad humana en todos los sistemas que configuran el acceso a las oportunidades.
Vendan Ananda Kumararajah es un arquitecto de transformación y pensador de sistemas reconocido internacionalmente. Creador del Modelo A3, un marco cibernético de nuevo orden que une la ética, la conciencia de la distorsión y la agencia en la IA y la gobernanza, une la antigua filosofía tamil con la ciencia de sistemas contemporánea. Miembro del Chartered Management Institute y autor de Navigating Complexity and System Challenges: Foundations for the A3 Model (2025), Vendan está redefiniendo cómo la inteligencia, la gobernanza y la ética se interconectan en una era de tecnologías autónomas.
LEER MÁS: ‘Cómo la IA nos está enseñando a pensar como máquinas’. Más de treinta años después de Terminator 2, la inteligencia artificial ha comenzado a reflejar nuestro propio engaño e impaciencia. El arquitecto de transformación Vendan Kumararajah sostiene que la frontera entre el pensamiento humano y el de las máquinas está empezando a desaparecer.
¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.