Hay nuevos giros en la saga del sesgo algorítmico y la Ley Estadounidense de Derechos de Privacidad, o APRA. Se trata del proyecto de ley de privacidad que habría impuesto cuotas de raza y género a los algoritmos de IA. Cubrí ese esfuerzo hace dos semanas en un artículo detallado por la conspiración de Volokh.
Han pasado muchas cosas desde entonces. Lo más importante es que la publicidad en torno a sus disposiciones sobre cuotas obligó a los redactores del APRA a retirarse. A nuevo borrador de discusión fue lanzado y eliminó gran parte del lenguaje que impulsa las cuotas. Luego, un día después, un subcomité de comercio de la Cámara de Representantes mantuvo un margen de beneficio sobre el nuevo borrador. En realidad, se trataba más bien de un marcado sin margen de beneficio; Miembro tras miembro insistió en que el nuevo borrador necesitaba más cambios y luego retiró sus enmiendas en espera de nuevas discusiones. Con ese ambiguo respaldo, el subcomité envió APRA al pleno del comité.
Aun así, es una buena noticia que el APRA omita ahora las disposiciones originales sobre impactos dispares y cuotas. No se ofreció ninguna explicación para el cambio, pero parece claro que pocos en el Congreso quieren ser vistos imponiendo cuotas en la toma de decisiones algorítmica.
Dicho esto, hay motivos para temer que los redactores todavía esperan introducir cuotas algorítmicas en la mayoría de los algoritmos sin tener que defenderlas. La nueva versión del APRA tiene cuatro disposiciones sobre discriminación algorítmica. En primer lugar, el proyecto de ley prohíbe el uso de datos de una manera que «discrimina o de otro modo imposibilita el disfrute igualitario de bienes y servicios» sobre la base de diversas características protegidas. Segundo. 113(a)(1). Ese comienzo prometedor se ve inmediatamente socavado por la segunda disposición, que permite la discriminación en la recopilación de datos, ya sea para realizar «autopruebas» para prevenir o mitigar la discriminación ilegal o para ampliar el grupo de solicitantes o clientes. Identificación. en (a)(2). La tercera disposición requiere que los usuarios evalúen el potencial de un algoritmo «para causar un daño, incluido el daño a un individuo o grupo de individuos sobre la base de características protegidas». Identificación. en (b)(1)(B)(ix). Finalmente, en esa evaluación, los usuarios deben proporcionar detalles de las medidas que están tomando para mitigar dichos daños «a un individuo o grupo de individuos». Identificación.
El requisito de autoevaluación claramente empuja a los diseñadores de algoritmos a ser justos no sólo con los individuos sino también con los grupos demográficos. El daño algorítmico debe evaluarse y mitigarse no sólo de forma individual sino también de forma grupal. Juzgar a un individuo por su identidad grupal suena mucho a discriminación, pero el APRA se asegura de que dichos juicios sean inmunes a la responsabilidad; define la discriminación para excluir las medidas tomadas para ampliar un grupo de clientes o solicitantes.
Entonces, a pesar de su redacción críptica, se puede leer fácilmente que APRA requiere que los algoritmos eviten dañar a un grupo protegido, una interpretación que conduce rápidamente a las cuotas como la mejor manera de evitar daños al grupo. Ciertamente, los organismos reguladores no tendrían problemas para brindar orientación que llegue a ese resultado. Sólo necesitan declarar que un algoritmo causa daño a un «grupo de individuos» si no les garantiza una participación proporcional en la distribución de empleos, bienes y servicios. Incluso una empresa privada a la que le gustan las cuotas porque son una forma barata de evitar acusaciones de parcialidad podría implementarlas y luego invocar las dos defensas legales: que su autoevaluación requirió un ajuste para lograr la justicia grupal y que el ajuste es inmune a las cuotas. demandas por discriminación porque está diseñado para ampliar el grupo de beneficiarios.
En resumen, aunque no es tan tremendamente coercitivo como su predecesor, es probable que el nuevo APRA aliente el ajuste de algoritmos para alcanzar una representación proporcional, incluso a costa de la precisión.
Este es un gran problema. Va mucho más allá de las cuotas en admisiones académicas y empleo. Incorporaría la «justicia grupal» en todo tipo de algoritmos de decisión, desde decisiones sobre fianzas y atención médica hasta viajes en Uber, reconocimiento facial y más. Es más, como no es fácil identificar cómo los algoritmos de aprendizaje automático logran resultados extrañamente precisos, los diseñadores de esos algoritmos se verán tentados a introducir de contrabando factores raciales o de género en sus productos sin decírselo a los sujetos o incluso a los usuarios.
Este proceso ya está en marcha, incluso en el sector sanitario, donde comprometer la precisión de un algoritmo en aras de resultados proporcionados puede ser una cuestión de vida o muerte. Un reciente artículo sobre sesgo algorítmico en atención médica publicado por la Escuela de Salud Pública de Harvard recomendó que los diseñadores de algoritmos protejan a «ciertos grupos» «insertando un estándar artificial en el algoritmo que enfatiza demasiado a estos grupos y resta importancia a otros».
De hecho, los expertos en sesgos algorítmicos recomiendan habitualmente este tipo de intervención burda para conferir ventajas artificiales por raza y género. Así, el Instituto Global McKinsey aconseja a los diseñadores imponer lo que llama «restricciones de equidad» a sus productos para obligar a los algoritmos a lograr resultados proporcionales. Entre los enfoques que considera valiosos se encuentran las «técnicas de posprocesamiento [that] transformar algunas de las predicciones del modelo después de haberlas hecho para satisfacer una restricción de equidad». Otro enfoque recomendado «impone restricciones de equidad al proceso de optimización mismo». En ambos casos, para ser claros, el modelo se está volviendo menos preciso para y en cada caso, el compromiso pasará desapercibido. Las opiniones de justicia social del diseñador están ocultas por una característica fundamental del aprendizaje automático; recompensar los resultados que cumplan con ciertos requisitos demográficos, eso es lo que producirá la máquina.
Si se pregunta qué tan lejos de la realidad se encuentran tales limitaciones, eche un vistazo a los resultados de «texto a imagen» producidos originalmente por Google Gemini. Cuando se le pidió fotografías de soldados alemanes en la década de 1940, el entrenamiento de Gemini requería que presentara imágenes de nazis negros y asiáticos. 
Las consecuencias de incorporar tanta corrección política a las decisiones sanitarias podrían ser devastadoras y mucho más difíciles de detectar.
Por eso no podemos permitirnos el enfoque del APRA de empujar las cuotas. La respuesta no es simplemente eliminar esas disposiciones, sino abordar directamente el problema de las cuotas furtivas. La APRA debería modificarse para dejar claro el principio fundamental de que los ajustes de algoritmos basados en la identidad requieren una justificación especial. Deberían ser un último recurso, utilizados sólo cuando la discriminación real haya distorsionado demostrablemente los resultados algorítmicos –y cuando otros remedios sean insuficientes. Nunca deben utilizarse cuando un sesgo aparente puede solucionarse simplemente mejorando la precisión del algoritmo. Por poner un ejemplo, hace diez o quince años el software de reconocimiento facial tenía dificultades para identificar con precisión a las minorías y los tonos de piel más oscuros. Pero hoy esas dificultades se puede superar en gran medida gracias a una mejor iluminación, cámaras, software y equipos de entrenamiento. Es mucho más probable que tales mejoras en la precisión algorítmica se consideren justas que forzar soluciones basadas en la identidad.
Igualmente importante es que cualquier introducción de raza, género y otras características protegidas en el diseño o entrenamiento de un algoritmo debe ser abierta y transparente. Las controvertidas medidas de «justicia grupal» nunca deben ocultarse al público, a los usuarios de algoritmos o a las personas afectadas por esas medidas.
Con esas consideraciones en mente, he realizado un análisis muy aproximado de cómo se podría modificar el APRA para garantizar que no fomente la imposición generalizada de cuotas algorítmicas:
«(a) Salvo lo dispuesto en la sección (b), un algoritmo cubierto no puede modificarse, entrenarse, incitarse, recompensarse o diseñarse de otro modo utilizando raza, etnia, origen nacional, religión, sexo u otra característica protegida.
(1) para afectar los resultados del algoritmo o
(2) producir una distribución particular de resultados basada total o parcialmente en la raza, etnia, origen nacional, religión o sexo.
(b) Un algoritmo cubierto puede modificarse, entrenarse, incitarse, recompensarse o diseñarse como se describe en la sección (a) únicamente:
(1) en la medida necesaria para remediar un acto o actos probados de discriminación que afectaron directa y próximamente los datos en los que se basa el algoritmo y
(2) si el algoritmo ha sido diseñado para garantizar que cualquier parte afectada negativamente por la modificación pueda ser identificada y notificada cada vez que se utilice el algoritmo modificado.
(c) Un algoritmo modificado de conformidad con la sección (b) no podrá utilizarse para ayudar en ninguna decisión a menos que se identifiquen y notifiquen a las partes afectadas negativamente por la modificación. Cualquier parte notificada así podrá impugnar el cumplimiento del algoritmo con la sección (b). «
No me queda claro que una disposición así sobrevivirá a un Senado demócrata y una Cámara que es republicana por un pelo. Pero la composición del Congreso podría cambiar dramáticamente en unos pocos meses. Además, regular la inteligencia artificial no es una preocupación sólo federal.
Las legislaturas estatales de tendencia izquierdista han tomado la iniciativa en la adopción de leyes sobre el sesgo de la IA; el año pasado, el Centro Brennan identificó siete jurisdicciones con leyes propuestas o promulgadas que abordan la discriminación por IA. Y por supuesto el administración biden está impulsando múltiples iniciativas anti-prejuicios. Muchas de estas medidas legales, junto con un impulso generalizado a favor de códigos éticos dirigidos a combatir el sesgo de la IA, tendrán el mismo impacto en la generación de cuotas que el APRA.
Los legisladores conservadores han tardado en reaccionar ante el entusiasmo por la regulación de la IA; su silencio garantiza que sus electores se regirán por algoritmos escritos según los estándares regulatorios de los estados azules. Si las legislaturas conservadoras no quieren importar cuotas sigilosas, necesitarán adoptar sus propias leyes que restrinjan la discriminación algorítmica de raza y género y exijan transparencia siempre que los algoritmos se modifiquen utilizando raza, género y características similares. Entonces, incluso si el APRA nunca se modifica o adopta, el lenguaje anterior, o alguna versión más ingeniosa del mismo, podría convertirse en una parte importante del debate nacional sobre la inteligencia artificial.