Si las empresas de IA se toman en serio la reducción de los prejuicios y la creación de tecnología que funcione en diferentes culturas y comunidades, contratar a un sociólogo residente es sólo el primer paso. Aquí, el Dr. Stephen Whitehead explica cómo incorporaría la sociología en el desarrollo de productos para identificar suposiciones ocultas antes de que se conviertan en fracasos costosos y vergonzosos.
En 2018, Amazon silenciosamente dejó de lado una herramienta de reclutamiento de inteligencia artificial que había tardado años en desarrollar. El sistema, formado a partir de una década de CV presentados en su mayoría por hombres, había aprendido por sí mismo que la masculinidad era un indicador de competencia. Degradaba los CV que contenían la palabra “femenino”, como en “capitana del club de ajedrez femenino”. Penalizó a los graduados de dos universidades exclusivamente para mujeres. Los ingenieros intentaron corregir el sesgo, pero descubrieron que no había garantía de que el modelo no encontrara nuevos sustitutos para el mismo patrón. Amazon finalmente abandonó el proyecto antes de arriesgarse a implementarlo.
Nadie en Amazon se propuso crear una herramienta de contratación sexista, razón por la cual la historia sigue siendo relevante años después. El sesgo estructural se incorporó a un conjunto de datos de capacitación que reflejaba quiénes ya habían sido contratados y se reproducía fielmente mediante un sistema sin instrucciones de hacer lo contrario. La buena voluntad por sí sola no lo habría logrado. Sólo una auditoría sistemática y consciente de los puntos de vista realizada antes del lanzamiento lo habría revelado antes de la disculpa.
En mi artículo anterior, Por qué las empresas de IA necesitan un sociólogo residente, expuse por qué las empresas de IA necesitan a alguien cuyo trabajo sea ver la institución como la ve un externo capacitado y decir lo incómodo antes de que un periodista, un regulador o un hilo viral lo diga primero. La pregunta obvia es: ¿qué hace realmente esa persona? Un puesto de trabajo no es un trabajo.
Así es como construiría la función en la práctica.
Mi respuesta se basa en el marco que he desarrollado durante tres décadas bajo el lema de Inclusividad Total. Vale la pena ser preciso sobre lo que significa esa frase, porque habitualmente se malinterpreta. La Inclusividad Total parte del hecho de que la neutralidad cultural es imposible: no existe un punto de vista neutral desde el cual se pueda construir un producto, una política o un algoritmo. Cada configuración predeterminada, cada personaje de ‘usuario típico’ y cada conjunto de datos de entrenamiento privilegia la experiencia de alguien sobre la de otra persona. La disciplina hace que ese privilegio sea visible, explícito y responsable, de modo que pueda examinarse y corregirse antes de que se convierta en un resultado.
Organizaría el trabajo en seis etapas, secuenciadas deliberadamente para que cada una se basara en el trabajo desde el punto de vista realizado en la anterior.
Comienza con el alcance y el mapeo de puntos de vista. Antes de redactar una sola línea de código o una única cláusula de política, alguien tiene que hacer la pregunta que las instituciones casi nunca hacen explícitamente: ¿la experiencia de quién estamos tratando aquí como predeterminada? Cada equipo de desarrollo parte de suposiciones sobre el usuario típico, generalmente no examinadas y generalmente un reflejo del propio equipo. Los ingenieros de Amazon eran, desproporcionadamente, el grupo demográfico que sus datos de entrenamiento ya favorecían, y nadie había tenido la tarea de nombrar ese hecho en voz alta antes de que comenzara la construcción.
Luego viene la auditoría del conjunto de datos y de los datos de capacitación, la etapa que habría detectado directamente el problema de Amazon. Los datos registran decisiones pasadas, exclusiones pasadas y poder pasado. Un conjunto de datos creado a partir de una década de decisiones de contratación registra a quién una empresa ya contrató en lugar de a quién merece. La auditoría de sesgos y brechas de representación en esta etapa cuesta una fracción de lo que cuesta deshacer un producto enviado.
La tercera etapa examina las personas y los recorridos de los usuarios, probando si un producto funciona y se lee correctamente en todas las culturas, géneros y experiencias vividas. Un documento de persona que describe a un usuario típico en términos que asumen silenciosamente una nacionalidad, estructura familiar o rol de género en particular producirá un producto que sirva bien a esa persona pero no a todos los demás. Aquí es donde quedan atrapadas las malas interpretaciones culturales: la suposición, por ejemplo, de que la franqueza en la retroalimentación aterriza de la misma manera en Frankfurt que en Bangkok.
En cuarto lugar está el diseño y la revisión algorítmica, evaluando las interfaces y la lógica de decisión en sí mismas para detectar la amplificación del sesgo: dónde el sesgo ingresa a un sistema y dónde los propios bucles de retroalimentación del sistema crean un pequeño sesgo mayor con cada iteración. Esta es la etapa que la mayoría de las organizaciones se saltan por completo, porque requiere conocimientos técnicos y sociológicos en la misma sala al mismo tiempo, lo cual es más raro de lo que debería ser.
En quinto lugar está la puerta de aprobación, la etapa que otorga autoridad real al sociólogo residente. El rol revisa los hallazgos acumulados y aprueba el lanzamiento del producto o requiere cambios, con poder genuino para mantener la puerta en lugar de presentar un memorando que se lee después del hecho. Un sociólogo residente sin capacidad para decir “todavía no” es un ejercicio de cumplimiento, no una auditoría.
Por último, el seguimiento posterior al lanzamiento: métricas continuas y reauditorías periódicas, porque la deriva del punto de vista no se detiene en el lanzamiento. Las bases de usuarios evolucionan, surgen casos extremos que ninguna revisión previa al lanzamiento podría anticipar y el incumplimiento inclusivo de ayer se convierte en el punto ciego del mañana a medida que un producto escala hacia mercados que sus diseñadores nunca imaginaron.
Este trabajo va mucho más allá de una declaración de diversidad incorporada a un plan de lanzamiento. La inclusión debe integrarse en la arquitectura, los datos y la gobernanza desde el principio. Requiere que una organización tolere algún incómodo autoexamen sobre el poder, la cultura y los incentivos, que es precisamente la razón por la que tan pocos lo hacen voluntariamente hasta que el costo llega en forma de titular.
La dimensión de la IA hace que todo esto sea más urgente. Un gerente de contratación parcial toma una mala decisión a la vez, a velocidad humana, que el siguiente gerente puede corregir. Un algoritmo sesgado toma millones de decisiones a la velocidad de una máquina antes de que alguien note el patrón y, cuando aparece, ya se ha integrado en todos los sistemas posteriores que confiaron en su salida. La asimetría entre el costo de auditar antes del lanzamiento y el costo de desenredar después del lanzamiento nunca ha sido tan marcada, y sólo se ampliará a medida que más toma de decisiones institucionales pasen a sistemas entrenados con datos del ayer.
Lo que esto requiere, en la práctica, es un sociólogo residente dedicado con autoridad organizacional real: una función facultada para mantener cerrada la puerta de la quinta etapa cuando la evidencia dice que debería permanecer cerrada.
El retorno de esa inversión es que lleguen menos productos tóxicos al mercado, menos disculpas tardías de los directores ejecutivos y –lo que realmente importa a todas las juntas directivas– una exposición materialmente reducida al tipo de riesgo legal y de reputación que representa una herramienta de reclutamiento archivada en su forma más leve.
En otras palabras, se contrata al sociólogo residente para que haga que una organización se vea claramente, según un cronograma, antes de que el mercado lo haga por ella.
El Dr. Stephen Whitehead es un sociólogo de género y autor reconocido por su trabajo sobre género, liderazgo y cultura organizacional. Anteriormente estuvo en la Universidad de Keele, vive en Asia desde 2009 y ha escrito 20 libros traducidos a 17 idiomas. Tiene su sede en Tailandia y es cofundador de Cerafyna Technologies. Su próximo libro, en coautoría con Constanza Fernández Arce, es ¿Adónde se han ido todos los hombres buenos?
LEER MÁS: ‘Por qué las empresas de IA necesitan un sociólogo residente’. Las empresas de IA están reclutando filósofos para dar forma a los valores y el comportamiento de sus sistemas pero, según el Dr. Stephen Whitehead, están pasando por alto a los sociólogos, los expertos en mejor posición para identificar los supuestos que pueden dejar a la tecnología sesgada, excluyente e insegura.
¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.
Imagen principal: fauxels/Pexels