Las herramientas de inteligencia artificial están reemplazando cada vez más los juicios humanos en algunos entornos. Por ejemplo, los algoritmos de selección de currículums se utilizan a menudo en la contratación, donde pueden mejorar la eficiencia y la coherencia en la toma de decisiones.
Pero algunos académicos han expresado su preocupación de que la adopción de sistemas automatizados podría eventualmente dar como resultado que se utilice un algoritmo para tomar todas las decisiones en una industria en particular. Les preocupa que el llamado monocultivo algorítmico pueda tener consecuencias negativas.
Por ejemplo, en la contratación, se piensa que el monocultivo algorítmico podría dar lugar a una exclusión sistemática: una situación en la que un candidato a un puesto rechazado por el algoritmo de una empresa probablemente también sería rechazado por el algoritmo de todas las demás empresas.
Sin embargo, los investigadores del MIT ahora argumentan que el monocultivo algorítmico puede no siempre ser tan malo como han sugerido algunos científicos.
Evaluaron sistemáticamente las principales objeciones al monocultivo algorítmico, incluida la exclusión sistemática, y concluyeron que este y muchos otros argumentos fallan o no son decisivos contra todas las formas de monocultivo.
En cambio, demuestran matemáticamente que el monocultivo tiende a crear cámaras de eco informativas que pueden obstaculizar la exploración. En la contratación, esto podría hacer que sea menos probable que los mejores candidatos consigan trabajo; sin embargo, agrupar varios algoritmos de contratación en un único “conjunto” puede superar esta limitación, según muestran los investigadores. En ocasiones, esto podría permitir que un monocultivo funcione tan bien, si no mejor, que un policultivo en el que diferentes empresas utilizan diferentes algoritmos.
“Una tendencia hacia el monocultivo algorítmico es un escenario realista y una cuestión realmente importante que está siendo provocada por el uso de la IA, pero es difícil decir en abstracto si el monocultivo sería algo malo. Depende de los detalles, como el dominio del que estamos hablando y la precisión del algoritmo en sí”, dice el coautor del estudio Brian Hedden, profesor del Departamento de Lingüística y Filosofía, que ocupa un puesto compartido en el MIT Schwarzman College of Computing con el Departamento de Ingeniería Eléctrica y Ciencias de la Computación. (EECS) y también es investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS).
A Hedden se une en el artículo el coautor Manish Raghavan, profesor de desarrollo profesional Drew Houston (2005) en la Sloan School of Management del MIT y en EECS, así como investigador principal de LIDS. La investigación aparece en Perspectivas filosóficas.
El paso hacia el monocultivo
La monocultura algorítmica, en la que todas las decisiones en un determinado dominio se toman utilizando el mismo algoritmo, no es un fenómeno nuevo.
Por ejemplo, antes las decisiones sobre préstamos las tomaban banqueros independientes de bancos individuales, pero ahora todos los banqueros utilizan la misma información basada en las puntuaciones crediticias estandarizadas del prestatario, que se derivan del algoritmo de Fair Isaac Corporation (FICO).
De manera similar, muchas empresas de Fortune 500 utilizan habitualmente un puñado de algoritmos de selección de currículums.
“La preocupación es que, a medida que más personas utilizan la IA y los algoritmos para obtener información y tomar decisiones, hay más vehículos para que se produzca este tipo de correlación”, afirma Raghavan.
Para comprender mejor esta cuestión, él y Hedden unieron fuerzas para evaluar sistemáticamente las promesas y los peligros del monocultivo algorítmico. Se centraron en la contratación, pero su enfoque podría aplicarse a otros ámbitos, como los préstamos. (Sin embargo, señalan que otros dominios, como la creación de contenido generativo de IA o la investigación científica guiada por IA, pueden funcionar de manera diferente, y que el monocultivo en algunos de estos dominios puede ser más problemático).
Los investigadores comenzaron explorando una objeción común al monocultivo algorítmico: que la dependencia del mismo algoritmo excluirá sistemáticamente a ciertas personas de las oportunidades.
Esto podría ocurrir en la contratación porque, si una empresa descarta el currículum de un individuo, ese solicitante probablemente enfrentará la misma mala suerte en todas las empresas.
Pero después de evaluar sistemáticamente este argumento utilizando una serie de modelos que capturan múltiples situaciones, los investigadores argumentan que no es convincente ya que el número total de personas contratadas no se ve afectado por el hecho de que las empresas utilicen el mismo algoritmo.
Más bien, el monocultivo algorítmico podría mejorar el poder de negociación de los candidatos a un puesto de trabajo.
“Todos los puestos de trabajo se cubren y el mismo número de personas consiguen empleo, pero las empresas se pelean por el mismo grupo de candidatos, lo que en realidad eleva los salarios”, dice Raghavan.
También exploraron las objeciones relacionadas con la agencia. Por ejemplo, si un candidato a un puesto solicita un puesto y su currículum se envía a todas las empresas utilizando el algoritmo de contratación, el candidato nunca tendrá la oportunidad de ajustar su currículum para mejorar sus posibilidades.
“Esto parece una buena objeción a las malas formas de monocultivo. Pero si tienes un monocultivo en el que puedes revisar tu currículum y volver a enviar tus materiales, entonces esto no se sostiene”, dice Hedden.
Por otro lado, el monocultivo podría permitir a los individuos jugar con el sistema. Por ejemplo, si tener el currículum en un determinado formato conduce a un mejor resultado, los candidatos a un puesto podrían simplemente reformatear sus currículums para mejorar sus posibilidades.
“Pero no es obvio que tener un algoritmo incentivaría más este tipo de juego que tener un montón de algoritmos diferentes utilizados por diferentes empresas”, dice Hedden. “En el último escenario, podrías simplemente apuntar a los algoritmos de un par de empresas e intentar jugar con ellos, dándote un poco de ventaja con algunos empleadores”.
La sabiduría de las multitudes
También consideraron una objeción menos explorada: que el monocultivo puede aumentar la homogeneización de la información.
Basado en la “sabiduría de las multitudes”, una teoría de la psicología social, un grupo diverso de tomadores de decisiones independientes puede superar a una sola persona, explica Hedden.
En la contratación, esto significa que tener empresas con diversos algoritmos de contratación puede generar un grupo de nuevas contrataciones de mayor calidad.
El monocultivo algorítmico también podría provocar que todas las empresas contraten candidatos con las mismas características y credenciales en todo momento. Esto puede impedir que las empresas descubran candidatos que puedan ser mejores alternativas.
“El monocultivo podría inhibir la cantidad de descubrimientos que se producen en general. No está claro si eso es algo malo, pero definitivamente es una preocupación cuando pensamos en diseñar IA para aplicaciones como la ciencia, el arte o la escritura”, dice Raghavan.
Este problema podría mitigarse integrando la aleatoriedad en una plataforma monocultural, lo que podría inducir un mayor nivel de exploración, añade.
Además, el rendimiento del monocultivo depende del algoritmo. Si un solo algoritmo es mucho más preciso que los muchos algoritmos utilizados por diferentes empresas, el monocultivo puede ser un mejor sistema.
Una forma de mejorar el desempeño puede ser agrupar los algoritmos de contratación de varias empresas en un “algoritmo conjunto” que podría asignar a cada candidato a un puesto una puntuación basada en el promedio.
Al realizar una serie de simulaciones de diferentes situaciones de contratación, los investigadores confirmaron que un “algoritmo conjunto” de este tipo a veces podía superar el uso de múltiples algoritmos.
Sin embargo, queda por explorar qué tan factible sería en la práctica este tipo de “conjunto” algorítmico, afirma Hedden.
“Muchas de las respuestas a las promesas y trampas del monocultivo algorítmico serán contextuales. Incluso desde una perspectiva de investigación, todavía queda mucho trabajo por hacer para descubrir cómo podemos abordar estas preocupaciones desde una perspectiva empírica”, afirma Raghavan.
En última instancia, los investigadores esperan que este trabajo inspire investigaciones adicionales sobre las consecuencias a largo plazo del monocultivo algorítmico, así como estudios que se centren en las complejidades del mundo real involucradas en un sistema complejo como el mercado laboral.