Por qué las empresas de IA necesitan un sociólogo residente

Las empresas de IA están reclutando filósofos para dar forma a los valores y el comportamiento de sus sistemas pero, según el Dr. Stephen Whitehead, están pasando por alto a los sociólogos, los expertos mejor posicionados para identificar los supuestos que pueden dejar a la tecnología sesgada, excluyente e insegura.

En octubre de 1946, en una reunión del Club de Ciencias Morales de Cambridge, tres de los filósofos más influyentes del siglo XX –Bertrand Russell, Karl Popper y Ludwig Wittgenstein– se vieron envueltos en una furiosa discusión sobre si la filosofía se ocupaba de problemas genuinos o simplemente de enigmas del lenguaje.

Se dice que Wittgenstein, que presidía, cogió un atizador de fuego y lo blandió mientras exigía que Popper nombrara una única regla moral. Popper respondió: “no amenazar a los profesores visitantes con atizadores”, antes de que Wittgenstein se fuera furioso. Los relatos aún difieren más de 75 años después, incluso entre aquellos en la sala. Si tres de las mentes más agudas de su generación no pudieron ponerse de acuerdo sobre si la filosofía se ocupa en absoluto de problemas reales, debería hacer reflexionar a cualquiera que suponga que la filosofía por sí sola puede proporcionar ahora una base estable sobre cómo debería comportarse una máquina.

Sin embargo, la filosofía es exactamente lo que la industria de la IA ha estado comprando, a gran velocidad y a gran escala. Iason Gabriel, anteriormente de Oxford, se unió a Google DeepMind como filósofo en 2017, mientras que Anthropic contrató a Amanda Askell en 2021. Ahora lidera el equipo responsable del personaje de Claude y es la autora principal de su constitución publicada. En mayo, DeepMind le otorgó a Henry Shevlin, anteriormente en Cambridge, su primer título oficial de “Filósofo”, con competencias que abarcan la conciencia de las máquinas, las relaciones entre humanos y la IA y la preparación de AGI. Sam Altman, director ejecutivo de OpenAI, afirmó por separado que OpenAI consultó a cientos de filósofos morales mientras daba forma a las barreras de seguridad de ChatGPT.

La magnitud de este cambio es ahora visible en el propio mercado laboral. Un informe del Banco de la Reserva Federal de Nueva York de febrero encontró que los graduados en filosofía tienen una tasa de desempleo más baja que los graduados en ciencias de la computación, una inversión que habría parecido absurda hace una década, y que Caixin Global ha vinculado directamente con el apetito de los laboratorios de inteligencia artificial por talento filosófico a medida que las habilidades técnicas se vuelven cada vez más mercantilizadas.

Otra disciplina está diseñada específicamente para responder a estas preguntas y ha estado en gran parte sin uso en un piso debajo del departamento de filosofía: la sociología. Más particularmente, existe el marco que llamo ‘Inclusividad Total’, basado en el principio de que ninguna institución, producto o plataforma es neutral y que la inclusión genuina es una decisión de diseño estructural más que un sentimiento. La filosofía pregunta qué es el bien en abstracto. La Inclusividad Total plantea una pregunta más concreta y comprobable: ¿qué experiencia fue tratada como típica cuando se construyó esto y quién fue silenciosamente excluida? La respuesta está en los datos, el equipo y el registro del diseño, independientemente de que alguien se haya molestado o no en buscarlo.

Considere lo que sucede cuando nadie lo hace. Un asistente de atención médica con IA entrenado predominantemente con datos clínicos masculinos puede subestimar los síntomas de un ataque cardíaco en las mujeres, que presentan con mucha más frecuencia náuseas, fatiga y dolor de mandíbula que el dolor opresivo en el pecho que los datos del entrenamiento tratan como predeterminado. Un compañero de relación con IA construido casi enteramente dentro de un registro cultural puede malinterpretar la reticencia como desinterés, confundiendo la expresión más indirecta de intimidad de una cultura con una falta de sentimiento, o escuchar calidez donde un modelo occidental espera franqueza. Se trata de fallos de punto de vista: el resultado predecible de un sistema construido en torno a los valores predeterminados de una población a quien se le pide que sirva a todos los demás, sin que nadie en la sala cuyo trabajo fuera darse cuenta antes de que se lanzara.

Algunos laboratorios de IA ni siquiera han llegado a la versión filosófica de este problema, y ​​mucho menos a la de los sociólogos. xAI de Elon Musk ha reclutado cientos de contratistas especializados para capacitar a Grok (contadores, banqueros, comediantes y novelistas publicados), pero no se ha informado de ningún filósofo o especialista en ética en un rol comparable, y xAI detuvo una parte de esa contratación en junio. La ausencia aparece en el producto. A Grok se le ha obligado dos veces a impulsar una teoría de conspiración marginal y, por separado, a elogiar a Hitler, y la empresa atribuyó cada incidente a un “empleado deshonesto”. Es difícil imaginar que alguno de ellos sobreviva al contacto con el tipo de constitución que Askell ha construido en Anthropic, y mucho menos a una auditoría de punto de vista del tipo que exigiría la Inclusividad Total. La tendencia está lejos de ser universal, y es poco probable que la brecha entre los laboratorios que tienen alguna versión de la misma y el laboratorio más asociado con fallas exactamente de este tipo sea una coincidencia.

Entonces, ¿por qué contratar filósofos si la sociología plantea la pregunta más aguda? Bien utilizado, el papel todavía se gana su lugar. Los filósofos ofrecen a las empresas una base coherente para explicar por qué un modelo rechaza una solicitud y permite otra. Identifican excepciones antes que los reguladores y proporcionan un lenguaje para defender decisiones difíciles. Parte del trabajo es aún más profundo: el informe de Shevlin en DeepMind y una investigación paralela sobre modelos de bienestar en Anthropic y Meta, preguntan si los sistemas de IA podrían poseer algo parecido a la experiencia. El papel también puede indicar seriedad al público y a los inversores sin cambiar una sola decisión, razón por la cual la crítica del “lavado de ética” merece atención.

Lo que estas empresas realmente están buscando es una manera de garantizar que todos puedan usar un sistema de inteligencia artificial de manera segura y confiar en la plataforma para mantener esa seguridad, independientemente de quiénes sean, de dónde vengan o en qué se diferencian de quienquiera que lo haya construido. Esa es la Inclusividad Total en acción, ya sea que la empresa use la frase o no, y es el punto de vista que vale la pena adoptar para cualquier organización con un cliente, usuario o ciudadano al otro lado de lo que construye.

El director ejecutivo de OpenAI, Sam Altman, en la foto, dijo que la compañía consultó a cientos de filósofos morales mientras desarrollaba las barreras de comportamiento de ChatGPT. El Dr. Stephen Whitehead sostiene que las empresas de IA también deberían incorporar sociólogos para identificar los supuestos subconscientes que dan forma a sus sistemas. Crédito: James Tamim/Wikimedia Commons (CC BY 2.0)

El nacimiento de las plataformas de redes sociales ofrece una advertencia: entre Facebook, TikTok y sus pares, estas plataformas han reordenado la forma en que miles de millones de personas establecen relaciones, construyen identidades y entienden lo que es normal. Durante la mayor parte de su existencia, no hubo nadie empleado para preguntar sistemáticamente qué les estaba haciendo esto a las personas que los usaban. El equipo fundador de Facebook estaba formado desproporcionadamente por hombres jóvenes, con formación en ingeniería y con sede en el norte de California, que operaban dentro de una visión del mundo que trataba el compromiso y la viralidad como evidentemente buenos. TikTok es instructivo precisamente porque no surgió en absoluto de Silicon Valley. Su matriz, ByteDance, tiene su sede en Beijing y tiene un punto de vista nacional y corporativo completamente diferente. Si bien una geografía no es intrínsecamente más sospechosa que otra, ninguna plataforma escapa a tener un punto de vista. La cultura de piratería del crecimiento de Facebook, el algoritmo de participación de TikTok y el propio botón “Me gusta” se basaron en ideas particulares y no examinadas de lo que una persona quiere y es. El resultado han sido plataformas en las que el contenido que provoca puede amplificarse sobre el contenido que informa, donde la moderación se aplica de manera inconsistente en todas las culturas y géneros, y que están diseñadas para un compromiso adictivo sin preocuparse por lo que eso le hace a la sensación de identidad de una persona.

Aplicado a la tecnología, un sociólogo residente replantea toda la cuestión. La imparcialidad estadística por sí sola es insuficiente. Las preguntas importantes son qué experiencia se trató como típica cuando se concibió un sistema, qué necesidades dieron forma a los valores predeterminados y qué diferencia se reparó más tarde, si es que se reparó. Una plataforma diseñada casi en su totalidad por un grupo demográfico, en un rincón del mundo, nunca iba a crear una experiencia universal por accidente, por muy talentosos que fueran sus ingenieros. La inclusión debe integrarse en la arquitectura desde el principio: quién está en la sala cuando se escriben las directrices, qué datos entrenan el modelo y qué caso se trata como central en lugar de excepcional.

Esto tiene implicaciones directas para el papel en sí. Un sociólogo residente revisaría los conjuntos de datos antes de que comience la capacitación, se sentaría dentro del diseño del producto en lugar de ser consultado después, auditaría las suposiciones incorporadas en las personas de los usuarios y las configuraciones predeterminadas, y aprobaría (o se negaría a aprobar) si una gama genuinamente diversa de puntos de vista está representada antes de que algo llegue al público. El trabajo también exigiría diferentes registros de compromiso en lugar de una voz supuestamente universal, y la comprensión de que cuidar a los usuarios no significa estar de acuerdo con ellos infinitamente. Una declaración de diversidad no sustituye a una arquitectura diversa, porque esta última requiere cambiar quién define las reglas.

Este no es un argumento en contra del empleo de filósofos. El razonamiento riguroso es una incorporación bienvenida y esperada a una industria que prácticamente ha prescindido de él, y las preguntas que ahora se plantean sobre la conciencia de las máquinas y el bienestar de la IA son genuinamente serias.

Sin embargo, la filosofía por sí sola importa sus propios desacuerdos no resueltos a la máquina y corre el riesgo de repetir el error que produjo los daños de la era de las redes sociales: un conjunto de mentes estrechas, por inteligentes que sean, que deciden en nombre de todos los demás lo que se considera seguro, verdadero y normal.

Dentro de veinte años, las empresas se preguntarán cómo creyeron que se podían diseñar productos sin alguien cuya tarea profesional fuera comprender la sociedad misma. El sociólogo residente será tan común como el actual director de tecnología. Se espera que cada organización responda, en público y antes de enviar algo, la pregunta que ya plantea la Inclusividad Total: si esta plataforma no es totalmente inclusiva, ¿qué es? ¿A quién, precisamente, se deja fuera deliberadamente y por qué?

El Dr. Stephen Whitehead es un sociólogo de género y autor reconocido por su trabajo sobre género, liderazgo y cultura organizacional. Anteriormente estuvo en la Universidad de Keele, vive en Asia desde 2009 y ha escrito 20 libros traducidos a 17 idiomas. Tiene su sede en Tailandia y es cofundador de Cerafyna Technologies. Su próximo libro, en coautoría con Constanza Fernández Arce, es ¿Adónde se han ido todos los hombres buenos?

LEER MÁS: ‘El futuro desigual de la IA se puede encontrar en las calles de Hanoi’. La inteligencia artificial ha transformado la forma en que trabajan millones de profesionales y muchos de ellos ahora dependen de herramientas de inteligencia artificial gratuitas todos los días. Pero es poco probable que la era de los servicios gratuitos de IA dure, y las calles de Hanoi, Vietnam, ofrecen un vistazo del futuro desigual que podría aguardar, escribe el Dr. Stephen Whitehead.

¿Tiene noticias para compartir o experiencia para contribuir? El europeo acoge con agrado las opiniones de líderes empresariales y especialistas del sector. Póngase en contacto con nuestro equipo editorial para obtener más información.

Imagen principal: Ann H/Pexels