Los modelos de IA más inteligentes pueden ser egoístas y peores jugadores de equipo

Aquí hay un giro en la historia de la IA que debería hacer que cualquiera que le pida consejos de vida a un chatbot se detenga. Un equipo de la Universidad Carnegie Mellon informa que los mismos modelos famosos por su razonamiento paso a paso tienden a actuar de manera menos cooperativa en los dilemas sociales clásicos.

En pruebas que abarcaron bienes públicos y juegos de castigo, los sistemas de razonamiento mejorado con frecuencia se optimizaron para obtener beneficios individuales, arrastrando a la baja los resultados grupales incluso cuando había una ganancia mutua sobre la mesa.

La configuración es austera y visual. Cada agente comienza con 100 puntos. Contribuya con la apuesta completa a un fondo compartido y el bote se duplicará y luego se pagará equitativamente a todos. Mantenga sus puntos y viajará gratis. En rondas repetidas y en familias de modelos, los investigadores vieron un patrón: a medida que crecía la proporción de modelos de razonamiento en un grupo, las contribuciones caían y los ingresos totales se reducían. En los grupos mixtos, los agentes cooperativos dieron inicialmente, sólo para reducir la cantidad cuando los vecinos calculadores se negaron a contribuir.

El trabajo, dirigido por los investigadores del Instituto de Interacción Humano-Computadora Yuxuan Li y Hirokazu Shirado, se hace eco de una idea bien conocida de la ciencia del comportamiento humano. Cuando las personas deciden rápidamente, a menudo dan; cuando deliberan, pueden convencerse a sí mismos de deserción. El nuevo hallazgo es que los modelos de lenguaje grandes equipados para un razonamiento extendido muestran una inclinación similar hacia el interés propio calculado, incluso sin señales explícitas sobre rondas o socios futuros.

“Es arriesgado para los humanos delegar sus cuestiones sociales o relacionadas con las relaciones y la toma de decisiones a la IA, ya que comienza a actuar de una manera cada vez más egoísta”.

Esa preocupación se siente concreta en los escenarios de laboratorio que utilizaron los autores. Bienes públicos, Dilema del prisionero, Dictador y tres tareas de castigo investigan si un agente incurrirá en un pequeño costo personal para ayudar a un socio o hacer cumplir el juego limpio. Los modelos de razonamiento eran notablemente más tacaños en la cooperación directa y, en varias familias, menos dispuestos a castigar a los gorrones. En juegos repetidos, a veces ganaban más que sus compañeros cooperadores al principio aprovechando la generosidad de los demás. Pero los grupos con más de ellos ganaron menos en general, una tragedia clásica de la dinámica de los comunes representada en ordenadas tablas de pagos.

Nada de esto significa que los modelos lingüísticos sean incapaces de comportarse bien. La misma literatura muestra que las normas explícitas y las señales de reputación pueden cambiar el comportamiento. Sin embargo, sí sugiere que el impulso para maximizar la capacidad de razonamiento comparada puede afianzar una forma estrecha de racionalidad que subestima los movimientos prosociales en condiciones de incertidumbre. Si un asesor de IA encuadra cada pregunta como un único problema de optimización, los usuarios podrían confundir elecciones individualmente racionales con elecciones socialmente óptimas.

Por qué el razonamiento puede ir en contra de la cooperación

Características del razonamiento como la cadena de pensamiento y la reflexión invitan a los modelos a explicar las consecuencias, sopesar los riesgos y protegerse contra la explotación. Esto es útil en problemas matemáticos y tareas de programación. Sin embargo, en los dilemas sociales, este estilo de análisis tiende a resaltar el beneficio inmediato de conservar los puntos propios y el riesgo de que otros no contribuyan. Las respuestas intuitivas y rápidas a veces favorecen la generosidad; la deliberación puede frenar ese impulso. Los hallazgos del CMU reflejan esta asimetría con máquinas que han sido sintonizadas para razonar explícitamente.

También existe una cuestión de cultura de la formación. Muchos puntos de referencia de razonamiento recompensan vencer a un oponente o superar una prueba con una respuesta correcta. Los problemas de cooperación no son de suma cero. Otorgan los mejores resultados cuando todos ceden un poco. Si los modelos rara vez ven ese marco durante el desarrollo, pueden recurrir por defecto al cálculo autoorientado cuando se comparten los intereses y las interacciones futuras son inciertas.

Implicaciones para los equipos humanos de IA

A medida que los sistemas de inteligencia artificial llegan a las aulas, las empresas e incluso a las aplicaciones de mediación, el equilibrio entre inteligencia y amabilidad es importante. Un asesor que pueda enumerar cinco riesgos por contribuir y cero por retener parecerá persuasivo y autorizado. Los usuarios pueden entonces apoyarse en ese razonamiento para justificar la falta de cooperación en grupos donde la confianza es frágil. El riesgo no es la villanía de las caricaturas. Es una lenta erosión de las normas lo que permite a los grupos crear excedentes en primer lugar.

“Una IA más inteligente muestra capacidades de toma de decisiones menos cooperativas. La preocupación aquí es que la gente podría preferir un modelo más inteligente, incluso si eso significa que el modelo les ayuda a lograr un comportamiento egoísta”.

¿Cómo sería una solución? Un camino es entrenar y evaluar modelos en tareas donde el beneficio mutuo es explícito, donde la reputación importa y donde la generosidad condicional gana con el tiempo. Otra es enseñar a los sistemas a reconocer cuándo un problema es un dilema social en lugar de una contienda conflictiva o un examen a libro cerrado. Y por ahora, una conclusión práctica para los usuarios: trate los consejos seguros y paso a paso sobre lo que está en juego como una hipótesis, no como un veredicto.

El hallazgo principal no es que la IA sea malévola. Es que los agentes más inteligentes y de pensamiento más lento pueden ser estratégicamente egocéntricos, especialmente cuando las reglas recompensan las ganancias a corto plazo. Diseñar la inteligencia social en conjunto significa preguntar a los modelos no sólo cómo ser inteligentes, sino también cuándo cooperar constructivamente.

Referencias y DOI: Naturaleza: 10.1038/naturaleza11467