Los economistas tienen un juego que revela hasta qué punto razonan los individuos. Conocido como el juego de solicitud de dinero 11-20, se juega entre dos jugadores que solicitan cada uno una cantidad de dinero entre 11 y 20 shéquels, sabiendo que ambos recibirán la cantidad que piden.
Pero hay un giro: si un jugador pide exactamente un shéquel menos que el otro, ese jugador gana una bonificación de 20 shéquels. Esto pone a prueba la capacidad de cada jugador para pensar en lo que podría hacer su oponente, un desafío clásico del razonamiento estratégico.
El juego 11-20 es un ejemplo de razonamiento de nivel k en la teoría de juegos, donde cada jugador intenta anticipar el proceso de pensamiento del otro y ajustar sus propias elecciones en consecuencia. Por ejemplo, un jugador que utilice un razonamiento de nivel 1 podría elegir 19 siclos, suponiendo que el otro elegirá 20. Pero un pensador de nivel 2 podría pedir 18, prediciendo que su oponente elegirá 19. Este tipo de pensamiento se estratifica, creando una intrincada danza de estrategia y dudas.
¿Reemplazos humanos?
En los últimos años, varios investigadores han sugerido que los modelos de lenguaje grandes (LLM) como ChatGPT y Claude pueden comportarse como humanos en una amplia gama de tareas. Esto ha planteado la posibilidad de que los LLM puedan reemplazar a los humanos en tareas como probar opiniones de nuevos productos y anuncios antes de que se lancen al mercado humano, un enfoque que sería significativamente más barato que los métodos actuales.
Pero eso plantea la importante cuestión de si el comportamiento del LLM es realmente similar al de los humanos. Ahora tenemos una respuesta gracias al trabajo de Yuan Gao y sus colegas de la Universidad de Boston, que han utilizado una amplia gama de LLM avanzados para jugar el juego 11-20. Descubrieron que ninguno de estos sistemas de IA produjo resultados similares a los de los jugadores humanos y dicen que se necesita extrema precaución cuando se trata de utilizar LLM como sustitutos de humanos.
El enfoque del equipo es sencillo. Explicaron las reglas del juego a los LLM, incluidos varios modelos de ChatGPT, Claude y Llama. Pidieron a cada uno que eligiera un número y luego explicaran su razonamiento. Y repitieron el experimento mil veces para cada LLM.
Pero Gao y compañía no quedaron impresionados con los resultados. Los jugadores humanos suelen utilizar estrategias sofisticadas que reflejan niveles de razonamiento más profundos. Por ejemplo, una elección humana común podría ser 17, lo que refleja la suposición de que su oponente seleccionará un valor más alto como 18 o 19. Pero los LLM mostraron un patrón marcadamente diferente: muchos simplemente eligieron 20 o 19, lo que refleja el nivel básico 0 o nivel -1 razonamiento.
Los investigadores también intentaron mejorar el rendimiento de los LLM con técnicas como escribir indicaciones más adecuadas y ajustar los modelos. Como resultado, GPT-4 mostró respuestas más parecidas a las humanas, pero los demás no lo hicieron.
El comportamiento de los LLM también fue muy inconsistente dependiendo de factores irrelevantes, como el idioma en el que se les pedía.
Gao y compañía dicen que la razón por la que los LLM no logran reproducir el comportamiento humano es que no razonan como humanos. El comportamiento humano es complejo y está impulsado por emociones, prejuicios y diversas interpretaciones de incentivos, como el deseo de vencer a un oponente. Los LLM dan su respuesta utilizando patrones en el lenguaje para predecir la siguiente palabra en una oración, un proceso que es fundamentalmente diferente al pensamiento humano.
Resultado aleccionador
Es probable que ese sea un resultado aleccionador para los científicos sociales, para quienes la idea de que los LLM puedan reemplazar a los humanos en ciertos tipos de experimentos es tentadora.
Pero Gao y compañía dicen: “Esperar obtener información sobre los patrones de comportamiento humano a través de experimentos en LLM es como un psicólogo entrevistando a un loro para comprender el estado mental de su dueño humano”. El loro puede usar palabras y frases similares a las de su dueño, pero manifiestamente sin perspicacia.
“Estos LLM tienen apariencia humana pero su comportamiento es fundamental e impredecible”, dicen.
Científicos sociales: ¡estáis advertidos!
Ref: Tenga cuidado al utilizar LLM como sustitutos humanos: Scylla Ex Machina: arxiv.org/abs/2410.19599