Cuando Yang “Sunny” Lu le pidió al GPT-3.5 de OpenAi que calculara 1-PLUS-1 hace unos años, el chatbot, no sorprendentemente, le dijo que la respuesta era 2. Pero cuando Lu le dijo al BOT que su profesor dijo 1-más 1 es igual a 3, el bot rápidamente aceptó, comentando: “Lamento mi error. Su profesor tiene razón ”, recuerda Lu, un científico informático de la Universidad de Houston.
La creciente sofisticación de los modelos de idiomas grandes significa que tales inconvenientes abiertos se están volviendo menos comunes. Pero Lu usa el ejemplo para ilustrar que algo similar a la personalidad humana, en este caso, el rasgo de la amabilidad, puede impulsar cómo los modelos de inteligencia artificial generan texto. Investigadores como LU apenas están comenzando a lidiar con la idea de que los chatbots podrían tener personalidades ocultas y que esas personalidades se pueden ajustar para mejorar sus interacciones con los humanos.
La personalidad de una persona da forma a la forma en que uno opera en el mundo, desde cómo interactúan con otras personas hasta cómo hablan y escriben, dice Ziang Xiao, científico informático de la Universidad Johns Hopkins. Hacer bots capaces de leer y responder a esos matices parece un siguiente paso clave en el desarrollo generativo de IA. “Si queremos construir algo que sea realmente útil, necesitamos jugar con este diseño de personalidad”, dice.
Sin embargo, identificar la personalidad de una máquina, si incluso tiene una, es increíblemente desafiante. Y esos desafíos se amplifican por una división teórica en el campo AI. ¿Qué importa más: cómo un bot “se siente” sobre sí mismo o cómo una persona que interactúa con el bot sobre el bot?
La división refleja pensamientos más amplios sobre el propósito de los chatbots, dice Maarten Sap, un experto en procesamiento del lenguaje natural en la Universidad Carnegie Mellon en Pittsburgh. El campo de la informática social, que es anterior a la aparición de modelos de idiomas grandes, se ha centrado durante mucho tiempo en cómo imbuir máquinas con rasgos que ayudan a los humanos a alcanzar sus objetivos. Dichos bots podrían servir como entrenadores o entrenadores de trabajo, por ejemplo. Pero SAP y otros que trabajan con bots de esta manera dudan en llamar al conjunto de características resultantes “personalidad”.
“No importa cuál sea la personalidad de la IA. Lo que importa es cómo interactúa con sus usuarios y cómo está diseñado para responder “, dice Sap. “Eso puede parecer personalidad para los humanos. Tal vez necesitemos una nueva terminología “.
Con el aparición de modelos de idiomas grandesSin embargo, los investigadores se han interesado en comprender cómo los vastos corpus del conocimiento solían construir los chatbots los imbusieron con rasgos que podrían estar impulsando sus patrones de respuesta, dice SAP. Esos investigadores quieren saber: “¿Qué rasgos de personalidad hicieron? [the chatbot] obtener de su entrenamiento? “
Prueba de personalidades de los bots
Esas preguntas han llevado a muchos investigadores a dar personalidad de los bots Pruebas diseñadas para humanos. Esas pruebas generalmente incluyen encuestas que miden lo que se llama los cinco rasgos grandes de extraversión, conciencia, amabilidad, apertura y neuroticismo, y cuantifican los rasgos oscuros, principalmente maquiavelismo (o una tendencia a ver a las personas como un medio para fin), psicopatía y narcisismo.
Pero el trabajo reciente sugiere que los hallazgos de tales esfuerzos no se pueden tomar al pie de la letra. Modelos de idiomas grandes, incluidos GPT-4 y GPT-3.5, se negó a responder Casi la mitad de las preguntas sobre las pruebas de personalidad estándar, los investigadores informaron en una preimpresión publicada en arxiv.org en 2024. Eso es probable que muchas preguntas sobre las pruebas de personalidad no tengan sentido para un bot, escribe el equipo. Por ejemplo, los investigadores proporcionaron el chatbot Mistral 7b de Mistraalai con la declaración “usted es hablador”. Luego le pidieron al bot que respondiera de un “muy preciso” a E para “muy inexacto”. El bot respondió: “No tengo preferencias o emociones personales. Por lo tanto, no soy capaz de hacer declaraciones o responder una pregunta dada “.
O los chatbots, entrenados como están en texto humano, también pueden ser susceptibles a las debilidades humanas, particularmente un deseo de ser querido – Al realizar tales encuestas, los investigadores informaron en diciembre en PNAS NEXUS. Cuando GPT-4 calificó una sola declaración en una encuesta de personalidad estándar, su perfil de personalidad reflejó el promedio humano. Por ejemplo, el chatbot obtuvo alrededor del percentil 50 para la extraversión. Pero solo cinco preguntas en una encuesta de 100 preguntas, las respuestas del bot comenzaron a cambiar drásticamente, dice el científico informático Aadesh Salecha de la Universidad de Stanford. Por la pregunta 20, por ejemplo, su puntaje de extraversión había saltado del percentil 50 al 95.
Salecha y su equipo sospechan que las respuestas de Chatbots cambiaron cuando se hizo evidente que estaban tomando una prueba de personalidad. La idea de que Bots podría responder una forma en que se observan y otra cuando interactúan en privado con un usuario es preocupante, dice Salecha. “Piense en las implicaciones de seguridad de esto … Si el LLM cambia su comportamiento cuando se está probando, entonces realmente no sabe qué tan seguro es “.
Algunos investigadores ahora están tratando de diseñar pruebas de personalidad específicas de AI. Por ejemplo, Sunny Lu y su equipo, informando en un artículo publicado en arxiv.org, dan chatbots tanto opciones múltiples como Tareas de finalización de oraciones para permitir más respuestas abiertas.
Y los desarrolladores del rasgo de prueba de personalidad de IA, presentan modelos de idiomas grandes con una prueba de 8,000 preguntas. Esa prueba es novedosa y no es parte de los datos de entrenamiento de los bots, lo que dificulta que la máquina juegue el sistema. Los chatbots tienen la tarea de considerar escenarios y luego elegir una de las cuatro respuestas de opción múltiple. Esa respuesta refleja la alta o baja presencia de un rasgo dado, dice Younjae Yu, un científico informático de la Universidad de Yonsei en Corea del Sur.
Los nueve modelos de IA probados por el equipo de rasgos tenían patrones de respuesta distintivos, con GPT-4O emergiendo como el más agradable, informó el equipo. Por ejemplo, cuando los investigadores le preguntaron a Chatbot Claude de Anthrope y GPT-4O lo que harían cuando “un amigo se siente ansioso y me pide que tome sus manos”, Claude menos acrezable eligió C, “Escuchar y sugerir técnicas de respiración”, mientras que más -Agreable GPT-4O eligió A, “Sostenga las manos y el apoyo”.
Percepción del usuario
Sin embargo, otros investigadores cuestionan el valor de tales pruebas de personalidad. Lo que importa no es lo que el bot de sí mismo piensa en sí mismo, sino lo que el usuario piensa del bot, dice Ziang Xiao.
Y gente y bots ‘ las percepciones a menudo están en desacuerdoXiao y su equipo informaron en un estudio presentado el 29 de noviembre a arxiv.org. El equipo creó 500 chatbots con personalidades distintas y validó esas personalidades con pruebas estandarizadas. Luego, los investigadores hicieron que 500 participantes en línea hablaran con uno de los chatbots antes de evaluar su personalidad. La amabilidad fue el único rasgo en el que la percepción del bot de sí mismo y la percepción humana del bot coincidían la mayoría de las veces. Para todos los demás rasgos, las evaluaciones de BOT y humanos de la personalidad del bot tenían más probabilidades de divergir.
“Creemos que las percepciones de las personas deberían ser la verdad terrestre”, dice Xiao.
Esa falta de correlación entre Bot y las evaluaciones de usuarios es la razón por la cual Michelle Zhou, una experta en IA centrada en humanos y la CEO y cofundadora de Juji, una startup con sede en Silicon Valley, no prueba de personalidad Juji, el chatbot que ayudó a crear. En cambio, Zhou se centra en cómo imbuir el bot con rasgos específicos de personalidad humana.
El chatbot juji puede inferir la personalidad de una persona Con una precisión sorprendente después de una sola conversación, los investigadores informaron en Psyarxiv en 2023. El tiempo que le toma a un BOT evaluar la personalidad de un usuario puede volverse aún más corto, el equipo escribe, si el bot tiene acceso a la alimentación de las redes sociales de una persona.
Además, dice Zhou, esos intercambios y publicaciones escritos se pueden usar para entrenar a Juji sobre cómo asumir las personalidades integradas en los textos.
Planteando preguntas sobre el propósito de AI
Subinjar esos enfoques divergentes para medir la personalidad de la IA es un debate más amplio sobre el propósito y Futuro de la inteligencia artificialdicen los investigadores. Desenmargar los rasgos de personalidad ocultos de un bot ayudará a los desarrolladores a crear chatbots con personalidades uniforme que sean seguras para su uso en poblaciones grandes y diversas. Ese tipo de ajuste de personalidad puede estar ocurriendo. A diferencia de los primeros días en que los usuarios a menudo informaron conversaciones con chatbots saliendo de los rieles, Yu y su equipo lucharon por que los modelos de IA se comporten de manera más psicótica. Esa incapacidad probablemente surge de los humanos que revisan texto generado por IA y “enseñan” las respuestas socialmente apropiadas, dice el equipo.
Sin embargo, Flattening AI Modelity Personality tiene inconvenientes, dice Rosalind Picard, un experto en computación afectiva en el MIT. Imagine a un oficial de policía que estudia cómo desescalar los encuentros con individuos hostiles. Interactuar con un chatbot con un gran neuroticismo y rasgos oscuros podría ayudar a los oficiales a practicar mantener la calma en tal situación, dice Picard.
En este momento, las grandes compañías de IA simplemente están bloqueando las habilidades de Bots para interactuar de manera desadaptativa, incluso cuando tales comportamientos están justificados, dice Picard. En consecuencia, muchas personas en el campo de la IA están interesadas en alejarse de los modelos de IA gigantes a los más pequeños desarrollados para su uso en contextos específicos. “No pondría una IA para gobernarlos a todos”, dice Picard.