La forma de hablar con un chatbot puede ser más importante de lo que crees
Óscar Wong/Getty Images
Hablar con un chatbot de IA en un lenguaje menos formal, como lo hace mucha gente, reduce la precisión de sus respuestas, lo que sugiere que debemos ser lingüísticamente más estrictos al usar un chatbot, o que las IA deben estar entrenadas para adaptarse mejor a la informalidad.
Fulei Zhang y Zhou Yu de Amazon observaron cómo las personas inician conversaciones con agentes humanos en comparación con un asistente de chatbot impulsado por un modelo de lenguaje grande (LLM). Utilizaron el modelo Claude 3.5 Sonnet para calificar las conversaciones según una variedad de factores y descubrieron que las personas que interactuaban con los chatbots usaban una gramática menos precisa y eran menos educadas que cuando se dirigían a los humanos. También utilizaron una gama de vocabulario ligeramente más limitada.
Por ejemplo, la interacción entre humanos fue un 14,5 por ciento más educada y formal que las conversaciones con chatbots, un 5,3 por ciento más fluida y un 1,4 por ciento más diversa léxicamente, según las puntuaciones derivadas de Claude.
“Los usuarios adaptan su estilo lingüístico en las conversaciones entre humanos y LLM, produciendo mensajes que son más cortos, más directos, menos formales y gramaticalmente más simples”, escriben los autores, que no respondieron a una solicitud de entrevista, en un artículo sobre el trabajo. “Este comportamiento probablemente esté determinado por los modelos mentales de los usuarios del chatbot LLM[s] como menos sensible socialmente o menos capaz de una interpretación matizada”.
Pero resulta que esta informalidad tiene una desventaja. En una segunda evaluación, los investigadores entrenaron un modelo de IA llamado Mistral 7B en 13.000 conversaciones entre humanos del mundo real y lo utilizaron para interpretar 1.357 mensajes del mundo real enviados a chatbots de IA. Anotaron cada conversación dentro de ambos conjuntos de datos con una “intención” extraída de una lista limitada, resumiendo lo que el usuario intentaba hacer en cada caso. Pero debido a que la IA de Mistral había sido entrenada en conversaciones entre humanos, la pareja descubrió que la IA tenía dificultades para etiquetar correctamente la intención de las conversaciones del chatbot.
Luego, Zhang y Yu probaron varias estrategias para mejorar la comprensión de la IA de Mistral. Primero, utilizaron la IA de Claude para reescribir las misivas más concisas de los usuarios en una prosa similar a la humana y las usaron para afinar el modelo Mistral. Esto redujo la precisión de sus etiquetas de intención en un 1,9 por ciento en comparación con sus respuestas predeterminadas.
A continuación, utilizaron a Claude para proporcionar una reescritura “mínima”, que era más corta y contundente (por ejemplo, “París el próximo mes. ¿Vuelos a hoteles?” para preguntar sobre opciones de viaje y alojamiento para un próximo viaje), pero esto redujo la precisión de Mistral en un 2,6 por ciento. Una reescritura alternativa, “enriquecida” con un lenguaje más formal y variado, también redujo la precisión en un 1,8 por ciento. Sólo entrenando el modelo Mistral en reescrituras mínimas y enriquecidas lograron mejorar el rendimiento en un 2,9 por ciento.
Noah Giansiracusa, de la Universidad Bentley en Massachusetts, dice que no le sorprende que la gente hable de manera diferente con los robots que con los humanos, pero no es necesariamente algo que deba evitarse.
“El hallazgo de que las personas se comunican de manera diferente con los chatbots que con otros humanos se presenta tentadoramente como una deficiencia del chatbot, pero yo diría que no lo es, que es bueno cuando las personas saben que están hablando con robots y adaptan su comportamiento en consecuencia”, dice Giansiracusa. “Creo que eso es más saludable que tratar obsesivamente de eliminar la brecha entre humanos y robots”.
Temas: