Una nueva investigación basada en la pragmática y la filosofía propone formas de alinear los agentes conversacionales con los valores humanos
El lenguaje es un rasgo humano esencial y el medio principal por el cual comunicamos información, incluidos pensamientos, intenciones y sentimientos. Los avances recientes en la investigación de la IA han llevado a la creación de agentes conversacionales que pueden comunicarse con los humanos de formas matizadas. Estos agentes funcionan con grandes modelos de lenguaje: sistemas computacionales entrenados en vastos corpus de materiales basados en texto para predecir y producir texto utilizando técnicas estadísticas avanzadas.
Sin embargo, aunque los modelos lingüísticos como InstruirGPT, Ardilla de tierray LaMDA han logrado niveles récord de rendimiento en tareas como traducción, respuesta a preguntas y comprensión lectora, también se ha demostrado que estos modelos exhiben una serie de riesgos potenciales y modos de falla. Estos incluyen la producción de lenguaje tóxico o discriminatorio e información falsa o engañosa. [1, 2, 3].
Estas deficiencias limitan el uso productivo de los agentes conversacionales en entornos aplicados y llaman la atención sobre la forma en que no alcanzan ciertos niveles. ideales comunicativos. Hasta la fecha, la mayoría de los enfoques sobre la alineación de los agentes conversacionales se han centrado en anticipar y reducir los riesgos de daños. [4].
Nuestro nuevo periódico, En conversación con la IA: alinear los modelos lingüísticos con los valores humanosadopta un enfoque diferente, explorando cómo podría ser la comunicación exitosa entre un ser humano y un agente conversacional artificial, y qué valores deberían guiar estas interacciones en diferentes dominios conversacionales.
Perspectivas de la pragmática
Para abordar estas cuestiones, el artículo se basa en la pragmática, una tradición en lingüística y filosofía, que sostiene que el propósito de una conversación, su contexto y un conjunto de normas relacionadas forman parte esencial de una buena práctica conversacional.
Modelando la conversación como un esfuerzo cooperativo entre dos o más partes, el lingüista y filósofo Paul Grice sostuvo que los participantes deberían:
- Habla informativamente
- Di la verdad
- Proporcionar información relevante
- Evite declaraciones oscuras o ambiguas
Sin embargo, nuestro artículo demuestra que se necesita un mayor refinamiento de estas máximas antes de que puedan usarse para evaluar agentes conversacionales, dada la variación en los objetivos y valores incorporados en los diferentes dominios conversacionales.
Ideales discursivos
A modo de ilustración, la investigación y la comunicación científicas están orientadas principalmente a comprender o predecir fenómenos empíricos. Teniendo en cuenta estos objetivos, un agente conversacional diseñado para ayudar a la investigación científica idealmente sólo haría declaraciones cuya veracidad esté confirmada por evidencia empírica suficiente, o calificaría sus posiciones de acuerdo con intervalos de confianza relevantes.
Por ejemplo, un agente que informa que “a una distancia de 4.246 años luz, Próxima Centauri es la estrella más cercana a la Tierra”, debería hacerlo sólo después de que el modelo subyacente haya verificado que la afirmación se corresponde con los hechos.
Sin embargo, un agente conversacional que desempeña el papel de moderador en el discurso político público puede necesitar demostrar virtudes muy diferentes. En este contexto, el objetivo es principalmente gestionar las diferencias y permitir una cooperación productiva en la vida de una comunidad. Por lo tanto, el agente deberá poner en primer plano los valores democráticos de tolerancia, civismo y respeto. [5].
Además, estos valores explicar Por qué la generación de discurso tóxico o perjudicial mediante modelos lingüísticos suele ser tan problemática: el lenguaje ofensivo no logra comunicar el mismo respeto hacia los participantes en la conversación, algo que es un valor clave para el contexto en el que se implementan los modelos. Al mismo tiempo, las virtudes científicas, como la presentación integral de datos empíricos, pueden ser menos importantes en el contexto de la deliberación pública.
Finalmente, en el ámbito de la narración creativa, el intercambio comunicativo apunta a la novedad y la originalidad, valores que nuevamente difieren significativamente de los descritos anteriormente. En este contexto, puede ser apropiada una mayor libertad con la fantasía, aunque sigue siendo importante proteger a las comunidades contra el contenido malicioso producido bajo la apariencia de “usos creativos”.
Caminos por delante
Esta investigación tiene una serie de implicaciones prácticas para el desarrollo de agentes de IA conversacionales alineados. Para empezar, necesitarán incorporar diferentes rasgos dependiendo de los contextos en los que se implementen: no existe una explicación única para la alineación del modelo lingüístico. En cambio, el modo apropiado y los estándares de evaluación para un agente –incluidos los estándares de veracidad– variarán según el contexto y el propósito de un intercambio conversacional.
Además, los agentes conversacionales también pueden tener el potencial de cultivar conversaciones más sólidas y respetuosas con el tiempo, a través de un proceso al que nos referimos como construcción y elucidación del contexto. Incluso cuando una persona no es consciente de los valores que gobiernan una práctica conversacional determinada, el agente aún puede ayudar al ser humano a comprender estos valores prefigurarlos en la conversación, haciendo que el curso de la comunicación sea más profundo y fructífero para el hablante humano.