Con la introducción de los modelos de lenguaje grande (LLM), el subcampo de la inteligencia artificial, es decir, el procesamiento del lenguaje natural (PLN), está avanzando y mejorando significativamente. Los LLM, con sus notables capacidades de generación e interpretación de textos, se están volviendo populares cada día. Estos modelos están preentrenados utilizando volúmenes masivos de datos de Internet, cuyos mejores ejemplos son los conocidos modelos GPT 3.5 Y GPT 4. Aunque los datos con los que se entrenan los modelos, es decir, el corpus, son grandes y variados, están lejos de ser ideales. No tiene filtros, es ruidoso e incluye información falsa y errores fácticos. Surge la pregunta de cómo los LLM distinguen entre verdad y mentira cuando se les presenta un corpus de datos que contiene ambas.
En un estudio reciente, un equipo de investigadores de la Universidad de Nueva York, ETH Zurich y la Universidad de Boston propuso que los LLM pueden agrupar texto veraz, partiendo de la premisa de que estos modelos podrían representar diferentes agentes o fuentes que contribuyen a los datos de entrenamiento. Al llamarlo “personaje veraz”, los investigadores han compartido que este personaje representa un conjunto de agentes que, debido a las características compartidas de creación de texto, tienen más probabilidades de generar información precisa y confiable.
Por ejemplo, sitios acreditados y bien establecidos como Science y Wikipedia utilizan con frecuencia estilos de escritura formales y brindan información objetiva de manera regular. Los LLM pueden ofrecer respuestas genuinas fuera de las situaciones particulares en las que cada agente produjo los datos de capacitación modelando esta persona veraz. El equipo ha compartido dos observaciones principales para respaldar la hipótesis de la persona, que son las siguientes.
- Evaluación de veracidad previa a la generación: incluso antes de que un modelo genere una respuesta, es factible determinar si será veraz. Esto sugiere que dependiendo de la situación y la personalidad del agente fuente, el LLM puede evaluar la veracidad de una respuesta.
- Mejora de la veracidad mediante ajustes: cuando los LLM se ajustan utilizando una colección de hechos fácticos, se vuelven más veraces sobre cuestiones tanto no relacionadas como directamente relacionadas. Esto sugiere que el impacto de la verdadera persona permite al modelo generalizar los principios de veracidad a una variedad de temas.
El equipo ha evaluado la asociación entre las personas y la honestidad del modelo mediante el uso de un entorno sintético y procesos matemáticos. Los diferentes agentes en este escenario controlado creen cosas diferentes sobre cada operador matemático, dependiendo de cuán verdaderas o erróneas sean sus creencias. Las ecuaciones de estos agentes permiten a los LLM mejorar su capacidad para responder a operadores previamente desconocidos con precisión y discernir con éxito entre afirmaciones verdaderas y falsas. Este logro sólo es posible si los actores de los datos de formación comparten un proceso generativo veraz que permita la construcción de una identidad veraz.
En conclusión, este estudio muestra que los LLM pueden adquirir conceptos abstractos como la veracidad haciendo uso de las estructuras jerárquicas incluidas en sus datos de formación. Estos modelos pueden generalizar su capacidad para discernir entre información verdadera y falsa y generar respuestas apropiadas en una amplia gama de temas al modelar una persona genuina, incluso cuando los agentes fuente de estos temas comparten atributos que sugieren sinceridad.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 32k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
también estamos en Telegrama y WhatsApp.
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería Informática con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.