Los modelos de lenguaje grande (LLM) son el último avance en el campo en constante evolución de la inteligencia artificial (IA). Aunque estos modelos demuestran un rendimiento increíble en tareas que incluyen generación de texto, respuesta a preguntas, resumen de texto, etc., surge un desafío con la precisión y seguridad de los datos que generan. Estos modelos a veces pueden fabricar o producir información inexacta, es decir, alucinar y producir resultados poco fiables.
Es necesario rastrear la fuente para asignar culpa moral y legal cuando el resultado del modelo causa daño; sin embargo, la atribución es una tarea difícil que requiere una investigación técnica creativa. La investigación sobre la atribución de los resultados del LLM a las fuentes se ha centrado principalmente en dos áreas: Atribución de datos de formación (TDA) y generación de citas.
En una investigación reciente, un equipo de investigadores de la Universidad de Stanford introdujo un marco unificado para las atribuciones de modelos de lenguaje grandes. La investigación trata sobre la generación de citas y el TDA, combinados bajo atribuciones corroborativas y contributivas. La atribución contributiva se concentra en verificar la fuente del contenido creado, mientras que la atribución corroborativa busca validar que el resultado es preciso de acuerdo con el conocimiento externo.
El equipo ha examinado varios atributos deseados en diversos entornos y ha proporcionado definiciones precisas para cada forma de atribución. Este método fomenta la creación y evaluación de sistemas de atribución que puedan proporcionar atribuciones exhaustivas de ambos tipos, y es un primer paso hacia un concepto bien definido pero flexible de atribuciones lingüísticas.
El marco se ha utilizado en casos de uso reales para demostrar su utilidad. Los ejemplos ilustran situaciones en las que uno o ambos tipos de atribuciones se vuelven necesarios. En el proceso de creación de documentos legales, la validez interna, es decir, la atribución de datos de capacitación, confirma la fuente y confiabilidad de la información, mientras que la validez externa, es decir, la creación de citas, asegura que el material cumpla con los requisitos legales. Asimismo, en el contexto de la respuesta a preguntas médicas, ambas atribuciones son importantes para verificar la precisión de la respuesta y comprender las fuentes que impactan el conocimiento del modelo.
El equipo ha resumido sus principales contribuciones de la siguiente manera.
- Se ha presentado un modelo de interacción que combina atribuciones contributivas y corroborativas, destacando elementos compartidos.
- El marco combinado se ha mejorado al encontrar atributos relevantes para ambos tipos de atribución.
- Se ha llevado a cabo un análisis exhaustivo de las implementaciones actuales de atribución contributiva y corroborativa para proporcionar información sobre los usos en el mundo real.
- Se han descrito escenarios que son esenciales para las atribuciones, como la creación de documentos legales, junto con las cualidades que se requieren para la eficacia.
En conclusión, el marco es una gran introducción y puede resultar beneficioso en la estandarización de la evaluación de los sistemas de atribución, promoviendo una evaluación más sistemática y comparable de su eficacia en diversos campos. Esto puede mejorar y acelerar el uso de modelos de lenguaje grandes al ofrecer un método consistente y cohesivo para las atribuciones, resolviendo el problema crucial de la confiabilidad de la salida.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 34k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería Informática con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.