Los modelos de lenguaje grande (LLM) parecen volverse menos confiables para responder preguntas simples cuando crecen y aprenden de la retroalimentación humana.

Los desarrolladores de IA intentan mejorar el poder de los LLM de dos maneras principales: ampliándolos (proporcionándoles más datos de capacitación y más poder computacional) y dándoles forma o ajustándolos en respuesta a la retroalimentación humana.

José Hernández-Orallo en la Universidad Politécnica de Valencia, España, y sus colegas examinaron el desempeño de los LLM a medida que crecían y tomaban forma. Observaron la serie de chatbots GPT de OpenAI, los modelos de IA LLaMA de Meta y BLOOM, desarrollado por un grupo de investigadores llamado BigScience.

Los investigadores probaron las IA planteando cinco tipos de tareas: problemas aritméticos, resolución de anagramas, preguntas geográficas, desafíos científicos y extracción de información de listas desorganizadas.

Descubrieron que ampliar y dar forma puede hacer que los LLM respondan mejor preguntas difíciles, como reorganizar el anagrama «yoiirtsrphaepmdhray» en «hiperparatiroidismo». Pero esto no va acompañado de mejoras en preguntas básicas, como «¿qué se obtiene cuando se suman 24427 y 7120», que los LLM siguen entendiendo mal?

Si bien su desempeño en preguntas difíciles mejoró, la probabilidad de que un sistema de inteligencia artificial evitara responder cualquier pregunta (porque no podía hacerlo) disminuyó. Como resultado, aumentó la probabilidad de una respuesta incorrecta.

Los resultados resaltan los peligros de presentar las IA como omniscientes, como suelen hacer sus creadores, dice Hernández-Orallo, y que algunos usuarios están demasiado dispuestos a creer. «Tenemos una dependencia excesiva de estos sistemas», afirma. «Confiamos en ellos y confiamos en ellos más de lo que deberíamos».

Esto es un problema porque los modelos de IA no son honestos sobre el alcance de su conocimiento. «Parte de lo que hace que los seres humanos sean súper inteligentes es que a veces no nos damos cuenta de que no sabemos algo que no sabemos, pero en comparación con los grandes modelos de lenguaje, somos bastante buenos para darnos cuenta de eso», dice Carissa Véliz en la Universidad de Oxford. «Los grandes modelos lingüísticos no conocen los límites de su propio conocimiento».

OpenAI, Meta y BigScience no respondieron a Nuevo científicoSolicitud de comentarios.