Desde el lanzamiento de ChatGPT a finales de 2022, millones de personas han comenzado a utilizar grandes modelos de lenguaje para acceder al conocimiento. Y es fácil entender su atractivo: haga una pregunta, obtenga una síntesis pulida y siga adelante; se siente como un aprendizaje sin esfuerzo.
Sin embargo, un nuevo artículo del que soy coautor ofrece evidencia experimental de que esta facilidad puede tener un costo: cuando las personas dependen de grandes modelos de lenguaje para resumir información sobre un tema, tienden a desarrollar un conocimiento menos profundo al respecto en comparación con el aprendizaje a través de una búsqueda estándar en Google.
El coautor Jin Ho Yun y yo, ambos profesores de marketing, informamos este hallazgo en un artículo basado en siete estudios con más de 10.000 participantes.
Relacionado: Más personas están arriesgando los consejos médicos de los chatbots. He aquí por qué.
La mayoría de los estudios utilizaron el mismo paradigma básico: se pidió a los participantes que aprendieran sobre un tema, como cómo cultivar un huerto, y se les asignó aleatoriamente para hacerlo utilizando un LLM como ChatGPT o la “forma antigua”, navegando por enlaces utilizando una búsqueda estándar de Google.
No se impusieron restricciones sobre cómo usaban las herramientas; podían buscar en Google todo el tiempo que quisieran y podían continuar solicitando ChatGPT si sentían que querían más información.
Una vez que completaron su investigación, se les pidió que escribieran un consejo a un amigo sobre el tema basándose en lo que aprendieron.
Los datos revelaron un patrón consistente: las personas que aprendieron sobre un tema a través de un LLM versus una búsqueda en la web sintieron que aprendieron menos, invirtieron menos esfuerzo en escribir posteriormente sus consejos y, en última instancia, escribieron consejos que eran más breves, menos objetivos y más genéricos.
A su vez, cuando este consejo se presentó a una muestra independiente de lectores, que no sabían qué herramienta se había utilizado para aprender sobre el tema, encontraron que el consejo era menos informativo, menos útil y era menos probable que lo adoptaran.
Descubrimos que estas diferencias son sólidas en una variedad de contextos. Por ejemplo, una posible razón por la que los usuarios de LLM escribieron consejos más breves y genéricos es simplemente que los resultados de LLM expusieron a los usuarios a información menos ecléctica que los resultados de Google.
Para controlar esta posibilidad, realizamos un experimento en el que los participantes estuvieron expuestos a un conjunto idéntico de hechos en los resultados de sus búsquedas en Google y ChatGPT.
Del mismo modo, en otro experimento, mantuvimos constante la plataforma de búsqueda (Google) y variamos si los participantes aprendieron de los resultados estándar de Google o de la función de descripción general de IA de Google.
Los hallazgos confirmaron que, incluso cuando se mantenían constantes los hechos y la plataforma, aprender a partir de respuestas sintetizadas de LLM conducía a un conocimiento menos profundo en comparación con la recopilación, interpretación y síntesis de información por uno mismo a través de enlaces web estándar.
Por qué es importante
¿Por qué el uso de LLM pareció disminuir el aprendizaje? Uno de los principios más fundamentales del desarrollo de habilidades es que las personas aprenden mejor cuando participan activamente en el material que intentan aprender.
Cuando aprendemos sobre un tema a través de la búsqueda en Google, nos enfrentamos a mucha más “fricción”: debemos navegar por diferentes enlaces web, leer fuentes de información e interpretarlas y sintetizarlas nosotros mismos.
Si bien es más desafiante, esta fricción conduce al desarrollo de una representación mental más profunda y original del tema en cuestión. Pero con los LLM, todo este proceso se realiza en nombre del usuario, transformando el aprendizaje de un proceso más activo a uno pasivo.
¿Qué sigue?
Para ser claros, no creemos que la solución a estos problemas sea evitar el uso de LLM, especialmente teniendo en cuenta los innegables beneficios que ofrecen en muchos contextos.
Más bien, nuestro mensaje es que las personas simplemente necesitan convertirse en usuarios más inteligentes o más estratégicos de los LLM, lo que comienza por comprender los dominios en los que los LLM son beneficiosos y perjudiciales para sus objetivos.
¿Necesita una respuesta rápida y objetiva a una pregunta? Siéntete libre de utilizar tu copiloto AI favorito. Pero si su objetivo es desarrollar un conocimiento profundo y generalizable en un área, depender únicamente de las síntesis de LLM será menos útil.
Como parte de mi investigación sobre la psicología de las nuevas tecnologías y los nuevos medios, también me interesa saber si es posible hacer que el aprendizaje de un LLM sea un proceso más activo. En otro experimento, probamos esto haciendo que los participantes interactuaran con un modelo GPT especializado que ofrecía enlaces web en tiempo real junto con sus respuestas sintetizadas.
Allí, sin embargo, descubrimos que una vez que los participantes recibieron un resumen del LLM, no estaban motivados para profundizar en las fuentes originales. El resultado fue que los participantes aún desarrollaron conocimientos más superficiales en comparación con aquellos que utilizaron Google estándar.
Sobre la base de esto, en mi investigación futura, planeo estudiar herramientas de IA generativa que imponen fricciones saludables para las tareas de aprendizaje; específicamente, examinar qué tipos de barreras de seguridad o topes de velocidad motivan con mayor éxito a los usuarios a aprender activamente más allá de las respuestas fáciles y sintetizadas.
Tales herramientas parecerían particularmente críticas en la educación secundaria, donde un desafío importante para los educadores es cuál es la mejor manera de preparar a los estudiantes para que desarrollen habilidades fundamentales de lectura, escritura y matemáticas y al mismo tiempo prepararlos para un mundo real donde los LLM probablemente sean una parte integral de su vida diaria.
El Research Brief es una breve versión de un trabajo académico interesante.
Shiri Melumad, profesora asociada de marketing, Universidad de Pensilvania
Este artículo se vuelve a publicar desde The Conversation bajo una licencia Creative Commons. Lea el artículo original.