la versión original de esta historia apareció en la revista Quanta.
Entre las innumerables habilidades que poseen los humanos, ¿cuáles son exclusivamente humanas? El lenguaje ha sido uno de los principales candidatos al menos desde Aristóteles, quien escribió que la humanidad era “el animal que tiene lenguaje”. Incluso cuando grandes modelos de lenguaje como ChatGPT replican superficialmente el habla ordinaria, los investigadores quieren saber si hay aspectos específicos del lenguaje humano que simplemente no tienen paralelos en los sistemas de comunicación de otros animales o dispositivos artificialmente inteligentes.
En particular, los investigadores han estado explorando hasta qué punto los modelos lingüísticos pueden razonar sobre el lenguaje mismo. Para algunos miembros de la comunidad lingüística, los modelos lingüísticos no sólo no tienen capacidad de razonamiento, sino que no pueden. Esta visión fue resumida por Noam Chomsky, un destacado lingüista, y dos coautores en 2023, cuando escribieron en The New York Times que “las explicaciones correctas del lenguaje son complicadas y no se pueden aprender simplemente sumergiéndose en big data”. Los modelos de IA pueden ser expertos en el uso del lenguaje, argumentaron estos investigadores, pero no son capaces de analizar el lenguaje de una manera sofisticada.
Esa opinión fue cuestionada en un artículo reciente de Gašper Beguš, lingüista de la Universidad de California, Berkeley; Maksymilian Dąbkowski, que recientemente se doctoró en lingüística en Berkeley; y Ryan Rhodes de la Universidad de Rutgers. Los investigadores sometieron varios modelos de lenguaje grandes, o LLM, a una gama de pruebas lingüísticas, incluido, en un caso, hacer que el LLM generalizara las reglas de un lenguaje inventado. Si bien la mayoría de los LLM no lograron analizar las reglas lingüísticas de la manera que los humanos pueden hacerlo, uno tenía habilidades impresionantes que superaron con creces las expectativas. Pudo analizar el lenguaje de la misma manera que lo haría un estudiante de posgrado en lingüística: diagramando oraciones, resolviendo múltiples significados ambiguos y haciendo uso de características lingüísticas complicadas como la recursividad. Este hallazgo, dijo Beguš, “desafía nuestra comprensión de lo que puede hacer la IA”.
Este nuevo trabajo es oportuno y “muy importante”, afirmó Tom McCoy, lingüista computacional de la Universidad de Yale que no participó en la investigación. “A medida que la sociedad se vuelve más dependiente de esta tecnología, es cada vez más importante comprender dónde puede tener éxito y dónde puede fallar”. El análisis lingüístico, añadió, es el banco de pruebas ideal para evaluar hasta qué punto estos modelos de lenguaje pueden razonar como los humanos.
Complejidad infinita
Uno de los desafíos de aplicar a los modelos lingüísticos una prueba lingüística rigurosa es asegurarse de que no sepan ya las respuestas. Estos sistemas suelen estar entrenados con enormes cantidades de información escrita, no sólo la mayor parte de Internet, en docenas, si no cientos, de idiomas, sino también cosas como libros de texto de lingüística. En teoría, los modelos podrían simplemente memorizar y regurgitar la información que les han proporcionado durante el entrenamiento.
Para evitarlo, Beguš y sus colegas crearon una prueba lingüística en cuatro partes. Tres de las cuatro partes implicaron pedirle al modelo que analizara oraciones especialmente diseñadas utilizando diagramas de árbol, que se introdujeron por primera vez en el histórico libro de Chomsky de 1957, Estructuras sintácticas. Estos diagramas dividen las oraciones en frases nominales y verbales y luego las subdividen en sustantivos, verbos, adjetivos, adverbios, preposiciones, conjunciones, etc.
Una parte de la prueba se centró en la recursividad: la capacidad de incrustar frases dentro de frases. “El cielo es azul” es una frase sencilla en inglés. “Jane dijo que el cielo es azul” incorpora la frase original en una un poco más compleja. Es importante destacar que este proceso de recursividad puede continuar para siempre: “Maria se preguntó si Sam sabía que Omar escuchó que Jane dijo que el cielo es azul” también es una oración recursiva gramaticalmente correcta, aunque incómoda.