La clave para desarrollar modelos flexibles de aprendizaje automático que sean capaces de razonar como lo hacen las personas puede no estar alimentándolos con montones de datos de entrenamiento. En cambio, sugiere un nuevo estudio, podría reducirse a cómo están capacitados. Estos hallazgos podrían ser un gran paso hacia modelos de inteligencia artificial mejores y menos propensos a errores y podrían ayudar a esclarecer los secretos de cómo aprenden los sistemas de inteligencia artificial (y los humanos).
Los humanos son maestros remezcladores. Cuando las personas comprenden las relaciones entre un conjunto de componentes, como los ingredientes alimentarios, podemos combinarlos en todo tipo de recetas deliciosas. Con el lenguaje, podemos descifrar oraciones que nunca antes habíamos encontrado y componer respuestas complejas y originales porque captamos los significados subyacentes de las palabras y las reglas gramaticales. En términos técnicos, estos dos ejemplos son evidencia de “composicionalidad” o “generalización sistemática”, a menudo vista como un principio clave de la cognición humana. “Creo que esa es la definición más importante de inteligencia”, dice Paul Smolensky, científico cognitivo de la Universidad Johns Hopkins. “Se puede pasar de conocer las partes a abordar el todo”.
La verdadera composicionalidad puede ser fundamental para la mente humana, pero los desarrolladores de aprendizaje automático han luchado durante décadas para demostrar que los sistemas de inteligencia artificial pueden lograrla. A argumento de 35 años realizado por los difuntos filósofos y científicos cognitivos Jerry Fodor y Zenon Pylyshyn postula que el principio puede estar fuera del alcance de las redes neuronales estándar. Los modelos de IA generativa actuales pueden imitar la composicionalidad y producir respuestas similares a las humanas a indicaciones escritas. Sin embargo, incluso los modelos más avanzados, incluidos GPT-3 y GPT-4 de OpenAI, todavía se queda corto de algunos puntos de referencia de esta capacidad. Por ejemplo, si le hace una pregunta a ChatGPT, inicialmente podría proporcionar la respuesta correcta. Sin embargo, si continúa enviándole consultas de seguimiento, es posible que no se mantenga en el tema o comience a contradecirse. Esto sugiere que, aunque los modelos pueden regurgitar información de sus datos de entrenamiento, no captan realmente el significado y la intención detrás de las oraciones que producen.
Pero un novedoso protocolo de entrenamiento centrado en dar forma a cómo aprenden las redes neuronales puede aumentar la capacidad de un modelo de IA para interpretar la información como lo hacen los humanos, según un estudio publicado el miércoles en Naturaleza. Los hallazgos sugieren que un cierto enfoque de la educación en IA podría crear modelos compositivos de aprendizaje automático eso puede generalizarse tan bien como las personas, al menos en algunos casos.
“Esta investigación abre un camino importante”, dice Smolensky, que no participó en el estudio. “Logra algo que queríamos lograr y que antes no habíamos logrado”.
Para entrenar un sistema que parece capaz de recombinar componentes y comprender el significado de expresiones novedosas y complejas, los investigadores no tuvieron que construir una IA desde cero. “No necesitábamos cambiar fundamentalmente la arquitectura”, dice Brenden Lake, autor principal del estudio y científico cognitivo computacional de la Universidad de Nueva York. “Sólo teníamos que practicarlo”. Los investigadores comenzaron con un modelo de transformador estándar, un modelo que era el mismo tipo de andamiaje de IA que admite ChatGPT y Bard de Google, pero que carecía de capacitación previa en texto. Ejecutaron esa red neuronal básica a través de un conjunto de tareas especialmente diseñadas para enseñar al programa cómo interpretar un lenguaje inventado.
El lenguaje consistía en palabras sin sentido (como “dax”, “lug”, “kiki”, “fep” y “blicket”) que se “traducían” en conjuntos de puntos de colores. Algunas de estas palabras inventadas eran términos simbólicos que representaban directamente puntos de un determinado color, mientras que otras significaban funciones que cambiaban el orden o el número de salidas de puntos. Por ejemplo, dax representaba un simple punto rojo, pero fep era una función que, cuando se combinaba con dax o cualquier otra palabra simbólica, multiplicaba su salida de punto correspondiente por tres. Entonces “dax fep” se traduciría en tres puntos rojos. Sin embargo, el entrenamiento de IA no incluyó nada de esa información: los investigadores simplemente alimentaron al modelo con un puñado de ejemplos de oraciones sin sentido emparejadas con los correspondientes conjuntos de puntos.
A partir de ahí, los autores del estudio incitaron al modelo a producir su propia serie de puntos en respuesta a nuevas frases, y calificaron a la IA según si había seguido correctamente las reglas implícitas del lenguaje. Pronto la red neuronal pudo responder de manera coherente, siguiendo la lógica del lenguaje sin sentido, incluso cuando se le presentaron nuevas configuraciones de palabras. Esto sugiere que podría “comprender” las reglas inventadas del idioma y aplicarlas a frases en las que no había sido entrenado.
Además, los investigadores probaron la comprensión del lenguaje inventado por parte de su modelo de IA entrenado contra 25 participantes humanos. Descubrieron que, en el mejor de los casos, su red neuronal optimizada respondía con un 100 por ciento de precisión, mientras que las respuestas humanas eran correctas aproximadamente el 81 por ciento de las veces. (Cuando el equipo alimentó a GPT-4 con las indicaciones de entrenamiento para el idioma y luego le hizo las preguntas de la prueba, el modelo de lenguaje grande tuvo solo un 58 por ciento de precisión). Con capacitación adicional, el modelo transformador estándar de los investigadores comenzó a imitar tan bien el razonamiento humano. que cometió los mismos errores: por ejemplo, los participantes humanos a menudo se equivocaban al suponer que había una relación uno a uno entre palabras y puntos específicos, aunque muchas de las frases no seguían ese patrón. Cuando el modelo recibió ejemplos de este comportamiento, rápidamente comenzó a replicarlo y cometió el error con la misma frecuencia que los humanos.
Las prestaciones del modelo son especialmente destacables teniendo en cuenta su reducido tamaño. “Este no es un gran modelo de lenguaje formado en todo Internet; Se trata de un transformador relativamente pequeño preparado para estas tareas”, afirma Armando Solar-Lezama, informático del Instituto Tecnológico de Massachusetts, que no participó en el nuevo estudio. “Fue interesante ver que, aun así, es capaz de exhibir este tipo de generalizaciones”. El hallazgo implica que en lugar de simplemente introducir cada vez más datos de entrenamiento en modelos de aprendizaje automático, una estrategia complementaria podría ser ofrecer a los algoritmos de IA el equivalente a una clase de lingüística o álgebra enfocada.
Solar-Lezama dice que, en teoría, este método de entrenamiento podría proporcionar un camino alternativo hacia una mejor IA. “Una vez que has alimentado un modelo a través de Internet, no hay una segunda Internet que lo alimente para seguir mejorando. Así que creo que las estrategias que obligan a los modelos a razonar mejor, incluso en tareas sintéticas, podrían tener un impacto en el futuro”, afirma, con la salvedad de que podría haber desafíos para ampliar el nuevo protocolo de entrenamiento. Al mismo tiempo, Solar-Lezama cree que estos estudios de modelos más pequeños nos ayudan a comprender mejor la “caja negra” de las redes neuronales y podrían arrojar luz sobre el las llamadas habilidades emergentes de sistemas de IA más grandes.
Smolensky añade que este estudio, junto con trabajos similares en el futuro, también podría mejorar la comprensión humana de nuestra propia mente. Eso podría ayudarnos a diseñar sistemas que minimicen las tendencias propensas a errores de nuestra especie.
En la actualidad, sin embargo, estos beneficios siguen siendo hipotéticos y existen un par de limitaciones importantes. “A pesar de sus éxitos, su algoritmo no resuelve todos los desafíos planteados”, dice Ruslan Salakhutdinov, informático de la Universidad Carnegie Mellon, que no participó en el estudio. “No maneja automáticamente formas de generalización no practicadas”. En otras palabras, el protocolo de entrenamiento ayudó al modelo a sobresalir en un tipo de tarea: aprender los patrones en un lenguaje falso. Pero si se le diera una tarea completamente nueva, no podría aplicar la misma habilidad. Esto fue evidente en las pruebas de referencia, donde el modelo no logró manejar secuencias más largas y no pudo captar “palabras” no introducidas previamente.
Y, lo que es más importante, cada experto Científico americano hablé señaló que una red neuronal capaz de una generalización limitada es muy diferente del santo grial de inteligencia artificial general, donde los modelos informáticos superan la capacidad humana en la mayoría de las tareas. Se podría argumentar que “es un paso muy, muy, muy pequeño en esa dirección”, dice Solar-Lezama. “Pero no estamos hablando de que una IA adquiera capacidades por sí sola”.
Desde interacciones limitadas con chatbots de IA, que pueden presentar una ilusión de hipercompetencia, y la abundante publicidad que circula, muchas personas pueden tener ideas infladas sobre los poderes de las redes neuronales. “A algunas personas les puede sorprender que este tipo de tareas de generalización lingüística sean realmente difíciles de realizar para sistemas como GPT-4 de forma inmediata”, dice Solar-Lezama. Los hallazgos del nuevo estudio, aunque interesantes, podrían servir inadvertidamente como una prueba de la realidad. “Es realmente importante realizar un seguimiento de lo que estos sistemas son capaces de hacer”, afirma, “pero también de lo que no pueden hacer”.