Sería uno de los descubrimientos (y temas) más interesantes en inteligencia artificial, dejando de lado el debate sobre si esto es inteligencia o no.
Nosotros (¡al menos yo!) asumimos que si entrenaras un modelo de IA exclusivamente con, digamos, imágenes y otro exclusivamente con texto, desarrollarían formas completamente diferentes de “pensar”, sin entrar en la discusión sobre lo que esto significa exactamente. Nuestra idea sería que utilizan arquitecturas completamente diferentes y procesan datos completamente diferentes, por lo que, lógicamente, deberían tener “cerebros” completamente diferentes, incluso si ambos son buenos en sus tareas con imágenes y texto.
Pero según algunas interesantes investigaciones de varios grupos, ¡ese no es el caso en absoluto!
Ya en 2024, el MIT presentó pruebas sólidas de que todos los principales modelos de IA están convergiendo secretamente en el mismo “núcleo de pensamiento” (o cerebro, o como quiera llamarlo). A medida que estos modelos se hacen más grandes y más poderosos, todos llegan exactamente a la misma conclusión sobre cómo está estructurado el mundo. Quizás esto no era obvio en los primeros modelos, porque no razonaban bien; pero se vuelve cada vez más evidente a medida que mejoran. Y supuestamente, yo diría, la razón de esto es que si todas son correctas entonces DEBEN estar creando una representación muy similar de la realidad.
La alegoría de la cueva (AI)
Para comprender por qué sucede esto, algunos investigadores retrocedieron 2.400 años, hasta la “Alegoría de la caverna” de Platón, lo que dio como resultado algunos títulos preimpresos interesantes que contienen ideas como la “Hipótesis de la representación platónica”. Esencialmente, Platón creía que los humanos somos como prisioneros en una cueva, viendo sombras parpadear en una pared. Creemos que las sombras (nuestras percepciones) son “realidad”, pero en realidad son sólo proyecciones de una realidad más profunda, oculta y compleja que existe fuera de la cueva.
Uno de los muchos artículos que leí para preparar esto (enlaces al final) sostiene que los modelos de IA están haciendo exactamente lo mismo y que, al hacerlo, convergen en el mismo modelo de cómo funciona el mundo para comprender las sombras de entrada.
Los miles de millones de líneas de texto, los billones de píxeles de las imágenes y los interminables archivos de audio utilizados para entrenar nuestros modelos modernos de IA son sólo su percepción (“sombras”) de nuestro mundo. Estos poderosos modelos analizan estas diferentes sombras de datos humanos y, de manera completamente independiente, descubren exactamente la misma estructura subyacente del universo para darle sentido.
Diferentes ojos, misma visión
Aquí está la parte alucinante, al menos para mí: un modelo que sólo “ve” imágenes y un modelo que sólo “lee” texto miden la distancia entre conceptos exactamente de la misma manera (si ambos son lo suficientemente buenos).
Si se le pide a un modelo de visión que mapee la “distancia” entre una imagen de un “perro” y un “lobo”, y luego se le pide a un modelo de lenguaje que mapee la distancia entre la palabra “perro” y la palabra “lobo”, las estructuras matemáticas que construyen se vuelven cada vez más similares a medida que pueden distinguir mejor los dos animales.
En otras palabras, parece que a medida que estos modelos crecen y mejoran, dejan de ser un desastre de conexiones aleatorias. Las investigaciones muestran que tienden a alinearse y, en particular, que a medida que los modelos de visión y los modelos de lenguaje crecen, la forma en que representan los datos se vuelve cada vez más parecida. ¡Qué increíble, no lo crees!
Por qué la escala lo cambia todo
Según la investigación disponible, todo esto parece ser bastante universal y sucede con modelos modernos de todas las empresas y entrenados con diferentes fuentes, siempre que el modelo en sí sea lo suficientemente capaz. De hecho, a medida que un modelo crece, sea cual sea, sufre un “cambio de fase” en su pensamiento interno. Las investigaciones parecen indicar que estos modelos dejan de simplemente memorizar sus tareas específicas y más bien comienzan a construir un modelo estadístico de la realidad misma.
Y aparentemente, esto sucede debido a cierta “presión selectiva” que actúa sobre los modelos:
Generalidad de la tarea: si desea que una IA sea buena en todo, solo existe una “mejor” forma de representar el mundo de manera que no se sobreadapte aún y se pueda predecir. Dado que sólo hay UNA mejor manera, ¡todos deben llegar a ella! Capacidad: Los modelos grandes tienen “espacio” para encontrar la solución más elegante y sencilla. Pero tener un amplio margen en términos de arquitectura y número de parámetros debe equilibrarse evitando el sobreajuste. Sesgo de simplicidad: las redes profundas en realidad prefieren soluciones simples a las complejas, especialmente si se evita el sobreajuste.
Una cosa importante es que los diferentes modelos de IA podrían adaptarse a estas piezas de presión selectiva a diferentes velocidades (o con diferentes niveles de eficiencia); pero ciertamente todos se dirigen hacia el mismo estado final de comprensión máxima logrado a través de la misma representación interna de cómo funciona el mundo.
Las investigaciones más modernas sobre “mecanismos de conocimiento”
Si tuviera 25 años menos y tuviera que elegir una carrera ahora, probablemente elegiría algo como informática mezclada con psicología. Porque para mí, aquí es donde está la parte más apasionante del mundo de la IA. ¡Lea por qué!
Una encuesta reciente sobre los “mecanismos de conocimiento” en los LLM añade otra capa a todo lo descrito anteriormente. Sugiere que el conocimiento en estos modelos no está disperso al azar; más bien, evoluciona desde una simple memorización hasta una compleja “comprensión y aplicación”. Entonces habría algún tipo de “inteligencia dinámica” en juego. La tendencia de que el conocimiento y la capacidad tienden a converger en los mismos espacios de representación parece ocurrir en todo el grupo de modelos neuronales artificiales, independientemente de los datos, la modalidad o el objetivo. Incluso el conocimiento que los humanos aún no hemos captado del todo (o que sólo los expertos en campos específicos comprenden, digamos, cómo crear música para un compositor o por qué y cómo los fotones pueden entrelazarse para un físico) están siendo mapeados por estos modelos a medida que encuentran patrones (siguiendo el ejemplo, digamos en la música o la física cuántica) que nuestros cerebros biológicos no pueden procesar tan rápidamente.
Por qué esto es tan genial y una analogía con cómo aprendemos los humanos
Este es uno de esos raros momentos en los que las matemáticas, la informática y la filosofía chocan. Me parece que los modelos están construyendo una percepción unificada de la realidad de la única manera que pueden ingerirla: como palabras, imágenes y sonidos. En realidad, no es tan diferente a cómo aprenden los bebés, aunque quizás en un orden diferente y agregando más entradas, incluidas las físicas (duro, golpes, etc.) y, por supuesto, acopladas a salidas físicas (llanto, risa, movimiento de las extremidades, caminar,…)
Después de todo, dentro de nuestros cerebros, la multimodalidad también está totalmente integrada y funciona bajo la misma comprensión global (que, sí, puede engañarse con ilusiones, ¡pero eso es para otro día!). En otras palabras, nuestro cerebro también asigna todo a una única realidad, que es nuestra interpretación personal de cómo funciona el mundo. Si tomo una foto de una manzana, si escribo la palabra “manzana”, si grabo el sonido de alguien mordiendo una manzana, esas son tres “sombras” diferentes, pero todas están proyectadas desde la misma realidad física real de la manzana. Incluso si la manzana es de un color de otro, incluso pintada artificialmente, o si escribo la palabra en otros idiomas, “manzana” o “pomme”, si hablo español y francés respectivamente, reflejarán más o menos la misma sombra.
Representación global de la realidad + entradas físicas + salidas físicas –> robots
Todo lo anterior, incluida la analogía con los bebés y los humanos, se puede extrapolar cada vez más. O al menos me gusta pensar eso.
Agregue capacidades para entradas y salidas físicas a un modelo de realidad de IA global y que funcione bien, y tendremos un robot que puede aprender a interpretar e interactuar con el mundo. Incorpore en él un “instinto” para sobrevivir, y bueno… quién sabe a dónde puede llegar esto. Pero no nos diferenciamos demasiado de esa construcción, ¿no crees?
Dejaré esto aquí para no entrar en ese debate, ¡pero por favor intercambien conmigo al respecto!
Dejémoslo aquí con la prueba clara, basada en investigaciones, de que ya no estamos simplemente creando herramientas para ayudarnos a escribir correos electrónicos, resumir algo, escribir código o editar o generar fotografías. Estamos construyendo espejos digitales del universo. Y estamos observando, en tiempo real, cómo el silicio y el código descubren de forma independiente el funcionamiento interno del mundo en el que vivimos.
Referencias
Para escribir esta publicación, analicé en detalle estos dos trabajos súper interesantes: un estudio presentado como preimpresión en 2024 y una revisión más reciente sobre los mecanismos de conocimiento en los LLM:
La hipótesis de la representación platónica: https://arxiv.org/html/2405.07987v5
Mecanismos de conocimiento en modelos de lenguaje grandes: una encuesta y una perspectiva: https://aclanthology.org/2024.findings-emnlp.416/