Hace poco más de 10 meses, ChatGPT de OpenAI se lanzó al público por primera vez. Su llegada marcó el comienzo de una era de titulares incesantes sobre la inteligencia artificial y aceleró el desarrollo de grandes modelos de lenguaje (LLM) competidores de Google, Meta y otros gigantes tecnológicos. Desde entonces, estos chatbots han demostrado una capacidad impresionante para generar texto y código, aunque no siempre con precisión. Y ahora están en aumento las IA multimodales que son capaces de analizar no solo texto sino también imágenes, audio y más.
Abierto AI lanzó una versión multimodal de ChatGPT, impulsado por su LLM GPT-4, a suscriptores de pago por primera vez la semana pasada, meses después de que la compañía anunciara por primera vez estas capacidades. Google comenzó a incorporar funciones de imagen y audio similares a las que ofrece el nuevo GPT-4 en algunas versiones de su chatbot con tecnología LLM, Bard, en mayo. Meta también anunció grandes pasos en multimodalidad la primavera pasada. Aunque está en su infancia, la floreciente tecnología puede realizar una variedad de tareas.
¿Qué puede hacer la IA multimodal?
Científico americano Probé dos chatbots diferentes que se basan en LLM multimodales: una versión de ChatGPT impulsada por el GPT-4 actualizado (denominado GPT-4 con visión o GPT-4V) y Bard, que actualmente funciona con Google. Modelo Palm 2. Ambos pueden mantener conversaciones vocales con manos libres usando solo audio, y pueden describir escenas dentro de imágenes y descifrar líneas de texto en una imagen.
Estas habilidades tienen innumerables aplicaciones. En nuestra prueba, utilizando solo una fotografía de un recibo y un mensaje de dos líneas, ChatGPT dividió con precisión una pestaña de barra complicada y calculó el monto adeudado por cada una de cuatro personas diferentes, incluyendo propinas e impuestos. En total, la tarea duró menos de 30 segundos. Bard lo hizo casi igual de bien, pero interpretó un “9” como un “0”, arruinando así el total final. En otra prueba, cuando se les dio una fotografía de una estantería llena de libros, ambos chatbots ofrecieron descripciones detalladas del supuesto carácter e intereses del hipotético propietario que eran casi como horóscopos generados por IA. Ambos identificaron la Estatua de la Libertad a partir de una sola fotografía, dedujeron que la imagen fue tomada desde una oficina en el bajo Manhattan y ofrecieron direcciones precisas desde la ubicación original del fotógrafo hasta el punto de referencia (aunque la guía de ChatGPT fue más detallada que la de Bard). Y ChatGPT también superó a Bard en la identificación precisa de insectos a partir de fotografías.
Para las comunidades con discapacidad, las aplicaciones de dicha tecnología son particularmente interesantes. En marzo OpenAI comenzó a probar su versión multimodal de GPT-4 a través de la empresa Be My Eyes, que ofrece un servicio gratuito de descripción a través de una aplicación del mismo nombre para personas ciegas y con baja visión. Las primeras pruebas fueron lo suficientemente bien como para que Be My Eyes ahora esté en el proceso de implementar la versión de su aplicación impulsada por IA para todos sus usuarios. “Estamos recibiendo comentarios excepcionales”, afirma Jesper Hvirring Henriksen, director de tecnología de Be My Eyes. Al principio hubo muchos problemas obvios, como texto mal transcrito o descripciones inexactas que contenían Alucinaciones de IA. Henriksen dice que OpenAI ha mejorado esas deficiencias iniciales; sin embargo, los errores todavía están presentes, pero son menos comunes. Como resultado, “la gente habla de recuperar su independencia”, afirma.
¿Cómo funciona la IA multimodal?
En esta nueva ola de chatbots, las herramientas van más allá de las palabras. Sin embargo, todavía se basan en modelos de inteligencia artificial construidos a partir del lenguaje. ¿Cómo es eso posible? Aunque las empresas individuales se muestran reacias a compartir los fundamentos exactos de sus modelos, estas corporaciones no son los únicos grupos que trabajan en inteligencia artificial multimodal. Otros investigadores de IA tienen una idea bastante clara de lo que sucede detrás de escena.
Hay dos formas principales de pasar de un LLM de solo texto a una IA que también responda a indicaciones visuales y de audio, dice Douwe Kiela, profesor adjunto de la Universidad de Stanford, donde imparte cursos sobre aprendizaje automático, y director ejecutivo de la empresa Contextual. AI. En el método más básico, explica Kiela, los modelos de IA básicamente se apilan uno encima del otro. Un usuario ingresa una imagen en un chatbot, pero la imagen se filtra a través de una IA separada que se creó explícitamente para generar títulos de imágenes detallados. (Google ha tenido algoritmos como este durante años.) Luego, esa descripción de texto se envía al chatbot, que responde al mensaje traducido.
Por el contrario, “la otra forma es tener un acoplamiento mucho más estrecho”, afirma Kiela. Los ingenieros informáticos pueden insertar segmentos de un algoritmo de IA en otro combinando la infraestructura de código informático que subyace a cada modelo. Según Kiela, es “como injertar una parte de un árbol en otro tronco”. A partir de ahí, el modelo injertado se vuelve a entrenar en un conjunto de datos multimedia (que incluye fotografías, imágenes con subtítulos y descripciones de texto únicamente) hasta que la IA haya absorbido suficientes patrones para vincular con precisión las representaciones visuales y las palabras. Requiere más recursos que la primera estrategia, pero puede producir una IA aún más capaz. Kiela teoriza que Google utilizó el primer método con Bard, mientras que OpenAI pudo haber confiado en el segundo para crear GPT-4. Esta idea potencialmente explica las diferencias de funcionalidad entre los dos modelos.
Independientemente de cómo los desarrolladores fusionen sus diferentes modelos de IA, bajo el capó, ocurre el mismo proceso general. Los LLM funcionan según el principio básico de predecir la siguiente palabra o sílaba en una frase. Para ello, se basan en una arquitectura “transformadora” (la “T” en GPT). Este tipo de red neuronal toma algo como una oración escrita y la convierte en una serie de relaciones matemáticas que se expresan como vectores, dice Ruslan Salakhutdinov, científico informático de la Universidad Carnegie Mellon. Para una red neuronal transformadora, una oración no es sólo una cadena de palabras: es una red de conexiones que trazan el contexto. Esto da lugar a robots mucho más humanos que pueden lidiar con múltiples significados, seguir reglas gramaticales e imitar estilos. Para combinar o apilar modelos de IA, los algoritmos deben transformar diferentes entradas (ya sean visuales, de audio o de texto) en el mismo tipo de datos vectoriales en el camino hacia una salida. En cierto modo, se trata de tomar dos conjuntos de códigos y “enseñarles a hablar entre sí”, dice Salakhutdinov. A su vez, los usuarios humanos pueden hablar con estos robots de nuevas formas.
¿Que viene despues?
Muchos investigadores ven el momento presente como el comienzo de lo que es posible. Una vez que comience a alinear, integrar y mejorar juntos diferentes tipos de IA, es probable que sigan llegando rápidos avances. Kiela imagina un futuro cercano en el que los modelos de aprendizaje automático puedan responder, analizar y generar fácilmente videos o incluso olores. Salakhutdinov sospecha que “en los próximos cinco a diez años, tendrás tu asistente personal de inteligencia artificial”. Un programa de este tipo sería capaz de gestionar todo, desde llamadas telefónicas completas de servicio al cliente hasta tareas de investigación complejas, después de recibir sólo un breve mensaje.
La IA multimodal es no lo mismo que inteligencia artificial general, un objetivo del santo grial del aprendizaje automático en el que los modelos informáticos superan el intelecto y la capacidad humanos. Sin embargo, la IA multimodal es un “paso importante” hacia ello, dice James Zou, científico informático de la Universidad de Stanford. Los seres humanos tenemos una serie de sentidos entrelazados a través de los cuales entendemos el mundo. Presumiblemente, para alcanzar la IA general, una computadora necesitaría lo mismo.
Por impresionantes y emocionantes que sean, los modelos multimodales tienen muchos de los mismos problemas que sus predecesores de enfoque único, dice Zou. “El único gran desafío es el problema de las alucinaciones”, señala. ¿Cómo podemos confiar en un asistente de IA si puede falsificar información en cualquier momento? Luego está la cuestión de la privacidad. Con entradas densas en información, como voz y imágenes, información aún más sensible podría ser enviada inadvertidamente a los bots y luego regurgitada en filtraciones o comprometida en hackeos.
Zou todavía aconseja a la gente que pruebe estas herramientas con cuidado. “Probablemente no sea una buena idea poner sus registros médicos directamente en el chatbot”, afirma.