Preguntas y respuestas: Permitir interacciones y comprensión más parecidas a las humanas en modelos de fundamentos multimodales | Noticias del MIT

Los seres humanos experimentan e interactúan con el mundo a través de información sensorial. Esto podría significar aprender correspondencias entre el sonido de los pájaros y la palabra “petirrojo”, o ser capaz de identificar visualmente y seguir a tu amiga “Sarah” entre una multitud de personas. En muchos casos, las personas pueden aprovechar su conocimiento “multimodal” latente (información a través de múltiples tipos de datos, desde audio hasta video, texto o palabra hablada) para realizar estas tareas sin muchos ejemplos, o a veces incluso sin ninguno.

Los modelos básicos multimodales de inteligencia artificial están adquiriendo cada vez más capacidades que imitan esto. Sin embargo, su aparente fluidez multimodal a menudo contradice su comprensión real. Un equipo del Laboratorio de Investigación en Computación del MIT-IBM, codirigido por Jim Glass, científico investigador senior en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT, ha estado investigando fallas críticas de modelos multimodales de última generación y desarrollando puntos de referencia y métodos eficientes en datos para superar estas brechas de rendimiento con supervisión limitada. Habla de este trabajo en la siguiente entrevista.

P: ¿Cuáles eran sus objetivos para este proyecto y por qué optaría por abordar las debilidades de los modelos de IA en lugar de escalarlos a modelos más grandes?

R: Este proyecto lleva muchos años en marcha, con aproximadamente el mismo equipo de expertos en habla y visión del MIT-IBM. Queríamos explorar la relación entre la percepción (cosas que ves y oyes) y el lenguaje, en gran medida: tenemos todo este conocimiento y habilidades lingüísticas absorbidas, basadas en texto, en forma de un modelo de lenguaje grande, por lo que queríamos saber cómo se pueden relacionar sin usar una gran cantidad de datos de entrenamiento anotados. A veces los modelos han visto ciertos fenómenos, una representación latente de algo que tienen internamente, pero tal vez debido a ajustes posteriores o algo así, desaparece, por lo que desarrollar técnicas para intentar que esta capacidad resurja es algo útil.

Al estudiar estos modelos disponibles públicamente, se pueden ver debilidades incluso en los más grandes, por lo que creo que es importante tratar de abordar estas limitaciones. Si tuviera un presupuesto ilimitado, podría salir y crear las anotaciones que necesita, pero también es bueno poder intentar que estos modelos aprendan más por sí solos. Lo hemos logrado creando puntos de referencia novedosos con los que podemos evaluar, luego desarrollando técnicas que funcionan mejor en estos puntos de referencia y logrando que estos modelos aprendan por sí solos. A lo largo de nuestra colaboración en investigación (y ésta ha sido en gran medida una colaboración sólida entre el MIT e IBM) hemos seguido publicando puntos de referencia públicos para que la gente los utilice, y eso es un artefacto duradero.

Creo que los temas predominantes son las multimodalidades con modelos de lenguaje, tratar de abordar las deficiencias de estos modelos y tratar de desarrollar técnicas que no requieran muchos datos anotados para completar mejor las tareas.

P: ¿Puede explicarnos cómo ha evolucionado el proyecto?

R: Cuando comenzamos este proyecto, estábamos tratando de construir modelos que pudieran aprender correspondencias automáticamente, sin decirle a la máquina nada más que “Este título de audio va con esta imagen”, algo así como leerle un libro ilustrado a un niño que está aprendiendo un idioma. Simplemente le mostraríamos estos ejemplos coincidentes y le mostraríamos ejemplos no coincidentes. Pudieron aprender que la secuencia de sonidos que dice “faro” corresponde a una imagen de un faro, sin que intervenga ningún texto.

Ir más allá del habla incluyó audio general y luego comenzamos a mirar videos en lugar de imágenes fijas. Entrenaríamos el modelo, mostrándole secuencias de video coincidentes con el flujo de audio correspondiente y luego las que no coinciden, y le haríamos reconstruirlas. También enmascararíamos algunas de las imágenes o el audio y haríamos que el modelo lo reconstruyera. El modelo aprendería relaciones sólidas; luego, mucho más allá del habla, aprendería cómo suenan los loros, o las guitarras eléctricas versus las acústicas, por ejemplo.

Luego, cuando estos grandes modelos de lenguaje comenzaron a aparecer (y esto fue en los primeros días, antes de que lo hicieran las grandes empresas), comenzamos a aprender correspondencias entre el audio y el lenguaje. Desde entonces, estos grandes modelos multimodales están disponibles y hemos comenzado a analizar cuáles son algunas de las limitaciones de estos modelos y estamos tratando de mejorarlos con estas técnicas más o menos supervisadas.

P: ¿Cuáles dirías que son algunos de los aspectos más destacados recientes de tu trabajo?

R: Nuestra investigación de IPLoc analizó el hecho de que estos modelos de última generación, como el GPT-40, no pueden localizar objetos específicos, dados solo unos pocos ejemplos. Se nos ocurrió esta técnica en la que la entrenábamos con una sustitución de seudónimo. Hay un ejemplo en el que reemplazamos “avión” por “Elizabeth”. Obliga al modelo a no recurrir a cosas que había aprendido previamente y a prestar más atención al contexto visual.

Luego, tuvimos un artículo basado en audio, OmniR1, que analizaba modelos de lenguaje de audio de gran tamaño, por lo que estos son modelos que pueden escuchar algo y hablar sobre ello. Una de las cosas inquietantes que encontramos es que algunos de estos puntos de referencia son respuestas de opción múltiple. Muchas veces, estos modelos no escuchan realmente el sonido, sino que casi juegan con la pregunta al mirar la respuesta. ¿Qué animal ruge en este audio, como una ardilla listada, un león, un caimán, un carbonero o algo así? Ni siquiera se está prestando atención al audio. [but] simplemente diciendo: “Oh, león”. Parte de la razón por la que la gente hace esto es que es fácil de evaluar, mientras que si solicitas una respuesta de texto, de alguna manera tendrías que calificar si es precisa. ¿Consigues que los humanos lo evalúen, lo que puede ser costoso y consumir mucho tiempo, o utilizas algún otro modelo de lenguaje para ser el juez que también pueda tener su propio conjunto de problemas? Una forma de abordar esto es evaluar estos modelos en una variedad de diferentes tipos de puntos de referencia.

Nos dimos cuenta de que se podía alimentar ruido aleatorio y todavía les estaba yendo bastante bien, lo que demuestra que simplemente estaban prestando atención a la pregunta. Entonces, intentamos desarrollar algunos métodos para que preste más atención al audio y minimice este comportamiento.

P: Dadas las limitaciones de recursos, ¿cuál es su enfoque para adaptar estos grandes modelos básicos y qué combinación de IA y métodos algorítmicos utiliza que no requiera una gran cantidad de datos anotados?

R: Hoy en día, no podemos crear nosotros mismos uno de estos modelos de cimientos de gran tamaño. No tenemos los recursos para hacer eso, por lo que tendemos a usar estos modelos disponibles y tratamos de adaptarlos, entrenarlos de una manera débilmente supervisada, métodos que no requieren tantos datos, como nuestro trabajo en el aprendizaje por refuerzo en el momento de las pruebas.

Nuestro proyecto no era monolítico, en el sentido de que no todos trabajamos en una sola cosa. Es más como si mil flores florecieran, por lo que no hay una forma particular en la que abordemos las cosas.

P: En un futuro próximo, ¿cómo ve la evolución de la investigación multimodal en su equipo de investigación del MIT-IBM?

R: A lo largo de los años, probablemente produjimos alrededor de dos docenas de artículos colaborativos importantes, y durante este trabajo, fue sorprendente para mí que las máquinas pudieran aprender estas correspondencias sin que se les dijera nada. Nadie había demostrado nunca que las máquinas pudieran hacerlo antes de que lo hiciéramos nosotros. Algunos de nuestros primeros trabajos combinando audio con modelos de lenguaje grandes también fueron divertidos: ver al modelo hablar sobre lo que escuchó y luego tener una conversación con él. Ahora estamos empezando a dar esto por sentado, pero en ese momento fue divertido verlo.

En el futuro, durante el próximo año, con nuestra colaboración MIT-IBM, cambiaremos un poco de rumbo y nos centraremos más en lo que se conoce como sistemas de diálogo hablado full-duplex. Estos son modelos que escuchan mientras hablan, por lo que se parece más a cómo operan los humanos, y esto es bastante diferente de lo que hemos estado haciendo hasta ahora, que es un trabajo audiovisual conjunto, que también continuaremos.

Ahora nos centraremos en el lado del habla. Estos modelos full-duplex de repente se han convertido en algo interesante de ver, porque te alejarían del rígido enfoque de turnos que se utiliza ahora cuando hablas con algunos de estos modelos. En última instancia, creo que será más natural interactuar con ellos.

Estos modelos full-duplex apenas están comenzando a surgir, y algunos de los que están disponibles públicamente no son tan buenos como los grandes modelos de lenguaje. Pueden manejar algunas de estas habilidades de comunicación de bajo nivel, pero todavía les faltan algunas cosas, como el concepto de tiempo o la profundidad del conocimiento. Por lo tanto, estamos trabajando para tratar de abordar algunos de estos problemas.

Esta investigación se ha realizado en coordinación con los equipos del MIT-IBM Computing Research Lab formados por Rogerio Feris, Brian Kingsbury y Samuel Thomas de IBM Research, y Hilde Kuehne de la Universidad de Tuebingen, investigadora afiliada al MIT-IBM.