Aprendiendo el lenguaje del aprendizaje automático | Noticias del MIT

En última instancia, él y su grupo quieren ayudar a las personas a diseñar modelos de aprendizaje profundo más precisos y robustos que se adapten mejor a la aplicación prevista.

“Solíamos depurar sistemas simplemente mirando sus parámetros y averiguando si tenían sentido o no. Ahora, necesitamos ‘herramientas de lectura de mentes’ que puedan tomar este cálculo neuronal realmente complicado y traducirlo para nosotros porque simplemente no está en un idioma que nosotros, como humanos, sepamos hablar”, dice.

Un amor por el idioma

La fascinación de Andreas por el lenguaje floreció desde muy joven. Cuando era niño y crecía en el área de la Bahía de San Francisco, era un lector voraz de cualquier libro que pudiera conseguir.

Uno de esos libros, que le pasó un amigo de la familia, contenía una escena fundamental en la que el personaje principal pirateaba un sistema informático para salvar el día.

Eso despertó su interés por las computadoras. Unos años más tarde, su padre trajo a casa un BASIC Engine sencillo que Andreas podía ejecutar en la computadora de su casa y comenzó a sumergirse en el mundo de la programación informática.

Andreas eligió especializarse en ciencias de la computación en la Universidad de Columbia, pero no estaba seguro de si quería seguir una carrera como investigador, ingeniero de software o en una startup.

Sus amigos se inscribieron en proyectos de investigación en los laboratorios de la facultad, por lo que Andreas pensó que él también lo intentaría.

“Envié un correo electrónico a todos los miembros del departamento de informática que estaban trabajando en algo vagamente relacionado con la IA, y la facultad de procesamiento del lenguaje natural se puso en contacto conmigo primero. Así es como terminé en el campo en el que estoy ahora”, dice.

Trabajando en el laboratorio de Michael Collins, profesor Vikram S. Pandit de Ciencias de la Computación en la Universidad de Columbia, Andreas completó un proyecto de tesis de pregrado sobre traducción automática. Su proyecto implicó adaptar técnicas estadísticas existentes para representar el significado del lenguaje a sistemas de inteligencia artificial más potentes que pudieran traducir pasajes de texto.

“Siempre sentí que estas preguntas más profundas sobre cómo funciona el pensamiento o cómo modelar el mundo estaban más cerca de la superficie en los problemas de procesamiento del lenguaje que en otras tareas en las que trabajaba la gente de IA en ese momento”, recuerda.

Un cambio sísmico

Quería seguir explorando cuestiones profundas, por lo que Andreas se matriculó en la escuela de posgrado de la Universidad de California en Berkeley para seguir una carrera como investigador académico.

Antes de comenzar sus estudios de doctorado, pasó un año obteniendo una maestría en la Universidad de Cambridge en Inglaterra. En ese entorno histórico, se inspiró para contemplar la naturaleza del aprendizaje de idiomas mientras trabajaba en problemas de traducción computacional.

Esos estudios impulsaron su investigación cuando se unió al laboratorio del profesor de informática de Berkeley, Dan Klein.

Andreas comenzó sus estudios en una época en la que las redes neuronales empezaban a despegar. El campo del procesamiento del lenguaje natural estaba experimentando un cambio radical desde los métodos estadísticos hacia este nuevo mundo de aprendizaje profundo.

Los métodos estadísticos utilizan fórmulas matemáticas transparentes para analizar texto, mientras que las técnicas de aprendizaje profundo utilizan algoritmos opacos para aprender automáticamente significados complejos a partir de cantidades masivas de datos de texto.

“Fue divertido estar allí mientras hacíamos esta transición al conjunto de herramientas moderno y aprender e inventar todo eso cuando aún era nuevo”, dice Andreas.

Comenzó a colaborar con científicos en laboratorios de visión por computadora para abordar cuestiones cada vez más complejas sobre el aprendizaje de idiomas. Juntos, diseñaron sistemas de inteligencia artificial que se destacaron en la generación de lenguaje natural al enseñarles a “ver” y comprender el mundo que los rodea.

“Todo esto fue muy emocionante porque realmente no había un conjunto común de herramientas para trabajar con datos de lenguaje y visión. Entonces, de repente, las redes neuronales nos dieron este lenguaje común”, recuerda.

Completó un proyecto de tesis sobre el uso de redes de módulos neuronales, que son pequeños fragmentos de redes neuronales que realizan tareas específicas, como localizar objetos o razonamiento lógico, en un sistema de IA más grande. Pero fueron los proyectos más especulativos que abordó junto con su tesis, como la interpretabilidad y la creación de descripciones en lenguaje natural de los estados internos de un modelo de IA, los que impulsarían el enfoque de su grupo en el MIT.

Enfoque de la facultad

Después de pasar un año en la startup Semantic Machines (que surgió de su laboratorio en Berkeley), Andreas se unió a la facultad del MIT en 2019.

“Parecí que era una oportunidad fantástica para estar en la tierra natal de la investigación de la IA y colaborar con todas estas personas increíbles y establecidas, pero también hacer algo nuevo y descubrir cómo sería la era moderna del aprendizaje automático”, dice.

Su grupo se centra en dos áreas principales. En primer lugar, están estudiando la ciencia de los grandes modelos de lenguaje para comprender los algoritmos que estos modelos implementan a medida que aprenden y procesan información.

Las herramientas que desarrollan ayudan a los científicos e investigadores a predecir mejor cómo se comportará un modelo entrenado en el mundo real. Por ejemplo, una familia de técnicas que desarrollaron entrena grandes modelos de lenguaje para explicar lo que sucede dentro de otras redes neuronales utilizando un lenguaje que un humano podría entender.

Estas técnicas pueden asignar una descripción en lenguaje natural a cada nodo de procesamiento de información en una red neuronal masiva. Por ejemplo, una de esas descripciones podría representar un nodo individual que identifica “parches de hierba cerca de animales” en las imágenes de entrada.

“Ese trabajo sirve como punto de partida para una serie de preguntas de alto nivel que planteamos sobre cómo estos modelos representan significado”, dice.

Por otro lado, su equipo diseña nuevos algoritmos para entrenar modelos de aprendizaje automático y para predecir cómo conjuntos de datos o ejemplos específicos afectarán diferentes aspectos del comportamiento del modelo.

“No tenemos una buena teoría científica de lo que sucederá cuando se entrena un modelo en un conjunto de datos en particular. Este es un gran desafío para el campo en este momento”, afirma.

Un entorno cambiante

La velocidad del avance de la IA presenta uno de los mayores desafíos que enfrenta su laboratorio. El campo parece cambiar completamente cada tres o cinco años, afirma Andreas, lo que le obliga a mantenerse ágil y dispuesto a aprender algo nuevo.

Ese mismo dilema se traslada a los cursos 6.461 y 6.861 (pregrado y posgrado Procesamiento del lenguaje natural), que Andreas co-enseña. Él y sus compañeros instructores deben rediseñar el curso cada año para mantenerse al día con los últimos avances.

También es un desafío enseñar las piezas técnicas del aprendizaje automático en una era en la que cada tarea podría ser completada por un modelo de lenguaje grande en lugar de un alumno humano.

“Trato de inculcar a los estudiantes que tener una base realmente profunda sobre cómo funciona toda esta tecnología es la única manera de entenderla y los diferenciará en un mundo donde todos tienen acceso a un agente de codificación”, dice.

Con tantos cambios, es difícil predecir hacia dónde se dirigirá el sector a continuación, afirma Andreas. Prevé que el trabajo de su grupo sobre interpretabilidad será aún más importante para hacer que los sistemas avanzados, como los agentes de inteligencia artificial, sean lo suficientemente seguros como para desplegarlos en situaciones de alto riesgo.

Esto será especialmente cierto a medida que los investigadores diseñen modelos de aprendizaje profundo que puedan ayudar en el descubrimiento científico. Estos modelos se entrenarán con una gran cantidad de datos sin procesar de laboratorios de investigación que quizás los científicos aún no comprendan bien.

“Descubrir cómo permitir que estos modelos verbalicen todo este conocimiento oculto que tienen sobre cosas sobre las que la gente nunca ha escrito explícitamente será un gran desafío y una oportunidad para las personas que trabajan en aprendizaje automático”, afirma.

Además de afrontar desafíos en el laboratorio, a Andreas le gusta esforzarse como excursionista y mochilero. Le encanta pasar tiempo al aire libre desde su infancia en California y realiza al menos uno o dos viajes con mochila cada verano.

Él y un colega del Departamento de Matemáticas están atravesando todos los picos de 4.000 pies de las Montañas Blancas de New Hampshire, logrando avances lentos pero constantes.

Y ahora que se ha ganado la titularidad, Andreas espera volver a su antiguo pasatiempo: cantar en un coro de cámara. Siempre disfrutó de la música y se enamoró de los coros de capilla y el repique de campanas durante su estancia en la Universidad de Cambridge.