Robots caminando por la calle, rodeados de espectadores atónitos, es una visión cada vez más común. Pero estas máquinas aún no son los asistentes que lo hacen todo y que uno quisiera trabajar en una cocina o fábrica, y un importante cuello de botella son los datos. Al igual que los humanos, los robots aprenden mejor mediante la experiencia. El desafío es que enseñar físicamente a estas máquinas tantas acciones en diferentes entornos requiere mucho trabajo y tiempo.
“Una idea natural es utilizar la simulación como campo de entrenamiento. Si bien ha habido avances significativos en los últimos años en los motores de física que impulsan los simuladores de robótica, uno de los desafíos restantes ha sido crear contenido de simulación suficientemente rico y diverso para capturar la complejidad del mundo real”, dice Russ Tedrake, Profesor Toyota de Ingeniería Eléctrica y Ciencias de la Computación (EECS), Aeronáutica y Astronáutica e Ingeniería Mecánica en el MIT, e investigador principal en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT.
Resulta que los agentes de IA, o programas semiautónomos que “piensan” y completan tareas bien definidas, podrían ayudar a producir los entornos virtuales realistas que necesitan los robots. El nuevo sistema “SceneSmith” desarrollado por investigadores del MIT CSAIL y el Toyota Research Institute utiliza tres agentes para reconstruir los objetos, las paredes y el aspecto general de una escena 3D. Sus recreaciones de espacios interiores como restaurantes, dormitorios y hoteles son más realistas y detalladas que los sistemas anteriores, lo que ayuda a los robots a practicar habilidades y probar diferentes formas de realizar tareas antes de encenderlos. A su vez, los ingenieros ahorran tiempo en pruebas del mundo real.
Los agentes tienen una idea de cómo se supone que deben verse los lugares cotidianos porque cada uno de ellos recurre a un sistema multimodal llamado modelo de visión-lenguaje (VLM), específicamente el VLM GPT-5.2 de última generación. Está entrenado con una gran cantidad de texto e imágenes de Internet para manejar más indicaciones visuales. Este modelo avanzado proporciona a cada agente una especie de conocimiento espacial: primero, un agente “diseñador” genera los elementos de una escena, luego un “crítico” aconseja si parece realista y, finalmente, un “orquestador” gestiona sus idas y venidas, decidiendo cuándo está terminado el diseño. Una vez que los tres VLM finalizan su colaboración creativa, la escena está lista para cargarse directamente en el software de simulación física.
“Hemos descubierto que el sistema puede construir escenas 3D de la misma manera que lo haría un diseñador humano”, dice Nicholas Pfaff, estudiante de doctorado del MIT EECS, investigador de CSAIL y autor principal de un artículo con Tedrake que presenta el trabajo. “Hicimos más de 1300 escenas usando un VLM líder que tiene antecedentes a escala de Internet, e hizo arreglos increíblemente creativos y diversos. No le había enseñado al sistema a hacer eso en las indicaciones; simplemente improvisó”.
hablar con mi agente
Gracias a los agentes de VLM, puedes pedirle a SceneSmith que haga cosas como “generar un garaje con un automóvil, un banco de trabajo, llantas apiladas en una esquina y una escalera contra la pared” y obtener un patio de juegos virtual rico en objetos con los que un robot puede jugar. Estas habitaciones están decoradas con hasta seis veces más elementos por escena que los métodos anteriores, lo que las hace ideales para ayudar a los robots a aprender habilidades como poner una taza en el fregadero, colocar fruta en los platos y mover una lata de refresco de un estante a una mesa.
Con tantos entornos virtuales enriquecidos a mano, puede evaluar si su robot está listo para su implementación sin tantas pruebas y errores en el mundo físico. Los investigadores probaron diferentes planes de acción (también llamados “políticas”) en los mundos digitales de SceneSmith, generando 100 espacios únicos en el proceso. Un agente de VLM evaluó cada intento y descubrió que los planes del robot eran defectuosos y que la máquina a menudo fallaba en sus tareas. Los humanos estuvieron de acuerdo con los veredictos del modelo más del 99 por ciento de las veces, lo que podría ayudar a los robóticos a eliminar enfoques defectuosos en la simulación antes de que un robot se mueva en el mundo real.
Pero, ¿qué tan realistas son realmente estos mundos virtuales? Puede resultar difícil demostrarlo rotundamente, por lo que los investigadores abordaron la cuestión desde varios ángulos. La prueba más reveladora: implementaron una política de robot previamente entrenado (un controlador de IA entrenado en gran medida con datos del mundo real, que nunca había visto una escena de SceneSmith) en los entornos generados. En una prueba, los usuarios le dijeron al sistema que “sacara la manzana del tazón y la colocara en la tabla de cortar”, y el robot simulado hizo exactamente eso. Si las escenas no se parecieran mucho a los escenarios reales de los que la política había aprendido, simplemente no habría funcionado.
El equipo también teleoperó robots a través de los espacios virtuales, guiándolos para abrir gabinetes, guardar botellas y navegar entre habitaciones. Sus experimentos revelaron que los entornos se mantienen bajo una interacción física sostenida, expandiéndose más allá de la inspección visual.
Entre bastidores
Cada uno de los agentes que utiliza SceneSmith tiene un papel bien definido en el proceso generativo, desarrollando escenas en etapas. Básicamente, crean un plano de planta y le dan vida.
Digamos que quieres crear una escena similar al primer piso de una casa. El VLM “diseñador” comenzaría con un diseño general, que el “crítico” revisa y luego el “orquestador” aprueba. Los agentes repiten este enfoque en cada paso: agregar muebles, colocar objetos en las paredes y luego en los techos y, finalmente, colocar objetos que los robots puedan manipular. Por ejemplo, los VLM pueden agregar gabinetes que los robots pueden abrir y cerrar, un elemento articulado que las líneas base anteriores no solían tener.
En cada etapa, el segundo VLM garantiza que la escena sea práctica, aconsejando, por ejemplo, retirar una bañera de una sala de estar. El tercer VLM garantiza que se genere una escena de alta calidad, incluso retrasando el proceso de diseño unas cuantas vueltas si las imágenes no están a la altura. Una vez que los tres VLM concluyen su colaboración creativa, la mecánica del mundo físico se agrega mediante un software de simulación.
Con una sólida comprensión de cómo deben verse las habitaciones, dónde deben colocarse los objetos y la física del mundo real, SceneSmith tiene una ventaja notable sobre los métodos anteriores. En comparación con líneas base de generación de escenas como “HSM” y “Holodeck”, SceneSmith creó entornos con más objetos, incluida una oficina privada, una tienda de cerámica e incluso una sala de juegos con temática de Minecraft.
SceneSmith también fue uno de los favoritos entre más de 200 usuarios. Descubrieron que las imágenes del sistema eran más realistas más del 90 por ciento del tiempo. También observaron que, en términos generales, seguía las indicaciones más de cerca que otros enfoques. En otras palabras, era el mejor para generar los parques virtuales que los usuarios realmente querían ver.
Un sistema de muchos talentos.
El realismo, la diversidad y la riqueza son puntos fuertes de SceneSmith, incluso cuando se trata de generar objetos 3D individuales. Puede pedirle que cree un carrito de servicio rodante y creará una imagen 2D que luego convertirá en un modelo detallado con propiedades físicas como masa, fricción e inercia.
Sin embargo, un proceso tan detallado conlleva un compromiso de velocidad. Puede llevar varias horas producir una sola escena porque los agentes crean y examinan de cerca cada objeto. Con más potencia informática, el sistema podría experimentar aumentos espectaculares en su eficiencia. Los ingenieros de CSAIL también esperan expandirse a objetos deformables (como esponjas), en caso de que estén disponibles amplias bibliotecas 3D.
“SceneSmith representa un avance significativo en este sentido al proporcionar un marco agente para generar entornos interiores listos para la simulación con solo un simple mensaje de texto”, dice Jeremy Binagia, científico aplicado de Amazon Robotics que no participó en la investigación. “Avanza el estado del arte de varias maneras, incluyendo superar los límites de la densidad de objetos en el entorno simulado, asegurando que todos los objetos sean físicamente precisos (en lugar de ser simplemente visualmente realistas) y creando recursos que no están restringidos a una biblioteca fija, ya que se pueden generar mediante texto a 3D”.
Pfaff y Tedrake escribieron el artículo con Thomas Cohn SM ’24, estudiante de doctorado del MIT e investigador de CSAIL; y los robóticos del Instituto de Investigación Toyota Sergey Zakharov y Rick Cory SM ’08, PhD ’10. Su trabajo fue apoyado, en parte, por Amazon, la Oficina de Investigación Naval de EE. UU., el Instituto de Investigación Toyota y la Fundación Nacional de Ciencias de EE. UU.
El equipo presentó sus hallazgos como tema destacado en la Conferencia Internacional sobre Aprendizaje Automático de la semana pasada.