La IA generativa y la robótica nos acercan cada vez más al día en que podamos pedir un objeto y crearlo en unos minutos. De hecho, los investigadores del MIT han desarrollado un sistema de conversión de voz a realidad, un flujo de trabajo impulsado por inteligencia artificial que les permite proporcionar información a un brazo robótico y “hablar los objetos para que existan”, creando cosas como muebles en tan solo cinco minutos.
Con el sistema de conversión de voz a realidad, un brazo robótico montado sobre una mesa puede recibir información hablada de un humano, como “Quiero un taburete simple”, y luego construir los objetos a partir de componentes modulares. Hasta la fecha, los investigadores han utilizado el sistema para crear taburetes, estanterías, sillas, una mesa pequeña e incluso elementos decorativos como una estatua de un perro.
“Estamos conectando el procesamiento del lenguaje natural, la IA generativa 3D y el ensamblaje robótico”, dice Alexander Htet Kyaw, estudiante graduado del MIT y miembro de la Academia de Diseño Morningside (MAD). “Estas son áreas de investigación que avanzan rápidamente y que no se habían reunido antes de una manera que realmente pueda crear objetos físicos con solo una simple indicación del habla”.
Reproducir vídeo
Habla a la realidad: producción bajo demanda utilizando IA generativa 3D y ensamblaje robótico discreto
La idea comenzó cuando Kyaw, un estudiante de posgrado en los departamentos de Arquitectura, Ingeniería Eléctrica y Ciencias de la Computación, tomó el curso del profesor Neil Gershenfeld, “Cómo hacer casi cualquier cosa”. En esa clase, construyó el sistema de conversión del habla a la realidad. Continuó trabajando en el proyecto en el Centro de Bits y Átomos (CBA) del MIT, dirigido por Gershenfeld, colaborando con los estudiantes graduados Se Hwan Jeon del Departamento de Ingeniería Mecánica y Miana Smith de CBA.
El sistema de conversión de voz a realidad comienza con el reconocimiento de voz que procesa la solicitud del usuario utilizando un modelo de lenguaje grande, seguido de una IA generativa 3D que crea una representación de malla digital del objeto y un algoritmo de voxelización que descompone la malla 3D en componentes de ensamblaje.
Después de eso, el procesamiento geométrico modifica el ensamblaje generado por IA para tener en cuenta las limitaciones físicas y de fabricación asociadas con el mundo real, como la cantidad de componentes, los voladizos y la conectividad de la geometría. A esto le sigue la creación de una secuencia de ensamblaje factible y la planificación automatizada de la ruta para que el brazo robótico ensamble objetos físicos a partir de las indicaciones del usuario.
Al aprovechar el lenguaje natural, el sistema hace que el diseño y la fabricación sean más accesibles para personas sin experiencia en modelado 3D o programación robótica. Y, a diferencia de la impresión 3D, que puede tardar horas o días, este sistema se construye en cuestión de minutos.
“Este proyecto es una interfaz entre humanos, inteligencia artificial y robots para cocrear el mundo que nos rodea”, dice Kyaw. “Imagínese un escenario en el que usted dice ‘Quiero una silla’ y, en cinco minutos, una silla física se materializa frente a usted”.
El equipo tiene planes inmediatos para mejorar la capacidad de carga de peso de los muebles cambiando los medios para conectar los cubos de imanes a conexiones más robustas.
“También hemos desarrollado procesos para convertir estructuras de vóxeles en secuencias de ensamblaje factibles para robots móviles pequeños y distribuidos, lo que podría ayudar a traducir este trabajo a estructuras de cualquier tamaño”, dice Smith.
El propósito de utilizar componentes modulares es eliminar el desperdicio que se genera al fabricar objetos físicos desmontándolos y luego volviéndolos a ensamblar en algo diferente, por ejemplo, convertir un sofá en una cama cuando ya no lo necesitas.
Debido a que Kyaw también tiene experiencia en el uso del reconocimiento de gestos y la realidad aumentada para interactuar con robots en el proceso de fabricación, actualmente está trabajando para incorporar el control del habla y los gestos en el sistema de conversión del habla a la realidad.
Apoyándose en sus recuerdos del replicador de la franquicia “Star Trek” y de los robots de la película animada “Big Hero 6”, Kyaw explica su visión.
“Quiero aumentar el acceso de las personas a la fabricación de objetos físicos de una manera rápida, accesible y sostenible”, afirma. “Estoy trabajando por un futuro en el que la esencia misma de la materia esté realmente bajo tu control. Un futuro en el que la realidad pueda generarse según demanda”.
El equipo presentó su artículo “Discurso a la realidad: producción bajo demanda utilizando lenguaje natural, IA generativa 3D y ensamblaje robótico discreto” en el Simposio sobre fabricación computacional (SCF ’25) de la Association for Computing Machinery (ACM) que se celebrará en el MIT el 21 de noviembre.