La Inteligencia Artificial está entrando en casi todas las industrias. Crear un movimiento humano natural a partir de una historia tiene el poder de transformar por completo las industrias de la animación, los videojuegos y el cine. Una de las tareas más difíciles es Story-to-Motion, que surge cuando los personajes deben moverse por diferentes áreas y realizar determinadas acciones. Basada en una descripción escrita exhaustiva, esta tarea requiere una integración fluida entre el control semántico de movimiento de alto nivel y el control de bajo nivel que se ocupa de las trayectorias.
Aunque se han puesto muchos esfuerzos en estudiar la conversión de texto a movimiento y el control de caracteres, aún no se ha encontrado una solución adecuada. Los enfoques de control de caracteres existentes tienen muchas limitaciones ya que no pueden manejar descripciones textuales. Incluso los enfoques actuales de conversión de texto en movimiento necesitan más restricciones posicionales, lo que lleva a la generación de movimientos inestables.
Para superar todos estos desafíos, un equipo de investigadores ha introducido un enfoque único que es muy eficaz para producir trayectorias y generar movimientos controlados e infinitamente largos que están en línea con el texto de entrada. El enfoque propuesto tiene tres componentes principales, que son los siguientes.
- Programación de movimiento basada en texto: los modelos modernos de lenguaje grande toman una secuencia de pares de texto, posición y duración de descripciones textuales largas y los utilizan como programadores de movimiento basados en texto. Esta etapa asegura que los movimientos que se generan se basen en la historia y también incluye detalles sobre la ubicación y la duración de cada acción.
- Sistema de recuperación de movimiento basado en texto: la coincidencia de movimiento y las restricciones en las trayectorias y la semántica del movimiento se han combinado para crear un sistema integral de recuperación de movimiento. Esto garantiza que los movimientos generados cumplan, además de la descripción textual, las propiedades semánticas y posicionales previstas.
- Transformador de máscara progresiva: Se ha diseñado un transformador de máscara progresiva para abordar los artefactos frecuentes en los movimientos de transición, como el deslizamiento del pie y las posturas inusuales. Este elemento es esencial para mejorar la calidad de los movimientos generados y producir animaciones con transiciones más suaves y una apariencia más realista.
El equipo compartió que el enfoque se probó en tres subtareas diferentes: combinación de movimientos, composición de acciones temporales y seguimiento de trayectorias. La evaluación ha mostrado un rendimiento mejorado en todas las áreas en comparación con técnicas de síntesis de movimiento anteriores. Los investigadores han resumido sus principales contribuciones de la siguiente manera.
- Se han introducido la trayectoria y la semántica para generar un movimiento integral a partir de descripciones textuales extensas, resolviendo así el problema de Story-to-Motion.
- Se ha sugerido un nuevo método llamado Text-based Motion Matching, que utiliza una extensa entrada de texto para proporcionar una síntesis de movimiento precisa y personalizable.
- El enfoque supera a las técnicas de vanguardia en el seguimiento de trayectorias, la composición de acciones temporales y las subtareas de combinación de movimientos, como lo demuestran los experimentos realizados en conjuntos de datos de referencia.
En conclusión, el sistema es definitivamente un gran paso adelante en la síntesis de movimientos humanos a partir de narrativas textuales. Proporciona una respuesta completa a los problemas asociados con los trabajos de Story-to-Motion. Seguramente tendrá una influencia revolucionaria en los sectores de la animación, los juegos y el cine.
Revisar la Papel y Proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 33k+ ML, 41k+ comunidad de Facebook, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Tanya Malhotra es estudiante de último año de la Universidad de Estudios de Petróleo y Energía, Dehradun, y cursa BTech en Ingeniería Informática con especialización en Inteligencia Artificial y Aprendizaje Automático.
Es una entusiasta de la Ciencia de Datos con buen pensamiento analítico y crítico, junto con un ardiente interés en adquirir nuevas habilidades, liderar grupos y gestionar el trabajo de manera organizada.
