La animación de dibujos animados ha experimentado un progreso significativo desde sus inicios a principios del siglo XX, cuando los animadores dibujaban fotogramas individuales a mano en papel. Si bien se han introducido técnicas de automatización para ayudar con tareas específicas en la producción de animación, como la coloración y los efectos especiales, el aspecto fundamental, que implica dibujar a mano dibujos lineales de personajes para cada fotograma, sigue siendo un esfuerzo que requiere mucha mano de obra en la animación 2D.
El desarrollo de un algoritmo automatizado para generar dibujos de líneas intermedias a partir de dos fotogramas clave de entrada, un proceso comúnmente conocido como “entremedio”, tiene el potencial de mejorar significativamente la productividad dentro de la industria. La interpolación de líneas presenta distintos desafíos en comparación con la interpolación general de cuadros debido a la escasez de dibujos lineales. Estos dibujos suelen constar de aproximadamente un 3% de píxeles negros y el resto de la imagen es un fondo blanco. Esta singularidad plantea dos desafíos críticos para los métodos existentes de interpolación de cuadros basados en imágenes rasterizadas. En primer lugar, la ausencia de textura en los dibujos lineales dificulta el cálculo preciso de las correspondencias entre píxeles en la interpolación de fotogramas, lo que da como resultado predicciones de movimiento inexactas debido a múltiples candidatos coincidentes similares para un solo píxel. En segundo lugar, las técnicas de deformación y fusión utilizadas en la interpolación de cuadros pueden hacer que los límites esenciales entre la línea y el fondo se desdibujen, lo que resulta en una pérdida significativa de detalles.
Teniendo en cuenta los problemas antes mencionados, se ha propuesto un novedoso marco de aprendizaje profundo llamado “AnimeInbet” para realizar la intercalación de dibujos lineales en un formato geometrizado en lugar de imágenes rasterizadas. La descripción general del enfoque se presenta en la siguiente figura.
El proceso implica transformar las imágenes de origen en gráficos vectoriales para sintetizar un gráfico intermedio. Esta reformulación aborda los desafíos descritos anteriormente en el documento. El proceso de coincidencia en el dominio geométrico se centra en los vértices de los puntos finales geométricos concentrados en lugar de en todos los píxeles, lo que reduce la ambigüedad potencial y mejora la precisión de la correspondencia. Además, el proceso de reposicionamiento preserva la topología de los dibujos lineales, lo que permite conservar estructuras lineales intrincadas y meticulosas.
El concepto fundamental que subyace al marco de AnimeInbet es la identificación de vértices coincidentes entre dos gráficos de dibujo de líneas de entrada, seguido de su reubicación para crear un gráfico intermedio novedoso. El proceso comienza con el desarrollo de una estrategia para codificar los vértices, permitiendo la diferenciación de características geométricas en los puntos finales de líneas escasamente dibujadas. Posteriormente, se emplea un transformador de correspondencia de vértices para establecer coincidencias entre los puntos finales en los dos dibujos lineales de entrada. Los vectores de desplazamiento de los vértices coincidentes se propagan luego a los vértices no coincidentes en función de la similitud de sus características agregadas, lo que facilita el reposicionamiento de todos los puntos finales. Por último, el marco predice una máscara de visibilidad para eliminar los vértices y bordes que están oscurecidos en el marco intermedio, asegurando la creación de un marco intermedio limpio y completo.
Para respaldar el entrenamiento supervisado para la correspondencia de vértices, se presenta un nuevo conjunto de datos denominado MixamoLine240. Este conjunto de datos único ofrece arte lineal con geometrización real y etiquetas de coincidencia de vértices. Los dibujos lineales 2D en el conjunto de datos se generan selectivamente a partir de bordes específicos de un modelo 3D, con los puntos finales correspondientes a los vértices 3D indexados. El uso de vértices 3D como puntos de referencia garantiza la precisión y coherencia de las etiquetas de coincidencia de vértices en el conjunto de datos a nivel de vértice.
En comparación con los métodos existentes, el marco AnimeInbet ha demostrado su capacidad para generar dibujos de líneas intermedias limpios y completos. A continuación se presentan algunos ejemplos tomados del estudio.
Este fue el resumen de AnimeInbet, una novedosa técnica de inteligencia artificial que realiza la intercalación de dibujos lineales en un formato geométrico en lugar de imágenes rasterizadas. Si está interesado y desea obtener más información al respecto, no dude en consultar los enlaces que se citan a continuación.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 32k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
también estamos en Telegrama y WhatsApp.
Daniele Lorenzi recibió su M.Sc. en TIC para Ingeniería de Internet y Multimedia en 2021 de la Universidad de Padua, Italia. Es un doctorado. Candidato en el Instituto de Tecnología de la Información (ITEC) de la Alpen-Adria-Universität (AAU) de Klagenfurt. Actualmente trabaja en el Laboratorio Christian Doppler ATHENA y sus intereses de investigación incluyen transmisión de video adaptativa, medios inmersivos, aprendizaje automático y evaluación de QoS/QoE.