Los modelos de difusión han supuesto una revolución en la generación de texto a imagen, ofreciendo una calidad y creatividad notables. Sin embargo, vale la pena señalar que su procedimiento de muestreo de múltiples pasos es reconocido por su lentitud, ya que a menudo exige numerosos pasos de inferencia para lograr resultados deseables. En este artículo, los autores presentan un modelo generativo innovador de un solo paso derivado del modelo de difusión estable (SD) de código abierto.
Descubrieron que un intento sencillo de destilar SD condujo a un completo fracaso debido a un problema importante: el acoplamiento subóptimo de ruido e imágenes, que obstaculizó en gran medida el proceso de destilación. Para superar este desafío, los investigadores recurrieron a Flujo rectificado, un avance reciente en modelos generativos que incorpora flujos probabilísticos. Rectified Flow incorpora una técnica única llamada reflujo, que endereza gradualmente la trayectoria de los flujos de probabilidad.
Esto, a su vez, reduce el coste de transporte entre la distribución del ruido y la distribución de la imagen. Esta mejora en el acoplamiento facilita enormemente el proceso de destilación, solucionando el problema inicial. La imagen de arriba demuestra el funcionamiento de Instaflow.
La utilización de un generador de texto a imagen basado en difusión de un solo paso se evidencia en una puntuación FID (Distancia de inicio de Fréchet) de 23,3 en el conjunto de datos MS COCO 2017-5k, lo que representa una mejora sustancial con respecto al estado anterior. -Técnica de última generación conocida como destilación progresiva (37,2 → 23,3 en FID). Además, al emplear una red ampliada con 1.700 millones de parámetros, los investigadores lograron mejorar aún más el FID, alcanzando una puntuación de 22,4. Este modelo de un solo paso se conoce como “InstaFlow”.
En el conjunto de datos MS COCO 2014-30k, InstaFlow demuestra un rendimiento excepcional con un FID de 13,1 en solo 0,09 segundos, lo que lo convierte en el de mejor rendimiento en la categoría de ≤ 0,1 segundos. Esto supera al modelo reciente StyleGAN-T (13,9 en 0,1 segundos). En particular, el entrenamiento de InstaFlow se logra con un costo computacional relativamente bajo de solo 199 días de GPU A100.
A partir de estos resultados, los investigadores han propuesto las siguientes aportaciones:
- Mejora de la SD en un solo paso: El entrenamiento del modelo 2-Rectified Flow no convergió completamente, invirtiendo 75,2 días de GPU A100. Esto es solo una fracción del costo de capacitación de la SD original (6250 días de GPU A100). Al ampliar el conjunto de datos, el tamaño del modelo y la duración del entrenamiento, los investigadores creen que el rendimiento de la SD en un solo paso mejorará significativamente.
- ControlNet en un solo paso: Al aplicar nuestra canalización para entrenar modelos ControlNet, es posible obtener ControlNets de un solo paso capaces de generar contenidos controlables en milisegundos.
- Personalización para modelos de un solo paso: Al ajustar SD con el objetivo de capacitación de modelos de difusión y LORA, los usuarios pueden personalizar el SD previamente entrenado para generar contenido y estilos específicos.
- Estructura de red neuronal para generación en un solo paso: Con el avance de la creación de modelos SD de un solo paso utilizando reflujo y destilación condicionados por texto, surgen varias direcciones intrigantes:
(1) explorar estructuras alternativas de un solo paso, como arquitecturas exitosas utilizadas en GAN, que potencialmente podrían superar a U-Net en términos de calidad y eficiencia;
(2) aprovechar técnicas como la poda, la cuantificación y otros enfoques para construir redes neuronales eficientes para hacer que la generación en un solo paso sea más asequible desde el punto de vista computacional y al mismo tiempo minimizar la posible degradación de la calidad.
Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de más de 30.000 ml, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Janhavi Lande, se graduó en Ingeniería Física del IIT Guwahati, promoción de 2023. Es una futura científica de datos y ha estado trabajando en el mundo de la investigación ml/ai durante los últimos dos años. Lo que más le fascina es este mundo en constante cambio y su constante exigencia de que los humanos se mantengan al día. En su pasatiempo le gusta viajar, leer y escribir poemas.