La Academia de Inteligencia Artificial (BAAI) de Beijing presenta Omnigen2, un modelo generativo multimodal de próxima generación y código abierto. Expandiendo su predecesor Omnigen, la nueva arquitectura unifica la generación de texto a imagen, la edición de imágenes y la generación impulsada por el sujeto dentro de un solo marco de transformador. Innovia desacoplando el modelado de la generación de texto e imágenes, incorporando un mecanismo de capacitación reflexivo e implementando un punto de referencia especialmente diseñado, OMNICONTEXT, para evaluar la consistencia contextual.
Una arquitectura multimodal desacoplada
A diferencia de los modelos anteriores que usan parámetros compartidos en modalidades de texto e imagen, Omnigen2 introduce dos vías distintas: un transformador autorregresivo para la generación de texto y un transformador basado en difusión para la síntesis de imágenes. También emplea una nueva estrategia de posicionamiento llamada Omni-Rope, que permite el manejo flexible de secuencias, coordenadas espaciales y distinciones de modalidad, permitiendo la generación y edición de imágenes de alta fidelidad.
Para preservar la capacidad de generación de texto previa a la aparición de la MLLM subyacente (basada en Qwen2.5-VL-3B), Omnigen2 alimenta características derivadas de VAE solo a la vía de difusión. Esto evita comprometer la comprensión del texto del modelo y las capacidades de generación de la generación mientras se mantiene una representación visual rica para el módulo de síntesis de imagen.
Mecanismo de reflexión para la generación iterativa
Una de las características más destacadas en Omnigen2 es el mecanismo de reflexión. Al integrar los bucles de retroalimentación durante el entrenamiento, el modelo es capaz de analizar sus salidas generadas, identificar inconsistencias y proponer refinamientos. Este proceso imita la autocorrección de tiempo de prueba y mejora significativamente la precisión de la instrucción y la coherencia visual, especialmente para tareas matizadas como modificar el color, el recuento de objetos o el posicionamiento.
El conjunto de datos de reflexión se construyó utilizando retroalimentación múltiple, lo que permite que el modelo aprenda cómo revisar y rescindir la generación en función de la evaluación del contenido. Este mecanismo es particularmente útil para cerrar la brecha de calidad entre los modelos de código abierto y comerciales.
Omnicontext Benchmark: Evaluación de la consistencia contextual
Para evaluar rigurosamente la generación en contexto, el equipo presenta Omnicontext, un punto de referencia que comprende tres tipos de tareas principales: soltero, múltiple y escena, en todas las categorías de carácter, objeto y escena. OMNIGEN2 demuestra un rendimiento de última generación entre los modelos de código abierto en este dominio, obteniendo 7.18 en general, con el rendimiento de otros modelos principales como Bagel y Uniworld-V1.
La evaluación utiliza tres métricas centrales: siguientes siguientes (PF), consistencia del sujeto (SC) y puntaje general (media geométrica), cada una validada a través del razonamiento basado en GPT-4.1. Este marco de evaluación comparativa enfatiza no solo el realismo visual sino también la alineación semántica con las indicaciones y la consistencia de imagen transversal.
Corpus de tuberías de datos y capacitación
Omnigen2 fue entrenado en muestras T2I de 140 m e imágenes propietarias de 10 m, complementadas por conjuntos de datos meticulosamente seleccionados para la generación y edición en contexto. Estos conjuntos de datos se construyeron utilizando una tubería basada en video que extrae pares de cuadros semánticamente consistentes y genera automáticamente instrucciones utilizando modelos QWEN2.5-VL. Las anotaciones resultantes cubren manipulaciones de imágenes de grano fino, variaciones de movimiento y cambios compositivos.
Para el entrenamiento, los parámetros MLLM permanecen en gran medida congelados para retener la comprensión general, mientras que el módulo de difusión está entrenado desde cero y optimizado para la atención visual-textual conjunta. Un token especial “<| img |>” desencadena la generación de imágenes dentro de las secuencias de salida, agilizando el proceso de síntesis multimodal.
Rendimiento en todas las tareas
Omnigen2 ofrece fuertes resultados en múltiples dominios:
- Texto a imagen (T2I): Logra una puntuación de 0.86 en Gineval y 83.57 en DPG Bench.
- Edición de imágenes: Superla supera las líneas de base de código abierto con alta consistencia semántica (SC = 7.16).
- Generación en contexto: Establece nuevos puntos de referencia en Omnicontext con puntajes de tareas 7.81 (single), 7.23 (múltiples) y 6.71 (escena).
- Reflexión: Demuestra una revisión efectiva de generaciones fallidas, con una prometedora precisión de corrección y comportamiento de terminación.
Conclusión
Omnigen2 es un sistema generativo multimodal robusto y eficiente que avanza el modelado unificado a través de la separación arquitectónica, las tuberías de datos de alta calidad y un mecanismo de reflexión integrado. Según los modelos, conjuntos de datos y código de código abierto, el proyecto sienta una base sólida para futuras investigaciones en generación de texto de imagen controlable y consistente. Las próximas mejoras pueden centrarse en el aprendizaje de refuerzo para el refinamiento de la reflexión y la expansión de la robustez multilingüe y de baja calidad.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
