Las empresas de juegos se enfrentan a un desafío sin precedentes a la hora de gestionar sus activos creativos publicitarios. Las empresas de juegos modernas producen miles de anuncios de vídeo para campañas de pruebas A/B, y algunas organizaciones mantienen bibliotecas con más de 100.000 activos de vídeo que crecen en miles de activos mensualmente. Estos activos son fundamentales para las campañas de adquisición de usuarios, donde encontrar el activo creativo adecuado puede marcar la diferencia entre un lanzamiento exitoso y un fracaso costoso.
En esta publicación, describimos cómo puede utilizar Amazon Nova Multimodal Embeddings para recuperar segmentos de video específicos. También revisamos un caso de uso del mundo real en el que Nova Multimodal Embeddings logró una tasa de éxito de recuperación del 96,7 % y una recuperación de alta precisión del 73,3 % (devolviendo el contenido objetivo entre los dos primeros resultados) cuando se probó con una biblioteca de 170 activos creativos de juegos. El modelo también demuestra sólidas capacidades en varios idiomas con una degradación mínima del rendimiento en varios idiomas.
Los métodos tradicionales para clasificar, almacenar y buscar activos creativos no pueden satisfacer las necesidades dinámicas de los equipos creativos. Tradicionalmente, los activos creativos se etiquetaban manualmente para permitir la búsqueda basada en palabras clave y luego se organizaban en jerarquías de carpetas, en las que se buscaban manualmente los activos deseados. Los sistemas de búsqueda basados en palabras clave requieren un etiquetado manual que requiere mucha mano de obra y es inconsistente. Si bien las soluciones de modelos de lenguaje grande (LLM), como el etiquetado automático basado en LLM, ofrecen poderosas capacidades de comprensión multimodal, no pueden escalarse para satisfacer las necesidades de los equipos creativos de realizar búsquedas variadas en tiempo real en bibliotecas de activos masivas.
El desafío principal radica en la búsqueda semántica para el descubrimiento de activos creativos. La búsqueda debe admitir requisitos de búsqueda impredecibles que no se pueden organizar previamente con mensajes fijos o etiquetas predefinidas. Cuando los profesionales creativos buscan un personaje con la mano, o un dedo toca una carta en el juego, el sistema debe comprender no solo las palabras clave, sino también el significado semántico en los diferentes tipos de medios.
Aquí es donde Nova Multimodal Embeddings transforma el paisaje. Nova Multimodal Embeddings es un modelo de incorporación multimodal de última generación para aplicaciones de búsqueda semántica y recuperación aumentada (RAG) agente con una arquitectura de espacio vectorial unificada, disponible en Amazon Bedrock. Más importante aún, el modelo genera incrustaciones directamente a partir de recursos de video sin requerir pasos de conversión intermedios ni etiquetado manual.
La generación de incrustaciones de vídeo de Nova Multimodal Embeddings permite una verdadera comprensión semántica del contenido de vídeo. Nova Multimodal Embeddings puede analizar las escenas visuales, acciones, objetos y contexto dentro de los videos para crear representaciones semánticas ricas. Cuando busca el personaje que se pellizca a mano, el modelo comprende la acción específica, los elementos visuales y el contexto descrito, no solo las coincidencias de palabras clave. Esta capacidad semántica evita las limitaciones fundamentales de los sistemas de búsqueda basados en palabras clave, de modo que los equipos creativos puedan encontrar contenido de vídeo relevante utilizando descripciones en lenguaje natural que serían imposibles de etiquetar u organizar de antemano con los enfoques tradicionales.
Descripción general de la solución
En esta sección, aprenderá sobre Nova Multimodal Embeddings y sus capacidades clave, ventajas e integración con los servicios de AWS para crear una arquitectura de búsqueda multimodal integral. La arquitectura de búsqueda multimodal descrita en esta publicación proporciona:
Flexibilidad de entrada: acepta consultas de texto, imágenes cargadas, videos y archivos de audio como entradas de búsqueda Recuperación multimodal: los usuarios pueden encontrar contenido de video, imágenes y audio usando descripciones de texto o usar imágenes cargadas para descubrir contenido visual similar en múltiples tipos de medios Precisión de salida: devuelve resultados clasificados con puntajes de similitud, marcas de tiempo precisas para segmentos de video y metadatos detallados Búsqueda y recuperación sincrónicas: proporciona resultados de búsqueda inmediatos a través de incrustaciones precalculadas y similitud de vectores eficiente arquitectura asincrónica unificada: las consultas de búsqueda se procesan de forma asincrónica para manejar diferentes tiempos de procesamiento y proporcionar una experiencia de usuario consistente.
Incrustaciones multimodales de Nova
Nova Multimodal Embeddings es el primer modelo de incrustación unificado que admite texto, documentos, imágenes, video y audio a través de un único modelo para permitir la recuperación intermodal con una precisión líder en la industria. Proporciona las siguientes capacidades y ventajas clave:
Arquitectura de espacio vectorial unificada: a diferencia de los sistemas tradicionales basados en etiquetas o canales de conversión multimodal a texto que requieren asignaciones complejas entre diferentes espacios vectoriales, Nova Multimodal Embeddings genera incrustaciones que existen en el mismo espacio semántico independientemente de la modalidad de entrada. Esto significa que una descripción de texto de un coche de carreras estará espacialmente cerca de imágenes y vídeos que contengan coches de carreras, lo que permitirá una búsqueda intermodal intuitiva. Dimensiones de incrustación flexibles: Nova Multimodal Embeddings ofrece cuatro opciones de dimensiones de incrustación (256, 384, 1024 y 3072), entrenadas mediante Matryoshka Representation Learning (MRL), lo que permite una recuperación de baja latencia con una pérdida mínima de precisión en diferentes dimensiones. La opción de 1024 dimensiones proporciona un equilibrio óptimo para la mayoría de las aplicaciones empresariales, mientras que 3072 dimensiones ofrecen la máxima precisión para casos de uso críticos. API sincrónicas y asincrónicas: el modelo admite tanto la generación de incrustaciones en tiempo real para contenido más pequeño como el procesamiento asincrónico para archivos grandes con segmentación automática. Esta flexibilidad permite que los sistemas manejen todo, desde la recuperación rápida de consultas de texto hasta la indexación de horas de contenido de video. Comprensión avanzada de video: para contenido de video, Nova Multimodal Embeddings proporciona capacidades de segmentación sofisticadas, dividiendo videos largos en segmentos significativos (1 a 30 segundos) y generando incrustaciones para cada segmento. Para la gestión creativa de publicidad, este enfoque segmentado se alinea perfectamente con los flujos de trabajo de producción típicos donde los equipos creativos necesitan administrar y recuperar segmentos de video específicos en lugar de videos completos.
Integración con servicios de AWS
Nova Multimodal Embeddings se integra perfectamente con otros servicios de AWS para crear una arquitectura de búsqueda multimodal lista para producción:
Implementación técnica
Arquitectura del sistema
El sistema opera a través de dos flujos de trabajo principales: ingesta de contenido y recuperación de búsqueda, que se muestran en el siguiente diagrama de arquitectura y se describen en las siguientes secciones.
Flujo de ejecución del sistema
El flujo de trabajo de ingesta de contenido transforma archivos multimedia sin formato en incrustaciones de vectores con capacidad de búsqueda a través de una serie de pasos automatizados. Este proceso comienza cuando los usuarios cargan contenido y culmina con el almacenamiento de incrustaciones en la base de datos vectorial, haciendo que el contenido sea reconocible mediante búsqueda semántica.
Interacción del usuario: los usuarios acceden a la interfaz web a través de Amazon CloudFront y cargan archivos multimedia (imágenes, videos y audio) mediante arrastrar y soltar o seleccionar archivos. Procesamiento API: los archivos se convierten al formato base64 y se envían a través de API Gateway a la función Lambda principal para la validación del límite de tamaño y tipo de archivo (el tamaño máximo de archivo es 10 MB). Almacenamiento de Amazon S3: Lambda decodifica datos base64 y carga archivos sin formato en Amazon S3 para almacenamiento persistente. Activador de eventos de Amazon S3: Amazon S3 activa automáticamente una función Lambda de incrustación dedicada cuando se cargan nuevos archivos, iniciando el proceso de generación de incrustación. Invocación de Amazon Bedrock: la función Lambda de incrustación invoca de forma asincrónica el modelo de incrustaciones multimodales de Amazon Bedrock Nova para generar vectores de incrustación unificados para múltiples tipos de medios. Almacenamiento de vectores: la función Lambda de incrustación almacena los vectores de incrustación generados junto con los metadatos en OpenSearch Service, creando una base de datos de vectores con capacidad de búsqueda.
Flujo de trabajo de búsqueda y recuperación
A través del flujo de trabajo de búsqueda y recuperación, los usuarios pueden encontrar contenido relevante mediante consultas multimodales. Este proceso convierte las consultas de los usuarios en incrustaciones y realiza búsquedas de similitud en la base de datos vectorial prediseñada, arrojando resultados clasificados según la similitud semántica entre diferentes tipos de medios.
Solicitud de búsqueda: los usuarios inician búsquedas a través de la interfaz web utilizando archivos cargados o consultas de texto, con opciones para seleccionar diferentes modos de búsqueda (visual, semántica o audio). Procesamiento de API: las solicitudes de búsqueda se envían a través de API Gateway a la función Lambda de API de búsqueda para su procesamiento inicial. Creación de tareas: la función Lambda de la API de búsqueda crea registros de tareas de búsqueda en Amazon DynamoDB y envía mensajes a una cola de Amazon Simple Queue Service (Amazon SQS) para su procesamiento asincrónico. Procesamiento de cola: la función Lambda de la API de búsqueda envía mensajes a una cola de Amazon SQS para su procesamiento asincrónico. Esta arquitectura asincrónica unificada maneja los requisitos de API de Nova Multimodal Embeddings (invocación asíncrona para segmentación de video), evita tiempos de espera de API Gateway y ayuda a garantizar un procesamiento escalable para múltiples tipos de consultas. Activación del trabajador: la función Lambda del trabajador de búsqueda se activa mediante mensajes de Amazon SQS, extrayendo parámetros de búsqueda y preparándose para la generación de incrustación. Incrustación de consultas: la función Lambda de trabajo invoca el modelo de incrustaciones multimodales de Amazon Bedrock Nova para generar vectores de incrustación para consultas de búsqueda (texto o archivos cargados). Búsqueda de vectores: la función Lambda de trabajo realiza una búsqueda de similitud utilizando similitud de coseno en OpenSearch Service y luego actualiza los resultados en DynamoDB para el sondeo frontal.
Integración del flujo de trabajo
Los dos flujos de trabajo descritos en la sección anterior comparten componentes de infraestructura comunes pero tienen diferentes propósitos:
Flujo de trabajo de carga (1 a 6): se centra en la ingesta y el procesamiento de archivos multimedia para crear una base de datos vectorial con capacidad de búsqueda. Flujo de trabajo de búsqueda (A a G): procesa las consultas de los usuarios y recupera resultados relevantes de la base de datos vectorial prediseñada. Componentes compartidos: ambos flujos de trabajo utilizan el mismo modelo de Amazon Bedrock, índices de OpenSearch Service y servicios principales de AWS.
Características técnicas clave
Espacio vectorial unificado: todos los tipos de medios (imágenes, vídeos, audio y texto) están integrados en el mismo espacio dimensional, lo que permite una verdadera búsqueda intermodal. Procesamiento asincrónico: la arquitectura asincrónica unificada maneja los requisitos de la API de incrustación multimodal de Amazon Nova y ayuda a garantizar un procesamiento escalable a través de colas de Amazon SQS y funciones Lambda de trabajo. Búsqueda multimodal: admite búsquedas de similitud de texto a imagen, texto a video, texto a audio y archivo a archivo. Arquitectura escalable: el diseño sin servidor se escala automáticamente según la demanda. Seguimiento de estado: el mecanismo de sondeo proporciona actualizaciones sobre el estado del procesamiento asincrónico y los resultados de la búsqueda.
Generación de incrustaciones de núcleo utilizando Nova Multimodal Embeddings
Implementación de búsqueda multimodal
El corazón del sistema radica en sus capacidades de búsqueda intermodal inteligente utilizando la búsqueda de k-vecino más cercano (KNN) de OpenSearch, como se muestra en el siguiente código:
Almacenamiento y recuperación de vectores
El sistema utiliza OpenSearch Service como base de datos vectorial, optimizando la indexación para diferentes tipos de incrustación, como se muestra en el siguiente código:
Este esquema admite múltiples modalidades (visual, texto y audio) con la indexación KNN habilitada, lo que permite una búsqueda intermodal flexible y al mismo tiempo conserva metadatos detallados sobre segmentos de video y procedencia del modelo.
Aplicación y rendimiento en el mundo real
Utilizando un caso de uso de la industria del juego, examinemos el escenario de un profesional creativo que necesita encontrar segmentos de video que muestren personajes celebrando la victoria con efectos visuales brillantes para una nueva campaña.
Los enfoques tradicionales requerirían:
Etiquetado manual de miles de vídeos, lo que requiere mucha mano de obra y puede ser inconsistente. Búsqueda basada en palabras clave que omite matices semánticos. Análisis basado en LLM que es demasiado lento y costoso para consultas en tiempo real.
Con Nova Multimodal Embeddings, la misma consulta se convierte en una búsqueda de texto sencilla que:
Genera una incrustación semántica de la consulta Busca en todos los segmentos de video en el espacio vectorial unificado Devuelve resultados clasificados según la similitud semántica Proporciona marcas de tiempo precisas para segmentos de video relevantes
Métricas de rendimiento y validación.
Basado en pruebas exhaustivas con socios de la industria del juego utilizando una biblioteca de 170 activos (130 videos y 40 imágenes), Nova Multimodal Embeddings demostró un rendimiento excepcional en 30 casos de prueba:
Tasa de éxito de recuperación: el 96,7 % de los casos de prueba recuperaron con éxito el contenido de destino. Recuperación de alta precisión: el 73,3 % de los casos de prueba devolvieron el contenido de destino entre los dos primeros resultados. Precisión intermodal: precisión superior en la recuperación de texto a video en comparación con los enfoques tradicionales.
Hallazgos clave
Esto es lo que aprendimos de los resultados de nuestras pruebas:
Estrategia de segmentación: para flujos de trabajo creativos publicitarios, recomendamos usar SEGMENTED_EMBEDDING con segmentos de video de 5 segundos porque se alinea con los requisitos de producción típicos. Los equipos creativos suelen necesitar segmentar materiales publicitarios originales para su gestión y recuperar clips específicos durante los flujos de trabajo de producción, lo que hace que la funcionalidad de segmentación de Nova Multimodal Embeddings sea especialmente valiosa para estos casos de uso. Marco de evaluación: para evaluar la efectividad de Nova Multimodal Embeddings para su caso de uso, concéntrese en probar las siguientes capacidades principales: Detección de objetos y entidades: pruebe consultas como un auto deportivo rojo o un personaje con espada para evaluar el reconocimiento de objetos en todas las modalidades. Comprensión de la escena y el contexto: evalúe búsquedas contextuales, como una escena de celebración al aire libre o un entorno de reunión en interiores. Actividades y acciones: valide consultas basadas en acciones, como ejecutar un personaje o hacer clic en elementos de la interfaz. Atributos visuales: pruebe búsquedas de atributos específicos, incluidos colores, estilos y características visuales. Semántica abstracta: evalúe la comprensión conceptual con consultas como celebración de victoria o atmósfera tensa Metodología de prueba: cree un conjunto de datos de prueba representativo a partir de su biblioteca de contenido, cree diversos tipos de consultas que coincidan con las necesidades reales del usuario y mida tanto el éxito de la recuperación (encontrar contenido relevante) como la precisión (calidad de clasificación). Concéntrese en consultas que reflejen los patrones de búsqueda reales de su equipo en lugar de casos de prueba genéricos. Rendimiento en varios idiomas: Nova Multimodal Embeddings demuestra sólidas capacidades en varios idiomas, sobresaliendo particularmente en consultas en chino con una puntuación de 78,2 en comparación con consultas en inglés con 89,3 (3072 dimensiones). Esto representa una brecha de idioma de solo 11,1, significativamente mejor que otro modelo multimodal líder que muestra una degradación sustancial del rendimiento en diferentes idiomas.
Escalabilidad y beneficios de costos
La arquitectura sin servidor proporciona escalamiento automático al tiempo que optimiza los costos. Tenga en cuenta los siguientes detalles de rendimiento de dimensiones y estrategias de optimización de costos al diseñar su sistema de descubrimiento de activos multimodal.
Rendimiento de dimensiones:
3072 dimensiones: máxima precisión (89,3 para inglés y 78,2 para chino) y mayores costos de almacenamiento 1024 dimensiones: rendimiento equilibrado (85,7 para inglés y 68,3 para chino); recomendado para la mayoría de los casos de uso 384/256 dimensiones: opciones de costos optimizados para implementaciones a gran escala
Estrategias de optimización de costos:
Seleccione la dimensión según los requisitos de precisión en comparación con los costos de almacenamiento. Utilice procesamiento asincrónico para archivos grandes para evitar costos de tiempo de espera. Utilice incorporaciones precalculadas para reducir los costos recurrentes de inferencia de LLM. Utilice arquitectura sin servidor con precios bajo demanda de pago por uso para reducir los costos durante los períodos de bajo uso.
Empezando
Esta sección proporciona los requisitos y pasos esenciales para implementar y ejecutar el sistema de búsqueda multimodal Nova Multimodal Embeddings.
Una cuenta de AWS con acceso a Amazon Bedrock y disponibilidad del modelo Nova Multimodal Embeddings Interfaz de línea de comandos de AWS (AWS CLI) v2 configurada con los permisos adecuados para la creación de recursos Node.js 18+ y AWS CDK v2 instalado Python 3.11 para la implementación de infraestructura Git para clonar el repositorio de demostración
Implementación rápida
El sistema completo se puede implementar utilizando los siguientes scripts de automatización:
El script de implementación automáticamente:
Instala las dependencias requeridas Aprovisiona recursos de AWS (Lambda, OpenSearch, Amazon S3 y API Gateway) Crea e implementa la interfaz frontend Configura los puntos finales de API y la distribución de CloudFront
Accediendo al sistema
Después de una implementación exitosa, el sistema proporciona interfaces web para realizar pruebas:
Interfaz de carga: para agregar archivos multimedia al sistema. Interfaz de búsqueda: para realizar consultas multimodales. Interfaz de administración: para monitorear el estado del procesamiento.
Soporte de entrada multimodal (opcional)
Esta subsección opcional permite que el sistema acepte entradas de imágenes y videos además de consultas de texto para capacidades de búsqueda multimodal integrales.
Limpiar
Para evitar cargos continuos, utilice el siguiente comando para eliminar los recursos de AWS creados durante la implementación:
Conclusión
Amazon Nova Multimodal Embeddings representa un cambio fundamental en la forma en que las organizaciones pueden administrar y descubrir contenido multimodal a escala. Al proporcionar un espacio vectorial unificado que integra perfectamente texto, imágenes y contenido de vídeo, Nova Multimodal Embeddings elimina las barreras tradicionales que han limitado las capacidades de búsqueda intermodal. El código fuente completo y los scripts de implementación están disponibles en el repositorio de demostración.
Sobre los autores
Jia Li es arquitecto de soluciones industriales en Amazon Web Services y se centra en impulsar la innovación técnica y el crecimiento empresarial en la industria del juego. Con 20 años de experiencia en desarrollo de juegos completo, anteriormente trabajó en empresas como Lianzhong, Renren y Hungry Studio, como productor de juegos y director de un centro de I+D a gran escala. Posee un conocimiento profundo de la dinámica de la industria y los modelos de negocio.
Xiaowei Zhu es creador de soluciones industriales en Amazon Web Services (AWS). Con más de 10 años de experiencia en el desarrollo de aplicaciones móviles, también tiene una amplia experiencia en integración de búsqueda, pruebas automatizadas y codificación Vibe. Actualmente, es responsable de construir los activos de la industria de juegos de AWS y liderar el desarrollo de la aplicación de código abierto SwiftChat.
Hanyi Zhang es arquitecto de soluciones en AWS y se centra en el diseño de arquitectura en la nube para la industria del juego. Con una amplia experiencia en análisis de big data, IA generativa y observabilidad de la nube, Hanyi ha realizado con éxito múltiples proyectos a gran escala con servicios de AWS de vanguardia.
Zepei Yu es Arquitecto de Soluciones en AWS, responsable de la consultoría y diseño de soluciones de computación en la nube, y tiene amplia experiencia en AI/ML, DevOps, Industria del Juego, etc.
Bao Cao es un arquitecto de soluciones de AWS, responsable del diseño arquitectónico basado en las soluciones de computación en la nube de AWS, que ayuda a los clientes a crear aplicaciones más innovadoras utilizando tecnologías líderes de servicios en la nube. Antes de unirse a AWS, trabajó en empresas como ByteDance, con más de 10 años de amplia experiencia en desarrollo de juegos y diseño arquitectónico.
Xi Wan es arquitecto de soluciones en Amazon Web Services, responsable de consultar y diseñar soluciones de computación en la nube basadas en AWS. Un firme defensor de la cultura AWS Builder. Con más de 12 años de experiencia en desarrollo de juegos, ha participado en la gestión y el desarrollo de múltiples proyectos de juegos y posee un profundo conocimiento y conocimiento de la industria del juego.