Los modelos integrados impulsan muchas aplicaciones modernas, desde búsqueda semántica y generación de recuperación aumentada (RAG) hasta sistemas de recomendación y comprensión de contenido. Sin embargo, seleccionar un modelo de incrustación requiere una consideración cuidadosa: después de haber ingerido sus datos, migrar a un modelo diferente significa volver a incrustar todo su corpus, reconstruir índices vectoriales y validar la calidad de la búsqueda desde cero. El modelo de integración correcto debe ofrecer un rendimiento básico sólido, adaptarse a su caso de uso específico y admitir las modalidades que necesita ahora y en el futuro.
El modelo Amazon Nova Multimodal Embeddings genera incorporaciones adaptadas a su caso de uso específico, desde búsqueda de imágenes o texto de modalidad única hasta aplicaciones multimodales complejas que abarcan documentos, videos y contenido mixto.
En esta publicación, aprenderá cómo utilizar Amazon Nova Multimodal Embeddings para sus casos de uso específicos:
Simplifique su arquitectura con búsqueda multimodal y recuperación visual de documentos Optimice el rendimiento seleccionando parámetros de incorporación que coincidan con su carga de trabajo Implemente patrones comunes a través de tutoriales de soluciones para búsqueda de medios, descubrimiento de comercio electrónico y recuperación inteligente de documentos
Esta guía proporciona una base práctica para configurar Amazon Nova Multimodal Embeddings para sistemas de búsqueda de activos multimedia, experiencias de descubrimiento de productos y aplicaciones de recuperación de documentos.
Casos de uso empresarial multimodal
Puede utilizar Amazon Nova Multimodal Embeddings en varios escenarios empresariales. La siguiente tabla proporciona casos de uso típicos y ejemplos de consultas:
Modalidad Tipo de contenido Casos de uso Ejemplos de consulta típicos Recuperación de videos Búsqueda de videos cortos Biblioteca de recursos y administración de medios “Niños abriendo regalos de Navidad”, “Ballena azul rompiendo la superficie del océano” Búsqueda de segmentos de videos largos Películas y entretenimiento, medios de difusión, vigilancia de seguridad “Escena específica en una película”, “Metraje específico en noticias”, “Comportamiento específico en vigilancia” Identificación de contenido duplicado Administración de contenido de medios Identificación de videos similares o duplicados Recuperación de imágenes Búsqueda de imágenes temáticas Biblioteca de activos, almacenamiento y administración de medios “Auto rojo con techo corredizo conduciendo por el costa” Búsqueda de referencias de imágenes Comercio electrónico, diseño “Zapatos similares a este” + Búsqueda inversa de imágenes Gestión de contenido Encuentre contenido similar basado en la imagen cargada Recuperación de documentos Páginas de información específica Servicios financieros, marcas de marketing, folletos publicitarios Información de texto, tablas de datos, página de gráficos Información integral entre páginas Mejora de la recuperación de conocimientos Extracción de información integral de textos, gráficos y tablas de varias páginas Recuperación de texto Recuperación de información temática Mejora de la recuperación de conocimientos “Próximos pasos en los procedimientos de desmantelamiento de reactores” Texto análisis de similitud Gestión de contenido multimedia Detección de titulares duplicados Agrupación automática de temas Finanzas, atención sanitaria Clasificación y resumen de síntomas Recuperación de asociaciones contextuales Finanzas, asuntos legales, seguros “Cantidad máxima de reclamación por infracciones de accidentes de inspección corporativa” Recuperación de audio y voz Recuperación de audio Biblioteca de activos y gestión de activos multimedia “Tono de llamada de música navideña”, “Efectos de sonido tranquilos y naturales” Búsqueda de segmentos de audio largos Podcasts, grabaciones de reuniones “Anfitrión de podcasts que analizan la neurociencia y el impacto del sueño en la salud cerebral”
Optimice el rendimiento para casos de uso específicos
El modelo de Amazon Nova Multimodal Embeddings optimiza su rendimiento para casos de uso específicos con la configuración de parámetros embeddingPurpose. Tiene diferentes estrategias de vectorización: modo sistema de recuperación y modo tarea ML.
El modo del sistema de recuperación (incluido GENERIC_INDEX y varios parámetros *_RETRIEVAL) apunta a escenarios de recuperación de información, distinguiendo entre dos fases asimétricas: almacenamiento/INDEX y consulta/RETRIEVAL. Consulte la siguiente tabla para conocer las categorías del sistema de recuperación y la selección de parámetros. Fase Selección de parámetros Motivo Fase de almacenamiento (todos los tipos) GENERIC_INDEX Optimizado para indexación y almacenamiento Fase de consulta (repositorio de modos mixtos) GENERIC_RETRIEVAL Búsqueda en contenido mixto Fase de consulta (repositorio de solo texto) TEXT_RETRIEVAL Búsqueda en contenido de solo texto Fase de consulta (repositorio de solo imágenes) IMAGE_RETRIEVAL Búsqueda en imágenes (fotos, ilustraciones, etc.) Fase de consulta (solo imágenes de documentos) repositorio) DOCUMENT_RETRIEVAL Búsqueda en imágenes de documentos (escaneos, capturas de pantalla de PDF, etc.) Fase de consulta (repositorio de solo video) VIDEO_RETRIEVAL Búsqueda en videos Fase de consulta (repositorio de solo audio) AUDIO_RETRIEVAL/td> Búsqueda en modo de tarea de aprendizaje automático de audio (incluidos los parámetros de CLASIFICACIÓN y CLUSTERING) apunta a escenarios de aprendizaje automático. Este parámetro permite que el modelo se adapte de manera flexible a diferentes tipos de requisitos de tareas posteriores. CLASIFICACIÓN: Los vectores generados son más adecuados para distinguir límites de clasificación, lo que facilita el entrenamiento del clasificador posterior o la clasificación directa. AGRUPACIÓN: Los vectores generados son más adecuados para formar centros de agrupación, lo que facilita los algoritmos de agrupación posteriores.
Tutorial sobre la creación de una solución de búsqueda y recuperación multimodal
Amazon Nova Multimodal Embeddings está diseñado específicamente para la búsqueda y recuperación multimodal, que es la base de los sistemas RAG agentes multimodales. Los siguientes diagramas muestran cómo crear una solución de búsqueda y recuperación multimodal.
En una solución de búsqueda y recuperación multimodal, que se muestra en el diagrama anterior, el contenido sin procesar (incluidos texto, imágenes, audio y video) se transforma inicialmente en representaciones vectoriales a través de un modelo de incrustación para encapsular características semánticas. Posteriormente, estos vectores se almacenan en una base de datos de vectores. Las consultas de los usuarios se convierten de manera similar en vectores de consulta dentro del mismo espacio vectorial. La recuperación de los K elementos más relevantes se logra calculando la similitud entre el vector de consulta y los vectores indexados. Esta solución de búsqueda y recuperación multimodal se puede encapsular como una herramienta de protocolo de contexto modelo (MCP), lo que facilita el acceso dentro de una solución RAG agente multimodal, que se muestra en el siguiente diagrama.
La solución de búsqueda y recuperación multimodal se puede dividir en dos flujos de datos distintos:
Ingestión de datos Búsqueda y recuperación en tiempo de ejecución
A continuación se enumeran los módulos comunes dentro de cada flujo de datos, junto con las herramientas y tecnologías asociadas:
Flujo de datos Módulo Descripción Herramientas y tecnologías comunes Ingestión de datos Generar incrustaciones Convertir entradas (texto, imágenes, audio, video, etc.) en representaciones vectoriales Modelo de incrustaciones. Almacenar incrustaciones en almacenes de vectores Almacenar los vectores generados en una base de datos de vectores o estructura de almacenamiento para su posterior recuperación Bases de datos de vectores populares Búsqueda y recuperación en tiempo de ejecución Algoritmo de recuperación de similitud Calcule la similitud y la distancia entre los vectores de consulta y los vectores indexados, recupere los elementos más cercanos Distancias comunes: similitud de coseno, producto interno, distancia euclidiana Soporte de bases de datos para k-NN y ANN, como Amazon OpenSearch k-NN Mecanismo de votación y recuperación de los K principales Seleccione el K superior más cercano vecinos a partir de resultados de recuperación, luego posiblemente combinar múltiples estrategias (votación, reclasificación, fusión) Por ejemplo, los K vecinos más cercanos, fusión de recuperación de palabras clave y recuperación de vectores (búsqueda híbrida) Estrategia de integración y recuperación híbrida Combinar múltiples mecanismos de recuperación o resultados modales, como palabras clave y vectores o fusión de recuperación de texto e imágenes Búsqueda híbrida (como el híbrido de Amazon OpenSearch)
Exploraremos varios casos de uso empresarial multimodal y brindaremos una descripción general de alto nivel sobre cómo abordarlos mediante Amazon Nova Multimodal Embeddings.
Caso de uso: recuperación y clasificación de productos
Las aplicaciones de comercio electrónico requieren la capacidad de clasificar automáticamente imágenes de productos e identificar artículos similares sin necesidad de etiquetarlos manualmente. El siguiente diagrama ilustra una solución de alto nivel:
Convierta imágenes de productos en incrustaciones utilizando Amazon Nova Multimodal Embeddings. Almacene incrustaciones y etiquetas como metadatos en una base de datos vectorial. Consulte nuevas imágenes de productos y encuentre los principales K productos similares. Utilice un mecanismo de votación en los resultados recuperados para predecir la categoría.
Parámetros de incrustaciones clave:
Parámetro Valor Propósito incrustaciónPropósito GENERIC_INDEX (indexación) e IMAGE_RETRIEVAL (consulta) Optimiza la incrustación de recuperación de imágenes del productoDimensión 1024 Equilibra la precisión y el rendimiento nivel de detalle STANDARD_IMAGE Adecuado para fotografías de productos
Caso de uso: recuperación inteligente de documentos
Los analistas financieros, los equipos legales y los investigadores necesitan encontrar rápidamente información específica (tablas, gráficos, cláusulas) en documentos complejos de varias páginas sin revisión manual. El siguiente diagrama ilustra una solución de alto nivel:
Convierta cada página PDF en una imagen de alta resolución Genere incrustaciones para todas las páginas del documento Almacene incrustaciones en una base de datos vectorial Acepte consultas en lenguaje natural y conviértalas en incrustaciones Recupera las K páginas más relevantes según su similitud semántica Devuelve páginas con tablas financieras, gráficos o contenido específico
Parámetros de incrustaciones clave:
Parámetro Valor Propósito incrustaciónPropósito GENERIC_INDEX (indexación) y DOCUMENT_RETRIEVAL (consulta) Optimiza la comprensión del contenido del documento incrustaciónDimensión 3072 Máxima precisión para estructuras de documentos complejas nivel de detalle DOCUMENT_IMAGE Conserva tablas, gráficos y diseño de texto
Cuando se trata de documentos basados en texto que carecen de elementos visuales, se recomienda extraer el contenido del texto y aplicar una estrategia de fragmentación y utilizar GENERIC_INDEX para indexar y TEXT_RETRIEVAL para realizar consultas.
Caso de uso: búsqueda de videoclips
Las aplicaciones multimedia requieren métodos eficientes para localizar clips de vídeo específicos de extensas bibliotecas de vídeos utilizando descripciones en lenguaje natural. Al convertir vídeos y consultas de texto en incrustaciones dentro de un espacio semántico unificado, se puede utilizar la coincidencia de similitud para recuperar segmentos de vídeo relevantes. El siguiente diagrama ilustra una solución de alto nivel:
Genere incrustaciones con Amazon Nova Multimodal Embeddings utilizando la API invoke_model para videos cortos o la API start_async_invoke para videos largos con segmentación. Almacene incrustaciones en una base de datos vectorial. Acepte consultas en lenguaje natural y conviértalas en incrustaciones. Recupere los K clips de video principales de la base de datos vectorial para revisarlos o editarlos más.
Parámetros de incrustaciones clave:
Parámetro Valor Propósito IncrustaciónPropósito GENERIC_INDEX (indexación) y VIDEO_RETRIEVAL (consulta) Optimizar para indexación y recuperación de video incrustaciónDimensión 1024 Equilibrio entre precisión y costo incrustaciónModo AUDIO_VIDEO_COMBINED Fusionar contenido visual y de audio.
Caso de uso: huella digital de audio
Las aplicaciones de música y los sistemas de gestión de derechos de autor deben identificar contenido de audio duplicado o similar y hacer coincidir los segmentos de audio con las pistas originales para la detección de derechos de autor y el reconocimiento de contenido. El siguiente diagrama ilustra una solución de alto nivel:
Convierta archivos de audio en incrustaciones utilizando Amazon Nova Multimodal Embeddings Almacene incrustaciones en una base de datos vectorial con género y otros metadatos Realice consultas con segmentos de audio y encuentre las K pistas similares principales Compare puntuaciones de similitud para identificar coincidencias de origen y detectar duplicados
Parámetros de incrustaciones clave:
Parámetro Valor Propósito incrustaciónPropósito GENERIC_INDEX (indexación) y AUDIO_RETRIEVAL (consulta) Optimiza la toma de huellas digitales de audio y la incrustación coincidenteDimensión 1024 Equilibra la precisión y el rendimiento para la similitud de audio
Conclusión
Puede utilizar Amazon Nova Multimodal Embeddings para trabajar con diversos tipos de datos dentro de un espacio semántico unificado. Al admitir texto, imágenes, documentos, videos y audio a través de parámetros de API de incorporación flexibles y optimizados para fines específicos, puede crear sistemas de recuperación, canales de clasificación y aplicaciones de búsqueda semántica más efectivos. Ya sea que esté implementando búsqueda multimodal, inteligencia de documentos o clasificación de productos, Amazon Nova Multimodal Embeddings proporciona la base para extraer información de datos no estructurados a escala. Comience a explorar Amazon Nova Multimodal Embeddings: modelo de integración de última generación para RAG agente y búsqueda semántica y ejemplos de GitHub para integrar Amazon Nova Multimodal Embeddings en sus aplicaciones hoy.
Sobre los autores
Yunyi Gao es arquitecto de soluciones especializadas en IA generativa en Amazon Web Services (AWS), responsable de la consultoría sobre el diseño de soluciones y arquitecturas de AWS AI/ML y GenAI.
Sharon Li es arquitecta de soluciones especializada en IA/ML en Amazon Web Services (AWS) con sede en Boston, Massachusetts. Con una pasión por aprovechar la tecnología de vanguardia, Sharon está a la vanguardia del desarrollo e implementación de soluciones innovadoras de IA generativa en la plataforma en la nube de AWS.