Google amplió su familia de modelos Gemini con el lanzamiento de Gemini Embedding 2. Este modelo de segunda generación sucede al gemini-embedding-001 de solo texto y está diseñado específicamente para abordar los desafíos de almacenamiento de alta dimensión y recuperación intermodal que enfrentan los desarrolladores de IA que construyen sistemas de generación aumentada de recuperación (RAG) de grado de producción. El lanzamiento de Gemini Embedding 2 marca un cambio técnico significativo en la forma en que se diseñan los modelos de incrustación, alejándose de canalizaciones de modalidades específicas hacia un espacio latente unificado y multimodal de forma nativa.
Multimodalidad nativa y entradas entrelazadas
El principal avance arquitectónico de Gemini Embedding 2 es su capacidad para asignar cinco tipos distintos de medios (texto, imagen, vídeo, audio y PDF) en un único espacio vectorial de alta dimensión. Esto elimina la necesidad de canalizaciones complejas que anteriormente requerían modelos separados para diferentes tipos de datos, como CLIP para imágenes y modelos basados en BERT para texto.
El modelo admite entradas entrelazadas, lo que permite a los desarrolladores combinar diferentes modalidades en una única solicitud de incorporación. Esto es particularmente relevante para casos de uso donde el texto por sí solo no proporciona suficiente contexto. Los límites técnicos para estos insumos se definen como:
Texto: Hasta 8192 tokens por solicitud. Imágenes: Hasta 6 imágenes (PNG, JPEG, WebP, HEIC/HEIF). Vídeo: Hasta 120 segundos de vídeo (MP4, MOV, etc.). Audio: Hasta 80 segundos de audio nativo (MP3, WAV, etc.) sin necesidad de un paso de transcripción por separado. Documentos: Hasta 6 páginas de archivos PDF.
Al procesar estas entradas de forma nativa, Gemini Embedding 2 captura las relaciones semánticas entre un cuadro visual en un video y el diálogo hablado en una pista de audio, proyectándolos como un único vector que se puede comparar con consultas de texto utilizando métricas de distancia estándar como Cosine Similarity.
Eficiencia a través del aprendizaje de representación Matryoshka (MRL)
Los costos de almacenamiento y computación suelen ser los principales obstáculos en la búsqueda de vectores a gran escala. Para mitigar esto, Gemini Embedding 2 implementa Matryoshka Representation Learning (MRL).
Los modelos de integración estándar distribuyen la información semántica de manera uniforme en todas las dimensiones. Si un desarrollador trunca un vector de 3072 dimensiones a 768 dimensiones, la precisión normalmente colapsa porque se pierde la información. Por el contrario, Gemini Embedding 2 está entrenado para empaquetar la información semántica más crítica en las primeras dimensiones del vector.
El modelo tiene por defecto 3072 dimensiones, pero el equipo de Google ha optimizado tres niveles específicos para uso en producción:
3072: Máxima precisión para conjuntos de datos legales, médicos o técnicos complejos. 1.536: Un equilibrio entre rendimiento y eficiencia de almacenamiento. 768: optimizado para recuperación de baja latencia y menor uso de memoria.
Matryoshka Representation Learning (MRL) permite una arquitectura de “lista corta”. Un sistema puede realizar una búsqueda aproximada y de alta velocidad en millones de elementos utilizando los subvectores de 768 dimensiones y luego realizar una reclasificación precisa de los resultados principales utilizando las incrustaciones completas de 3072 dimensiones. Esto reduce la sobrecarga computacional de la etapa de recuperación inicial sin sacrificar la precisión final del proceso RAG.
Evaluación comparativa: MTEB y recuperación de contexto largo
La evaluación interna y el rendimiento de Google AI en Massive Text Embedding Benchmark (MTEB) indican que Gemini Embedding 2 supera a su predecesor en dos áreas específicas: precisión de recuperación y robustez al cambio de dominio.
Muchos modelos de incrustación sufren de “derivación de dominio”, donde la precisión disminuye al pasar de datos de entrenamiento genéricos (como Wikipedia) a dominios especializados (como bases de código patentadas). Gemini Embedding 2 utilizó un proceso de capacitación de varias etapas que involucra diversos conjuntos de datos para garantizar un mayor rendimiento cero en tareas especializadas.
La ventana de 8192 tokens del modelo es una especificación crítica para RAG. Permite incrustar “fragmentos” de texto más grandes, lo que preserva el contexto necesario para resolver correferencias y dependencias de largo alcance dentro de un documento. Esto reduce la probabilidad de “fragmentación del contexto”, un problema común en el que un fragmento recuperado carece de la información necesaria para que el LLM genere una respuesta coherente.
Conclusiones clave
Multimodalidad nativa: Gemini Embedding 2 admite cinco tipos de medios distintos (texto, imagen, vídeo, audio y PDF) dentro de un espacio vectorial unificado. Esto permite que las entradas entrelazadas (por ejemplo, una imagen combinada con un título de texto) se procesen como una única incrustación sin canales de modelo separados. Aprendizaje de representación de Matryoshka (MRL): el modelo está diseñado para almacenar la información semántica más crítica en las primeras dimensiones de un vector. Si bien su valor predeterminado es 3072 dimensiones, admite un truncamiento eficiente a 1536 o 768 dimensiones con una pérdida mínima de precisión, lo que reduce los costos de almacenamiento y aumenta la velocidad de recuperación. Contexto y rendimiento ampliados: el modelo presenta una ventana de entrada de 8192 tokens, lo que permite “fragmentos” de texto más grandes en las canalizaciones RAG. Muestra importantes mejoras de rendimiento en Massive Text Embedding Benchmark (MTEB), específicamente en la precisión de la recuperación y el manejo de dominios especializados como código o documentación técnica. Optimización específica de la tarea: los desarrolladores pueden utilizar parámetros de tipo_tarea (como RETRIEVAL_QUERY, RETRIEVAL_DOCUMENT o CLASSIFICATION) para proporcionar sugerencias al modelo. Esto optimiza las propiedades matemáticas del vector para la operación específica, mejorando la “tasa de aciertos” en la búsqueda semántica.
Consulte los detalles técnicos en la vista previa pública a través de Gemini API y Vertex AI. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.