Los modelos integrados deciden qué pasajes ve un agente. NVIDIA lanzó el modelo Nemotron 3 Embed para trabajar en esa capa. Se dirige a RAG a escala de producción, recuperación de agentes, recuperación de códigos y memoria de agentes.
¿Qué es Nemotron 3 Embed?
La colección de modelos incluye tres puestos de control abiertos. Nemotron-3-Embed-8B-BF16 es la opción que prioriza la precisión. Nemotron-3-Embed-1B-BF16 tiene el mismo diseño en un tamaño más pequeño. Nemotron-3-Embed-1B-NVFP4 es la ruta de 4 bits optimizada por Blackwell.
Los tres son codificadores transformadores entrenados con enmascaramiento de atención bidireccional. La incorporación final proviene de la agrupación promedio de representaciones a nivel de token. La longitud máxima de la secuencia es de 32.768 tokens en cada punto de control.
Cada modelo fue evaluado en 34 idiomas. Los tres llevan el Acuerdo de licencia OpenMDW, versión 1.1 (OpenMDW-1.1). Cabe destacar que las peanas son modelos Mistral. El 8B está construido con Ministral-3-8B-Instruct-2512. Ambas variantes 1B utilizan Ministral-3-3B-Instruct-2512.
Actuación
Nemotron-3-Embed-8B-BF16 ocupa el puesto número 1 en general en RTEB (al 17 de julio de 2026), el punto de referencia de incrustación de recuperación. La evaluación cubre sus 16 tareas públicas. Cada figura a continuación es el promedio NDCG@10, con una longitud de secuencia del modelo 4096.
Vale la pena señalar dos lagunas. El 1B gana 10,4 puntos RTEB sobre llama-nemotron-embed-vl-1b-v2, la línea base de la generación anterior. Por separado, NVFP4 cuesta 0,38 puntos RTEB frente a su matriz BF16, o una retención del 99,5%.
¿Cómo se construyó el modelo 1B?
Esas puntuaciones 1B provienen de un proceso de compresión, no de una serie de entrenamiento más pequeña. El padre fue nemotron-3-embed-3b, podado y destilado en dos rondas iterativas.
Primero, el padre 3B se redujo a 2B usando NVIDIA ModelOpt mcore_minitron Neural Architecture Search (NAS). La búsqueda cubre el ancho oculto, el tamaño de FFN, los cabezales de atención y la profundidad. Luego elige al mejor candidato del frente de Pareto de los 10 primeros. Un corpus de calibración en el dominio de 50k calificó a esos candidatos.
A continuación, se destiló el modelo 2B del maestro de integración 8B ajustado. La destilación combinó la pérdida por distancia del coseno (COS) y la pérdida por error cuadrático medio (MSE). La combinación de datos fue multilingüe y en el dominio. Finalmente, se repitió el mismo procedimiento para producir el punto de control 1.14B.
La compensación del servicio NVFP4
Luego, la compresión continúa en el formato de publicación. La cuantificación afecta únicamente a los pesos y activaciones de capas lineales, apuntando al tipo de datos NVFP4. El equipo de investigación utilizó nvidia-modelopt v0.45.0. Le siguió la destilación consciente de la cuantificación (QAD), principalmente para recuperar la precisión en entradas largas.
La calibración utilizó 512 muestras: 256 consultas y 256 pasajes de abisee/cnn_dailymail. El entrenamiento QAD utilizó 20.000 muestras.
El equipo de investigación informa que NVFP4 en Blackwell ofrece un rendimiento hasta 2 veces mayor que BF16. Conserva más del 99 % de la precisión de recuperación del BF16. La tarjeta NVFP4 también documenta tamaños de incrustación dinámicos. Puede dividir el vector 2048-d desde el principio hasta 1024 o 512 dimensiones. Vuelva a normalizar después.
Explicador interactivo: el camino de recuperación de cinco etapas
Antes de tocar el código, observe cómo se ejecuta el camino. Anima prefijos, codificación bidireccional, agrupación promedio, normalización L2 y puntuación de productos escalares. Las puntuaciones provienen del resultado esperado publicado de cada tarjeta.
Matriz de implementación
Como implica ese tutorial, los puntos de control no comparten rutas de ejecución.
Además de los puntos de control, el equipo de investigación de NVIDIA lanzó un microservicio NIM optimizado para el modelo 1B. El NIM basado en Rust iguala o supera el punto de control vLLM en GB200 y RTX PRO 6000. NVIDIA probó longitudes de secuencia de entrada de 256 y 1024. Por separado, las recetas de NVIDIA NeMo AutoModel cubren el ajuste fino y la destilación.
Usándolo en código
Con esos caminos en mente, los prefijos son lo primero. Las consultas toman consulta: y los documentos toman paso: . Las incrustaciones están normalizadas en L2, por lo que el producto escalar es igual a la similitud del coseno.
DOCUMENTOS = [“People with pollen allergy can reduce exposure by staying indoors ”
“on dry, windy days, avoiding early-morning outdoor activity, and ”
“going outside after rain when pollen levels are lower.”]
model = SentenceTransformer( “nvidia/Nemotron-3-Embed-8B-BF16″, dispositivo=”cuda”, model_kwargs={“dtype”: torch.bfloat16, # use “sdpa” si FlashAttention-2 no está disponible “attn_implementation”: “flash_attention_2”}, procesador_kwargs={“padding_side”: “left”},) model.max_seq_length = 32768 q = model.encode_query(CONSULTAS, tamaño_lote=1, convert_to_tensor=True) d = model.encode_document(DOCUMENTOS, tamaño_lote=1, convert_to_tensor=True) print(model.similarity(q, d)) # tarjeta publicada q[3]/d[3] puntuación: 0,8008
encode_query y encode_document leen las indicaciones guardadas. Por lo tanto, nunca agrega prefijos a mano. Para servir, /v2/embed los aplica desde input_type en su lugar:
Casos de uso con ejemplos
Búsqueda empresarial multilingüe: un equipo de soporte indexa los tickets en hindi, japonés e inglés juntos. Debido a que la recuperación es multilingüe, una consulta en alemán puede generar una nota de resolución en japonés. Recuperación de código: la capacitación incluyó coir_apps, coir_cosqa, Synthetic_text2sql y SWE-bench. Por lo tanto, la búsqueda de lenguaje natural a código está más cerca de la distribución. Memoria del agente: el límite de 32 768 tokens permite a un agente incorporar resúmenes de conversaciones largas sin una fragmentación agresiva. RAG por niveles de costos: sirva 1B-NVFP4 para retiros de gran volumen y enrute consultas difíciles al 8B. Debido a que los anchos difieren, esto necesita dos índices.
Conclusiones clave
Nemotron-3-Embed-8B-BF16 ocupa el puesto número 1 en RTEB con 78,46 promedio NDCG@10. Tres puntos de control abiertos abarcan 8B BF16, 1B BF16 y 1B NVFP4. NVFP4 conserva más del 99 % de la precisión de BF16 con un rendimiento de Blackwell de hasta 2 veces. El 1B provino de la poda ModelOpt NAS más la destilación COS+MSE del 8B. Todos los puntos de control utilizan OpenMDW-1.1 y admiten entradas de 32.768 tokens.
Consulte la publicación de lanzamiento de NVIDIA sobre Hugging Face, la colección Nemotron 3 Embed, la tarjeta 8B-BF16, la tarjeta 1B-BF16 y la tarjeta 1B-NVFP4. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ml y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.