Hoy, nos complace anunciar la disponibilidad desde el día cero de NVIDIA Nemotron 3 Nano Omni en Amazon SageMaker JumpStart. Este modelo multimodal de NVIDIA combina la comprensión de vídeo, audio, imágenes y texto en una arquitectura única y eficiente, lo que permite a los clientes empresariales crear aplicaciones inteligentes que pueden ver, oír y razonar en distintas modalidades en un solo paso de inferencia.
En esta publicación, analizamos la arquitectura del modelo y las capacidades clave de Nemotron 3 Nano Omni, exploramos los casos de uso empresarial que desbloquea y le mostramos cómo implementar y ejecutar inferencias utilizando Amazon SageMaker JumpStart.
Descripción general de NVIDIA Nemotron 3 Nano Omni
NVIDIA Nemotron 3 Nano Omni es un modelo de lenguaje grande multimodal abierto con 30 mil millones de parámetros totales y 3 mil millones de parámetros activos (30B A3B). Está construido sobre una arquitectura Mamba2 Transformer Hybrid Mixture of Experts (MoE), que combina tres componentes principales:
Nemotron 3 Nano LLM como columna vertebral del lenguaje CRADIO v4-H como codificador de visión para la comprensión de imágenes y videos Parakeet como codificador de voz para la transcripción y comprensión de audio
Esta arquitectura unificada procesa video, audio, imágenes y texto como entrada y genera texto como salida. Admite una longitud de contexto de token de 131 KB, razonamiento en cadena de pensamiento, llamada de herramientas, salida JSON y marcas de tiempo a nivel de palabra para tareas de transcripción. El modelo está disponible con precisión FP8 en SageMaker JumpStart, lo que ofrece un equilibrio óptimo entre precisión y eficiencia para cargas de trabajo empresariales. Tiene licencia según el Acuerdo de modelo abierto de NVIDIA para uso comercial. Los flujos de trabajo de los agentes empresariales son inherentemente multimodales. Los agentes deben interpretar pantallas, documentos, audio, vídeo y texto, a menudo dentro del mismo circuito de razonamiento. Hoy en día, la mayoría de los sistemas agentes unen modelos separados para la visión, el habla y el lenguaje. Este enfoque aumenta la latencia a través de pases de inferencia repetidos, complica la orquestación y el manejo de errores, fragmenta el contexto entre modalidades y amplifica los costos y los modos de falla a lo largo del tiempo.
Nemotron 3 Nano Omni resuelve esto funcionando como subagente de contexto y percepción multimodal en un sistema de agentes. Proporciona ojos y oídos al sistema del agente: lectura de pantallas, interpretación de documentos, transcripción de voz y análisis de vídeo, todo ello manteniendo un contexto multimodal convergente a través de bucles de razonamiento. Nano Omni comprende pantallas, documentos, audio y vídeo en un único bucle de razonamiento. Esto reemplaza pilas de modelos fragmentados y simplifica significativamente el diseño del flujo de trabajo del agente. Para cualquiera que cree arquitecturas agentes, esto colapsa los saltos de inferencia, la lógica de orquestación y la sobrecarga de sincronización entre modelos en una única llamada de modelo. El modelo acepta los siguientes tipos de entrada:
Tipo de entrada Formatos admitidos Restricciones Vídeo mp4 Hasta 2 minutos, hasta 256 fotogramas Audio wav, mp3 Hasta 1 hora, frecuencia de muestreo de más de 8 kHz Imagen JPEG, PNG (RGB) Resolución estándar Cadena de texto Contexto de hasta 131 KB
Casos de uso empresarial
Las capacidades multimodales de Nemotron 3 Nano Omni lo convierten en una opción de modelo potente y flexible para casos de uso empresarial.
Agentes de uso informático
Nemotron 3 Nano Omni potencia el circuito de percepción de los agentes que navegan por interfaces gráficas de usuario. Lee pantallas, comprende el estado de la interfaz de usuario a lo largo del tiempo y valida los resultados, mientras los agentes de ejecución manejan las acciones. Esto colapsa la visión y el razonamiento en un solo bucle, eliminando la necesidad de canales de percepción divididos. Las aplicaciones prácticas incluyen paneles de gestión de incidentes, búsqueda de agentes, automatización del navegador y agentes de flujo de trabajo de correo electrónico.
Inteligencia documental
El modelo interpreta documentos, gráficos, tablas, capturas de pantalla y entradas de medios mixtos, lo que permite a los agentes razonar de manera coherente a través de la estructura visual y el contenido del texto. Esto es fundamental para el análisis empresarial y los flujos de trabajo de cumplimiento que involucran contratos, declaraciones de trabajo, documentos financieros y literatura científica.
Agentes de comprensión de audio y vídeo.
Para flujos de trabajo de servicio al cliente, investigación y monitoreo, Nemotron 3 Nano Omni mantiene un contexto de audio y video continuo. Reúne lo que se dijo, mostró y documentó en un único flujo de razonamiento en lugar de resúmenes desconectados. Esto permite aplicaciones como análisis de grabaciones de reuniones, gestión de activos de entretenimiento y medios, verificación de pedidos desde el auto y revisión de videos de servicio al cliente (por ejemplo, verificar la entrega de paquetes en una dirección determinada a través de OCR).
Comenzando con SageMaker JumpStart
Puede implementar Nemotron 3 Nano Omni a través de Amazon SageMaker JumpStart en unos pocos pasos. SageMaker JumpStart proporciona implementación con un solo clic de modelos básicos con contenedores de inferencia optimizados, lo que elimina la necesidad de administrar infraestructura, configurar marcos de servicio o manejar descargas de artefactos de modelos.
Requisitos previos
Antes de comenzar, asegúrese de tener:
Implementar usando SageMaker Studio
Abra Amazon SageMaker Studio En el panel de navegación izquierdo, elija JumpStart Buscar Nemotron 3 Nano Omni Seleccione la tarjeta de modelo y elija Implementar Configure su tipo de instancia y configuración de implementación Elija Implementar para crear el punto final
Implementar usando el SDK de SageMaker Python
También puede implementar mediante programación utilizando SageMaker Python SDK:
de sagemaker.jumpstart.model importar JumpStartModel modelo = JumpStartModel( model_id=”huggingface-vlm-nvidia-nemotron3-nano-omni-30ba3b-reasoning-fp8″, role=””, ) predictor = model.deploy( aceptar_eula=True, )
Ejecutar inferencia: comprensión de imágenes
Una vez implementado, puede enviar solicitudes multimodales al punto final. El siguiente ejemplo muestra cómo enviar una solicitud de comprensión de imágenes:
importar base64 def encode_image(image_path): con open(image_path, “rb”) como f: devolver base64.b64encode(f.read()).decode(“utf-8”) image_b64 = encode_image(“example.jpg”) carga útil = { “mensajes”: [{
“role”: “user”,
“content”: [
{“type”: “text”, “text”: “Describe this image in detail.”},
{“type”: “image_url”,
“image_url”: {“url”: f”data:image/jpeg;base64,{image_b64}”}},
]}], “max_tokens”: 1024, “temperatura”: 0.2, } respuesta = predictor.predict(carga útil) print(respuesta[“choices”][0][“message”][“content”])
Ejecutar inferencia: comprensión en video con razonamiento
importar base64 def encode_video(video_path): con open(video_path, “rb”) como f: devolver base64.b64encode(f.read()).decode(“utf-8”) video_b64 = encode_video(“meeting_recording.mp4”) carga útil = { “mensajes”: [{
“role”: “user”,
“content”: [
{“type”: “video_url”,
“video_url”: {“url”: f”data:video/mp4;base64,{video_b64}”}},
{“type”: “text”,
“text”: “Summarize the key discussion points.”},
]}], “max_tokens”: 20480, “temperatura”: 0,6, “top_p”: 0,95, } respuesta = predictor.predict(carga útil) print(respuesta[“choices”][0][“message”][“content”])
Ejecutar inferencia: transcripción de audio
importar base64 def encode_audio(audio_path): con open(audio_path, “rb”) como f: devolver base64.b64encode(f.read()).decode(“utf-8”) audio_b64 = encode_audio(“customer_call.wav”) carga útil = { “mensajes”: [{
“role”: “user”,
“content”: [
{“type”: “audio_url”,
“audio_url”: {“url”: f”data:audio/wav;base64,{audio_b64}”}},
{“type”: “text”,
“text”: “Transcribe this audio and identify key action items.”},
]}], “max_tokens”: 1024, “temperatura”: 0.2, } respuesta = predictor.predict(carga útil) print(respuesta[“choices”][0][“message”][“content”])
Parámetros de inferencia recomendados
La siguiente tabla contiene los valores de hiperparámetros recomendados para las solicitudes de inferencia de Omni. Los valores cambian según el modo de inferencia.
Modo Temperatura top_p max_tokens Caso de uso Pensamiento 0,6 0,95 20480 Razonamiento complejo Instrucción 0,2 N/A 1024 Tareas generales, ASR
Para tareas que implican razonamiento y comprensión compleja, recomendamos habilitar el modo de pensamiento. Para transcripciones y tareas sencillas, el modo de instrucción (con el pensamiento desactivado) proporciona respuestas más rápidas.
Limpiar
Para evitar incurrir en cargos innecesarios, elimine el punto final de SageMaker cuando haya terminado:
predictor.delete_endpoint()
Conclusión
NVIDIA Nemotron 3 Nano Omni aporta un nuevo nivel de inteligencia multimodal a Amazon SageMaker JumpStart. Al unificar la comprensión de vídeo, audio, imágenes y texto en un único modelo eficiente, simplifica el desarrollo de aplicaciones agentes empresariales al tiempo que ofrece una precisión líder y un rendimiento hasta 9 veces mayor en comparación con los modelos omni abiertos alternativos.
Ya sea que esté creando agentes de uso de computadoras que navegan por GUI, canales de inteligencia de documentos para flujos de trabajo de cumplimiento o sistemas de análisis de audio y video para servicio al cliente, Nemotron 3 Nano Omni proporciona la capa de percepción que sus agentes necesitan en una sola llamada de modelo.
Comience hoy implementando Nemotron 3 Nano Omni de Amazon SageMaker JumpStart. Para obtener más información sobre el modelo, visita la página del modelo NVIDIA Nemotron en Hugging Face.
Sobre los autores
Malav Shastri es ingeniero de desarrollo de software en AWS, donde trabaja en los equipos de Amazon SageMaker JumpStart y Amazon Bedrock. Su función se centra en permitir a los clientes aprovechar los modelos básicos patentados y de código abierto de última generación y los algoritmos tradicionales de aprendizaje automático. Malav tiene una maestría en Ciencias de la Computación.
Vivek Gangasani es líder mundial en arquitectura de soluciones, SageMaker Inference. Dirige la arquitectura de soluciones, la comercialización técnica (GTM) y la estrategia de productos salientes para SageMaker Inference. También ayuda a empresas y nuevas empresas a implementar y optimizar modelos GenAI y a crear flujos de trabajo de IA con SageMaker y GPU. Actualmente, se centra en desarrollar estrategias y contenidos para optimizar el rendimiento de la inferencia y casos de uso, como flujos de trabajo Agentic, RAG, etc. En su tiempo libre, Vivek disfruta hacer senderismo, ver películas y probar diferentes cocinas.