Esta publicación está coescrita con Abdullahi Olaoye, Curtice Lockhart y Nirmal Kumar Juluru de NVIDIA.
Nos complace anunciar que Nemotron 3 Nano de NVIDIA ya está disponible como modelo totalmente administrado y sin servidor en Amazon Bedrock. Esto sigue a nuestro anuncio anterior en AWS re:Invent que admite los modelos NVIDIA Nemotron 2 Nano 9B y NVIDIA Nemotron 2 Nano VL 12B.
Con los modelos abiertos de NVIDIA Nemotron en Amazon Bedrock, puede acelerar la innovación y ofrecer valor empresarial tangible sin tener que gestionar complejidades de infraestructura. Puede potenciar sus aplicaciones de IA generativa con las capacidades de Nemotron a través de las capacidades de inferencia de Amazon Bedrock y aprovechar el beneficio de sus amplias funciones y herramientas.
Esta publicación explora las características técnicas del modelo NVIDIA Nemotron 3 Nano y analiza posibles casos de uso de aplicaciones. Además, proporciona orientación técnica para ayudarle a comenzar a utilizar este modelo para sus aplicaciones de IA generativa dentro del entorno de Amazon Bedrock.
Acerca de Nemotrón 3 Nano
NVIDIA Nemotron 3 Nano es un modelo de lenguaje pequeño (SLM) con una arquitectura híbrida de mezcla de expertos (MoE) que ofrece alta eficiencia y precisión informática que los desarrolladores pueden utilizar para crear sistemas de IA agentes especializados. El modelo es completamente abierto con pesos abiertos, conjuntos de datos y recetas que facilitan la transparencia y la confianza para desarrolladores y empresas. En comparación con otros modelos de tamaño similar, Nemotron 3 Nano sobresale en tareas de codificación y razonamiento, tomando la delantera en puntos de referencia como SWE Bench Verified, AIME 2025, Arena Hard v2 e IFBench.
Descripción general del modelo:
Arquitectura: Mezcla de expertos (MoE) con arquitectura híbrida Transformer-Mamba Admite token Budget para proporcionar precisión y evitar pensar demasiado Precisión: líder en precisión en codificación, razonamiento científico, matemáticas, llamada de herramientas, seguimiento de instrucciones y chat Nemotron 3 Nano lidera puntos de referencia como SWE Bench, AIME 2025, Humanity Last Exam, IFBench, RULER y Arena Hard (en comparación con otros modelos de lenguaje abierto con 30 mil millones o menos MoE) Tamaño del modelo: 30 B con 3 B parámetros activos Longitud del contexto: 256 K Entrada del modelo: Texto Salida del modelo: Texto
Nemotron 3 Nano combina las capas Mamba, Transformer y Mixture-of-Experts en una única columna vertebral para ayudar a equilibrar la eficiencia, la precisión del razonamiento y la escala. Mamba permite el modelado de secuencias de largo alcance con poca sobrecarga de memoria, mientras que las capas Transformer ayudan a agregar atención precisa a tareas de razonamiento estructurado como código, matemáticas y planificación. El enrutamiento MoE aumenta aún más la escalabilidad al activar solo un subconjunto de expertos por token, lo que ayuda a mejorar la latencia y el rendimiento. Esto hace que Nemotron 3 Nano sea especialmente adecuado para grupos de agentes que ejecutan muchos flujos de trabajo ligeros y simultáneos.
Para obtener más información sobre la arquitectura de Nemotron 3 Nano y cómo se entrena, consulte Inside NVIDIA Nemotron 3: técnicas, herramientas y datos que lo hacen eficiente y preciso.
Puntos de referencia del modelo
La siguiente imagen muestra que Nemotron 3 Nano lidera el cuadrante más atractivo en el índice de apertura de análisis artificial frente al índice de inteligencia. Por qué es importante la apertura: genera confianza a través de la transparencia. Los desarrolladores y las empresas pueden aprovechar Nemotron con confianza con una visibilidad clara del modelo, la canalización de datos y las características de los datos, lo que permite una auditoría y una gobernanza sencillas.
Título: Gráfico que muestra a Nemotron 3 Nano en el cuadrante más atractivo del índice de apertura frente a inteligencia del análisis artificial (Fuente: Análisis artificial)
Como se muestra en la siguiente imagen, Nemotron 3 Nano proporciona una precisión líder con la mayor eficiencia entre los modelos abiertos y obtiene unos impresionantes 52 puntos, un salto significativo con respecto al modelo Nemotron 2 Nano anterior. La demanda de tokens está aumentando debido a la IA agente, por lo que la capacidad de "pensar rápido" (llegar rápidamente a la respuesta correcta usando menos tokens) es fundamental. Nemotron 3 Nano ofrece un alto rendimiento con su eficiente arquitectura híbrida Transformer-Mamba y MoE.
Título: NVIDIA Nemotron 3 Nano proporciona la mayor eficiencia con una precisión líder entre los modelos abiertos con una impresionante puntuación de 52 puntos en inteligencia de análisis artificial versus índice de velocidad de salida. (Fuente: Análisis Artificial)
Casos de uso de NVIDIA Nemotron 3 Nano
Nemotron 3 Nano ayuda a impulsar varios casos de uso para diferentes industrias. Algunos de los casos de uso incluyen
Finanzas: acelere el procesamiento de préstamos extrayendo datos, analizando patrones de ingresos, detectando operaciones fraudulentas, reduciendo los tiempos de ciclo y el riesgo. Ciberseguridad: clasifique automáticamente las vulnerabilidades, realice análisis de malware en profundidad y busque de forma proactiva amenazas a la seguridad. Desarrollo de software: ayude con tareas como el resumen de código. Comercio minorista: optimice la gestión de inventario y ayude a mejorar el servicio en la tienda con soporte y recomendaciones de productos personalizados en tiempo real.
Comience con NVIDIA Nemotron 3 Nano en Amazon Bedrock
Para probar NVIDIA Nemotron 3 Nano en Amazon Bedrock, complete los siguientes pasos:
Navegue hasta la consola de Amazon Bedrock y seleccione Área de juegos de chat/texto en el menú de la izquierda (en la sección Prueba). Elija Seleccionar modelo en la esquina superior izquierda del patio de juegos. Elija NVIDIA de la lista de categorías, luego seleccione NVIDIA Nemotron 3 Nano. Elija Aplicar para cargar el modelo.
Después de la selección, puedes probar el modelo inmediatamente. Usemos el siguiente mensaje para generar una prueba unitaria en código Python usando el marco pytest:
Escriba un conjunto de pruebas unitarias de pytest para una función de Python llamada calcular_mortgage (principal, tasa, años). Incluya casos de prueba para: 1) Un préstamo fijo estándar a 30 años 2) Un caso límite con 0% de interés 3) Manejo de errores para valores de entrada negativos.
Las tareas complejas como esta pueden beneficiarse de un enfoque de cadena de pensamiento para ayudar a producir un resultado preciso basado en las capacidades de razonamiento integradas de forma nativa en el modelo.
Uso de la CLI y los SDK de AWS
Puede acceder al modelo mediante programación utilizando el ID de modelo nvidia.nemotron-nano-3-30b. El modelo admite las API InvokeModel y Converse a través de la interfaz de línea de comandos de AWS (AWS CLI) y el SDK de AWS con nvidia.nemotron-nano-3-30b como ID del modelo. Además, es compatible con la API compatible con Amazon Bedrock OpenAI SDK.
Ejecute el siguiente comando para invocar el modelo directamente desde su terminal utilizando la interfaz de línea de comandos de AWS (AWS CLI) y la API InvokeModel:
Para invocar el modelo a través de AWS SDK para Python (boto3), utilice el siguiente script para enviar un mensaje al modelo, en este caso mediante la API de Converse:
Para invocar el modelo a través del punto final ChatCompletions compatible con Amazon Bedrock OpenAI, puede hacerlo utilizando el SDK de OpenAI:
Utilice NVIDIA Nemotron 3 Nano con las funciones de Amazon Bedrock
Puede mejorar sus aplicaciones de IA generativa combinando Nemotron 3 Nano con las herramientas administradas de Amazon Bedrock. Utilice Amazon Bedrock Guardrails para implementar salvaguardas y bases de conocimiento de Amazon para crear flujos de trabajo sólidos de generación aumentada de recuperación (RAG).
Barandillas de Amazon Bedrock
Guardrails es una capa de seguridad administrada que ayuda a aplicar una IA responsable al filtrar contenido dañino, redactar información confidencial (PII) y bloquear temas específicos en mensajes y respuestas. Funciona en múltiples modelos para ayudar a detectar alucinaciones y ataques de inyección rápidos.
Caso de uso de ejemplo: si está creando un asistente hipotecario, puede ayudar a evitar que ofrezca asesoramiento general sobre inversiones. Al configurar un filtro para la palabra "acciones", los mensajes de usuario que contengan ese término se pueden bloquear inmediatamente y recibir un mensaje personalizado.
Para instalar una barandilla, complete los siguientes pasos:
En la consola de Amazon Bedrock, navegue hasta la sección Construir a la izquierda y seleccione Guardrails. Cree una nueva barrera de seguridad y configure los filtros necesarios para su caso de uso.
Después de la configuración, pruebe la barandilla con varias indicaciones para verificar su rendimiento. Luego puede ajustar la configuración, como temas denegados, filtros de palabras y redacción de PII, para que coincidan con sus requisitos de seguridad específicos. Para profundizar más, consulte Crear su barandilla.
Bases de conocimiento de Amazon Bedrock
Amazon Bedrock Knowledge Bases automatiza el flujo de trabajo completo de RAG. Maneja la ingesta de contenido de sus fuentes de datos, dividiéndolo en segmentos de búsqueda, convirtiéndolos en incrustaciones de vectores y almacenándolos en una base de datos de vectores. Luego, cuando un usuario envía una consulta, el sistema compara la entrada con los vectores almacenados para encontrar contenido semánticamente similar, que luego se utiliza para aumentar el mensaje enviado al modelo básico.
Para este ejemplo, cargamos archivos PDF (por ejemplo, Compra de una casa nueva, Kit de herramientas para préstamos hipotecarios, Compra de una hipoteca) en Amazon Simple Storage Service (Amazon S3) y seleccionamos Amazon OpenSearch Serverless como tienda de vectores. El siguiente código demuestra cómo consultar esta base de conocimientos mediante la API RetrieveAndGenerate, al tiempo que facilita automáticamente la alineación del cumplimiento de seguridad a través de un ID de Guardrail específico.
Indica al modelo NVIDIA Nemotron 3 Nano que sintetice los documentos recuperados en una respuesta clara y fundamentada utilizando su plantilla de mensaje personalizada. Para configurar su propia canalización, revise el tutorial completo en la Guía del usuario de Amazon Bedrock.
Conclusión
En esta publicación, le mostramos cómo comenzar con NVIDIA Nemotron 3 Nano en Amazon Bedrock para una inferencia sin servidor totalmente administrada. También le mostramos cómo utilizar el modelo con Amazon Bedrock Knowledge Bases y Amazon Bedrock Guardrails. El modelo ahora está disponible en las regiones de AWS de EE. UU. Este (Norte de Virginia), EE. UU. Este (Ohio), EE. UU. Oeste (Oregón), Asia Pacífico (Tokio), Asia Pacífico (Mumbai), América del Sur (Sao Paulo), Europa (Londres) y Europa (Milán). Consulte la lista completa de regiones para futuras actualizaciones. Para obtener más información, consulte NVIDIA Nemotron y pruebe NVIDIA Nemotron 3 Nano en la consola Amazon Bedrock hoy.
Sobre los autores
Antonio Rodríguez
Antonio Rodríguez es arquitecto principal de soluciones especializado en IA generativa en Amazon Web Services. Ayuda a empresas de diferentes tamaños a resolver sus desafíos, adoptar la innovación y crear nuevas oportunidades comerciales con Amazon Bedrock. Además del trabajo, le encanta pasar tiempo con su familia y hacer deporte con sus amigos.
Aris Tsakpinis
Aris Tsakpinis es arquitecto senior de soluciones especializado en IA generativa y se centra en modelos de peso abierto en Amazon Bedrock y el entorno más amplio de código abierto de IA generativa. Además de su función profesional, está realizando un doctorado en Ingeniería de Aprendizaje Automático en la Universidad de Regensburg, donde su investigación se centra en la IA generativa aplicada en ámbitos científicos.
Abdullahi Olaoye
Abdullahi Olaoye es arquitecto senior de soluciones de IA en NVIDIA y se especializa en la integración de bibliotecas, marcos y productos de IA de NVIDIA con servicios de IA en la nube y herramientas de código abierto para optimizar la implementación, la inferencia y los flujos de trabajo de IA generativos del modelo de IA. Colabora con proveedores de la nube para ayudar a mejorar el rendimiento de las cargas de trabajo de IA e impulsar la adopción de soluciones de IA generativa y de IA impulsadas por NVIDIA.
Curtice Lockhart
Curtice Lockhart es arquitecto de soluciones de IA en NVIDIA, donde ayuda a los clientes a implementar modelos de lenguaje y visión para crear flujos de trabajo de IA de extremo a extremo utilizando las herramientas de NVIDIA en AWS. Le gusta hacer que conceptos complejos de IA parezcan accesibles y dedicar su tiempo a explorar el arte, la música y estar al aire libre.
Nirmal Kumar Juluru
Nirmal Kumar Juluru es gerente de marketing de productos en NVIDIA y dirige la adopción de Nemotron y NeMo. Anteriormente trabajó como desarrollador de software. Nirmal tiene un MBA de la Universidad Carnegie Mellon y una licenciatura en informática de BITS Pilani.