Esta publicación está coescrita con Abhishek Sawarkar, Eliuth Triana, Jiahong Liu y Kshitiz Gupta de NVIDIA.
En AWS re:Invent 2024, nos complace presentar Amazon Bedrock Marketplace. Esta es una nueva capacidad revolucionaria dentro Roca Amazónica que sirve como un centro centralizado para descubrir, probar e implementar modelos básicos (FM). Proporciona a desarrolladores y organizaciones acceso a un catálogo extenso de más de 100 FM populares, emergentes y especializados, complementando la selección existente de modelos líderes en la industria en Amazon Bedrock. Bedrock Marketplace permite la suscripción e implementación de modelos a través de puntos finales administrados, manteniendo al mismo tiempo la simplicidad de las API unificadas de Amazon Bedrock.
La familia NVIDIA Nemotron, disponible como NIM de NVIDIA microservicios, ofrece un conjunto de modelos de lenguaje de vanguardia ahora disponibles a través de Amazon Bedrock Marketplace, lo que marca un hito importante en la accesibilidad y la implementación del modelo de IA.
En esta publicación, analizamos las ventajas y capacidades de los modelos Bedrock Marketplace y Nemotron, y cómo comenzar.
Acerca del mercado Bedrock de Amazon
Bedrock Marketplace desempeña un papel fundamental en la democratización del acceso a capacidades avanzadas de IA a través de varias ventajas clave:
- Selección completa de modelos – Bedrock Marketplace ofrece una gama excepcional de modelos, desde opciones patentadas hasta opciones disponibles públicamente, lo que permite a las organizaciones encontrar la opción perfecta para sus casos de uso específicos.
- Experiencia unificada y segura – Al proporcionar un único punto de acceso para todos los modelos a través de las API de Amazon Bedrock, Bedrock Marketplace simplifica significativamente el proceso de integración. Las organizaciones pueden utilizar estos modelos de forma segura y, para los modelos que son compatibles con la API de Amazon Bedrock Converse, puede utilizar el sólido conjunto de herramientas de Amazon Bedrock, que incluye Agentes de Amazon Bedrock, Bases de conocimiento de Amazon Bedrock, Barandillas de lecho rocoso del Amazonasy Flujos de lecho rocoso del Amazonas.
- Infraestructura escalable – Bedrock Marketplace ofrece escalabilidad configurable a través de puntos finales administrados, lo que permite a las organizaciones seleccionar la cantidad deseada de instancias, elegir los tipos de instancias apropiados, definir políticas de escalamiento automático personalizadas que se ajustan dinámicamente a las demandas de la carga de trabajo y optimizar los costos mientras se mantiene el rendimiento.
Acerca de la familia de modelos NVIDIA Nemotron
A la vanguardia de la familia de modelos NVIDIA Nemotron se encuentra Nemotron-4, según lo declarado por NVIDIA, es un potente modelo multilingüe de lenguaje grande (LLM) entrenado en la impresionante cantidad de 8 billones de tokens de texto, optimizado específicamente para tareas de codificación, inglés y multilingüe. Las capacidades clave incluyen:
- Generación de datos sintéticos. – Capaz de crear datos de entrenamiento de alta calidad y específicos de un dominio a escala
- Soporte multilingüe – Capacitado en corpus de texto extensos, compatible con múltiples idiomas y tareas.
- Inferencia de alto rendimiento – Optimizado para una implementación eficiente en infraestructura acelerada por GPU
- Tamaños de modelos versátiles – Incluye variantes como el Nemotron-4 15B con 15 mil millones de parámetros
- licencia abierta – Ofrece una licencia de modelo abierto excepcionalmente permisiva que brinda a las empresas una forma escalable de generar y poseer datos sintéticos que pueden ayudar a crear potentes LLM.
Los modelos Nemotron ofrecen un potencial transformador para los desarrolladores de IA al abordar desafíos críticos en el desarrollo de la IA:
- Aumento de datos – Resolver problemas de escasez de datos generando conjuntos de datos de entrenamiento sintéticos y de alta calidad.
- Rentabilidad – Reducir los costos de anotación manual de datos y los procesos de recopilación de datos que consumen mucho tiempo
- Mejora del entrenamiento del modelo – Mejorar el rendimiento del modelo de IA mediante la generación de datos sintéticos de alta calidad.
- Integración flexible – Admite una integración perfecta con los servicios y flujos de trabajo de AWS existentes, lo que permite a los desarrolladores crear soluciones de IA sofisticadas más rápidamente.
Estas capacidades hacen que los modelos Nemotron sean particularmente adecuados para organizaciones que buscan acelerar sus iniciativas de IA manteniendo altos estándares de rendimiento y seguridad.
Primeros pasos con Bedrock Marketplace y Nemotron
Para comenzar con Amazon Bedrock Marketplace, abra la consola de Amazon Bedrock. Desde allí, puede explorar la interfaz de Bedrock Marketplace, que ofrece un catálogo completo de FM de varios proveedores. Puede navegar por las opciones disponibles para descubrir diferentes capacidades y especializaciones de IA. Esta exploración lo llevará a encontrar los modelos ofrecidos por NVIDIA, incluido Nemotron-4.
Lo guiamos a través de estos pasos en las siguientes secciones.
Abrir el mercado de Amazon Bedrock
Navegar a Amazon Bedrock Marketplace es sencillo:
- En la consola de Amazon Bedrock, elija Catálogo de modelos en el panel de navegación.
- Bajo Filtrosseleccionar Mercado de roca firme.
Al ingresar a Bedrock Marketplace, encontrará una interfaz bien organizada con varias categorías y filtros para ayudarlo a encontrar el modelo adecuado para sus necesidades. Puedes navegar por proveedores y modalidad.
- Utilice la función de búsqueda para localizar rápidamente proveedores específicos y explorar modelos catalogados en Bedrock Marketplace.
Implementar modelos NVIDIA Nemotron
Una vez que haya localizado las ofertas de modelos de NVIDIA en Bedrock Marketplace, puede limitarse al modelo Nemotron. Para suscribirse e implementar Nemotron-4, complete los siguientes pasos:
- Filtrar por Nemotrón bajo Proveedores o buscar por nombre de modelo.
- Elija entre los modelos disponibles, como
Nemotron-4 15B.
En la página de detalles del modelo, puede examinar sus especificaciones, capacidades y detalles de precios. El modelo Nemotron-4 ofrece impresionantes capacidades de codificación y multilingüe.
- Elegir Ver opciones de suscripción para suscribirse al modelo.
- Revise las opciones disponibles y elija Suscribir.
- Elegir Desplegar y siga las instrucciones para configurar sus opciones de implementación, incluidos los tipos de instancias y las políticas de escalado.
El proceso es fácil de usar, lo que le permite integrar rápidamente estas poderosas capacidades de IA en sus proyectos utilizando las API de Amazon Bedrock.
Conclusión
El lanzamiento de los modelos NVIDIA Nemotron en Amazon Bedrock Marketplace marca un hito importante para hacer que las capacidades avanzadas de IA sean más accesibles para los desarrolladores y las organizaciones. Nemotron-4 15B, con su impresionante arquitectura de 15 mil millones de parámetros entrenada en 8 billones de tokens de texto, brinda poderosas capacidades multilingües y de codificación a Amazon Bedrock.
A través de Bedrock Marketplace, las organizaciones pueden utilizar las capacidades avanzadas de Nemotron mientras se benefician de la infraestructura escalable de AWS y las sólidas tecnologías de NVIDIA. Le animamos a que empiece a explorar las capacidades de los modelos NVIDIA Nemotron hoy a través de Amazon Bedrock Marketplace y experimente de primera mano cómo este potente modelo de lenguaje puede transformar sus aplicaciones de IA.
Sobre los autores
parque james es arquitecto de soluciones en Amazon Web Services. Trabaja con Amazon.com para diseñar, construir e implementar soluciones tecnológicas en AWS y tiene un interés particular en la inteligencia artificial y el aprendizaje automático. En su tiempo libre le gusta buscar nuevas culturas, nuevas experiencias y mantenerse actualizado con las últimas tendencias tecnológicas. Puedes encontrarlo en LinkedIn.
Saurabh Trikande es gerente senior de productos para Amazon Bedrock y SageMaker Inference. Le apasiona trabajar con clientes y socios, motivado por el objetivo de democratizar la IA. Se centra en los desafíos principales relacionados con la implementación de aplicaciones complejas de IA, la inferencia con modelos multiinquilino, la optimización de costos y hacer más accesible la implementación de modelos de IA generativa. En su tiempo libre, Saurabh disfruta hacer senderismo, aprender sobre tecnologías innovadoras, seguir TechCrunch y pasar tiempo con su familia.
Melanie LiPhD, es arquitecta sénior de soluciones especializada en IA generativa en AWS con sede en Sydney, Australia, donde se centra en trabajar con los clientes para crear soluciones que aprovechen las herramientas de aprendizaje automático y de IA de última generación. Ha participado activamente en múltiples iniciativas de IA generativa en APJ, aprovechando el poder de los modelos de lenguaje grande (LLM). Antes de unirse a AWS, el Dr. Li ocupó puestos de ciencia de datos en las industrias financiera y minorista.
marc karp es un arquitecto de aprendizaje automático en el equipo de servicio de Amazon SageMaker. Se centra en ayudar a los clientes a diseñar, implementar y gestionar cargas de trabajo de aprendizaje automático a escala. En su tiempo libre le gusta viajar y explorar nuevos lugares.
Abhishek Sawarkar es gerente de producto en el equipo de NVIDIA AI Enterprise y trabaja en la integración del software NVIDIA AI en plataformas Cloud MLOps. Se centra en integrar la pila de inteligencia artificial de NVIDIA de un extremo a otro dentro de las plataformas en la nube y mejorar la experiencia del usuario en la informática acelerada.
Eliuth Triana es gerente de relaciones con desarrolladores en NVIDIA y capacita a los MLOps de IA, DevOps, científicos y expertos técnicos de AWS de Amazon para dominar la pila informática de NVIDIA para acelerar y optimizar los modelos de Generative AI Foundation que abarcan desde la curación de datos, el entrenamiento de GPU, la inferencia de modelos y la implementación de producción en instancias de GPU de AWS. . Además, Eliuth es un apasionado del ciclismo de montaña, esquiador, tenis y jugador de póquer.
Jia Hong Liu es arquitecto de soluciones en el equipo de proveedores de servicios en la nube de NVIDIA. Ayuda a los clientes a adoptar soluciones de inteligencia artificial y aprendizaje automático que aprovechan la computación acelerada por NVIDIA para abordar sus desafíos de capacitación e inferencia. En su tiempo libre, le gusta el origami, los proyectos de bricolaje y jugar baloncesto.
Kshitiz Gupta es arquitecto de soluciones en NVIDIA. Le gusta educar a los clientes de la nube sobre las tecnologías de GPU AI que NVIDIA tiene para ofrecer y ayudarlos a acelerar sus aplicaciones de aprendizaje automático y aprendizaje profundo. Fuera del trabajo, le gusta correr, hacer senderismo y observar la vida silvestre.