Cohere Command R y R+ ya están disponibles en Amazon SageMaker JumpStart

Porautomata

#Amazon, #Cohere, #Command, #disponibles, #están, #JumpStart, #SageMaker

Esta publicación de blog está coescrita con Pradeep Prabhakaran de Cohere.

Hoy nos complace anunciar que Comando Cohere R y R+ Los modelos de cimientos están disponibles a través de Inicio rápido de Amazon SageMaker para implementar y ejecutar inferencias. Command R/R+ son modelos optimizados de generación aumentada (RAG) de recuperación de última generación diseñados para abordar cargas de trabajo de nivel empresarial.

En esta publicación, explicamos cómo descubrir e implementar Cohere Command R/R+ a través de SageMaker JumpStart.

¿Qué son Cohere Command R y Command R+?

Cohere Command R es una familia de modelos de lenguaje altamente escalables que equilibran un alto rendimiento con una gran precisión. La familia Command R (que incluye los modelos Command R y Command R+) está optimizada para flujos de trabajo basados en RAG, como interacción conversacional y tareas de contexto prolongado, lo que permite a las empresas ir más allá de la prueba de concepto y pasar a la producción. Estos potentes modelos están diseñados para manejar tareas complejas con alto rendimiento y gran precisión, lo que los hace adecuados para aplicaciones del mundo real.

Command R cuenta con alta precisión en RAG y tareas de uso de herramientas, baja latencia y alto rendimiento, una longitud de contexto larga de 128 000 tokens y sólidas capacidades en 10 idiomas clave: inglés, francés, español, italiano, alemán, portugués, japonés, coreano. árabe y chino.

Command R+ es el modelo más nuevo, optimizado para una interacción conversacional de alto rendimiento y tareas de contexto prolongado. Se recomienda para flujos de trabajo que se basan en la funcionalidad RAG compleja y el uso de herramientas de varios pasos (agentes), mientras que Cohere R es adecuado para tareas RAG más simples y de uso de herramientas de un solo paso, así como aplicaciones donde el precio es una consideración importante.

¿Qué es SageMaker JumpStart?

Con SageMaker JumpStart, puede elegir entre una amplia selección de modelos de bases disponibles públicamente. Los profesionales de ML pueden implementar modelos básicos en instancias dedicadas de SageMaker desde un entorno aislado de red y personalizar modelos utilizando SageMaker para el entrenamiento e implementación de modelos. Ahora puede descubrir e implementar modelos Cohere Command R/R+ con algunas opciones en Amazon SageMaker Estudio o mediante programación a través del SDK de SageMaker Python. Hacerlo le permite derivar controles de rendimiento del modelo y operaciones de aprendizaje automático (MLOps) con funciones de SageMaker como Canalizaciones de SageMaker, Depurador de SageMakero registros de contenedor.

El modelo se implementa en un entorno seguro de AWS y bajo los controles de su nube privada virtual (VPC), lo que ayuda a brindar seguridad de los datos. Los modelos Cohere Command R/R+ están disponibles hoy para implementación e inferencia en Amazon SageMaker Studio en us-east-1 (Virginia del Norte), us-east-2 (Ohio), us-west-1 (norte de California), us-west-2 (Oregón), Canadá (Centro), eu-central-1 (Fráncfort), eu-west-1 (Irlanda), eu-west-2 (Londres), eu-west-3 (París), eu-north-1 (Estocolmo), ap-southeast-1 (Singapur), ap-southeast-2 (Sídney), ap-northeast-1 (Tokio), ap-northeast-2 (Seúl), ap-south-1 (Bombay), y sa-east-1 (Sao Paulo).

Descubre modelos

Puede acceder a los modelos básicos a través de SageMaker JumpStart en la interfaz de usuario de SageMaker Studio y el SDK de SageMaker Python. En esta sección, repasamos cómo descubrir los modelos en SageMaker Studio.

Desde la página de inicio de SageMaker JumpStart, puede descubrir fácilmente varios modelos navegando a través de diferentes centros, que llevan el nombre de proveedores de modelos. Los modelos Cohere Command R y R+ están disponibles en el centro Cohere. Si no ve estos modelos, asegúrese de tener la última versión de SageMaker Studio cerrando y reiniciando Studio Classic Apps.

Para encontrar los modelos Command R y R+, busque «Command R» en el cuadro de búsqueda ubicado en la parte superior izquierda de la página de inicio de SageMaker JumpStart. Cada modelo se puede implementar en Instancias P5 de Amazon Elastic Compute Cloud (EC2) impulsado por NVIDIA H100 GPU Tensor Core (p5.48xlarge) y Instancias P4de de Amazon EC2 impulsado por NVIDIA A100 GPU Tensor Core (ml.p4de.24xlarge).

Implementar un modelo

Para ilustrar la implementación del modelo, implementaremos Cohere Command R+ en NVIDIA H100. Elija la tarjeta del modelo para abrir la página de detalles del modelo correspondiente.

cuando tu eliges Desplegaraparece una ventana solicitándole que se suscriba al modelo en Mercado de AWS. Elegir Suscribir, que le redirige a la lista de AWS Marketplace para Cohere Command R+ (H100). Siga las instrucciones en pantalla para completar el proceso de suscripción.

Una vez suscrito, regrese a la página de detalles del modelo y elija Desplegar en la ventana. Se inicia el proceso de implementación.

Alternativamente, puedes elegir Cuadernos en la tarjeta del modelo y abra el cuaderno de ejemplo en JupyterLab. Este cuaderno proporciona orientación integral sobre cómo implementar el modelo para inferencia y limpieza de recursos. También puedes encontrar esto cuaderno de ejemplo en el Repositorio Cohere SageMaker GitHub. Para garantizar la seguridad del punto final, puede configurar AWS Servicio de gestión de claves (KMS) clave para la configuración de un punto final de SageMaker.

Si ya se ha creado un punto final, simplemente puede conectarse a él:

co = Client(region_name=region)

co.connect_to_endpoint(endpoint_name="cohere-command-r-plus")

Inferencia en tiempo real

Una vez que su punto final se haya conectado, puede realizar inferencias en tiempo real utilizando el punto final co.chat.

message = "Write a LinkedIn post about starting a career in tech:"
response = co.chat(message=message, stream=False)

Capacidades multilingües

Command R/R+ está optimizado para funcionar bien en 10 idiomas clave, como se enumera en la introducción. Además, se han incluido datos previos al entrenamiento para los siguientes 13 idiomas: ruso, polaco, turco, vietnamita, holandés, checo, indonesio, ucraniano, rumano, griego, hindi, hebreo y persa.

El modelo ha sido entrenado para responder en el idioma del usuario. Aquí tienes un ejemplo en español:

co.chat(
  message="Écris une description de produit pour une voiture électrique en 50 à 75 mots"
)

Así es como podría verse la respuesta:

Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduit unique avec une accélération puissante et une autonomie impressionnante. Sa technologie avancée vous garantit une charge rapide et une fiabilité inégalée. Avec sa conception innovante et durable, cette voiture est parfaite pour les trajets urbains et les longues distances. Profitez d'une conduite silencieuse et vivez l'expérience de la voiture électrique!

Command R/R+ también puede realizar tareas multilingües, como traducir o responder preguntas sobre contenido en otros idiomas.

Chat con documentos (RAG)

Command R/R+ puede anclar a sus generaciones. Esto significa que puede generar respuestas basadas en una lista de fragmentos de documentos proporcionados e incluye citas en su respuesta que indican la fuente de la información.

Por ejemplo, el fragmento de código que sigue produce una respuesta a «¿Qué profundidad tiene la Fosa de las Marianas?”junto con citas en línea basadas en los documentos en línea proporcionados.

Pedido:

message="How deep is the Mariana Trench"
documents = [
    {
       "id": "national_geographic_everest",
       "title": "Height of Mount Everest",
       "snippet": "The height of Mount Everest is 29,035 feet",
       "url": "https://education.nationalgeographic.org/resource/mount-everest/",
    },
    {
        "id": "national_geographic_mariana",
        "title": "Depth of the Mariana Trench",
        "snippet": "The depth of the Mariana Trench is 36,070 feet",
        "url": "https://www.nationalgeographic.org/activity/mariana-trench-deepest-place-earth",
    }
]

response = co.chat(message=message, documents=documents, stream=False)

Respuesta:

{
   text: “The depth of the Mariana Trench is 36,070 feet.”,
   citations: [
      {'start': 35, 'end': 47, 'text': '36,070 feet.', 'document_ids': ['national_geographic_mariana']}
   ],
   documents: [
      {'id': 'national_geographic_mariana', 
       'snippet': 'The depth of the Mariana Trench is 36,070 feet', 
       'title': 'Depth of the Mariana Trench'
	'url':'https://www.nationalgeographic.org/activity/mariana-trench-deepest-place-earth'}
   ]
}

Uso de herramientas de un solo paso y de varios pasos

Command R/R+ viene con una API de uso de herramientas que permite que el modelo de lenguaje interactúe con herramientas definidas por el usuario para automatizar tareas altamente sofisticadas. Command R/R+ en el modo de uso de herramientas crea cargas útiles de API (JSON con parámetros específicos) basadas en las interacciones del usuario y el historial de conversaciones. Estos se pueden utilizar para instruir a cualquier otra aplicación o herramienta.

Por ejemplo, se puede ordenar a una aplicación que categorice y enrute automáticamente los tickets de soporte a la persona adecuada, cambie un estado en el software de gestión de relaciones con el cliente (CRM) o recupere fragmentos relevantes de una base de datos vectorial. Viene en dos variantes; de un solo paso y de varios pasos:

El uso de herramientas en un solo paso permite un conjunto más rico de comportamientos al aprovechar los datos almacenados en las herramientas, realizar acciones a través de API, interactuar con una base de datos vectorial, consultar un motor de búsqueda, etc.
El uso de herramientas de varios pasos es una extensión de esta idea básica y permite que el modelo llame a más de una herramienta en una secuencia de pasos, utilizando los resultados de una llamada de herramienta en un paso posterior. Este proceso permite que el modelo de lenguaje razone, realice acciones dinámicas y se adapte rápidamente en función de información proveniente de fuentes externas.

Para explorar más estas capacidades, puede consultar el documento proporcionado cuaderno jupyter y Repositorio AWS GitHub de Cohereque ofrecen ejemplos adicionales que muestran diversos casos de uso y aplicaciones.

Limpiar

Una vez que haya terminado de ejecutar la computadora portátil y explorar los modelos Cohere Command R y R+, es esencial limpiar los recursos que ha creado para evitar incurrir en cargos innecesarios. Siga estos pasos para eliminar los recursos y detener la facturación:

co.delete_endpoint()
co.close()

Conclusión

En esta publicación, exploramos cómo aprovechar las poderosas capacidades de los modelos Command R y R+ de Cohere en Amazon SageMaker JumpStart. Estos grandes modelos de lenguaje de última generación están diseñados específicamente para sobresalir en casos de uso empresarial del mundo real, ofreciendo un rendimiento y escalabilidad incomparables. Con su disponibilidad en Inicio rápido de SageMaker y Mercado de AWSahora tiene acceso perfecto a estos modelos de vanguardia, lo que le permite desbloquear nuevos niveles de productividad e innovación en sus proyectos de procesamiento del lenguaje natural.

Sobre los autores

Pradeep Prabhakaran es arquitecto de soluciones para clientes en Cohere. En su puesto actual en Cohere, Pradeep actúa como asesor técnico confiable para clientes y socios, brindándoles orientación y estrategias para ayudarlos a aprovechar todo el potencial de la plataforma de IA generativa de vanguardia de Cohere. Antes de unirse a Cohere, Pradeep fue gerente principal de soluciones para clientes en Amazon Web Services, donde dirigió programas de transformación de Enterprise Cloud para grandes empresas. Antes de AWS, Pradeep ocupó varios puestos de liderazgo en empresas de consultoría como Slalom, Deloitte y Wipro. Pradeep tiene una licenciatura en ingeniería y reside en Dallas, TX.

James Yi es arquitecto senior de soluciones de socios de IA/ML en Amazon Web Services. Encabeza las asociaciones estratégicas de AWS en tecnologías emergentes y guía a los equipos de ingeniería para diseñar y desarrollar soluciones conjuntas de vanguardia en GenAI. Permite que los equipos técnicos y de campo implementen, operen, protejan e integren sin problemas soluciones de socios en AWS. James colabora estrechamente con líderes empresariales para definir y ejecutar estrategias conjuntas de comercialización, impulsando el crecimiento empresarial basado en la nube. Fuera del trabajo, le gusta jugar fútbol, viajar y pasar tiempo con su familia.