Los modelos Llama 3.2 de Meta ya están disponibles en Amazon SageMaker JumpStart

Hoy, nos complace anunciar la disponibilidad de los modelos Llama 3.2 en Inicio rápido de Amazon SageMakerLlama 3.2 ofrece una visión multimodal y modelos livianos que representan el último avance de Meta en modelos de lenguaje grandes (LLM), lo que proporciona capacidades mejoradas y una aplicabilidad más amplia en varios casos de uso. Con un enfoque en la innovación responsable y la seguridad a nivel de sistema, estos nuevos modelos demuestran un rendimiento de vanguardia en una amplia gama de puntos de referencia de la industria e introducen características que lo ayudan a crear una nueva generación de experiencias de IA. SageMaker JumpStart es un centro de aprendizaje automático (ML) que brinda acceso a algoritmos, modelos y soluciones de ML para que pueda comenzar rápidamente con ML.

En esta publicación, mostramos cómo puede descubrir e implementar el modelo Llama 3.2 11B Vision con SageMaker JumpStart. También compartimos los tipos de instancias compatibles y el contexto para todos los modelos Llama 3.2 disponibles en SageMaker JumpStart. Aunque no se destaca en este blog, también puede usar los modelos livianos junto con el ajuste fino con SageMaker JumpStart.

Los modelos Llama 3.2 están disponibles en SageMaker JumpStart inicialmente en la región de AWS del este de EE. UU. (Ohio). Tenga en cuenta que Meta tiene restricciones sobre el uso de los modelos multimodales si se encuentra en la Unión Europea. Consulte el acuerdo de licencia de la comunidad de Meta para obtener más detalles.

Descripción general de Llama 3.2

Llama 3.2 representa el último avance de Meta en LLM. Los modelos Llama 3.2 se ofrecen en varios tamaños, desde modelos multimodales pequeños y medianos. Los modelos Llama 3.2 más grandes vienen en dos tamaños de parámetros (11B y 90B) con una longitud de contexto de 128 000 y son capaces de realizar tareas de razonamiento sofisticadas, incluido el soporte multimodal para imágenes de alta resolución. Los modelos livianos de solo texto vienen en dos tamaños de parámetros (1B y 3B) con una longitud de contexto de 128 000 y son adecuados para dispositivos de borde. Además, hay un nuevo modelo de parámetros de protección Llama Guard 3 11B Vision, que está diseñado para admitir Innovación responsable y seguridad a nivel del sistema.

Llama 3.2 es el primer modelo de Llama que admite tareas de visión, con una nueva arquitectura de modelo que integra representaciones de codificador de imágenes en el modelo de lenguaje. Con un enfoque en la innovación responsable y la seguridad a nivel de sistema, los modelos de Llama 3.2 lo ayudan a crear e implementar modelos de IA generativos de vanguardia para impulsar nuevas innovaciones como el razonamiento de imágenes y también son más accesibles para aplicaciones en el borde. Los nuevos modelos también están diseñados para ser más eficientes para las cargas de trabajo de IA, con latencia reducida y rendimiento mejorado, lo que los hace adecuados para una amplia gama de aplicaciones.

Descripción general de SageMaker JumpStart

SageMaker JumpStart ofrece acceso a una amplia selección de modelos básicos (FM) disponibles públicamente. Estos modelos entrenados previamente sirven como puntos de partida potentes que se pueden personalizar en profundidad para abordar casos de uso específicos. Ahora puede utilizar arquitecturas de modelos de última generación, como modelos de lenguaje, modelos de visión artificial y más, sin tener que crearlos desde cero.

Con SageMaker JumpStart, puede implementar modelos en un entorno seguro. Los modelos se pueden aprovisionar en instancias dedicadas de SageMaker Inference, incluidas AWS Trainium y Inferencia de AWS instancias con tecnología de VMware y están aisladas dentro de su nube privada virtual (VPC). Esto refuerza la seguridad y el cumplimiento de los datos, ya que los modelos funcionan bajo sus propios controles de VPC, en lugar de en un entorno público compartido. Después de implementar un FM, puede personalizarlo y ajustarlo aún más utilizando las amplias capacidades de Amazon SageMakerincluida la inferencia de SageMaker para implementar modelos y registros de contenedores para una mejor observabilidad. Con SageMaker, puede optimizar todo el proceso de implementación de modelos.

Prerrequisitos

Para probar los modelos Llama 3.2 en SageMaker JumpStart, necesita los siguientes requisitos previos:

Descubra los modelos Llama 3.2 en SageMaker JumpStart

SageMaker JumpStart proporciona FM a través de dos interfaces principales: SageMaker Studio y el SDK de Python para SageMakerEsto proporciona múltiples opciones para descubrir y utilizar cientos de modelos para su caso de uso específico.

SageMaker Studio es un IDE integral que ofrece una interfaz unificada basada en la web para realizar todos los aspectos del ciclo de vida del desarrollo de ML. Desde la preparación de datos hasta la creación, el entrenamiento y la implementación de modelos, SageMaker Studio proporciona herramientas diseñadas específicamente para agilizar todo el proceso. En SageMaker Studio, puede acceder a SageMaker JumpStart para descubrir y explorar el amplio catálogo de FM disponibles para Implementación de capacidades de inferencia en SageMaker Inference.

En SageMaker Studio, puede acceder a SageMaker JumpStart eligiendo Puesta en marcha en el panel de navegación o eligiendo Puesta en marcha desde Hogar página.

Como alternativa, puede utilizar el SDK de Python de SageMaker para acceder y utilizar de forma programática los modelos de SageMaker JumpStart. Este enfoque permite una mayor flexibilidad e integración con los flujos de trabajo y las canalizaciones de IA/ML existentes. Al proporcionar múltiples puntos de acceso, SageMaker JumpStart le ayuda a incorporar sin problemas modelos entrenados previamente en sus esfuerzos de desarrollo de IA/ML, independientemente de su interfaz o flujo de trabajo preferidos.

Implemente modelos multimodales de Llama 3.2 para inferencia mediante SageMaker JumpStart

En la página de inicio de SageMaker JumpStart, puede descubrir todos los modelos públicos preentrenados que ofrece SageMaker. Puede elegir la pestaña Proveedor de metamodelos para descubrir todos los metamodelos disponibles en SageMaker.

Si está utilizando SageMaker Classic Studio y no ve los modelos de Llama 3.2, actualice su versión de SageMaker Studio apagándolo y reiniciándolo. Para obtener más información sobre las actualizaciones de versiones, consulte Apagar y actualizar las aplicaciones de Studio Classic.

Puede elegir la tarjeta del modelo para ver detalles sobre el modelo, como la licencia, los datos utilizados para entrenar y cómo usarlo. También puede encontrar dos botones, Desplegar y Cuaderno abiertoque le ayudarán a utilizar el modelo.

Cuando seleccione cualquiera de los botones, aparecerá una ventana emergente que mostrará el Acuerdo de licencia de usuario final (EULA) y la política de uso aceptable para que usted acepte.

Una vez aceptada, podrá pasar al siguiente paso para utilizar el modelo.

Implemente el modelo Llama 3.2 11B Vision para inferencia usando el SDK de Python

Cuando tu eliges Desplegar y acepta los términos, comenzará la implementación del modelo. Alternativamente, puede implementar a través del cuaderno de ejemplo eligiendo Cuaderno abiertoEl cuaderno proporciona orientación de extremo a extremo sobre cómo implementar el modelo para la inferencia y limpiar recursos.

Para implementar usando un notebook, comience seleccionando un modelo apropiado, especificado por el model_idPuede implementar cualquiera de los modelos seleccionados en SageMaker.

Puede implementar un modelo Llama 3.2 11B Vision usando SageMaker JumpStart con el siguiente código SageMaker Python SDK:

from sagemaker.jumpstart.model import JumpStartModel
model = JumpStartModel(model_id = "meta-vlm-llama-3-2-11b-vision")
predictor = model.deploy(accept_eula=accept_eula)

Esto implementa el modelo en SageMaker con configuraciones predeterminadas, incluido el tipo de instancia predeterminado y las configuraciones de VPC predeterminadas. Puede cambiar estas configuraciones especificando valores no predeterminados en Modelo de JumpStartPara implementar correctamente el modelo, debe configurarlo manualmente accept_eula=True como argumento de método de implementación. Una vez implementado, puede ejecutar una inferencia contra el punto final implementado a través del predictor de SageMaker:

payload = {
    "messages": [
        {"role": "system", "content": "You are a helpful assistant"},
        {"role": "user", "content": "How are you doing today"},
        {"role": "assistant", "content": "Good, what can i help you with today?"},
        {"role": "user", "content": "Give me 5 steps to become better at tennis?"}
    ],
    "temperature": 0.6,
    "top_p": 0.9,
    "max_tokens": 512,
    "logprobs": False
}
response = predictor.predict(payload)
response_message = response['choices'][0]['message']['content']

Instancias recomendadas y benchmark

La siguiente tabla enumera todos los modelos de Llama 3.2 disponibles en SageMaker JumpStart junto con model_idlos tipos de instancia predeterminados y la cantidad máxima de tokens totales (suma de la cantidad de tokens de entrada y la cantidad de tokens generados) admitidos para cada uno de estos modelos. Para aumentar la longitud del contexto, puede modificar el tipo de instancia predeterminado en la interfaz de usuario de SageMaker JumpStart.

Los modelos Llama 3.2 se han evaluado en más de 150 conjuntos de datos de referencia, demostrando un rendimiento competitivo con los principales FM.

Inferencias y ejemplos para Llama-3.2 11B Vision

Puede utilizar los modelos Llama 3.2 11B y 90B para casos de uso de razonamiento visual o de texto e imágenes. Puede realizar una variedad de tareas, como subtítulos de imágenes, recuperación de texto de imágenes, razonamiento y respuesta visual a preguntas, respuesta visual a preguntas de documentos y más. La carga útil de entrada al punto final se parece a los siguientes ejemplos de código.

Entrada de solo texto

El siguiente es un ejemplo de entrada de solo texto:

{
    'messages': [
        {'role': 'system', 'content': 'You are a helpful assistant'}, 
        {'role': 'user', 'content': 'How are you doing today'}, 
        {'role': 'assistant', 'content': 'Good, what can i help you with today?'}, 
        {'role': 'user', "content": 'Give me 5 steps to become better at tennis?'}
    ], 
    'temperature': 0.6, 
    'top_p': 0.9, 
    'max_tokens': 512, 
    'logprobs': False
}

Esto produce la siguiente respuesta:

Here are 5 steps to help you improve your tennis game:

**Step 1: Develop a Consistent Serve**

A strong serve is the foundation of a good tennis game. Practice your serve regularly to develop a consistent and powerful shot. Focus on proper footwork, grip, and body positioning. Experiment with different serves, such as topspin and slice, to keep your opponent guessing.

**Step 2: Improve Your Footwork and Agility**

Good footwork is essential for getting into position to hit shots and covering the court. Practice shuffling, sliding, and turning to improve your agility and reaction time. Incorporate exercises like ladder drills and cone drills into your training to enhance your foot speed and agility.

**Step 3: Focus on Your Volley and Overhead Shots**

The volley and overhead shots are critical for winning points at the net. Practice hitting volleys and overheads with both forehand and backhand grips. Focus on keeping your racquet close to the ball and using your wrist and arm to generate power.

**Step 4: Work on Your Return of Serve**

The return of serve is a crucial shot in tennis, as it sets up the point for your opponent. Practice returning serves with different types of spin, such as topspin and slice. Focus on getting your racquet head to the ball early and using your legs to generate power.

**Step 5: Analyze Your Game and Practice with a Purpose**

To improve your game, you need to identify areas for improvement and practice with a purpose. Record your matches and analyze your game to identify weaknesses and areas for improvement. Create a practice plan that targets specific areas, such as your forehand or backhand, and focus on making progress in those areas.

Remember, improvement takes time and practice. Stay committed, and with consistent effort, you'll see improvement in your tennis game!

Entrada de una sola imagen

Puede configurar tareas de razonamiento basadas en visión con modelos de Llama 3.2 con SageMaker JumpStart de la siguiente manera:

import requests
import base64

def url_to_base64(image_url):
    # Download the image
    response = requests.get(image_url)
    if response.status_code != 200:
        return None

    # Encode the image content to base64
    image_base64 = base64.b64encode(response.content).decode('utf-8')
    return image_base64

Carguemos una imagen del código abierto MATEMÁTICA-Visión conjunto de datos:

url = "https://raw.githubusercontent.com/mathvision-cuhk/MATH-V/refs/heads/main/images/13.jpg"
image_data = url_to_base64(url)

Podemos estructurar el objeto de mensaje con nuestros datos de imagen base64:

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "Which of these figures differs from the rest four?"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": f"""data:image/jpeg;base64,{image_data}"""
          }
        }
      ]
    }
  ],
  "temperature": 0.4,
  "top_p": 0.95,
  "max_tokens": 512,
  "logprobs": False
}

Esto produce la siguiente respuesta:

The figure labeled E is the one that differs from the rest.

Entrada de múltiples imágenes

El siguiente código es un ejemplo de entrada de múltiples imágenes:

image_data1 = url_to_base64("https://d2908q01vomqb2.cloudfront.net/887309d048beef83ad3eabf2a79a64a389ab1c9f/2023/04/27/DBBLOG-2448-SingleAZInstance.png")
image_data2 = url_to_base64("https://d2908q01vomqb2.cloudfront.net/887309d048beef83ad3eabf2a79a64a389ab1c9f/2023/04/27/DBBLOG-2448-MultiAZInstance.png")
payload = {
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "There are two images. Describe each one and why they are related"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": f"""data:image/jpeg;base64,{image_data1}"""
          }
        },
        {
          "type": "image_url",
          "image_url": {
            "url": f"""data:image/jpeg;base64,{image_data2}"""
          }
        }
      ]
    }
  ],
  "temperature": 0.6,
  "top_p": 0.9,
  "max_tokens": 512,
  "logprobs": False
}

Esto produce la siguiente respuesta:

The two images depict different architectures for a distributed database system. The main difference between them is the location of the database instances and how they are connected.

**Image 1: Centralized Architecture**

In this image, there is a single database instance (DB1) that serves as the central repository for all data. This instance is connected to multiple application servers (App1, App2, App3) through a network. The application servers interact with the database instance to read and write data.

**Image 2: Distributed Architecture**

In this image, there are multiple database instances (DB1, DB2, DB3) that are distributed across different locations. Each database instance is connected to a local application server (App1, App2, App3) through a network. The application servers interact with their local database instances to read and write data.

The key differences between the two images are:

* **Scalability**: The distributed architecture (Image 2) allows for easier scalability, as new database instances can be added or removed as needed, without affecting the overall system.
* **Availability**: The distributed architecture provides higher availability, as if one database instance goes down, the other instances can still serve requests.
* **Performance**: The centralized architecture (Image 1) may experience performance issues if the central database instance becomes a bottleneck, while the distributed architecture can distribute the load across multiple instances.
* **Data consistency**: The centralized architecture may have easier data consistency management, as all data is stored in a single location, while the distributed architecture requires more complex mechanisms to ensure data consistency across multiple instances.

In summary, the centralized architecture is suitable for small to medium-sized applications with low traffic, while the distributed architecture is more suitable for large-scale applications with high traffic and scalability requirements.

Limpiar

Para evitar incurrir en costos innecesarios, cuando haya terminado, elimine los puntos finales de SageMaker utilizando los siguientes fragmentos de código:

predictor.delete_model()
predictor.delete_endpoint()

Como alternativa, para utilizar la consola SageMaker, complete los siguientes pasos:

1. En la consola de SageMaker, en Inferencia En el panel de navegación, seleccione Puntos finales.
2. Busque los puntos finales de incrustación y generación de texto.
3. En la página de detalles del punto final, seleccione Borrar.
4. Elegir Borrar De nuevo para confirmar.

Conclusión

En esta publicación, exploramos cómo SageMaker JumpStart permite a los científicos de datos e ingenieros de ML descubrir, acceder e implementar una amplia gama de modelos de modelado preentrenados para inferencia, incluidos los modelos más avanzados y capaces de Meta hasta la fecha. Comience hoy mismo con los modelos SageMaker JumpStart y Llama 3.2. Para obtener más información sobre SageMaker JumpStart, consulte Entrene, implemente y evalúe modelos previamente entrenados con SageMaker JumpStart y Introducción a Amazon SageMaker JumpStart.

Acerca de los autores

Supriya Puragundla es arquitecto de soluciones sénior en AWS
Armando Díaz es arquitecto de soluciones en AWS
Sharon Yu es ingeniero de desarrollo de software en AWS
Siddharth Venkatesan es ingeniero de desarrollo de software en AWS
Tony Lian es ingeniero de software en AWS
Evan Kravitz es ingeniero de desarrollo de software en AWS
Jonathan Guineagne es ingeniero de software sénior en AWS
Tyler Osterberg es ingeniero de software en AWS
Sindhu Vahini Somasundaram es ingeniero de desarrollo de software en AWS
Hemant Singh es un científico aplicado en AWS
Xin Huang es un científico aplicado sénior en AWS
Adriana Simmons es gerente sénior de marketing de productos en AWS
Junio ​​ganó es gerente sénior de productos en AWS
Karl Albertsen es director de algoritmos ML y JumpStart en AWS