Cree aplicaciones de IA generativa en Amazon Bedrock con AWS SDK para Python (Boto3)

Roca Amazónica es un servicio totalmente administrado que ofrece una selección de modelos básicos (FM) de alto rendimiento de empresas líderes en inteligencia artificial como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon a través de una única API, junto con un amplio conjunto. de capacidades para crear aplicaciones de IA generativa con seguridad, privacidad e IA responsable. Con Amazon Bedrock, puede experimentar y evaluar los principales FM para su caso de uso, personalizarlos de forma privada con sus datos mediante técnicas como el ajuste fino y la generación aumentada de recuperación (RAG), y crear agentes que ejecuten tareas utilizando los sistemas y datos de su empresa. fuentes. Como Amazon Bedrock no tiene servidor, no es necesario administrar ninguna infraestructura y puede integrar e implementar de forma segura IA generativa capacidades en sus aplicaciones utilizando los servicios de AWS con los que ya está familiarizado.

En esta publicación, demostramos cómo utilizar Amazon Bedrock con el SDK de AWS para Python (Boto3) para incorporar FM de forma programática.

Descripción general de la solución

La solución utiliza un script AWS SDK para Python con características que invocan Claude 3 Sonnet de Anthropic en Amazon Bedrock. Al utilizar este FM, genera una salida utilizando un mensaje como entrada. El siguiente diagrama ilustra la arquitectura de la solución.

Requisitos previos

Antes de invocar la API de Amazon Bedrock, asegúrese de tener lo siguiente:

Implementar la solución

Una vez que complete los requisitos previos, podrá comenzar a utilizar Amazon Bedrock. Comience creando secuencias de comandos con los siguientes pasos:

1. Importe las bibliotecas requeridas:

2. Configure el cliente Boto3 para usar el Tiempo de ejecución de Amazon Bedrock y especifique la región de AWS:

# Set up the Amazon Bedrock client
bedrock_client = boto3.client(
    	service_name="bedrock-runtime",
    region_name="us-east-1"
)

3. Defina el modelo a invocar usando su identificación del modelo. En este ejemplo, utilizamos el Soneto Claude 3 de Anthropic en Amazon Bedrock:

# Define the model ID
model_id = "anthropic.claude-3-sonnet-20240229-v1:0"

4. Asigne un mensaje, que es su mensaje que se utilizará para interactuar con el FM en la invocación:

# Prepare the input prompt.
prompt = "Hello, how are you?"

Técnicas de ingeniería rápidas. puede mejorar el rendimiento de FM y mejorar los resultados.

Antes de invocar el modelo de Amazon Bedrock, debemos definir un carga útilque actúa como un conjunto de instrucciones e información que guían el proceso de generación del modelo. Esta estructura de carga útil varía según el modelo elegido. En este ejemplo, utilizamos el Soneto Claude 3 de Anthropic en Amazon Bedrock. Piense en esta carga útil como el modelo para el modelo y proporciónele el contexto y los parámetros necesarios para generar el texto deseado según su mensaje específico. Analicemos los elementos clave de esta carga útil:

• versión_antrópica – Esto especifica la versión exacta de Amazon Bedrock que estás utilizando.
• tokens_max – Esto establece un límite en la cantidad total de tokens que el modelo puede generar en su respuesta. Los tokens son la unidad de texto significativa más pequeña (palabra, puntuación, subpalabra) procesada y generada por grandes modelos de lenguaje (LLM).
• temperatura – Este parámetro controla el nivel de aleatoriedad en el texto generado. Los valores más altos conducen a resultados más creativos y potencialmente inesperados, y los valores más bajos promueven resultados más conservadores y consistentes.
• top_k – Esto define el número de palabras candidatas más probables consideradas en cada paso durante el proceso de generación.
• arriba_p – Esto influye en la distribución de probabilidad de muestreo para seleccionar la siguiente palabra. Los valores más altos favorecen las palabras frecuentes, mientras que los valores más bajos permiten opciones más diversas y potencialmente sorprendentes.
• mensajes – Esta es una matriz que contiene mensajes individuales para que el modelo los procese.
• role – Esto define la función del remitente dentro del mensaje (el usuario del mensaje que usted proporciona).
• contenido – Esta matriz contiene el texto del mensaje real, representado como un objeto de tipo “texto”.

5. Defina la carga útil de la siguiente manera:

payload = {
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 2048,
    "temperature": 0.9,
    "top_k": 250,
    "top_p": 1,
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": prompt
                }
            ]
        }
    ]
}

6. Ha configurado los parámetros y la FM con la que desea interactuar. Ahora envía una solicitud a Amazon Bedrock proporcionando el FM con el que interactuar y la carga útil que definió:

# Invoke the Amazon Bedrock model
response = bedrock_client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload)
)

7. Una vez procesada la solicitud, puede mostrar el resultado del texto generado desde Amazon Bedrock:

# Process the response
result = json.loads(response["body"].read())
generated_text = "".join([output["text"] for output in result["content"]])
print(f"Response: {generated_text}")

Veamos nuestro script completo:

import boto3
import json

# Set up the Amazon Bedrock client
bedrock_client = boto3.client(
    service_name="bedrock-runtime",
    region_name="us-east-1"
)

# Define the model ID
model_id = "anthropic.claude-3-sonnet-20240229-v1:0"

# Prepare the input prompt
prompt = "Hello, how are you?"

# Create the request payload
payload = {
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 2048,
    "temperature": 0.9,
    "top_k": 250,
    "top_p": 1,
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": prompt
                }
            ]
        }
    ]
}

# Invoke the Amazon Bedrock model
response = bedrock_client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload)
)

# Process the response
result = json.loads(response["body"].read())
generated_text = "".join([output["text"] for output in result["content"]])
print(f"Response: {generated_text}")

Invocar al modelo con el mensaje “Hola, ¿cómo estás?” arrojará el resultado que se muestra en la siguiente captura de pantalla.

Limpiar

Cuando haya terminado de usar Amazon Bedrock, limpie los recursos temporales como los usuarios de IAM y Amazon CloudWatch registros para evitar cargos innecesarios. Las consideraciones de costos dependen de la frecuencia de uso, el precio del modelo elegido y la utilización de recursos mientras se ejecuta el script. Ver Precios de Amazon Bedrock para obtener detalles de precios y estrategias de optimización de costos, como seleccionar modelos apropiados, optimizar indicaciones y monitorear el uso.

Conclusión

En esta publicación, demostramos cómo interactuar mediante programación con Amazon Bedrock FM utilizando Boto3. Exploramos la invocación de un FM específico y el procesamiento del texto generado, mostrando el potencial para que los desarrolladores utilicen estos modelos en sus aplicaciones para una variedad de casos de uso, tales como:

• Generación de texto – Generar contenido creativo como poemas, guiones, piezas musicales o incluso diferentes lenguajes de programación.
• Finalización de código – Mejore la productividad de los desarrolladores sugiriendo fragmentos de código relevantes basados ​​en códigos o indicaciones existentes
• Resumen de datos – Extraiga información clave y genere resúmenes concisos a partir de grandes conjuntos de datos
• IA conversacional – Desarrollar chatbots y asistentes virtuales que puedan entablar conversaciones en lenguaje natural.

Mantente curioso y explorar cómo la IA generativa puede revolucionar diversas industrias. Explore los diferentes modelos y API y realice comparaciones de cómo cada modelo proporciona diferentes resultados. Encuentre el modelo que se ajuste a su caso de uso y utilice este script como base para crear agentes e integraciones en su solución.

Sobre el autor

Merlín Naidoo es gerente técnico senior de cuentas en AWS con más de 15 años de experiencia en transformación digital y soluciones técnicas innovadoras. Su pasión es conectarse con personas de todos los orígenes y aprovechar la tecnología para crear oportunidades significativas que empoderen a todos. Cuando no está inmerso en el mundo de la tecnología, puedes encontrarlo practicando deportes activos.