Presentación de modelos antrópicos en Amazon Bedrock para inferencias dentro de la región en Seúl y Singapur

Amazon Bedrock ahora admite los modelos Anthropic Claude: Claude Opus 5 y Claude Sonnet 5 en Seúl y Claude Sonnet 5 en Singapur con inferencia dentro de la región en el punto final del tiempo de ejecución de Bedrock. Si tiene requisitos locales de procesamiento de datos en Corea del Sur o Singapur, por ejemplo, en servicios financieros, atención médica y el sector público, ahora puede utilizar estos modelos antrópicos a escala. Amazon Bedrock procesa solicitudes de inferencia y datos dentro de la región a la que usted llama. La tramitación no sale de la Región.

En esta publicación, analizamos cómo funciona la inferencia dentro de la región desde la Región de Asia Pacífico (Seúl) (ap-northeast-2) y la Región de Asia Pacífico (Singapur) (ap-southeast-1) utilizando el punto final de bedrock-runtime. También mostramos cómo comenzar desde la consola de Amazon Bedrock y con código, utilizando la API Converse de Amazon Bedrock, la API InvokeModel y la API Anthropic Messages.

Inferencia dentro de la región

Para ayudarlo a cumplir con estrictos requisitos de residencia de datos para sus aplicaciones de IA, Amazon Bedrock ofrece inferencia dentro de la región. Su solicitud se procesa íntegramente dentro de la única región de AWS que especifique y no sale de esa región. Utilícelo cuando necesite un procesamiento estricto de datos de una sola región.

A diferencia de los perfiles de inferencia entre regiones, no existe una capa de enrutamiento. La solicitud que envía a la Región de Seúl (ap-northeast-2) o Singapur (ap-southeast-1) es atendida únicamente por esa Región. Sus indicaciones de entrada y resultados de salida permanecen dentro de él durante todo el ciclo de vida de la solicitud. A cambio, su rendimiento está limitado por la capacidad de esa región. Las solicitudes están sujetas a cuotas de servicio por región. La facturación sigue los precios estándar según demanda para la región a la que llama. El consumo de cuotas, las métricas de Amazon CloudWatch y las entradas de registro de AWS CloudTrail tienen como ámbito esa misma región. No hay ninguna distinción entre origen y destino que deba tenerse en cuenta en su seguimiento. La inferencia dentro de la región para Claude Sonnet 5 y Claude Opus 5 en Seúl y Claude Sonnet 5 en Singapur está disponible en el punto final de tiempo de ejecución de Bedrock. Para aplicaciones nuevas, recomendamos el punto final Bedrock-Runtime. Se invoca con el ID del modelo directo, por ejemplo, anthropic.claude-opus-5 o anthropic.claude-sonnet-5. Es compatible con la API de mensajes de Anthropic y las API de Amazon Bedrock InvokeModel y Converse, junto con funciones de Amazon Bedrock como Amazon Bedrock Guardrails y enrutamiento de avisos inteligente.

Acceda a los modelos de Claude desde la consola de Amazon Bedrock

Puede acceder a los modelos de Claude en el área de texto de la consola de Amazon Bedrock, que no requiere codificación ni configuración de SDK. Puede enviar indicaciones, ajustar parámetros de inferencia y cambiar entre variantes para tener una idea de cada modelo antes de integrar la API.

Abra la consola de Amazon Bedrock en una región que desee utilizar como fuente. En el panel de navegación, en Prueba, elija Zona de juegos. Elija Seleccionar modelo en el medio de la página. Busque anthropic.claude-opus-5, seleccione On-Demand en Inferencia y elija Aplicar. Ingrese un mensaje y elija Ejecutar para generar una respuesta.

Figura 1: El modelo Anthropic Opus 5 seleccionado en el área de juegos de la consola Amazon Bedrock con inferencia dentro de la región

Llame a los modelos de Claude con la API de Anthropic Messages y la API de Amazon Bedrock InvokeModel y Converse

Puede acceder a Claude Opus 5 o Claude Sonnet 5 de Anthropic mediante programación con inferencia en la región de Seúl usando la API de Anthropic Messages en el tiempo de ejecución de Bedrock a través del SDK de Anthropic o seguir usando la API Invoke y Converse en el tiempo de ejecución de Bedrock a través de la interfaz de línea de comandos de AWS (AWS CLI) y el SDK de AWS.

Requisitos previos

Cuenta activa de AWS con acceso a Amazon Bedrock. AWS CLI instalada y configurada. Pitón 3.8+. Boto3 instalado: pip instala boto3. Anthropic SDK instalado: pip install anthropic. El generador de tokens de Amazon Bedrock para la autenticación de Amazon Bedrock instalado: pip install aws_bedrock_token_generator.

A continuación se muestra un ejemplo rápido que utiliza AWS SDK para Python (Boto3) con la API InvokeModel:

import boto3 import json # Crear un cliente Bedrock Runtime con inferencia dentro de la región en Singapur bedrock_runtime = boto3.client( service_name=”bedrock-runtime”, region_name=”ap-southeast-1″) # Invocar Claude Sonnet 5 respuesta = bedrock_runtime.invoke_model( modelId=”anthropic.claude-sonnet-5″, contentType=”application/json”, aceptar=”application/json”, body=json.dumps({ “anthropic_version”: “bedrock-2023-05-31”, “max_tokens”: 4096, “mensajes”: [
{
“role”: “user”,
“content”: ” Can you explain the features of Amazon Bedrock? ”
}
]
}) ) resultado = json.loads(respuesta[“body”].read()) imprimir(resultado)[“content”][0][“text”])

También puede utilizar la API de Amazon Bedrock Converse para obtener una experiencia multimodelo unificada:

importar boto3 # Crear un cliente Bedrock Runtime con inferencia dentro de la región en Seúl bedrock_runtime = boto3.client( service_name=”bedrock-runtime”, region_name=”ap-northeast-2″ ) # Invocar respuesta de Claude Opus 5 = bedrock_runtime.converse( modelId=”anthropic.claude-opus-5″, mensajes=[
{ “role”: “user”,
“content”: [
{ “text”: ” Can you explain the features of Amazon Bedrock?”
}
]
} ]inferenceConfig={ “maxTokens”: 4096 } ) si ‘salida’ en respuesta: bloques = respuesta[‘output’][‘message’][‘content’]

print(‘\n’.join(b.get(‘text’, ”) para b en bloques si ‘texto’ en b))

También puede utilizar la API de Anthropic Messages a través del paquete anthropic SDK para una experiencia optimizada:

de importación antrópica Antrópico de aws_bedrock_token_generator importación proporcionar_token token = proporcionar_token(region=”ap-northeast-2″) cliente = Anthropic( base_url=”https://bedrock-runtime.ap-northeast-2.amazonaws.com/anthropic”, api_key=token,) respuesta = client.messages.create( modelo=”anthropic.claude-sonnet-5″, max_tokens=1024, mensajes=[{“role”: “user”, “content”: “Can you explain the features of Amazon Bedrock?”}]) imprimir(respuesta)

Puede monitorear el uso, el rendimiento y los costos a través de CloudWatch y AWS Cost Explorer para escalar sus aplicaciones a medida que crece la demanda.

Conclusión

Con el lanzamiento de Claude Opus 5 y Claude Sonnet 5 de Anthropic en Amazon Bedrock con inferencia regional en Seúl, y Claude Sonnet 5 con inferencia regional en Singapur, ahora se pueden crear aplicaciones de IA generativa que tengan requisitos estrictos de residencia de datos. Esto mantiene la inferencia dentro de la Región que desea. Estamos entusiasmados con este lanzamiento y esperamos ver cómo se utilizan estas capacidades para acelerar la innovación y ofrecer experiencias impactantes impulsadas por la IA en toda la región. Para obtener la información más actualizada sobre la disponibilidad de modelos en cada región, consulte Disponibilidad regional por modelos en la Guía del usuario de Amazon Bedrock.

Sobre los autores

Aamna Najmi

Aamna Najmi

Aamna es arquitecta senior de soluciones especializada en IA generativa que se centra en modelos antrópicos y en la operacionalización y gobierno de sistemas de IA generativa a escala en Amazon Bedrock. Ayuda a los ISV a resolver sus desafíos, adoptar la innovación y crear nuevas oportunidades comerciales con Amazon Bedrock.

Alfredo Castillo

Alfredo Castillo

Alfredo es arquitecto senior de soluciones especializado en IA generativa en AWS y se centra en la comercialización de modelos antrópicos en Amazon Bedrock. Trabaja con clientes de servicios financieros para diseñar y escalar soluciones de IA generativa en sistemas distribuidos y convertir experimentos de IA generativa en cargas de trabajo de producción. Fuera del trabajo, le apasiona la familia y los deportes de resistencia.

Eugenio Soltero

Eugenio Soltero

Eugenio es gerente sénior de marketing de productos de Amazon Bedrock en AWS. Con varios años de experiencia en IA generativa, ayuda a los clientes a navegar por el panorama cambiante de los modelos básicos y la IA generativa para adoptar soluciones que brinden un valor mensurable.

Sofian Hamiti

Sofian Hamiti

Sofian es un líder tecnológico con más de 12 años de experiencia en la creación de soluciones de inteligencia artificial y en la dirección de equipos de alto rendimiento para maximizar los resultados de los clientes. Le apasiona empoderar a diversos talentos para impulsar el impacto global y lograr sus aspiraciones profesionales.