Proteja las aplicaciones de IA generativa con Amazon Bedrock Guardrails

Las empresas que pretenden automatizar procesos utilizando agentes de IA o mejorar la productividad de los empleados utilizando asistentes de chat de IA deben aplicar salvaguardias integrales y controles de auditoría para el uso responsable de la IA y el procesamiento de datos confidenciales mediante grandes modelos de lenguaje (LLM). Muchos han desarrollado una puerta de enlace de IA generativa personalizada o han adoptado una solución disponible en el mercado (como LiteLLM o Kong AI Gateway) para brindar a sus profesionales y desarrolladores de IA acceso a LLM de diferentes proveedores. Sin embargo, es un desafío hacer cumplir y mantener políticas consistentes para una seguridad rápida y protección de datos confidenciales en una lista cada vez mayor de LLM de varios proveedores a escala.

En esta publicación, demostramos cómo puede abordar estos desafíos agregando salvaguardas centralizadas a una puerta de enlace de IA generativa personalizada de múltiples proveedores utilizando Amazon Bedrock Guardrails. Amazon Bedrock Guardrails proporciona un conjunto de características de seguridad que ayudan a las organizaciones a crear aplicaciones de IA generativa responsables a escala. Aprenderá a utilizar la API ApplyGuardrail de Amazon Bedrock para ayudar a aplicar políticas coherentes para una seguridad rápida y una protección de datos confidenciales para los LLM tanto de Amazon Bedrock como de proveedores externos, como Microsoft Azure OpenAI. La solución propuesta proporciona beneficios adicionales de registro y monitoreo centralizados, análisis y un mecanismo de devolución de cargos.

Descripción general de la solución

Hay varios requisitos que debe cumplir para salvaguardar las aplicaciones de IA generativa con barreras de seguridad centralizadas. En primer lugar, las organizaciones necesitan una configuración de infraestructura sólida y escalable para la puerta de enlace de IA generativa y sus componentes de barreras de seguridad. La solución también necesita un sistema integral de registro y monitoreo para rastrear las interacciones de la IA y capacidades de análisis para evaluar los patrones de uso y el cumplimiento. Para la protección de datos confidenciales, las organizaciones deben establecer políticas claras de gobernanza de datos e implementar controles de seguridad adecuados. Además, necesitan desarrollar o integrar un mecanismo de devolución de cargos para rastrear y asignar los costos de uso de la IA entre diferentes departamentos o proyectos. El conocimiento de los requisitos reglamentarios específicos de su industria es crucial para garantizar que las barandillas estén configuradas correctamente para cumplir con los estándares.

El siguiente diagrama muestra una ilustración conceptual de nuestra solución propuesta. El flujo de trabajo comienza cuando los usuarios autenticados envían solicitudes HTTPS a la puerta de enlace de IA generativa, una aplicación centralizada que se ejecuta en Amazon Elastic Container Service (Amazon ECS) que sirve como interfaz principal para las interacciones de LLM. Dentro de la lógica de la aplicación de puerta de enlace de IA generativa, cada solicitud entrante se reenvía primero a la API ApplyGuardrail de Amazon Bedrock para la evaluación del contenido. Luego, la puerta de enlace de IA generativa evalúa el contenido comparándolo con configuraciones predefinidas, tomando decisiones críticas para bloquear la solicitud por completo, enmascarar información confidencial o permitir que continúe sin modificaciones.

Este proceso de evaluación, parte integral de la funcionalidad de la puerta de enlace de IA generativa, facilita el cumplimiento de las pautas establecidas de seguridad y cumplimiento. Para las solicitudes que pasan esta evaluación, la lógica de puerta de enlace de IA generativa determina el proveedor de LLM apropiado (ya sea Amazon Bedrock o un servicio de terceros) según las especificaciones del usuario. Luego, el contenido filtrado se envía al LLM seleccionado para su procesamiento. Finalmente, la puerta de enlace de IA generativa recibe la respuesta del LLM y la devuelve al usuario, completando el ciclo de interacción. El flujo de respuesta sigue dos caminos distintos: las solicitudes bloqueadas dan como resultado que los usuarios reciban un mensaje de contenido bloqueado y las solicitudes aprobadas entregan la respuesta del modelo con el enmascaramiento de contenido necesario aplicado al mensaje del usuario. En nuestra implementación, las barreras de seguridad solo se aplican a la entrada o solicitud y no a las respuestas de LLM. Este proceso simplificado proporciona un enfoque unificado para el acceso, la seguridad y el cumplimiento de LLM tanto para Amazon Bedrock como para proveedores externos.

La aplicación de puerta de enlace de IA generativa está alojada en AWS Fargate y está construida con FastAPI. La aplicación interactúa con otros servicios de Amazon Web Services (AWS), como Amazon Simple Storage Service (Amazon S3), Amazon Bedrock, Amazon Kinesis y Amazon Data Firehose. La solución incluye una sólida capa de persistencia de datos que captura los detalles de la interacción y los almacena en Amazon S3 a través de Amazon Kinesis Data Streams y Amazon Data Firehose. Los datos persistentes incluyen solicitudes y respuestas desinfectadas, información de transacciones, metadatos de barrera y contenido bloqueado con metadatos asociados. Este registro integral facilita la auditabilidad total y permite la mejora continua de los mecanismos de guardarraíl.

Componentes de la solución

La escalabilidad de la solución se logra utilizando las siguientes herramientas y tecnologías:

nginx para proporcionar el máximo rendimiento y estabilidad de la aplicación mediante solicitudes de equilibrio de carga dentro de cada contenedor. Gunicorn, un servidor HTTP Python Web Server Gateway Interface (WSGI) comúnmente utilizado para servir aplicaciones web Python en entornos de producción. Es un servidor de alto rendimiento que puede manejar múltiples procesos de trabajo y solicitudes simultáneas de manera eficiente. Gunicorn solo admite comunicaciones sincrónicas pero tiene una sólida funcionalidad de gestión de procesos. Uvicorn proporcionará un manejo de solicitudes ligero y asincrónico. Aunque Gunicorn es sincrónico, admite el uso de tipos de trabajadores asincrónicos como Uvicorn, con los que se puede establecer comunicación asincrónica. Esto es necesario para aplicaciones con tiempos de espera más largos. En caso de obtener respuestas de los LLM, debe anticipar tiempos de espera más altos. FastAPI para atender las solicitudes reales en la capa de aplicación de puerta de enlace de IA generativa. Clúster de Amazon ECS Fargate para alojar la aplicación en contenedores en AWS y AWS Auto Scaling para ampliar o reducir las tareas o contenedores automáticamente. Amazon Elastic Container Registry (Amazon ECR) para almacenar la imagen de Docker de la aplicación de puerta de enlace de IA generativa. Elastic Load Balancing (ELB) y Application Load Balancer para equilibrar la carga de solicitudes en contenedores ECS. HashiCorp Terraform para el aprovisionamiento de recursos.

La siguiente figura ilustra el diseño arquitectónico de la solución propuesta. Las aplicaciones de consumo (como la aplicación empresarial local, la aplicación de inferencia, la aplicación Streamlit y Amazon SageMaker Studio Lab), el panel y los componentes de Azure Cloud no se incluyen en el repositorio de GitHub adjunto. Se incluyen en el diagrama de arquitectura para demostrar las integraciones con sistemas ascendentes y descendentes.

Arquitectura de puerta de enlace de IA generativa de AWS con integración de Azure Descripción general Este diagrama de arquitectura técnica ilustra una solución de nube híbrida que implementa una puerta de enlace de IA generativa que proporciona acceso unificado a múltiples modelos de IA de proveedores de nube de AWS y Azure. Componentes de la arquitectura Infraestructura local La arquitectura comienza con una aplicación empresarial alojada en un centro de datos local, que se conecta de forma segura a través de HTTPS a los servicios en la nube de AWS. VPC del cliente de AWS: capa de aplicación El entorno de AWS alberga dos aplicaciones principales: • Aplicación de inferencia: maneja las solicitudes de inferencia del modelo de IA. • Aplicación Streamlit: proporciona una interfaz de usuario interactiva. El tráfico fluye a través de un balanceador de carga de aplicaciones (ALB) hacia Amazon Route 53 para la resolución de DNS, dirigiendo las solicitudes a la puerta de enlace de IA generativa. Orquestación de contenedores Amazon ECS Fargate administra servicios en contenedores con capacidades de escalamiento automático, implementando: • Nginx: servidor proxy inverso que maneja solicitudes HTTPS • Gunicorn: servidor HTTP Python WSGI (2 instancias) • Uvicorn: puerta de enlace de servidor asíncrono (2 instancias) • Servidores FastAPI: dos instancias que manejan solicitudes API y enrutamiento a servicios de IA Integración de modelos de IA La arquitectura proporciona acceso a múltiples modelos de IA generativos: Servicios de AWS: • Amazon Bedrock: aloja modelos básicos que incluyen Titan, Claude y Llama • Amazon Bedrock Guardrails: aplica políticas de seguridad y filtrado de contenido • Amazon SageMaker Studio Lab: proporciona un entorno de desarrollo para la experimentación de modelos Servicios de Azure: conectado a través de AWS PrivateLink para una conectividad privada y segura: • Modelos de la serie GPT-4 • Modelos de la serie turbo GPT-3.5 • Servicio de integración Administración de seguridad AWS Secrets Manager almacena y administra de forma segura las claves API necesarias para acceder a servicios externos de IA. Canal de monitoreo y observabilidad Una pila de monitoreo integral procesa la telemetría de las aplicaciones: Amazon CloudWatch: recopila registros y métricas de las aplicaciones Métrica/filtro de errores: identifica y marca condiciones de error Amazon Kinesis Data Streams: procesa datos en streaming, incluida información confidencial Amazon S3: almacena registros sin procesar y datos de métricas AWS Glue con rastreador: realiza operaciones ETL y catalogación de datos Amazon Athena: permite consultas SQL sobre datos procesados Paneles de control: visualiza métricas e información Amazon SNS: Envía notificaciones por correo electrónico para alertas críticas. Container Registry Amazon ECR almacena y administra imágenes de contenedores para los servicios de aplicaciones. Flujo de datos Las solicitudes externas llegan a través de HTTPS desde aplicaciones locales o en la nube ALB distribuye el tráfico a través de la Ruta 53 hasta la puerta de enlace de IA generativa Nginx enruta las solicitudes a los servidores de aplicaciones Gunicorn/Uvicorn Los servidores FastAPI procesan las solicitudes y las enrutan a los servicios de IA apropiados (AWS Bedrock o Azure OpenAI) Las respuestas regresan a través de la misma ruta a las aplicaciones solicitantes Todas las interacciones generan registros y métricas que fluyen a través del canal de observabilidad Características clave • Acceso a IA en múltiples nubes: interfaz unificada para AWS y Azure AI modelos • Alta disponibilidad: el equilibrio de carga y el escalado automático garantizan la confiabilidad • Seguridad: conectividad privada a través de PrivateLink, administración de secretos y barreras de seguridad de contenido • Observabilidad: monitoreo, registro y alertas integrales • Escalabilidad: arquitectura de microservicios basada en contenedores con escalado automático • Nivel empresarial: admite el manejo de datos confidenciales con controles de seguridad adecuados

Barandillas centralizadas

La puerta de enlace de IA generativa aplica controles de seguridad integrales a través de Amazon Bedrock Guardrails, utilizando la API ApplyGuardrail para implementar múltiples capas de protección. Estas barreras de seguridad brindan cuatro características de seguridad principales: filtrado de contenido para detectar contenido inapropiado o dañino, temas denegados para ayudar a prevenir discusiones sobre temas específicos, filtros de palabras para bloquear términos o frases específicas y detección de información confidencial para ayudar a proteger los datos personales y confidenciales.

Las organizaciones pueden implementar estos controles utilizando tres niveles de fuerza configurables: bajo, medio y alto. De esta manera, las unidades de negocio pueden alinear su postura de seguridad de la IA con sus requisitos de cumplimiento y tolerancia al riesgo específicos. Por ejemplo, un equipo de marketing podría operar con barreras de seguridad poco estrictas para la generación de contenido creativo, mientras que las divisiones financieras o de atención médica podrían requerir barreras de seguridad de alta resistencia para manejar datos confidenciales de los clientes. Más allá de estas protecciones básicas, Amazon Bedrock Guardrails también incluye funciones avanzadas como conexión a tierra contextual y comprobaciones de razonamiento automatizadas, que ayudan a detectar y prevenir alucinaciones de IA (casos en los que los modelos generan información falsa o engañosa). Los usuarios pueden ampliar las funcionalidades de la puerta de enlace de IA generativa para admitir estas funciones avanzadas según su caso de uso.

Integración de múltiples proveedores

La puerta de enlace de IA generativa es independiente del proveedor de LLM y del modelo, lo que permite una integración perfecta con múltiples proveedores y LLM. Los usuarios pueden especificar su modelo LLM preferido directamente en la carga útil de la solicitud, lo que permite que la puerta de enlace enrute las solicitudes al punto final del modelo apropiado. AWS Secrets Manager se utiliza para almacenar los tokens de acceso a la API de la puerta de enlace de IA generativa y los tokens de acceso de LLM de terceros, como Azure OpenAI. El token API generativo de la puerta de enlace AI se utiliza para autenticar a la persona que llama. El token de acceso LLM se utiliza para establecer una conexión de cliente para proveedores externos.

Registro, monitoreo y alertas

Una ventaja clave de implementar una puerta de enlace de IA generativa es su enfoque centralizado para registrar y monitorear las interacciones LLM. Cada interacción, incluidas las solicitudes e indicaciones de los usuarios, las respuestas de LLM y el contexto del usuario, se captura y almacena en un formato y ubicación estandarizados. Las organizaciones pueden utilizar esta estrategia de recopilación para realizar análisis, solucionar problemas y obtener información. El registro, la supervisión y las alertas se habilitan mediante los siguientes servicios de AWS:

Amazon CloudWatch captura los registros de aplicaciones y contenedores. Podemos crear métricas personalizadas en mensajes de registro específicos y crear una alarma que se puede utilizar para alertas proactivas (por ejemplo, cuando ocurre un error interno del servidor 500) Amazon Simple Notification Service (Amazon SNS) para notificación a una lista de distribución (por ejemplo, cuando ocurre un error interno del servidor 500) Kinesis Data Streams y Data Firehose para transmitir datos y metadatos de solicitud y respuesta a Amazon S3 (para cumplimiento y análisis o contracargo). La devolución de cargo es un mecanismo para atribuir costos a una jerarquía de propietarios. Por ejemplo, una aplicación que se ejecuta en AWS generaría algunos costos por cada servicio; sin embargo, la aplicación podría estar sirviendo a un empleado que trabaja para un proyecto regido por una unidad de negocios. La devolución de cargo es un proceso en el que los costos se pueden atribuir al nivel más bajo de un usuario individual con potencial para acumularse en múltiples niveles intermedios hasta llegar a la unidad de negocios. Amazon S3 para solicitudes y respuestas persistentes a nivel de transacción (para cumplimiento), además de metadatos y métricas de transacciones (por ejemplo, recuentos de tokens) para análisis y contracargos. API de AWS Glue Crawler y Amazon Athena para exponer una tabla SQL de metadatos de transacciones para análisis y contracargos.

Estructura del repositorio

El repositorio de GitHub contiene los siguientes directorios y archivos:

genai-gateway/ ├── src/ — Código de aplicación principal │ └── clientes/ — Puntos finales API │ ├── controladores/ –Punto de entrada de aplicación FastAPI │ ├── generadores/ –Integración LLM │ ├── persistencia/ — Lógica de persistencia │ └── utils/ ├── terraform/ — IaC ├── tests/ — Scripts de prueba │ └── regressiontests/ ├── .gitignore ├── .env.example ├── Dockerfile ├── ngnix.conf ├── asgi.py ├── docker-entrypoint.sh ├── requisitos.txt ├── server.py └── README.md

Requisitos previos

Necesita los siguientes requisitos previos antes de implementar esta solución:

Una cuenta de AWS Un rol de AWS Identity and Access Management (IAM) con los siguientes permisos: Acceso a Amazon S3 (CreateBucket, PutObject, GetObject, DeleteObject) Acceso a AWS Secrets Manager Acceso a registros de Amazon CloudWatch Servicio de Amazon Bedrock Acceso al modelo básico (FM) de Amazon Bedrock Guardrails de Amazon Bedrock Permisos de IAM Permisos de IAM para Amazon Bedrock Guardrails:

{ "Versión": "2012-10-17", "Declaración": [ { "Sid": "VisualEditor0", "Efecto": "Permitir", "Acción": [ "bedrock:ApplyGuardrail", "bedrock:ListGuardrails", "bedrock:GetGuardrail" ], "Recurso": "arn:aws:bedrock:::guardrail/*" } ] }

El acceso a los FM sin servidor en Amazon Bedrock se habilita automáticamente. No es necesario solicitar ni habilitar manualmente el acceso al modelo, pero puede utilizar políticas de IAM y políticas de control de servicios para restringir el acceso al modelo según sea necesario. Puntos finales externos de LLM configurados en el entorno del cliente. Por ejemplo, los puntos de conexión de Azure OpenAI se deben crear en la cuenta de Azure del cliente con la siguiente convención de nomenclatura: {model_name}-{azure_tier}-{azure_region}. Por ejemplo, {gpt-4o}-{dev}-{eastus}.

Implementar la solución

En la guía de implementación proporcionada en esta sección, asumimos que las instrucciones de implementación incluyen pasos para el entorno de desarrollo. Se pueden utilizar pasos similares para entornos superiores.

Para salvaguardar las aplicaciones de IA generativa con barreras de seguridad centralizadas, siga estos pasos:

Clone el repositorio de GitHub y asegúrese de que las variables de entorno para la autenticación de AWS estén disponibles en su entorno. Ejecute ./deploy.sh, que configura automáticamente un depósito de estado de Terraform, crea una política de IAM para Terraform y aprovisiona la infraestructura con dependencias. Invoque ./verify.sh para verificar la implementación y asegurarse de que el entorno esté listo para las pruebas. Siga las instrucciones del archivo README, Generación de tokens de autenticación para consumidores, para generar tokens de autorización del consumidor. Siga las instrucciones del archivo README, Prueba de la puerta de enlace, para probar su propia puerta de enlace de IA generativa.

Para el desarrollo y las pruebas, toda la configuración se puede realizar en la computadora portátil del desarrollador con el servidor de puerta de enlace de IA generativa y el cliente ejecutándose en la computadora portátil del usuario siguiendo las instrucciones de configuración local en el archivo README.

Ejemplos

En este primer ejemplo, el siguiente ejemplo de código es un comando curl para invocar el modelo anthropic.claude-3-sonnet-20240229-v1:0 con una barandilla de alta resistencia para demostrar cómo funcionan las barandillas de puerta de enlace de IA generativa frente a temas denegados. El primer ejemplo ilustra la eficacia del mecanismo de seguridad para bloquear temas denegados al preguntarle al modelo: Quiero vender mi casa e invertir las ganancias en una sola acción. ¿Qué acciones debería comprar?:

#!/bin/bash # Configuración predeterminada (puede ser anulada por variables de entorno) URL=${URL:-"https:///process"} APPID=${APPID:-"admin"} APITOKEN=${APITOKEN:-""} MODEL=${MODEL:-"anthropic.claude-3-sonnet-20240229-v1:0"} USER_PROMPT=${USER_PROMPT:-"Quiero vender mi casa e invertir las ganancias en una sola acción. ¿Qué acción debo comprar?"} SYSTEM_PROMPT=${SYSTEM_PROMPT:-" Eres un asesor financiero experto"} GUARDRAIL_STRENGTH=${GUARDRAIL_STRENGTH:-"high"} ENABLE_GUARDRAIL=${ENABLE_GUARDRAIL:-"true"} USERID=${USERID:-"skoppar"} COSTCENTER=${COSTCENTER:-"ags"} MAX_TOKENS=${MAX_TOKENS:-20} REQUEST_ID=$(uuidgen | tr '[:upper:]' '[:lower:]' | tr -d '-') REQUEST_DATETIME=$(date -u +"%Y-%m-%dT%H:%M:%S%z") # Bedrock request payload echo "Enviando solicitud a $URL…" curl -k -X POST "$URL" -H "Tipo de contenido: aplicación/json" -H "appid: $APPID" -H "apitoken: $APITOKEN" -w "nEstado HTTP: %{http_code}n" -d @- << EOF { "requestid": "$REQUEST_ID", "requestdatetime": "$REQUEST_DATETIME", "appid": "$APPID", "userid": "$USERID", "costcenter": "$COSTCENTER", "provider": "amazon-bedrock", "apicontext": "chatcompletions", "requestbody": { "model": "$MODEL", "body": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": $MAX_TOKENS, "system": "$SYSTEM_PROMPT", "messages": [ { "role": "user", "content": "$USER_PROMPT" } ] }, "accept": "application/json", "contentType": "application/json" }, "guardrail_strength": "$GUARDRAIL_STRENGTH", "enable_guardrail": $ENABLE_GUARDRAIL } EOF

El siguiente código de muestra es el resultado del comando curl anterior. Este resultado incluye el texto generado por el modelo y las modificaciones o intervenciones aplicadas por las barandillas de alta resistencia. Analizar este resultado ayuda a verificar la efectividad de las barandillas y garantiza que la respuesta del modelo se alinee con los parámetros de seguridad y cumplimiento especificados:

{ "transactionid":"ff73cd3c-b924-40b3-85d7-bcd36cf26ab6", "dt":"20251027", "transactionstartdate":"2025-10-27 15:51:48+0000", "requestid":"6b274e0ad6ad447a90d33e882687767f", "requestdatetime":"2025-10-27T15:51:47+0000", "appid":"admin", "provider":"amazon-bedrock", "costcenter":"ags", "userid":"skoppar", "promptlength":125, "guardrail_id":[ "arn:aws:bedrock:us-east-1: :guardrail/o9mj8miraler" ], "guardrail_action":[ "topicPolicy" ], "enable_guardrail":true, "responsebody":"{"usage": {"topicPolicyUnits": 1, "contentPolicyUnits": 1, "wordPolicyUnits": 1, "sensitiveInformationPolicyUnits": 1, "SENSITIVEInformationPolicyFreeUnits": 1, "contextualGroundingPolicyUnits": 0}, "action": "GUARDRAIL_INTERVENED", "outputs": [{"text": "¡Lo sentimos, el contenido no cumple con las políticas de IA responsable, por lo que no se puede procesar!"}], "evaluaciones": [{"topicPolicy": {"topics": [{"name": "investment_topic", "type": "DENEGAR", "action": "BLOQUEADO"}]}}]}" }

El segundo ejemplo pone a prueba la capacidad de la puerta de enlace de IA generativa para ayudar a proteger la información personal confidencial. Simula una consulta de usuario que contiene información de identificación personal (PII), como nombre, número de Seguro Social y dirección de correo electrónico.

USER_PROMPT="Mi nombre es John Smith, mi SSN es 123-45-6789 y mi correo electrónico es john.smith@email.com. ¿Pueden ayudarme con mi cuenta?" ./bedrock_curl_test.sh

En este caso, la barrera de seguridad intervino con éxito y enmascaró los datos PII antes de enviar la consulta del usuario al LLM, como lo demuestra el campo guardrail_action, que indica que se aplicó la política de información sensible:

{ "transactionid": "47665380-bf9f-4ed2-836e-916199a45518", "dt": "20250626", "transactionstartdate": "2025-06-26 23:02:59+0000", "requestid": "ebaf1fbffcd344f3b3d96353e772205d", "requestdatetime": "2025-06-26T23:02:59+0000", "appid": "admin", "provider": "amazon-bedrock", "costcenter": "proserve", "userid": "bommi", "promptlength": 149, "guardrail_id": [ "arn:aws:bedrock:us-east-1::guardrail/jvf0bhhvtyf7", "arn:aws:bedrock:us-east-1::guardrail/uekx7u8xra91" ], "guardrail_action": ["SENSITIVEINFORMATIONPolicy"], "enable_guardrail": true, "responsebody": { "id": "msg_bdrk_012UbTrdpzy3iZ2s9wcKF6PU", "type": "message", "role": "assistant", "model": "claude-3-sonnet-20240229", "content": [ { "type": "text", "text": "Me temo que no puedo proporcionar ninguna información personal ni detalles de cuenta. Por razones de privacidad, no lo hago" } ], "stop_reason": "max_tokens", "stop_sequence": nulo, "uso": { "input_tokens": 57, "output_tokens": 20 } } }

Para obtener scripts de prueba más completos, consulte el directorio /test del repositorio. Estos scripts adicionales ofrecen una gama más amplia de casos y escenarios de prueba para evaluar exhaustivamente la funcionalidad y el rendimiento de la puerta de enlace de IA generativa.

Limpiar

Al concluir su exploración de esta solución, puede limpiar los recursos siguiendo estos pasos:

Emplee la destrucción de Terraform para eliminar los recursos proporcionados por Terraform. (Opcional) Desde la consola de administración de AWS o la interfaz de línea de comandos de AWS (AWS CLI), elimine los recursos que Terraform no elimina (como el depósito S3, el repositorio ECR y la subred EC2).

Estimación de costos

Esta sección describe la estructura de costos subyacente para ejecutar la solución. Al implementar esta solución, se deben considerar varias categorías de costos:

Costos del proveedor de LLM: representan los cargos por el uso de modelos básicos a través de varios proveedores, incluidos los modelos alojados en Amazon Bedrock y proveedores externos. Los costos generalmente se calculan en función de: Número de tokens de entrada y salida procesados Complejidad y capacidades del modelo Volumen y patrones de uso Requisitos de nivel de servicio Costos de infraestructura de AWS: abarcan los gastos de infraestructura asociados con la puerta de enlace de IA generativa: Recursos informáticos (Amazon ECS Fargate) Equilibrio de carga (Application Load Balancer) Almacenamiento (Amazon S3, Amazon ECR) Monitoreo (Amazon CloudWatch) Procesamiento de datos (Amazon Kinesis) Servicios de seguridad (AWS Secrets Manager) Costos de Amazon Bedrock Guardrails: son específicos cargos por implementar funciones de seguridad y cumplimiento: Filtrado y moderación de contenido Aplicación de políticas Protección de datos confidenciales

Las siguientes tablas proporcionan un desglose de costos de muestra para implementar y utilizar una puerta de enlace de IA generativa. Para conocer los precios reales, consulte la Calculadora de precios de AWS.

Costos de infraestructura:

Servicio Uso estimado Costo mensual estimado Amazon ECS Fargate 2 tareas, 1 vCPU, 2 GB de RAM, en ejecución constante $70–$100 Application Load Balancer 1 ALB, en ejecución constante $20–$30 Amazon ECR Almacenamiento para imágenes de Docker $1–$5 AWS Secrets Manager Almacenamiento de tokens y claves API $0,40 por secreto al mes Amazon CloudWatch Almacenamiento de registros y métricas $10–$20 Notificaciones de Amazon SNS $1–$2 Amazon Kinesis Data Streams 1 flujo, volumen bajo $15–$25 Amazon Data Firehose 1 flujo de entrega $0,029 por GB procesado Amazon S3 Almacenamiento para registros y datos $2–$5 Ejecuciones de AWS Glue Crawler (suponiendo que sean semanales) $5–$10 Ejecución de Amazon Athena Query $1–$5

Costos de LLM y barandillas:

Servicio Uso estimado Costo mensual estimado Amazon Bedrock Guardrails 10 000 llamadas API por mes $10–$20 Claude 3 Sonnet (entrada) 1 millón de tokens por mes a $0,003 por 1000 tokens $3 Claude 3 Sonnet (salida) 500 000 tokens por mes a $0,015 por 1000 tokens $7,50 GPT-4 Turbo (Azure OpenAI) 1 millón de tokens por mes a $0.01 por 1K tokens $10 GPT-4 Turbo Output 500K tokens por mes a $0.03 por 1K tokens $15 Costo total estimado $170–$260 (Base)

Los costos de LLM pueden variar significativamente según la cantidad de llamadas a API, la longitud de los tokens de entrada/salida, la selección de modelo y los descuentos por volumen. Consideramos que un escenario de uso moderado es de entre 50 y 200 consultas por día, con una longitud de entrada promedio de 500 tokens y una longitud de salida promedio de 250 tokens. Estos costos podrían aumentar sustancialmente con mayores volúmenes de consultas, conversaciones más largas, uso de modelos más caros y múltiples llamadas de modelos por solicitud.

Conclusión

Las barreras de seguridad centralizadas integradas con una solución personalizada de puerta de enlace de IA generativa de múltiples proveedores ofrecen un enfoque sólido y escalable para que las empresas utilicen LLM de forma segura mientras mantienen los estándares de seguridad y cumplimiento. A través de su implementación de la API ApplyGuardrail de Amazon Bedrock Guardrails, la solución proporciona una aplicación consistente de políticas para una seguridad rápida y protección de datos confidenciales tanto en Amazon Bedrock como en proveedores de LLM externos.

Las ventajas clave de esta solución incluyen:

Barandillas centralizadas con niveles de seguridad configurables Capacidades de integración LLM de múltiples proveedores Funciones integrales de registro y monitoreo Escalabilidad de nivel de producción a través de la contenedorización Capacidades integradas de cumplimiento y auditoría

Las organizaciones, en particular aquellas en industrias altamente reguladas, pueden utilizar esta arquitectura para adoptar y escalar sus implementaciones de IA generativa mientras mantienen el control sobre la protección de datos y las regulaciones de seguridad de la IA. El diseño flexible y la infraestructura sólida de la solución la convierten en una herramienta valiosa para las empresas que desean aprovechar de forma segura el poder de la IA generativa mientras gestionan los riesgos asociados.

Sobre los autores

Hasan Shojaei Ph.D., es científico de datos sénior en AWS Professional Services, donde ayuda a clientes de diferentes industrias, como deportes, servicios financieros y fabricación, a resolver sus desafíos comerciales utilizando tecnologías avanzadas de IA/ML. Fuera del trabajo, a Hasan le apasionan los libros, la fotografía y el esquí.

Sunita Koppar es arquitecta senior de soluciones especializada en IA generativa y aprendizaje automático en AWS, donde se asocia con clientes de diversas industrias para diseñar soluciones, crear pruebas de conceptos e impulsar resultados comerciales mensurables. Más allá de su función profesional, le apasiona aprender y enseñar sánscrito, interactuando activamente con las comunidades de estudiantes para ayudarlos a mejorar sus habilidades y crecer.

Anuja Narwadkar es gerente senior de participación global en servicios profesionales de AWS y se especializa en aprendizaje automático a escala empresarial y transformaciones GenAI. Lidera los equipos de ProServe en materia de estrategias, arquitectura y creación de soluciones transformadoras de IA/ML en AWS para grandes empresas de todos los sectores, incluidos los servicios financieros. Más allá de su rol profesional, le gusta impulsar iniciativas de mejora de habilidades en IA, especialmente para mujeres, leen y cocinan.

Krishnan Gopalakrishnan es consultor de entrega en AWS Professional Services con más de 12 años en arquitectura de datos empresariales e ingeniería de IA/ML. Diseña soluciones de datos de vanguardia para empresas Fortune 500, creando procesos de misión crítica e implementaciones de IA generativa en el comercio minorista, la atención médica, la tecnología financiera y la fabricación. Krishnan se especializa en arquitecturas escalables nativas de la nube que transforman los datos empresariales en conocimientos prácticos impulsados ​​por IA, lo que permite resultados comerciales mensurables a través de la toma de decisiones basada en datos.

Bommi Shin es consultora de entrega en AWS Professional Services, donde ayuda a los clientes empresariales a implementar soluciones de inteligencia artificial seguras y escalables utilizando tecnologías en la nube. Se especializa en diseñar y construir plataformas de IA/ML e IA generativa que abordan desafíos comerciales complejos en una variedad de industrias. Fuera del trabajo, le gusta viajar, explorar la naturaleza y las comidas deliciosas.