La implementación de patrones de resiliencia para la inferencia de modelos de lenguaje grande (LLM) es fundamental a medida que las cargas de trabajo de IA generativa pasan de la experimentación a la producción a escala. Con las aplicaciones impulsadas por LLM ahora en producción, las organizaciones necesitan formas de mantener la inferencia de LLM altamente disponible, receptiva y rentable a escala. Las mejores prácticas de resiliencia existentes, como la estabilidad estática y la implementación de retrocesos y reintentos, aún se aplican. Sin embargo, la IA generativa introduce nuevas consideraciones que incluyen la disponibilidad del modelo, cuotas que cambian rápidamente, límites de tokens entre múltiples proveedores y el mantenimiento de la coherencia con los modelos recientemente lanzados. Amazon Bedrock proporciona modelos básicos totalmente administrados con características de resiliencia integradas, como la inferencia entre regiones.
Al diseñar la inferencia para la producción, cuatro dimensiones suelen guiar las decisiones arquitectónicas: disponibilidad, tiempo de respuesta, costo y rendimiento. La disponibilidad se refiere a mantener la inferencia durante las interrupciones del modelo, la región o el proveedor. El tiempo de respuesta cubre la rapidez con la que el usuario recibe el resultado, a menudo medido como Tiempo hasta el primer token (TTFT) y Tiempo hasta el último token (TTLT). El costo captura el gasto por token y por solicitud y cómo lo afectan las decisiones de enrutamiento. El rendimiento refleja cuántas solicitudes y tokens simultáneos por segundo puede soportar el sistema bajo carga.
Estas dimensiones están interconectadas. Por ejemplo, el enrutamiento entre regiones mejora la disponibilidad y el rendimiento, pero puede aumentar el tiempo de respuesta. Los patrones de esta publicación se centran principalmente en la disponibilidad: mantener operativa la inferencia mediante conmutación por error, distribución geográfica y aislamiento de cuotas. Las publicaciones futuras explorarán en profundidad la optimización del tiempo de respuesta y el enrutamiento consciente de los costos.
En esta publicación, aprenderá cinco patrones prácticos para crear aplicaciones de IA generativa resilientes en AWS, avanzando desde las características nativas de Amazon Bedrock hasta la orquestación multimodelo utilizando una puerta de enlace LLM. Estos patrones abordan desafíos del mundo real, como el agotamiento de las cuotas durante picos de tráfico inesperados, maximizan la disponibilidad a través de la distribución geográfica de la inferencia y ayudan a prevenir problemas de vecinos ruidosos en entornos de múltiples inquilinos. También admiten la optimización de costos a través del enrutamiento inteligente de solicitudes y le brindan la flexibilidad de utilizar múltiples modelos y proveedores según sus requisitos específicos.
Este enfoque de rastrear, caminar y ejecutar le permite adoptar los patrones de forma incremental según la madurez y los requisitos de su aplicación. El repositorio de GitHub adjunto proporciona ejemplos de código que demuestran cada patrón.
Un enfoque incremental para inferir patrones de resiliencia
Puede probar cada uno de los siguientes patrones en su propio entorno utilizando los ejemplos de código y las instrucciones de esta sección del repositorio de GitHub.
Requisitos previos
Antes de comenzar con la demostración, verifique que tenga instalado el software adecuado y que su cuenta de AWS esté configurada correctamente completando los requisitos previos.
Nota: Si sigue los patrones de esta publicación, se crearán y utilizarán recursos de AWS que generan cargos, incluidas las solicitudes de inferencia de Amazon Bedrock y los registros de Amazon CloudWatch. Consulte la sección Limpieza para evitar cargos continuos después de la prueba.
Patrón 1: uso de la inferencia entre regiones de Amazon Bedrock
La inferencia entre regiones (CRIS) de Amazon Bedrock es una característica nativa que proporciona la base para una inferencia resiliente de forma predeterminada. Puede utilizar perfiles de inferencia entre regiones para mejorar el rendimiento, reducir la probabilidad de que se limite dentro de una región de AWS y distribuir el tráfico del modelo. CRIS elimina el esfuerzo manual de gestionar la distribución del tráfico y mejora la disponibilidad de su aplicación. Enruta automáticamente las solicitudes desde su región de origen a la región de destino óptima en función de factores en tiempo real, incluida la disponibilidad, la latencia y la demanda actual. Esto representa ráfagas inesperadas de tráfico durante las horas pico de uso y reduce la probabilidad de que las cuotas de servicio afecten la inferencia.
Los perfiles CRIS suelen estar vinculados a regiones comerciales dentro de una geografía específica, como EE. UU. o la UE, lo que proporciona el equilibrio adecuado entre rendimiento y latencia para las solicitudes de inferencia. Este enfoque aumenta el rendimiento agregado más allá de las cuotas de una sola región y al mismo tiempo mantiene la residencia de los datos dentro de los límites geográficos.
Inferencia entre regiones de Amazon Bedrock
Para ciertos casos de uso que pueden manejar una mayor latencia en las solicitudes de inferencia, existe la opción de utilizar perfiles de inferencia global entre regiones. Con un perfil global, las solicitudes se pueden enrutar a través de múltiples regiones comerciales donde el modelo está disponible para la inferencia global, lo que proporciona un rendimiento aún mayor que con los perfiles de inferencia estándar entre regiones.
Por ejemplo, en nuestra demostración, al enviar 10 solicitudes a Amazon Bedrock utilizando un perfil de inferencia entre regiones, el resultado del comando muestra cómo CRIS distribuyó automáticamente la inferencia del modelo en 3 regiones de AWS:
Región Porcentaje de invocaciones us-east-1 1 10% us-east-2 7 70% us-west-2 2 20%
La inferencia entre regiones de Amazon Bedrock distribuye 10 solicitudes en tres regiones de AWS
Patrón 2: uso de varias cuentas de AWS
Si bien CRIS multiplica el rendimiento dentro de una cuenta de AWS, usted puede beneficiarse de estrategias adicionales de escala y aislamiento. La fragmentación de cuentas de AWS distribuye solicitudes entre varias cuentas de AWS, cada una con cuotas y perfiles CRIS independientes.
La fragmentación de cuentas crea límites naturales de aislamiento de fallas donde los problemas en una cuenta no afectan a otras, lo que la hace particularmente valiosa para arquitecturas de múltiples equipos y múltiples inquilinos que requieren un aislamiento estricto entre cargas de trabajo.
Fragmentación de cuentas de AWS con inferencia entre regiones de Amazon Bedrock
Al ejecutar la demostración de fragmentación de cuentas, enviamos 10 solicitudes a cada una de las dos cuentas de AWS configuradas utilizando perfiles de inferencia entre regiones. El resultado muestra cómo cada cuenta distribuye de forma independiente la inferencia entre las regiones de AWS:
Cuenta 1 Región Invocaciones Porcentaje us-east-2 7 70% us-west-2 3 30% Cuenta 2 Región Invocaciones Porcentaje us-east-1 2 20% us-east-2 3 30% us-west-2 5 50%
Dos cuentas de AWS distribuyen solicitudes de forma independiente entre regiones a través de CRIS
Usando una puerta de enlace LLM
Para escenarios de producción complejos, una puerta de enlace LLM proporciona capacidades de enrutamiento, conmutación por error y gobernanza más allá de lo que es posible con llamadas API directas. Una puerta de enlace actúa como un proxy inteligente entre sus aplicaciones y los proveedores de LLM, ofreciendo una capa de abstracción unificada, para que pueda acceder a múltiples modelos de varios proveedores a través de una única interfaz API. Esta estandarización simplifica la integración al tiempo que incorpora capacidades como salvaguardias responsables de IA, registro de auditoría, reintento automático y lógica de respaldo, y administración de cuotas, entre muchas otras características, lo que ayuda a que sus aplicaciones sigan siendo resistentes incluso cuando los modelos individuales dejan de estar disponibles.
Puerta de enlace LLM que organiza solicitudes entre cuentas de AWS y proveedores externos
La puerta de enlace admite el enrutamiento inteligente de solicitudes y el equilibrio de carga en múltiples modelos y cuentas, maximizando el rendimiento al tiempo que implementa limitación de tasas y gestión de cuotas con aislamiento por consumidor. Esto ayuda a prevenir problemas de vecinos ruidosos en entornos de múltiples inquilinos y, al mismo tiempo, proporciona un seguimiento integral de costos y una optimización a través de análisis de uso. La observabilidad y el monitoreo centralizados le brindan visibilidad completa de sus patrones de uso de LLM con información granular por aplicación, lo que ayuda a identificar oportunidades de optimización y solucionar problemas rápidamente.
En la actualidad, se encuentran disponibles muchas puertas de enlace LLM comerciales y de código abierto. Para nuestras demostraciones, utilizamos LiteLLM como una opción liviana de código abierto que se ejecuta localmente para demostrar estos patrones. Cuando se implementa a escala, la solución AWS para Multi-Provider Generative AI Gateway proporciona una implementación y arquitectura de referencia que también utiliza LiteLLM pero agrega capacidades empresariales que incluyen implementación en contenedores en Amazon Elastic Container Service (Amazon ECS) o Amazon Elastic Kubernetes Service (Amazon EKS), escalado automático, protección AWS WAF, administración de secretos y observabilidad total a través de Amazon CloudWatch.
Patrón 3: retroceso del modelo
La conmutación por error automática entre modelos respalda una mayor disponibilidad incluso cuando los modelos principales alcanzan límites de velocidad o experimentan interrupciones en el servicio. Este patrón está diseñado para enrutar automáticamente solicitudes entre modelos primarios y secundarios definidos por el cliente. Si su estrategia alternativa se centra en optimizar la calidad y el costo en lugar de agotar las cuotas, Amazon Bedrock Intelligent Prompt Routing ofrece una opción nativa. Selecciona dinámicamente el modelo más apropiado para cada solicitud sin requerir una puerta de enlace externa. Si fallan las llamadas a los modelos principales, la puerta de enlace reintenta automáticamente las solicitudes utilizando modelos secundarios, lo que admite alta disponibilidad incluso durante picos inesperados de tráfico. La estrategia alternativa también incorpora consideraciones de optimización de costos y rendimiento, por ejemplo, limitar los modelos de mayor costo y recurrir a alternativas más rentables cuando sea apropiado.
Demostración de respaldo con modelos de respaldo primarios de tasa limitada y de mayor capacidad
En nuestra demostración, la configuración LiteLLM define un modelo primario con un límite de velocidad restrictivo de 3 solicitudes por minuto (RPM) y un modelo alternativo con una capacidad superior de 25 RPM. Cuando el cliente envía 10 solicitudes simultáneas a través de la puerta de enlace, las primeras tres solicitudes se dirigen al modelo principal en Amazon Bedrock. Cuando el modelo principal alcanza su límite de velocidad, LiteLLM desvía automáticamente las siete solicitudes restantes al modelo alternativo. Las 10 solicitudes se completan exitosamente sin intervención manual ni lógica de reintento a nivel de aplicación.
El resultado de la demostración confirma la efectividad de este patrón, mostrando una alta confiabilidad con las 10 solicitudes que se completaron exitosamente a pesar del límite de velocidad del modelo principal. La distribución revela que el modelo principal manejó exactamente 3 solicitudes antes de alcanzar su cuota. Las 7 solicitudes restantes fallaron en el modelo alternativo, lo que demuestra la capacidad de la puerta de enlace para mantener la disponibilidad del servicio a través del enrutamiento inteligente.
Salida de demostración alternativa que muestra la distribución del modelo
Patrón 4: equilibrio de carga entre modelos
El patrón de equilibrio de carga distribuye solicitudes entre múltiples instancias de modelo para optimizar la utilización de recursos y ayuda a prevenir cuellos de botella. Este enfoque no solo maximiza la utilización sino que también le permite escalar rápidamente agregando o eliminando instancias de modelo según sea necesario. Por ejemplo, al evaluar nuevos modelos antes de la implementación completa, puede implementar enrutamiento ponderado o estrategias de prueba A/B para dirigir solo un pequeño porcentaje de solicitudes al nuevo modelo mientras la mayoría continúa usando modelos probados.
Equilibrio de carga entre modelos principales con desbordamiento alternativo
En nuestra demostración de equilibrio de carga, la puerta de enlace distribuye con éxito 10 solicitudes simultáneas en dos modelos mediante una estrategia aleatoria. Inicialmente, el equilibrador de carga enruta 3 solicitudes a cada uno de los dos modelos principales configurados y, cuando alcanza su límite de velocidad, las 4 solicitudes restantes se redirigen automáticamente al modelo alternativo. El resultado es una tasa de éxito del 100 %, lo que demuestra cómo funciona el equilibrio de carga junto con la estrategia alternativa.
Salida de demostración de equilibrio de carga
Patrón 5: aislamiento de cuotas de múltiples inquilinos
El patrón de aislamiento de cuotas multiinquilino crea entornos lógicamente aislados equipados con sus propias cuotas y límites de velocidad para gestionar solicitudes en entornos multiinquilino. Al implementar grupos de limitación de tarifas independientes para cada consumidor, este patrón ayuda a evitar desafíos de "vecinos ruidosos" donde las solicitudes de un consumidor impactan negativamente el desempeño de otros consumidores. Cada inquilino recibe una cuota dedicada independientemente de los patrones de uso de otros inquilinos, lo que respalda la asignación justa de recursos y mantiene una calidad de servicio constante entre los consumidores.
Aislamiento de cuotas para múltiples inquilinos con límites de tarifas independientes por consumidor
El patrón es ideal para entornos donde varias aplicaciones comparten recursos del modelo y al mismo tiempo requieren un rendimiento predecible y confianza en el aislamiento.
En nuestra demostración, tres consumidores con diferentes límites de tarifas intentan acceder al mismo modelo simultáneamente. El consumidor A está configurado con solo 3 solicitudes por minuto (RPM) permitidas, mientras que los consumidores B y C tienen 10 RPM cada uno. Cuando los tres consumidores envían cada uno 5 solicitudes simultáneas, la puerta de enlace aplica cuotas individuales. El consumidor A experimenta una limitación en la tasa, con solo 3 solicitudes exitosas y 2 rechazadas. El consumidor B y el consumidor C logran tasas de éxito del 100 % con las 5 solicitudes procesadas.
Análisis de aislamiento de cuota Tipo de consumidor Tasa de éxito Éxito total Tasa de fracaso Limitado A Ruidoso 60 % 5 3 2 2 B Normal 100 % 5 5 0 0 C Normal 100 % 5 5 0 0
Salida de demostración de aislamiento multiinquilino
Limpieza
Advertencia: Los siguientes pasos de limpieza eliminarán permanentemente los registros de CloudWatch. Si necesita conservar registros para fines de auditoría o análisis, expórtelos antes de continuar con la limpieza.
Para evitar cargos continuos en su cuenta, complete estos pasos para detener la puerta de enlace y eliminar los registros de CloudWatch.
Consideraciones importantes
La guía anterior hace ciertas suposiciones sobre los requisitos de carga de trabajo, las obligaciones de cumplimiento y seguridad de los datos y las necesidades de rendimiento. Como ocurre con la mayoría de las cosas, la respuesta a "¿Cuándo debo usar estos patrones?" es "¡Depende!". Los siguientes son algunos casos de uso en los que tiene sentido aplicar estos patrones.
Escenarios aplicables y casos de uso
Requisitos de alta disponibilidad: cuando su aplicación no puede tolerar el tiempo de inactividad, varios modelos proporcionan conmutación por error automática. Si su modelo principal alcanza límites de velocidad o experimenta interrupciones, las solicitudes se dirigen a modelos de respaldo, manteniendo el 100 % de disponibilidad.
Escalar más allá de las cuotas de un solo modelo: los modelos individuales tienen límites de rendimiento. El uso de varios modelos (incluso el mismo tipo de modelo en diferentes cuentas/regiones) multiplica la capacidad total disponible. Esto es esencial para aplicaciones de gran volumen donde el volumen de solicitudes puede exceder las cuotas de un solo modelo.
Aislamiento multiinquilino: en aplicaciones de software como servicio (SaaS), diferentes clientes pueden usar diferentes modelos o instancias de modelos, lo que ayuda a evitar que el uso de un cliente afecte a otros.
Desarrollo versus producción: configuraciones de modelos separados para pruebas (modelos más baratos y rápidos) y producción (modelos de mayor calidad) sin cambios de código.
Conclusión
Esta publicación cubrió varios patrones para la inferencia LLM resiliente, comenzando con la inferencia entre regiones nativa de Amazon Bedrock y terminando con patrones más complejos que requerían la implementación de una puerta de enlace LLM. Con estas estrategias, puede mejorar la resiliencia de sus cargas de trabajo impulsadas por IA generativa y obtener un control granular sobre la disponibilidad del modelo y las estrategias de conmutación por error, incluido el control dedicado para aplicaciones y consumidores específicos.
Lo invitamos a experimentar con estos patrones en detalle utilizando el repositorio de GitHub adjunto, que proporciona ejemplos de código e instrucciones paso a paso para probar cada patrón. Para obtener una implementación de referencia integral de una puerta de enlace LLM generativa lista para producción, explore la solución AWS para puerta de enlace de IA generativa de múltiples proveedores.
Para conocer más patrones arquitectónicos de IA generativa y mejores prácticas, visite el blog de inteligencia artificial de AWS.
Si tienes algún comentario o pregunta, déjala en la sección de comentarios.
TAGS: IA Generativa, Amazon Bedrock, Resiliencia, Arquitectura