Reduzca el costo y la latencia de LLM autohospedado con la habilidad del agente de almacenamiento en caché KV distribuido

Cada vez más, los clientes alojan ellos mismos modelos de lenguajes grandes (LLM) en GPU para controlar el costo, la precisión y la latencia. Sin embargo, el autohospedaje a menudo significa pagar por trabajo de GPU redundante porque los cachés pequeños y aislados en cada servidor no pueden contener ni compartir el contexto creciente que reenvían los agentes de IA y las aplicaciones de chat. Considere un asistente legal de inteligencia artificial que pueda acumular cientos de miles de tokens de historiales de casos en cada conversación. Cuando un abogado vuelve a un hilo después del almuerzo, las respuestas del LLM pueden tardar unos minutos. El servidor GPU que recoge la solicitud no tiene nada de ese historial en su memoria. Entonces, la GPU vuelve a calcular los estados de atención clave-valor (KV) para todos esos tokens, un paso llamado precompletar, antes de escribir una palabra. El mismo patrón ralentiza a los agentes de codificación reanudados, a los asistentes de inteligencia artificial y a los asistentes de preguntas y respuestas de documentos. El almacenamiento en caché de KV distribuido con Amazon ElastiCache puede reducir los costos de inferencia de LLM autohospedados hasta en un 40 % y el tiempo hasta el primer token (TTFT) hasta en un 80 %. El almacenamiento en caché de KV distribuido amplía los cachés locales de GPU con un nivel compartido junto a su flota de GPU para que cualquier servidor pueda reutilizar el estado de KV durante días en sesiones, turnos de enrutamiento y fallas del servidor. “Anuncio del almacenamiento en caché KV distribuido para LLM autohospedados con Amazon ElastiCache” profundiza en los detalles técnicos y los puntos de referencia de rendimiento.

Esta publicación detalla la habilidad de almacenamiento en caché de KV distribuido en Agent Toolkit para AWS. Con esta habilidad, puede evaluar y configurar el almacenamiento en caché de KV distribuido desde su agente de codificación en unas pocas indicaciones. La habilidad guía al agente a verificar si su carga de trabajo se beneficia del almacenamiento en caché KV distribuido, configurar un clúster de caché para pruebas o carga de trabajo de producción y solucionar problemas de su almacenamiento en caché de inferencia LLM. La habilidad funciona con Kiro, Claude Code, OpenAI Codex y otros agentes de codificación que admiten Agent Skills. Analizamos cómo funciona la habilidad con cuatro conversaciones: diagnosticar un primer token lento, dimensionar y fijar el precio del caché, configurarlo y arreglar una transferencia fallida.

¿Por qué una habilidad para el almacenamiento en caché de KV y qué puede hacer?

Los beneficios para su carga de trabajo dependen de características como los modelos LLM utilizados, los patrones de tráfico de usuarios y las opciones de enrutamiento rápido, y pueden ser complejos de estimar. Creamos la herramienta KVTrace para obtener estimaciones precisas de los beneficios de su carga de trabajo, a partir de su propio modelo y tráfico antes de implementar cualquier infraestructura, sin costo adicional. La habilidad simplifica esta evaluación y configuración, y guía a su agente de codificación a través de las siguientes mejores prácticas antes de cambiar algo:

Una verificación de ajuste antes de cualquier gasto. El agente lee su flota de GPU con una llamada de descripción de instancias de solo lectura y cuenta las interfaces del Elastic Fabric Adapter (EFA). Solo pregunta lo que no puede ver: motor, modelo, tamaño del tensor paralelo (TP), tipo de datos KV, precio del servidor y con qué frecuencia se repiten las indicaciones. Se detiene y explica cuando algo no encaja. Números de su carga de trabajo. Para mensajes breves, cargar el estado KV puede llevar más tiempo que volver a calcularlo. Por encima de una determinada longitud del mensaje (el punto de corte), la lectura gana. Esa transición y la frecuencia con la que se repiten las indicaciones deciden si el caché vale su precio. El agente estima los ahorros de su propio tráfico con KVTrace, sin cargo adicional, y se detiene si no cubre el costo del caché. Cada número dice de dónde vino. Administre la configuración en servidores de inferencia con la pila que ya ejecuta. El agente agrega el conector LMCache a su motor vLLM o SGLang existente, incluidos los trabajadores de vLLM en marcos de servicio como llm-d y Ray Serve. Mantiene su enrutamiento y la configuración del motor y configura los servidores de su flota de inferencia en un mecanismo de ID de KV (hash y semilla) y un tipo de datos de KV explícito. Las configuraciones coincidentes evitan discrepancias de claves, donde cada servidor escribe el estado KV que los demás no pueden encontrar. Implementa mejores prácticas. Antes del tráfico de producción, el agente vacía los niveles locales y verifica que dos ejecuciones cargadas en caché den el mismo resultado, porque una discrepancia en el diseño puede producir contadores de visitas saludables y respuestas incorrectas. La habilidad guía al agente a buscar aprobación explícita para operaciones de alto impacto, como crear, cambiar o eliminar recursos.

Requisitos previos

Estos flujos, desde la estimación de los beneficios hasta la instalación, requieren lo siguiente:

Un agente de codificación que admita Agent Skills, como Kiro o Claude Code. Instancias de GPU que admiten escritura EFA RDMA, como p5. LMCache 0.5.8rc1 o posterior y vLLM 0.11.1 o posterior (SGLang 0.5.13 o posterior). ElastiCache para Valkey 9.1 o posterior, en nodos cache.i8ge.48xlarge (si se configura el caché).

Flujo 1: ¿Puede ayudar el almacenamiento en caché KV distribuido?

Le dimos al agente este mensaje: “Mi flota de vLLM sirve a un asistente legal con contextos de 64 000 tokens en instancias p5. Las conversaciones que regresan tardan 13 segundos para el primer token porque la GPU vuelve a calcular el historial completo de conversaciones en cada turno. ¿Cómo soluciono esto?”

El agente relaciona la solicitud con la habilidad y, en Kiro, solicita aprobación antes de cargarla. La respuesta identifica que la latencia fue causada por el llenado previo en frío y tres cosas en la respuesta son importantes para una implementación real. En primer lugar, busca soluciones que no necesiten nueva infraestructura. Si desactivó el almacenamiento en caché de prefijos, volver a activarlo puede acelerar los giros consecutivos. Si la tasa de aciertos de la caché del prefijo de GPU ya está por encima del 90 % con afinidad de sesión, es posible que no necesite una caché KV compartida. En segundo lugar, identifica limitaciones específicas del asistente legal de IA. Una caché KV compartida puede permitir que un inquilino sepa, a partir de los tiempos de respuesta, si otro inquilino envió el mismo texto. Los casos que deben permanecer aislados obtienen cachés separados y los inquilinos que comparten un caché agregan su propia identificación al hash KV. En tercer lugar, no adivina el tamaño. Solicita el modelo y el tamaño de TP, el tipo de datos KV, el recuento de réplicas y el enrutamiento, y cuánto tiempo esperan los usuarios entre turnos.

Figura 1: El diagnóstico y la arquitectura propuesta para el asistente legal.

Flujo 2: Estimación de ahorros

Para dimensionar los ahorros, le dimos al agente una flota de ejemplo de 8 instancias p5 que atienden indicaciones de 64 000 tokens para un asistente de generación aumentada de recuperación (RAG) de múltiples turnos. El agente buscó los precios de la GPU y de los nodos de caché y derivó la tasa de precarga y el tamaño de KV a partir de puntos de referencia. Finalmente, el agente recomendó dos nodos cache.i8ge.48xlarge para el almacenamiento en caché distribuido de KV. La siguiente figura muestra el resumen del agente y las entradas que utilizó.

El resumen de costos del agente que muestra los precios de GPU y nodos de caché que buscó y los dos nodos cache.i8ge.48xlarge recomendados.

Figura 2: Resumen y aportes del agente. Buscó ambos precios en la lista de precios de AWS y explica cómo llegó a la cifra de nuevo cálculo.

No proporcionamos una tasa de aciertos de caché, que es la proporción de tokens recalculados que serviría el caché. Por lo tanto, el agente presenta escenarios y recomienda una ejecución de KVTrace para identificar la tasa de aciertos de la caché. KVTrace registra los eventos de caché KV de vLLM o SGLang. Luego los reproduce sin conexión en una caché KV compartida de cada tamaño candidato. La grabadora nunca escribe ID de token ni texto de aviso. Los seguimientos contienen hashes de bloques y recuentos de tokens. Los hashes de bloque provienen del contenido del token, así que pase –anonymize-key-file cuando sus indicaciones sean confidenciales. La habilidad se registra en cada servidor GPU durante un período representativo, como un día hábil completo. El agente también señala que el tiempo de GPU liberado se convierte en dólares solo si ejecuta menos servidores o atiende más tráfico en los mismos.

Informe de KVTrace que muestra ahorros netos en cuatro porcentajes de aciertos de caché, puntos de referencia TTFT y el recuento de fragmentos recomendado

Figura 3: Parte superior de un informe de KVTrace del tráfico de demostración sintético. Recomienda la capacidad más pequeña que alcance el 90% del techo de ahorro.

Flujo 3: Configuración de una caché KV distribuida

Le solicitamos al agente lo siguiente: “Configure una caché L2 KV compartida para la inferencia LLM, comenzando desde cero”. Antes de crear algo, el agente solicita su confirmación para configurar el recuento de nodos de caché sugerido en su zona de disponibilidad, al precio estimado. Una vez confirmado, crea el grupo de seguridad correcto con permisos EFA y un clúster Valkey 9.1 que utiliza un grupo de parámetros personalizado con políticas de desalojo de almacenamiento en caché. LMCache obtiene su propio usuario de caché, con la contraseña en AWS Secrets Manager. El agente prepara los servidores GPU e inicia un servidor LMCache por servidor GPU. Luego verifica el clúster con un pequeño objeto de prueba y confirma que las indicaciones repetidas cargan su estado KV desde el caché a través de acceso directo a memoria remota (RDMA). En una flota de GPU, la habilidad compara la participación L2 medida con la predicción de KVTrace. Para conocer la configuración completa de cada comando, consulte Introducción al almacenamiento en caché KV distribuido en la documentación de Amazon ElastiCache.

Flujo 4: Solución de problemas

Mensaje: “Mi servidor LMCache se conecta al clúster de ElastiCache y BLOB.RDMA_HELLO tiene éxito, pero las transferencias de datos reales están fallando. INFO bigobj muestra que rdma_write_errors aumenta. ¿Qué pasa?”

Siguiendo la guía de solución de problemas de la habilidad, el agente razona a partir del patrón de síntomas e identifica la causa probable como un grupo de seguridad que bloquea el tráfico de EFA entre sus propios miembros. Le proporciona comandos para verificar y corregir la regla.

La respuesta de solución de problemas del agente: la causa más probable es que falta una regla de salida autorreferenciada. Explica por qué HELLO tiene éxito mientras que las transferencias RDMA fallan, proporciona un comando describe-security-groups para verificar las reglas y los comandos Authorize-security-group-egress e ingress para corregirlas, y enumera cuatro comprobaciones para ejecutar si las reglas ya son correctas.

Figura 4: El agente explica el síntoma y luego da comandos para verificar y reparar el grupo de seguridad.

empezar

Puede obtener la habilidad de almacenamiento en caché de KV distribuido o el servidor AWS MCP en el kit de herramientas del agente para AWS. Luego, describe tu problema o pídele a tu agente de IA que reduzca los costos y la latencia en tu flota de GPU para comenzar. Para obtener más información sobre el almacenamiento en caché KV distribuido con ElastiCache y los puntos de referencia de rendimiento, consulte el blog de AWS. Puede ver cómo comenzar con AWS Command Line Interface (AWS CLI) en la documentación de Amazon ElastiCache y obtener más información sobre KVTrace en el repositorio de GitHub.

Sobre los autores

Ravi Yadav

Ravi Yadav

Ravi es especialista principal en WW en AWS, donde lidera la comercialización de datos e inteligencia artificial. Antes de AWS, Ravi trabajó en gestión de productos, estrategia e ingeniería en Moody’s, Mesosphere, IBM y Cerner.

Neeraj Ramachandran

Neeraj Ramachandran

Neeraj es ingeniero de desarrollo de software en Amazon ElastiCache. Es mantenedor del módulo valkey-large-object y se centra en el desarrollo de sistemas distribuidos para almacenes de datos en memoria. Anteriormente trabajó en transmisión de datos en Amazon Managed Streaming para Apache Kafka (Amazon MSK).

Chaitanya Nuthalapati

Chaitanya Nuthalapati

Chaitanya es gerente técnico senior de productos en AWS In-Memory Database Services, enfocado en Amazon ElastiCache para Valkey. Anteriormente, creó soluciones con IA generativa, aprendizaje automático y redes de gráficos. Fuera del horario laboral, Chaitanya está ocupado coleccionando pasatiempos, que actualmente incluyen el tenis, el skate y el remo.