Las solicitudes de LLM de producción rara vez reciben una pregunta que nadie haya hecho antes. Los asistentes de soporte y los canales de RAG presentan las mismas intenciones miles de veces al día, cada uno redactado de manera diferente, y la mayoría de las pilas tratan cada frase como una solicitud nueva y totalmente facturada. Redis LangCache es un servicio de almacenamiento en caché semántico totalmente administrado que se ubica entre la aplicación y el modelo, compara las solicitudes entrantes con las respondidas previamente por significado en lugar de texto exacto, y devuelve la respuesta almacenada cuando existe una coincidencia lo suficientemente cercana. Redis informa ahorros de costos de API de hasta un 90 % y respuestas de visitas de caché hasta 15 veces más rápidas que volver a consultar el modelo.
¿Es desplegable? Sí. LangCache está disponible hoy como una vista previa pública en Redis Cloud, a la que se accede a través de una API REST con SDK de Python y JavaScript, y Redis señala que las características y el comportamiento pueden cambiar durante la vista previa.
El problema: las paráfrasis siguen siendo llamadas completas de LLM
Considere tres solicitudes a un asistente de atención al cliente:
“¿Puedo obtener un reembolso después de comprar el plan mensual?” “¿La suscripción mensual es reembolsable?” “¿Puedo cancelar el plan y recuperar mi dinero?”
La redacción difiere, pero la pregunta y la respuesta son idénticas. Sin un caché semántico, cada versión desencadena una generación completa: tokens de entrada procesados, tokens de salida decodificados, usuario en espera.
El almacenamiento en caché de prefijos solo elimina parte de ese costo. Cuando las solicitudes comparten un mensaje o contexto del sistema, el motor reutiliza los estados KV calculados para ese prefijo, pero la solicitud aún llega al LLM, se siguen procesando nuevos tokens y se sigue decodificando la respuesta completa. Un acierto de caché de prefijo es una llamada de generación más barata, no evitada.
Cómo funciona LangCache
LangCache mueve el caché fuera del modelo y almacena la respuesta generada. La arquitectura es un bucle de dos llamadas:
Antes de invocar el modelo, la aplicación envía el mensaje a POST /v1/caches/{cacheId}/entries/search. LangCache genera una incrustación para el mensaje y ejecuta una búsqueda vectorial sobre las entradas almacenadas. Si una entrada semánticamente similar borra el umbral de similitud configurado, se devuelve la respuesta almacenada en caché y no se produce ninguna llamada LLM. En caso de error, la aplicación llama al LLM elegido como de costumbre, luego almacena el mensaje y la nueva respuesta a través de POST /v1/caches/{cacheId}/entries para coincidencias futuras.
La generación de incrustaciones la maneja el servicio, con modelos predeterminados o trae el tuyo propio. El comportamiento de la caché se controla mediante umbrales de similitud, TTL y políticas de desalojo, además de controles adaptativos que ajustan la precisión y la recuperación. Construido sobre la base de datos vectorial de Redis y expuesto como una API REST, funciona con cualquier proveedor y lenguaje LLM. Las tasas de aciertos y los ahorros se monitorean desde la consola de Redis Cloud.