A medida que los modelos de IA se vuelven más sofisticados, suelen requerir indicaciones extensas con un contexto detallado, lo que genera mayores costos y latencia en el procesamiento. Este problema es especialmente pertinente para casos de uso como agentes conversacionales, asistentes de codificación y procesamiento de documentos grandes, donde el contexto debe ser referenciado repetidamente en múltiples interacciones. Los investigadores abordan el desafío de gestionar y utilizar de manera eficiente contextos de indicaciones grandes en modelos de IA, particularmente en escenarios que requieren la reutilización frecuente de información contextual similar.
Los métodos tradicionales implican enviar el contexto completo del mensaje con cada llamada a la API, lo que puede resultar costoso y consumir mucho tiempo, especialmente con mensajes largos. Estos métodos no están optimizados para mensajes en los que se utiliza repetidamente el mismo contexto o uno similar. Anthropic API presenta una nueva característica llamada “almacenamiento en caché de mensajes”, que está disponible para modelos específicos de Claude. El almacenamiento en caché de mensajes permite a los desarrolladores almacenar contextos de mensajes utilizados con frecuencia y reutilizarlos en varias llamadas a la API. El modelo propuesto reduce significativamente el costo y la latencia asociados con el envío repetido de mensajes grandes. La característica se encuentra actualmente en versión beta pública para Claude 3.5 Sonnet y Claude 3 Haiku, y próximamente será compatible con Claude 3 Opus.
El almacenamiento en caché de indicaciones funciona permitiendo a los desarrolladores almacenar en caché un contexto de indicaciones grande una vez y luego reutilizarlo en llamadas de API posteriores. Este método es particularmente eficaz en escenarios como conversaciones prolongadas, asistencia de codificación, procesamiento de documentos grandes y búsqueda de agentes, donde se debe mantener una cantidad significativa de información contextual a lo largo de múltiples interacciones. El contenido almacenado en caché puede incluir instrucciones detalladas, resúmenes de la base de código, documentos extensos y otra información contextual extensa. El modelo de precios para el almacenamiento en caché de indicaciones está estructurado para ser rentable: escribir en la caché implica un aumento del 25 % en el precio del token de entrada, mientras que leer desde la caché cuesta solo el 10 % del precio del token de entrada base. Los primeros usuarios del almacenamiento en caché de indicaciones han informado mejoras sustanciales tanto en la eficiencia de costos como en la velocidad de procesamiento, lo que lo convierte en una herramienta valiosa para optimizar las aplicaciones impulsadas por IA.
En conclusión, el almacenamiento en caché de indicaciones responde a una necesidad crítica de reducir los costos y la latencia en los modelos de IA que requieren contextos de indicaciones extensos. Al permitir que los desarrolladores almacenen y reutilicen información contextual, esta característica mejora la eficiencia de varias aplicaciones, desde agentes conversacionales hasta el procesamiento de documentos de gran tamaño. La implementación del almacenamiento en caché de indicaciones en la API de Anthropic ofrece una solución prometedora a los desafíos que plantean los contextos de indicaciones extensos, lo que la convierte en un avance significativo en el campo de los LLM.
Echa un vistazo a la Detalles. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..
No olvides unirte a nuestro Subreddit de más de 48 000 millones de usuarios
Encuentra lo próximo Seminarios web sobre IA aquí
Pragati Jhunjhunwala es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en tecnología en el Instituto Indio de Tecnología (IIT) de Kharagpur. Es una entusiasta de la tecnología y tiene un gran interés en el ámbito de las aplicaciones de software y ciencia de datos. Siempre está leyendo sobre los avances en diferentes campos de la IA y el ML.
