El contexto prolongado no es gratuito: construí una capa segura de poda rápida que hace que los sistemas LLM funcionen
He trabajado en que el estado de la conversación tiende a crecer rápidamente con el tiempo. Es común reenviar grandes porciones del historial en cada turno, incluidos resultados de herramientas…