KVzap de código abierto con IA de NVIDIA: un método de poda de caché SOTA KV que ofrece una compresión 2x-4x casi sin pérdidas
A medida que la longitud del contexto pasa a decenas y cientos de miles de tokens, la caché de valores clave en los decodificadores de transformadores se convierte en el…