Esta investigación de IA de China presenta Infinite-LLM: un servicio eficiente para un LLM de contexto prolongado que utiliza un novedoso algoritmo de atención distribuida llamado DistAttention y un mecanismo de gestión de KVCache distribuido
El campo del procesamiento del lenguaje natural se ha transformado con la llegada de los modelos de lenguaje grande (LLM), que brindan una amplia gama de capacidades, desde la generación…