RetrievalAttention: un enfoque de aprendizaje automático sin entrenamiento para acelerar el cálculo de la atención y reducir el consumo de memoria de la GPU
Los modelos de lenguaje de gran tamaño (LLM) han logrado avances significativos en el procesamiento de contextos extensos, y algunos modelos son capaces de manejar hasta 10 millones de tokens.…