NVIDIA AI lanza Gated DeltaNet-2: una capa de atención lineal que desacopla el borrado y la escritura en la regla delta
La atención lineal reemplaza el caché KV ilimitado de la atención softmax con un estado recurrente de tamaño fijo. Esto reduce la mezcla de secuencias a tiempo lineal y la…