Optimización de la generación de tokens en modelos de decodificadores PyTorch
Los que han invadido casi todas las facetas de nuestra vida diaria son los modelos decodificadores autorregresivos. Estos modelos aplican operaciones de kernel con gran cantidad de computación para producir…