Cuando los transformadores cantan: adaptación de SpectralKD para la destilación de conocimientos basada en texto
Mientras trabajaba en mi problema de Destilación de conocimientos para la clasificación de intenciones, me enfrenté a un obstáculo desconcertante. Mi configuración involucró un modelo de maestro, que es RoBERTa-large…