Un investigador de Princeton propone un transformador de bucle recurrente (RLT) que transmite el estado del decodificador a través de cada token, reparando 96 bloques por token con profundidad temporal ilimitada
En la mayoría de los LLM que solo utilizan decodificadores, nada de lo calculado en la última capa del token t alimenta la primera capa del token t+1; Las posiciones…