Ha habido un cambio en la forma en que operan los modelos de fundaciones.
Después de establecer que el entrenamiento previo de un gran modelo de aprendizaje profundo en un vasto corpus de datos temporales otorga propiedades generalizables, los modelos TS previamente entrenados ahora apuntan a ser aún más versátiles.
Para las series temporales, esto significa admitir variables exógenas y permitir contextos y longitudes de predicción variables.
Este artículo trata sobre Timer-XL[1], un modelo de serie temporal actualizado basado en Timer[2]. Timer-XL está diseñado para la generalización, centrándose en la previsión de contexto a largo plazo.
¡Empecemos!
¿Qué es el temporizador XL?
Timer-XL es un modelo básico de Transformer solo decodificador para realizar pronósticos. El modelo enfatiza la generalización y las predicciones de contexto a largo plazo, ofreciendo pronósticos unificados a largo plazo.
Características clave del Timer-XL:
Variación de longitudes de entrada/salida: a diferencia de modelos como Tiny-Time-Mixers que tienen varias versiones para diferentes longitudes de entrada o salida, Timer-XL utiliza un único modelo para todos los casos, sin hacer suposiciones sobre el contexto o la longitud de predicción. Previsión de contexto a largo plazo: maneja eficazmente ventanas retrospectivas más largas. Funciones enriquecidas: pronostica series univariadas no estacionarias, dinámicas multivariadas complejas y contextos informados por covariables con variables exógenas, todo en una configuración unificada. Versátil: puede entrenarse desde cero o prepararse previamente en grandes conjuntos de datos. Es opcional realizar más ajustes para mejorar el rendimiento.
Timer-XL mejora la precisión de los pronósticos al introducir TimeAttention, un elegante mecanismo de atención que analizaremos en detalle a continuación.
El equipo detrás de Timer-XL (laboratorio THUML de la Universidad de Tsinghua)[3]) tiene una profunda experiencia en modelado de series de tiempo. Han lanzado modelos emblemáticos como iTransfomer, TimesNet y Timer, el predecesor de Timer-XL.
Modelos de codificador, decodificador y codificador-decodificador
Antes de analizar Timer-XL, exploraremos el trabajo relacionado y recapitularemos el estado de los modelos TS básicos; esto nos ayudará a comprender qué llevó al avance de Timer-XL.
Aplicaciones de PNL
En los primeros días del Transformer, hubo un debate sobre qué arquitectura era más efectiva. El Transformer original era un modelo codificador-decodificador.
Más tarde, la investigación de Transformer se dividió en 2 ramas: solo codificador, como BERT (dirigido por Google), y solo decodificador, como GPT (dirigido por OpenAI):
Los modelos codificador-decodificador utilizan un codificador bidireccional para comprender la entrada y un decodificador causal para generar la salida, un token a la vez. Se destacan en tareas de secuencia a secuencia, como traducción y resumen. Los modelos de solo codificador utilizan atención bidireccional (busca contexto en ambos sentidos) para comprender una oración y predecir palabras enmascaradas dentro de una oración. Se destacan en tareas NLU (comprensión del lenguaje natural). Los modelos solo decodificadores utilizan atención causal (el modelo solo mira hacia atrás en busca de contexto) y aprenden a predecir la siguiente palabra. Se destacan en tareas NLG (generación de lenguaje natural).
En PNL, los modelos de solo decodificador dominan las tareas de generación. Los modelos de solo codificador se utilizan en clasificación, regresión y NER (reconocimiento de entidades nombradas).
Aplicaciones de series de tiempo
A finales de 2024 y principios de 2025, se publicaron numerosos modelos de fundaciones, que proporcionaron amplia evidencia de cuál funciona mejor.
Todos estos modelos de bases vienen en muchos sabores. Ejemplos son:
Hasta ahora, los modelos decodificador y codificador-decodificador superan a los codificadores en la previsión. Los autores de Timer-XL respaldan esto con extensos experimentos; sus resultados respaldan la misma conclusión.
También existe una categoría de modelos multipropósito: utilizados para pronósticos, clasificación, imputación, etc. MOMENT y UNITS pertenecen aquí y son modelos solo codificadores.
Timer, también polivalente, es un modelo únicamente decodificador. Su sucesor, Timer-XL, supera a Timer en pronósticos, pero se especializa únicamente en esa tarea.
Por lo tanto:
Para tareas que requieren una comprensión general de series de tiempo (por ejemplo, imputación, detección de anomalías), los modelos de codificador pueden ser más adecuados. Sin embargo, en lo que respecta a la previsión de series temporales, los decodificadores llevan actualmente la delantera.
Esta es la razón por la que los autores pasaron del diseño generalista de Timer a la especialización de Timer-XL en pronóstico. Ambos modelos son decodificadores, ¡pero la arquitectura del decodificador beneficia la tarea de pronóstico!
Previsión a largo plazo
La principal ventaja de los modelos Transformer es su capacidad para manejar una gran longitud de contexto.
Los LLM modernos como Gemini admiten hasta 1 millón de tokens. No son perfectos a esta escala, pero generalmente son confiables hasta con 100 mil tokens.
Los modelos de series de tiempo están muy por detrás: los modelos de pronóstico Transformer y DL a menudo tienen dificultades para superar los 1.000 tokens. Los modelos básicos recientes, como MOIRAI, admiten hasta 4K.
Hay 2 cuestiones a examinar aquí:
La longitud máxima de contexto admitida. Cómo maneja el modelo la mayor longitud del contexto, en términos de rendimiento.
La Figura 2 muestra que Timer-XL maneja el contexto creciente mejor que otros modelos.
Para conjuntos de datos diarios como Tráfico, podemos usar hasta datos de un año (~8760 puntos de datos). Esto hace que Timer-XL sea ideal para pronósticos de alta frecuencia, una configuración en la que los modelos básicos a menudo tienen un rendimiento inferior, como se analizó anteriormente.
Dado que anteriormente analizamos los modelos codificador versus decodificador, mencionemos cómo este documento explora cómo cada arquitectura afecta la eficiencia del pronóstico de contexto largo.
En la Figura 3, analizaron dónde se enfoca el modelo durante la predicción utilizando mapas de atención:
Interpretemos los gráficos anteriores:
Codificador: muestra una atención amplia y difusa durante la mayor parte de la secuencia. Cada token atiende a muchos otros tokens, lo que sugiere menos concentración. En ocasiones, se centran en partes irrelevantes y pasan por alto por completo los puntos de datos más recientes.
Decodificador: Estructura triangular escasa. La atención es principalmente local y causal (como se esperaba), pero los picos selectivos sugieren que ocasionalmente “se remonta” más allá cuando es útil.
Los modelos de codificador dispersan su atención a lo largo de la secuencia. Los modelos decodificadores se centran en tokens recientes pero se acercan de forma adaptativa a los anteriores útiles.
TimeAttention: La “salsa secreta” de Timer-XL
El mecanismo de atención impulsa el Transformer (un gran avance en PNL), pero en series temporales, es un arma de doble filo. Discutimos esto extensamente aquí.
En breve:
Los modelos Transformer Time Series son propensos a sobreajustarse. No podemos utilizar la atención bruta como en la PNL porque la autoatención es invariante a la permutación (el orden de los tokens no importa, lo que debería ocurrir cuando tenemos información temporal).
Primero examinemos cómo los modelos de aprendizaje profundo abordan las series temporales, centrándonos en los métodos SOTA de cada año.
Preliminares
En las series temporales de DL, un único punto de datos o un parche (un grupo de puntos de datos consecutivos) se denomina token.
Imagine un conjunto de datos de 3 series de tiempo, donde y es la variable objetivo y x, z son covariables observadas. Para un tamaño de entrada T, las secuencias tienen el formato:
y1, y2, y3… yT x1, x2, x3… xT z1, z2, z3… zT
Los primeros modelos de Transformer como PatchTST aplicaron atención en toda la dimensión temporal, por ejemplo, entre ,….
Este enfoque tiene algunas desventajas, por ejemplo, omite información retrasada en toda la dimensión de la característica.
Los modelos posteriores, como iTransformer, abordaron esto prestando atención a la dimensión característica/variable, entre , , . Puede ver la diferencia entre los 2 enfoques en la Figura 4 a continuación:
Como habrás adivinado, podemos mejorar aún más el rendimiento combinando ambos enfoques. Por ejemplo, CARD (un modelo de solo codificador) emplea un mecanismo de atención secuencial de 2 etapas para dependencias entre características y tiempos cruzados (Figura 5):
Sin embargo, este método es lento debido a su diseño secuencial de 2 etapas.
MOIRAI llevó las cosas al siguiente nivel al presentar Any-Variate Attention, un novedoso mecanismo de atención adaptado para modelos previamente entrenados.
Any-Variate captura las relaciones temporales entre puntos de datos y al mismo tiempo preserva la invariancia de permutación entre covariables. Discutimos este mecanismo en detalle aquí.
A continuación, nos sumergimos en TimeAttention de Timer-XL.
Ingrese el tiempoAtención
MOIRAI es un modelo de codificador enmascarado, por lo que Any-Variate Attention no se puede utilizar tal cual en modelos que solo tienen decodificador como Timer-XL.
Los modelos de solo decodificador utilizan la autoatención causal, atendiendo sólo a tokens anteriores. Por el contrario, la autoatención cuadrática vainilla es bidireccional.
Para solucionar esto, Timer-XL introduce una variante causal de la atención de MOIRAI llamada TimeAttention.
Específicamente, TimeAttention presenta:
Incrustaciones posicionales rotativas (ROPE) para capturar dependencias de tiempo. Sesgos binarios (ALIBI) para capturar dependencias entre variables. Autoatención causal.
El objetivo de TimeAttention es:
No hay invariancia de permutación para la información temporal: el orden de los puntos de datos/tokens temporales debería importar. Invariancia de permutación entre las variables/características: el orden de las variables no debería importar (por ejemplo, si tenemos 2 covariables X1 y X2, no importa cuál es la primera, solo la relación entre ellas). Esto logra la equivalencia de permutación.
La puntuación de atención entre la (m,i)-ésima consulta y la (n,j)-ésima clave, donde i,j representan los índices de tiempo y (m,n) los índices variables, se calcula de la siguiente manera:
TimeAttention permite a Timer-XL manejar pronósticos univariados, multivariados y basados en el contexto.
Dadas N variables para un conjunto de datos, el modelo aplana la entrada 2D [observaciones, N] en índices 1D y calcula la puntuación de atención respetando la invariancia de permutación en la dimensión temporal y la equivarianza de permutación en la dimensión variable.
La autoatención estándar es por pares, lo que da como resultado un costo cuadrático. Una diferencia clave con MOIRAI es el uso de atención causal, donde cada parche atiende a puntos anteriores de su propia señal o a otras señales temporales.
En el ejemplo de la Figura 7, digamos que tenemos 2 series de tiempo, A y B, cada una de las cuales consta de 3 tokens. Las interacciones se muestran más claramente en la Figura 8:
La serie temporal A consta de las fichas 1, 2 y 3. La serie temporal A consta de las fichas 4, 5 y 6.
Para el token 2 de la serie temporal A, se calculan las siguientes puntuaciones de atención:
token2 ←→ token2 (a sí mismo) token2 ←→ token1 token2 ←→ token4 token2 ←→ token5
Las primeras 2 puntuaciones de atención están dentro de la serie temporal A, mientras que las 2 últimas están dentro de la serie temporal B. La fórmula TimeAttention puede distinguir diferentes series temporales y preservar la equivalencia de permutación.
Si bien TimeAttention puede parecer complejo y algo arbitrario, los estudios de ablación realizados por los autores muestran que ofrece un rendimiento óptimo en esta configuración.
Nota: Cuando mencionamos tokens, no nos referimos a puntos de datos individuales. Timer-XL utiliza parches como tokens, por lo que las puntuaciones de atención se calculan entre parches, no entre puntos de datos individuales.
Introduzca el temporizador XL
La arquitectura completa de Timer-XL se muestra a continuación:
Timer-XL se centra en pronósticos a largo plazo y de contexto largo utilizando TimeAttention. Además, Timer-XL utiliza las últimas ventajas de los LLM avanzados como FlashAttention:
FlashAttention acelera la atención de Transformer y reduce el uso de memoria al optimizar las operaciones matriciales y eliminar pasos redundantes.
Curiosamente, Timer-XL no se beneficia de la normalización de instancias reversible (RevIN), una técnica que se utiliza a menudo para manejar cambios de distribución en datos de series temporales. Los autores atribuyen esto a la estructura centrada en ventanas de Timer-XL, que opera en diferentes variantes (probablemente debido al proceso de aplanamiento).
¡Revisemos ahora algunos puntos de referencia interesantes! El año pasado publiqué un tutorial para aplicaciones basadas en temporizador en mi boletín:
Timer-XL revisitado: una guía práctica para el pronóstico de disparo cero
Punto de referencia de pronóstico multivariado
Timer-XL es principalmente un modelo básico de disparo cero, pero también se puede entrenar desde cero en conjuntos de datos específicos.
En la Tabla 1, Timer-XL se compara con modelos DL populares en conjuntos de datos conocidos. Para cada conjunto de datos, el MAE y MSE promedio se informan mediante una evaluación de pronóstico continuo en todo el conjunto de prueba.
Previsión móvil: en este enfoque, cada modelo se entrena con 672 pasos de entrada para producir N = (96, 192, 336 o 720) pasos de salida. La porción de ventana anterior de observaciones reales se retroalimenta recursivamente como entrada hasta que se alcanza la longitud de pronóstico objetivo N. La Tabla 1 muestra la puntuación promedio en todas las longitudes de predicción.
Conclusiones clave:
Timer-XL logra las mejores puntuaciones medias. Los modelos SOTA anteriores como PatchTST e iTransformer se ubicaron entre los 2 primeros en algunos casos. Timer-XL y Timer, los únicos modelos que solo incluyen decodificador, funcionan mejor.
El punto de referencia se amplía aún más para incluir modelos de series temporales de otros dominios. A continuación se muestran los resultados del conjunto de datos GTWSF (un desafío de pronóstico de la velocidad del viento):
Observamos:
Timer-XL logra la máxima puntuación general. La mayoría de los modelos DL funcionan bien, ¡aunque algunos fallan espectacularmente! GDBT no es un método basado en estadísticas, probablemente se refiere a Boosted Trees; de hecho, sería bueno si los modelos GDBT populares como LightGBM estuvieran presentes aquí. Una línea de base Seasonal Naive también habría sido una inclusión útil.
Pronóstico de series temporales basado en covariables
En el pronóstico multivariado, cada serie temporal se trata como un canal separado. El modelo captura sus interdependencias y pronostica conjuntamente todas las series temporales.
En el pronóstico basado en covariables, predecimos una serie objetivo utilizando otras como covariables. Estos pueden ser observados en el pasado, conocidos en el futuro o estáticos. Esa es la configuración discutida aquí.
En la Figura 7 (derecha) se muestra un ejemplo de pronóstico basado en covariables. En ese caso predecimos la variable A en función de su dependencia (flecha verde) de B.
La Tabla 2 muestra los resultados del conjunto de datos EPF (tarea de previsión del precio de la electricidad, Lago et al., 2021). Los autores incluyen tanto el Timer-XL actual como una variante del codificador Timer-XL (el que tiene la etiqueta no causal).
Observa que:
Timer-XL logra los mejores resultados. La versión decodificadora (Timer-XL) supera al Timer-XL basado en codificador. TimerXer es un Transformer basado en codificador que utiliza atención cruzada para modelar dependencias con variables exógenas, cada una tratada como un token separado. Este era un modelo SOTA DL anterior, ahora superado por Timer-XL.
Punto de referencia de pronóstico de tiro cero
Finalmente, los autores también evalúan Timer-XL como modelo básico, comparándolo con otros modelos de series temporales importantes.
Realizan un entrenamiento previo univariado en el conjunto de datos LOTSA (utilizado para entrenar previamente a MOIRAI) y UTSD. Este último fue curado por el grupo de investigación THUML y utilizado para entrenar previamente a Timer. Contiene 1B de puntos de datos.
Se utilizan las mismas métricas y configuraciones que antes (por ejemplo, puntuaciones promediadas entre predict_lengths ={96, 192, 336, 720}). Esta vez, ninguno de los modelos fue entrenado en los siguientes conjuntos de datos (predicción de tiro cero).
Notamos lo siguiente:
Timer-XL-base (la versión de disparo cero) obtiene la mayor cantidad de victorias. Time-MOE-ultra ocupa el segundo lugar, seguido por los modelos MOIRAI. Curiosamente, MOIRAI-Base obtiene algunas victorias sobre MOIRAI-Large, un patrón observado en otros puntos de referencia. A pesar de tener menos parámetros, MOIRAI-Base a menudo iguala o supera a MOIRAI-Large. Lamentablemente, las versiones SOTA de los modelos previamente entrenados existentes no están incluidas. Por ejemplo, faltan versiones más nuevas como TimesFM-2.0, Chronos-Bolt, MOIRAI-MOE y otros modelos populares, como Tiny-Time-Mixers (TTM) y TabPFN-TS.
Los autores han incluido el punto de referencia completo de los modelos de cimentación en la Tabla 13 del artículo. No dude en leer el artículo para obtener más detalles. En esos resultados, noté que Timer-XL funciona ligeramente mejor con longitudes de predicción más largas en comparación con los otros modelos.
Interpretabilidad
Pocos modelos de series de tiempo exploran la interpretabilidad, especialmente los modelos DL. Los autores de Timer-XL demuestran los beneficios de la atención al mostrar cómo captura las interdependencias entre las variables de series temporales.
La Figura 11 muestra la puntuación de atención promedio en todas las matrices de atención. La matriz es de 10×10, que corresponde a los pares de puntuaciones de atención entre 10 variables. Los 2 mosaicos de la figura muestran la relación entre atención y correlación. El par de variables <6,7> tiene una puntuación de atención más alta que <6,2>, lo que se traduce correctamente en que el par <6,7> tiene una correlación más alta.
Por lo tanto, concluimos:
El mecanismo de atención del Transformer aprende a interpretar las dependencias internas entre las diferentes variables.
Este no es un patrón nuevo: hemos visto muchos modelos de pronóstico de Transformer que utilizan este truco. En este caso, significa que el mecanismo de atención de Timer-XL funciona como se esperaba y captura correctamente las distintas dependencias.
Tutorial de pronóstico univariado
Al momento de escribir este artículo, los autores han lanzado la versión univariada previamente entrenada de Timer-XL.
Por lo tanto, utilicé esta versión por ahora para evaluar Timer-XL en el conjunto de datos ETTh2 y el último mes del índice SP&500.
Los resultados son bastante prometedores. La Figura 12 muestra las predicciones de Timer-XL en el conjunto de datos ETTh2:
No quiero que este artículo sea muy largo, así que repasaremos los tutoriales de la Parte 2. También puede encontrarlos en la carpeta de proyectos de IA (Proyecto 18 y Proyecto 19). ¡Manténganse al tanto!
¡Gracias por leer!
Referencias
[1]Liu y cols. Timer-XL: Transformadores de contexto largo para pronóstico unificado de series temporales (marzo de 2025)
[2]Liu y cols. Temporizador: los transformadores generativos preentrenados son modelos de series temporales grandes (octubre de 2024)
[3]THUML @ Universidad de Tsinghua
[4]Liu y cols. Diapositivas de presentación Timer-XL ICRL2025