La previsión de series temporales es una tarea importante en el aprendizaje automático y se utiliza con frecuencia en diversos ámbitos, como las finanzas, la fabricación, la atención sanitaria y las ciencias naturales. Los investigadores de Google introdujeron un modelo exclusivo de decodificador para la tarea, llamado TimeFM, basado en el entrenamiento previo de un modelo de atención de estilo decodificador parcheado en un gran corpus de series de tiempo que comprende conjuntos de datos sintéticos y del mundo real. Los datos de series temporales, recopilados a intervalos regulares a lo largo del tiempo, desempeñan un papel crucial en la predicción de valores futuros. Los métodos tradicionales como ARIMA y GARCH se han utilizado ampliamente. Los avances recientes en el aprendizaje profundo, particularmente en los modelos de lenguaje grande (LLM) para el procesamiento del lenguaje natural (NLP), han abierto nuevas formas para que los investigadores manejen el pronóstico de series temporales aplicando estos modelos a la tarea.
Los modelos de aprendizaje profundo existentes, como DeepAR, Temporal Convolutions y NBEATS, son populares para el pronóstico de series temporales y superan a los métodos estadísticos tradicionales. Recientemente se ha trabajado sobre la reutilización o el ajuste de modelos de lenguaje grande (LLM) como GPT-3 y LLaMA-2 para el pronóstico de series temporales. En el artículo, los investigadores pretenden investigar si un modelo previamente entrenado con cantidades masivas de datos de series temporales puede aprender patrones temporales útiles para realizar pronósticos precisos en conjuntos de datos nunca antes vistos.
La arquitectura de TimesFM implica un transformador apilado con un mecanismo de atención estilo decodificador parcheado inspirado en el exitoso modelado basado en parches en pronósticos a largo plazo. El modelo propuesto utiliza entrenamiento solo de decodificador, lo que permite al modelo predecir el futuro al ver diferentes números de parches de entrada en paralelo. Los datos para la capacitación incluyen datos sintéticos y del mundo real. Los datos del mundo real se toman de diversas fuentes como Google Trends y Wiki Pageviews, mientras que los datos sintéticos se generan a partir de modelos estadísticos como ARIMA.
Los experimentos demuestran que TimesFM logra un impresionante rendimiento de pronóstico cero. No sólo el rendimiento del modelo es impresionante, sino que también es más eficiente que los modelos existentes en cuanto al tamaño de los parámetros y los datos previos al entrenamiento. El modelo se evalúa en conjuntos de datos públicos de Darts, Monash e Informer, lo que demuestra su capacidad para generalizar y superar las líneas de base especializadas.
TimesFM, que se basa en un amplio corpus de datos sintéticos y del mundo real, es un modelo innovador de base de series temporales. La arquitectura única del modelo, que incluye un mecanismo de atención de decodificador parcheado y entrenamiento solo de decodificador, contribuye a su sólido rendimiento de pronóstico de tiro cero. La capacidad de TimesFM para superar las líneas de base en múltiples conjuntos de datos demuestra el potencial de grandes modelos previamente entrenados para el pronóstico de series temporales, lo que proporciona una vía prometedora para reducir los datos de entrenamiento y los requisitos computacionales en este campo.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y noticias de Google. Unirse nuestro SubReddit de 36k+ ML, 41k+ comunidad de Facebook, Canal de discordiay LinkedIn Grarriba.
Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Canal de telegramas
Pragati Jhunjhunwala es pasante de consultoría en MarktechPost. Actualmente está cursando su B.Tech en el Instituto Indio de Tecnología (IIT), Kharagpur. Es una entusiasta de la tecnología y tiene un gran interés en el alcance del software y las aplicaciones de ciencia de datos. Siempre está leyendo sobre los avances en diferentes campos de la IA y el ML.