La arquitectura de mezcla de expertos (MOE) ha ganado popularidad con el surgimiento de los grandes modelos de lenguaje (LLM).
A medida que los modelos de series de tiempo adoptan técnicas de vanguardia, Mezcla de expertos Naturalmente, ha encontrado su lugar en el espacio básico de series de tiempo.
Este artículo analiza Hora-MOEun modelo básico de series de tiempo que utiliza MOE para mejorar la precisión de los pronósticos y al mismo tiempo reducir los costos computacionales. Las contribuciones clave incluyen:
- Conjunto de datos Time-300B: El conjunto de datos de series temporales abierto más grande, con 300 mil millones de puntos temporales en 9 dominios y un proceso de limpieza de datos escalable.
- Leyes de escala para series temporales: Información sobre cómo las leyes de escala afectan los modelos de series temporales grandes.
- Arquitectura tiempo-MOE: Una familia de modelos de series temporales de código abierto que aprovechan MOE para mejorar el rendimiento.
Empecemos
✅ Encuentra el proyecto práctico para Hora-MOE en el Carpeta de proyectos de IA¡junto con otros proyectos geniales!
Time-MOE es un modelo básico de series de tiempo de código abierto de 2.400 millones de parámetros que utiliza Mezcla de expertos (MOE) para pronóstico de tiro cero