Investigadores de UC San Diego DYffusion: un modelo de difusión basado en dinámicas para pronósticos espaciotemporales

Proyectar el comportamiento futuro de un sistema dinámico, o pronosticar su dinámica, implica comprender la dinámica subyacente que impulsa la evolución del sistema para hacer predicciones precisas sobre sus estados futuros. Las proyecciones probabilísticas precisas y confiables son cruciales para la gestión de riesgos, la optimización de recursos, el desarrollo de políticas y la planificación estratégica. En muchas aplicaciones es muy difícil generar predicciones probabilísticas precisas a largo plazo. Las técnicas utilizadas en contextos operativos generalmente se basan en modelos numéricos complejos que exigen que las supercomputadoras completen los cálculos en períodos de tiempo razonables, sacrificando con frecuencia la resolución espacial de la cuadrícula.

Un enfoque interesante para el pronóstico de dinámicas probabilísticas es el modelado generativo. Las distribuciones naturales de imágenes y vídeos se pueden modelar eficazmente utilizando, en particular, modelos de difusión. La difusión gaussiana es el método típico; a través del “proceso directo”, corrompe los datos en grados variables con ruido gaussiano, y a través del “proceso inverso”, elimina sistemáticamente el ruido de una entrada aleatoria en el momento de la inferencia para generar muestras extremadamente realistas. Sin embargo, en dimensiones altas, aprender a mapear desde el ruido hasta los datos genuinos es difícil, particularmente cuando los datos son escasos. Como resultado, entrenar y concluir modelos de difusión requiere costos de computación prohibitivamente altos, lo que requiere un procedimiento de muestreo secuencial a través de cientos de etapas de difusión.

Por ejemplo, tomar muestras de fotografías de 50.000 32 × 32 utilizando un modelo probabilístico de difusión de eliminación de ruido (DDPM) lleva aproximadamente 20 horas. Además, no muchas técnicas utilizan modelos de difusión que vayan más allá de imágenes estáticas. Si bien los modelos de difusión de video son capaces de producir muestras realistas, no utilizan específicamente el aspecto temporal de los datos para producir proyecciones precisas. En este estudio, investigadores de la Universidad de California en San Diego presentan un nuevo marco para el pronóstico probabilístico de varios pasos que entrena un modelo de difusión informado por la dinámica. Proporcionan un proceso de avance novedoso motivado por descubrimientos recientes que demuestran las posibilidades de los procesos de difusión no gaussianos. Para realizar este procedimiento se utiliza una red neuronal condicionada por el tiempo, que depende de la interpolación temporal.

Su método impone un sesgo inductivo al vincular los pasos de tiempo en el sistema dinámico con las fases del proceso de difusión sin necesidad de suposiciones sobre el sistema físico. Como resultado, la complejidad computacional de su modelo de difusión disminuye con respecto al uso de la memoria, la eficiencia de los datos y la cantidad de pasos de difusión necesarios para el entrenamiento. Para datos espaciotemporales de alta dimensión, su marco resultante basado en modelos de difusión, al que se refieren como DYffusion, captura naturalmente relaciones de largo alcance y produce predicciones de conjuntos probabilísticos precisos.

A continuación se presenta un resumen de sus contribuciones:

• Desde el punto de vista de los modelos de difusión, estudian la predicción espaciotemporal probabilística y su aplicabilidad a sistemas físicos complejos con muchas dimensiones y pocos datos.

• Proporcionan DYffusion, un marco adaptable que utiliza un sesgo inductivo temporal para acortar los tiempos de aprendizaje y reducir los requisitos de memoria para pronósticos de varios pasos y perspectivas a largo plazo. DYffusion es un modelo implícito que aprende las soluciones de un sistema dinámico, y el muestreo en frío puede interpretarse como la solución del método de Euler.

• También llevan a cabo un estudio empírico que compara los requisitos computacionales y el rendimiento de los métodos probabilísticos más modernos, incluidos los modelos de difusión de video condicional, en el pronóstico dinámico. Finalmente, exploran las implicaciones teóricas de su método. Descubren que, en comparación con la difusión gaussiana convencional, el proceso sugerido produce buenas predicciones probabilísticas y aumenta la eficiencia informática.

Revisar la Papel y GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de 32k+ ML, Comunidad de Facebook de más de 40.000 personas, Canal de discordia, y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.

Si te gusta nuestro trabajo, te encantará nuestra newsletter.

también estamos en Telegrama y WhatsApp.