Controlando con éxito el plasma de fusión nuclear en un tokamak con aprendizaje por refuerzo profundo

Para resolver la crisis energética mundial, los investigadores llevan mucho tiempo buscando una fuente de energía limpia e ilimitada. La fusión nuclear, la reacción que impulsa las estrellas del universo, es un contendiente. Al romper y fusionar el hidrógeno, un elemento común del agua de mar, este poderoso proceso libera enormes cantidades de energía. Aquí en la Tierra, una forma en que los científicos han recreado estas condiciones extremas es mediante el uso de un tokamak, un vacío en forma de rosquilla rodeado por bobinas magnéticas, que se utiliza para contener un plasma de hidrógeno que es más caliente que el núcleo del Sol. Sin embargo, los plasmas de estas máquinas son inherentemente inestables, lo que hace que mantener el proceso necesario para la fusión nuclear sea un desafío complejo. Por ejemplo, un sistema de control necesita coordinar las numerosas bobinas magnéticas del tokamak y ajustar el voltaje en ellas miles de veces por segundo para garantizar que el plasma nunca toque las paredes del recipiente, lo que provocaría una pérdida de calor y posiblemente daños. Para ayudar a resolver este problema y como parte de la misión de DeepMind de hacer avanzar la ciencia, colaboramos con el Centro Suizo de Plasma en EPFL Desarrollar el primer sistema de aprendizaje por refuerzo profundo (RL) para descubrir de forma autónoma cómo controlar estas bobinas y contener con éxito el plasma en un tokamak, abriendo nuevas vías para avanzar en la investigación de la fusión nuclear.

en un artículo publicado hoy en NatureEn este artículo, describimos cómo podemos controlar con éxito el plasma de fusión nuclear mediante la construcción y ejecución de controladores en el Tokamak de configuración variable (TCV) en Lausana, Suiza. Utilizando una arquitectura de aprendizaje que combina RL profunda y un entorno simulado, produjimos controladores que pueden mantener el plasma estable y usarse para esculpirlo con precisión en diferentes formas. Esta «escultura de plasma» muestra que el sistema RL ha controlado con éxito la materia sobrecalentada y, lo que es más importante, permite a los científicos investigar cómo reacciona el plasma en diferentes condiciones, mejorando nuestra comprensión de los reactores de fusión.

Este trabajo es otro poderoso ejemplo de cómo el aprendizaje automático y las comunidades de expertos pueden unirse para abordar grandes desafíos y acelerar los descubrimientos científicos. Nuestro equipo está trabajando arduamente aplicando este enfoque a campos tan diversos como la química cuántica, las matemáticas puras, el diseño de materiales, el pronóstico del tiempo y más, para resolver problemas fundamentales y garantizar que la IA beneficie a la humanidad.

Aprender cuando los datos son difíciles de adquirir

La investigación sobre la fusión nuclear está actualmente limitada por la capacidad de los investigadores para realizar experimentos. Si bien hay docenas de tokamaks activos en todo el mundo, son máquinas caras y tienen una gran demanda. Por ejemplo, TCV solo puede sostener el plasma en un solo experimento durante hasta tres segundos, después de lo cual necesita 15 minutos para enfriarse y reiniciarse antes del siguiente intento. No sólo eso, varios grupos de investigación suelen compartir el uso del tokamak, lo que limita aún más el tiempo disponible para los experimentos.

Dados los obstáculos actuales para acceder a un tokamak, los investigadores han recurrido a simuladores para ayudar a avanzar en la investigación. Por ejemplo, nuestros socios de EPFL han creado un potente conjunto de herramientas de simulación que modelan la dinámica de los tokamaks. Pudimos usarlos para permitir que nuestro sistema RL aprendiera a controlar TCV en simulación y luego validar nuestros resultados en el TCV real, demostrando que podíamos esculpir con éxito el plasma en las formas deseadas. Si bien esta es una forma más económica y conveniente de capacitar a nuestros controladores; todavía teníamos que superar muchas barreras. Por ejemplo, los simuladores de plasma son lentos y requieren muchas horas de computadora para simular un segundo de tiempo real. Además, el estado de TCV puede cambiar día a día, lo que nos obliga a desarrollar mejoras algorítmicas, tanto físicas como simuladas, y adaptarnos a las realidades del hardware.

Éxito priorizando la simplicidad y la flexibilidad

Los sistemas de control de plasma existentes son complejos y requieren controladores separados para cada una de las 19 bobinas magnéticas de TCV. Cada controlador utiliza algoritmos para estimar las propiedades del plasma en tiempo real y ajustar el voltaje de los imanes en consecuencia. Por el contrario, nuestra arquitectura utiliza una única red neuronal para controlar todas las bobinas a la vez, aprendiendo automáticamente qué voltajes son los mejores para lograr una configuración de plasma directamente desde los sensores.

Como demostración, primero mostramos que podíamos manipular muchos aspectos del plasma con un solo controlador.

En el video de arriba, vemos el plasma en la parte superior de TCV en el instante en que nuestro sistema toma el control. Nuestro controlador primero le da al plasma la forma solicitada, luego lo desplaza hacia abajo y lo separa de las paredes, suspendiendolo en el medio del recipiente sobre dos patas. El plasma se mantiene estacionario, como sería necesario para medir las propiedades del plasma. Luego, finalmente, el plasma es devuelto a la parte superior de la nave y destruido de forma segura.

Luego creamos una variedad de formas de plasma que los físicos del plasma están estudiando por su utilidad para generar energía. Por ejemplo, creamos una forma de “copo de nieve” con muchas “patas” que podrían ayudar a reducir el costo de enfriamiento al distribuir la energía de escape a diferentes puntos de contacto en las paredes del recipiente. También demostramos una forma cercana a la propuesta de ITER, el tokamak de próxima generación en construcción, mientras EPFL realizaba experimentos para predecir el comportamiento de los plasmas en ITER. Incluso hicimos algo que nunca antes se había hecho en TCV: estabilizar una «gotita» donde hay dos plasmas dentro del recipiente simultáneamente. Nuestro sistema único pudo encontrar controladores para todas estas condiciones diferentes. Simplemente cambiamos el objetivo que solicitamos y nuestro algoritmo encontró de forma autónoma un controlador apropiado.

El futuro de la fusión y más allá

De manera similar al progreso que hemos visto al aplicar la IA a otros dominios científicos, nuestra demostración exitosa del control del tokamak muestra el poder de la IA para acelerar y ayudar a la ciencia de la fusión, y esperamos una mayor sofisticación en el uso de la IA en el futuro. Esta capacidad de crear controladores de forma autónoma podría utilizarse para diseñar nuevos tipos de tokamaks y al mismo tiempo diseñar sus controladores. Nuestro trabajo también apunta a un futuro brillante para el aprendizaje por refuerzo en el control de máquinas complejas. Es especialmente emocionante considerar campos en los que la IA podría aumentar la experiencia humana, sirviendo como herramienta para descubrir enfoques nuevos y creativos para problemas difíciles del mundo real. Predecimos que el aprendizaje por refuerzo será una tecnología transformadora para las aplicaciones de control industrial y científico en los próximos años, con aplicaciones que van desde la eficiencia energética hasta la medicina personalizada.