Por qué la memoria de gran ancho de banda es un cuello de botella para los chips de IA

El boom de la IA tiene un problema de memoria

Por Ramin Skibba editado por Eric Sullivan

Durante décadas, Micron Technology fabricó uno de los elementos esenciales menos glamorosos de la informática: los chips de memoria. Luego, el auge de la inteligencia artificial convirtió ese hardware en uno de los componentes más buscados de la industria. Las empresas de tecnología ahora están luchando por conseguir memorias de gran ancho de banda, o HBM; Micron se especializa en ello. Esta semana, la empresa con sede en Boise se convirtió en la primera empresa estadounidense de chips de memoria en superar brevemente el billón de dólares en valor de mercado, un hito que apunta a un cambio mayor en la cadena de suministro de IA.

Los sistemas de IA dependen de procesadores rápidos, pero también de la rapidez con la que los datos pueden llegar a ellos y permanecer accesibles. HBM está diseñado para hacer precisamente eso. “La razón por la que los HBM tienen tanta demanda es que tienen un almacenamiento bastante bueno y son extremadamente, extremadamente rápidos”, dice Keren Bergman, profesora de ingeniería eléctrica en la Universidad de Columbia.

Los chips HBM se construyen de manera diferente a la memoria dentro de una computadora portátil o un teléfono. En lugar de distribuir chips de memoria en una placa, HBM apila capas de memoria verticalmente y las coloca cerca del procesador. El acuerdo ofrece a los aceleradores de IA un camino mucho más amplio hacia los datos que necesitan. Micron dice que sus chips HBM4 pueden alcanzar más de 2,8 terabytes por segundo de ancho de banda y están diseñados para las GPU Vera Rubin de próxima generación de Nvidia.

Sobre el apoyo al periodismo científico

Si está disfrutando de este artículo, considere apoyar nuestro periodismo galardonado suscribiéndose. Al comprar una suscripción, ayudas a garantizar el futuro de historias impactantes sobre los descubrimientos y las ideas que dan forma a nuestro mundo actual.

Dentro de una computadora, los chips de memoria y los procesadores son como edificios conectados con autopistas. Hay muchas maneras de ampliar esos caminos. Los ingenieros pueden hacer que la memoria sea más rápida sólo hasta cierto punto, y sólo pueden agregar un número limitado de conexiones físicas entre la memoria y los procesadores, dice Hadi Esmaeilzadeh, investigador de arquitectura informática en UC San Diego. La innovación de la memoria de gran ancho de banda es apilar los edificios con 12 o incluso 16 capas de altura, con las capas conectadas mediante vías de silicio, o TSV, para que los procesadores GPU y otros aceleradores puedan alcanzar más memoria en un tiempo determinado. “Ahora hay una mayor conectividad entre los dos, lo que proporciona un mayor ancho de banda. Es como añadir más carriles en las autopistas”, afirma Esmaeilzadeh.

La demanda proviene de ambos lados del negocio de la IA. Entrenar modelos grandes requiere enormes grupos de aceleradores. Ejecutar esos modelos para los usuarios, ya sea en chatbots, herramientas de codificación o futuros agentes de IA, también requiere mover enormes cantidades de datos, una y otra vez. Y una GPU que espera datos es un desperdicio de hardware.

El ancho de banda es sólo una parte del problema. A medida que se expanden los modelos de lenguajes grandes, la capacidad también se convierte en un desafío, incluso con los chips HBM de primera línea. “Debido al tamaño cada vez mayor de los modelos de IA, la capacidad de memoria disponible que tienes cerca es uno o dos órdenes de magnitud menor de lo que necesitas”, afirma Bergman. La memoria se ha convertido en uno de los límites centrales del hardware avanzado de IA. (Micron rechazó las solicitudes de comentarios de Scientific American).

Eso ha convertido la memoria también en una preocupación estratégica. Muchos proveedores líderes de memoria, como SK Hynix y Samsung, tienen su sede en Asia, mientras que Micron es el más grande de América del Norte. “Es de interés para la seguridad nacional que traigamos la fabricación de chips de regreso a Estados Unidos”, dice Esmaeilzadeh. “Nuestra dependencia de los sistemas de inteligencia artificial está creciendo y nuestra cadena de suministro está en otra parte”.

No todas las apuestas de IA darán sus frutos. Algunos líderes de la industria, incluidos Sundar Pichai de Google y Sam Altman de OpenAI, han advertido sobre una posible burbuja, y la construcción enfrenta limitaciones más allá de los chips. La construcción de centros de datos se ha estancado y los bancos se han vuelto cautelosos ante el exceso de deuda que se acumula tras ello.

Sin embargo, la demanda de memoria no muestra signos de desaceleración. “Está muy claro que ni siquiera estamos cerca de satisfacer la demanda informática que existe”, afirma Bergman. Burbuja o no, el hardware que sustenta la IA debe seguir moviendo datos y, en este momento, no puede moverse lo suficientemente rápido.

Es hora de defender la ciencia

Si te ha gustado este artículo, me gustaría pedirte tu apoyo. Científico americano ha servido como defensor de la ciencia y la industria durante 180 años, y ahora mismo puede ser el momento más crítico en esos dos siglos de historia.

he sido un Científico americano suscriptor desde que tenía 12 años y me ayudó a moldear mi forma de ver el mundo. Ciencia-Am Siempre me educa y me deleita, e inspira una sensación de asombro por nuestro vasto y hermoso universo. Espero que también lo haga por ti.

Si te suscribes a Científico americanousted ayuda a garantizar que nuestra cobertura se centre en investigaciones y descubrimientos significativos; que tenemos los recursos para informar sobre las decisiones que amenazan a los laboratorios en todo Estados Unidos; y que apoyemos a los científicos tanto en ciernes como en activo en un momento en el que con demasiada frecuencia el valor de la ciencia misma pasa desapercibido.

A cambio, obtiene noticias esenciales, podcasts cautivadores, infografías brillantes, boletines informativos imperdibles, vídeos imprescindibles, juegos desafiantes y los mejores escritos e informes del mundo científico. Incluso puedes regalarle a alguien una suscripción.

Nunca ha habido un momento más importante para que nos levantemos y demostremos por qué la ciencia es importante. Espero que nos apoyes en esa misión.