El mundo digital no puede existir sin los recursos naturales para ejecutarlo. ¿Cuáles son los costos de la tecnología que utilizamos para construir y ejecutar IA?

Hay un concepto central en el aprendizaje automático que a menudo les hablo a los profanos para ayudar a aclarar la filosofía detrás de lo que hago. Ese concepto es la idea de que el mundo cambia en torno a cada modelo de aprendizaje automático, a menudo porque del modelo, por lo que el mundo que el modelo intenta emular y predecir siempre está en el pasado, nunca en el presente o el futuro. El modelo, de alguna manera, predice el futuro (así es como pensamos a menudo en él), pero en muchas otras formas, el modelo en realidad está intentando traernos de regreso al pasado.

Me gusta hablar de esto porque la filosofía en torno al aprendizaje automático nos ayuda a brindarnos una perspectiva real como profesionales del aprendizaje automático, así como a usuarios y sujetos del aprendizaje automático. Los lectores habituales sabrán que suelo decir que “el aprendizaje automático somos nosotros”, es decir, producimos los datos, realizamos la capacitación y consumimos y aplicamos los resultados de los modelos. Los modelos intentan seguir nuestras instrucciones, utilizando materias primas que les hemos proporcionado, y nosotros tenemos un control inmenso, casi total, sobre cómo sucede eso y cuáles serán las consecuencias.

Otro aspecto de este concepto que encuentro útil es el recordatorio de que los modelos no están aislados en el mundo digital, sino que, de hecho, están fuertemente entrelazados con el mundo físico analógico. Después de todo, si su modelo no está afectando el mundo que nos rodea, eso genera la pregunta de por qué existe su modelo en primer lugar. Si realmente nos ponemos manos a la obra, el mundo digital sólo está separado del mundo físico en un sentido limitado y artificial, el de cómo nosotros, como usuarios/desarrolladores, interactuamos con él.

Este último punto es de lo que quiero hablar hoy: ¿cómo el mundo físico da forma e informa al aprendizaje automático y cómo afecta a su vez el aprendizaje automático y la inteligencia artificial al mundo físico? En mi último artículo, prometí que hablaría sobre cómo las limitaciones de los recursos en el mundo físico se cruzan con el aprendizaje automático y la inteligencia artificial, y hacia allá vamos.

Probablemente esto sea obvio si lo piensas por un momento. Hay un chiste que circula sobre cómo podemos derrotar a los señores robóticos sensibles simplemente apagándolos o desconectando las computadoras. Pero bromas aparte, esto tiene una pizca de verdad. Aquellos de nosotros que trabajamos en aprendizaje automático e inteligencia artificial, y en informática en general, dependemos completamente de los recursos naturales para la existencia de nuestra industria, como los metales extraídos, la electricidad y otros. Esto tiene algunos puntos en común con un artículo que escribí el año pasado sobre cómo se requiere trabajo humano para que exista el aprendizaje automáticopero hoy vamos a tomar una dirección diferente y hablaremos de dos áreas clave que deberíamos valorar más como vitales para nuestro trabajo: minería/manufactura y energía, principalmente en forma de electricidad.

Si lo buscas, hay una gran cantidad de investigaciones y periodismo sobre ambas áreas, no solo en relación directa con la IA, sino también con auges tecnológicos anteriores como la criptomoneda, que comparte mucho con la IA en términos de su uso de recursos. Voy a dar una discusión general de cada área, con citas para lecturas adicionales para que puedas explorar los detalles y llegar a la fuente de la beca. Sin embargo, es difícil encontrar investigaciones que tengan en cuenta el auge de la IA en los últimos 18 meses, por lo que espero que algunas de estas investigaciones estén subestimando el impacto de las nuevas tecnologías en el espacio de la IA generativa.

¿Qué implica fabricar un chip GPU? Sabemos que estos chips son fundamentales en el desarrollo de modelos modernos de aprendizaje automático, y Nvidia, el mayor productor de estos chips en la actualidad, ha aprovechado el auge de las criptomonedas y la moda de la IA hasta ocupar un lugar entre las empresas más valiosas que existen. El precio de sus acciones pasó de 130 dólares por acción a principios de 2021 a 877,35 dólares por acción en abril de 2024 mientras escribo esta frase, lo que les da una capitalización de mercado informada de más de 2 billones de dólares. En el tercer trimestre de 2023, vendieron más de 500.000 chips por más de 10.000 millones de dólares.. Las estimaciones cifran sus ventas totales de H100 en 2023 en 1,5 millones. y se espera fácilmente que en 2024 se supere esa cifra.

Los chips GPU implican una serie de diferentes Materias primas especializadas que son algo raras y difíciles de adquirir, como tungsteno, paladio, cobalto y tantalio. Otros elementos pueden ser más fáciles de adquirir pero conllevan importantes riesgos para la salud y la seguridad, como el mercurio y el plomo. La extracción de estos elementos y compuestos tiene importantes impactos ambientales, incluidas emisiones y daños ambientales a las áreas donde se lleva a cabo la minería. Incluso las mejores operaciones mineras cambian el ecosistema de manera grave. A esto se suma el riesgo de los llamados “Minerales de Conflicto”, o minerales que se extraen en situaciones de explotación humana, trabajo infantil o esclavitud. (Crédito a quien corresponde: Nvidia ha sido muy explícito en cuanto a evitar el uso de dichos minerales, llamando la atención en particular sobre la República Democrática del Congo.)

Además, una vez extraídas las materias primas, todos estos materiales deben procesarse con mucho cuidado para producir chips diminutos y muy potentes que ejecutan cálculos complejos. Los trabajadores tienen que asumir importantes riesgos para la salud al trabajar con metales pesados como plomo y mercurio, como sabemos por la historia industrial de los últimos 150 años. Los chips de Nvidia se fabrican principalmente en fábricas en Taiwán dirigidas por una empresa llamada Taiwan Semiconductor Manufacturing Company, o TSMC. Porque Nvidia en realidad no posee ni administra En las fábricas, Nvidia es capaz de eludir las críticas sobre las condiciones de fabricación o las emisiones, y es difícil conseguir datos. La potencia necesaria para realizar esta fabricación tampoco está en los libros de Nvidia. Como un aparte: TSMC ha alcanzado el máximo de su capacidad y está trabajando para aumentarla. Paralelamente, NVIDIA planea comenzar a trabajar con Intel en capacidad de fabricación el próximo año.

Una vez producido un chip, puede tener una vida útil significativa (de 3 a 5 años si se mantiene bien); sin embargo, Nvidia produce constantemente chips nuevos, más potentes y más eficientes (¡2 millones al año es mucho!) por lo que la vida útil de un chip puede verse limitada por la obsolescencia y el desgaste. Cuando un chip ya no sirve, entra en el proceso de lo que se llama “Residuos electrónicos”. En teoría, muchos de los metales raros de un chip deberían tener algún valor de reciclaje, pero como es de esperar, el reciclaje de chips es una tarea tecnológica muy especializada y desafiante, y sólo alrededor del 20% de todos los desechos electrónicos se reciclan, incluida una cantidad mucho menor. cosas complejas como teléfonos y otro hardware. El proceso de reciclaje también requiere que los trabajadores desmonte el equipo, entrando de nuevo en contacto con los metales pesados ​​y otros elementos que intervienen en la fabricación.

Si un chip no se recicla, por el contrario, se probablemente arrojados a un vertedero o incinerados, lixiviando esos metales pesados ​​al medio ambiente a través del agua, el aire o ambos.. Esto sucede en los países en desarrollo y, a menudo, afecta directamente a las zonas donde reside la gente.

Sin embargo, la mayor parte de las investigaciones sobre la huella de carbono del aprendizaje automático y su impacto ambiental general se han relacionado con el consumo de energía. Así que echemos un vistazo en esa dirección.

Una vez que tenemos el hardware necesario para hacer el trabajo, el elefante en la habitación de la IA es definitivamente el consumo de electricidad. Entrenar grandes modelos de lenguaje consume cantidades extraordinarias de electricidad, pero servir e implementar LLM y otros modelos avanzados de aprendizaje automático también es un sumidero de electricidad.

En el caso del entrenamiento, un artículo de investigación sugiere que el entrenamiento del GPT-3, con 175 mil millones de parámetros, se ejecuta alrededor 1.300 megavatios hora (MWh) o 1.300.000 KWh de electricidad. Compare esto con GPT-4, que usa 1.76 billón parámetros, y donde el consumo de energía estimado del entrenamiento estuvo entre 51.772.500 y 62.318.750 KWh de electricidad. A modo de contexto, un hogar estadounidense promedio utiliza poco más de 10.000 KWh al año. Desde el punto de vista conservador, entonces, entrenar una vez al GPT-4 podría alimentar a casi 5.000 hogares estadounidenses durante un año. (Esto sin considerar toda la energía consumida por los análisis o pruebas preliminares que casi con certeza fueron necesarios para preparar los datos y prepararse para entrenar).

Dado que el uso de energía entre el entrenamiento GPT-3 y GPT-4 aumentó aproximadamente 40 veces, debemos preocuparnos por el consumo eléctrico futuro involucrado en las próximas versiones de estos modelos, así como el consumo de los modelos de entrenamiento que generan video, imagen. o contenido de audio.

Más allá del proceso de entrenamiento, que solo necesita ocurrir una vez en la vida de un modelo, está el consumo de electricidad en rápido crecimiento de las tareas de inferencia, es decir, el costo de cada vez que le haces una pregunta a Chat-GPT o intentas generar una imagen divertida con un Herramienta de IA. Este La energía es absorbida por los centros de datos. dónde se ejecutan los modelos para que puedan ofrecer resultados en todo el mundo. La Agencia Internacional de Energía predijo que solo los centros de datos consumirían 1.000 teravatios en 2026aproximadamente el consumo de energía de Japón.

Los principales actores de la industria de la IA son claramente conscientes del hecho de que este tipo de El crecimiento del consumo de electricidad es insostenible.. Se estima que los centros de datos consumen entre el 0,5% y el 2% de todo el uso mundial de electricidad, y potencialmente podrían ser 25% del consumo de electricidad de EE. UU. para 2030.

La infraestructura eléctrica en Estados Unidos no está en buenas condiciones; estamos tratando de agregar más energía renovable a nuestra red, por supuesto, pero merecidamente no se nos conoce como un país que administra bien nuestra infraestructura pública. Los residentes de Texas en particular conocemos la fragilidad de nuestros sistemas eléctricos, pero en todo el mundo El cambio climático en EE. UU. en forma de aumento de las condiciones climáticas extremas provoca cortes de energía a un ritmo creciente.

Aún está por verse si las inversiones en infraestructura eléctrica tienen posibilidades de satisfacer la creciente demanda generada por las herramientas de inteligencia artificial, y dado que es necesaria la acción gubernamental para lograrlo, es razonable ser pesimista.

Mientras tanto, incluso si logramos producir electricidad a las tasas necesarias, hasta que las fuentes de electricidad renovables y libres de emisiones sean escalables, estamos contribuyendo significativamente a la producción de emisiones de carbono del mundo mediante el uso de estas herramientas de inteligencia artificial. Con una estimación aproximada de 0,86 libras de emisiones de carbono por KWh de energía, entrenando al GPT-4 para emitir más de 20.000 toneladas métricas de carbono a la atmósfera. (En contraste, el estadounidense promedio emite 13 toneladas métricas por año).

Como es de esperar, no estoy aquí argumentando que deberíamos dejar de hacer aprendizaje automático porque el trabajo consume recursos naturales. Creo que los trabajadores que hacen posible nuestras vidas merecen importantes precauciones de seguridad en el lugar de trabajo y una compensación acorde con el riesgo, y creo que las fuentes renovables de electricidad deberían ser una gran prioridad a medida que nos enfrentamos al cambio climático evitable causado por el hombre.

Pero hablo de todo esto porque saber cuánto depende nuestro trabajo del mundo físico, de los recursos naturales y de la tierra debería hacernos más humildes y hacernos apreciar lo que tenemos. Cuando realiza capacitación o inferencia, o utiliza Chat-GPT o Dall-E, usted no es el punto final del proceso. Sus acciones tienen consecuencias posteriores y es importante reconocerlo y tomar decisiones informadas en consecuencia. Es posible que esté alquilando segundos u horas de uso de la GPU de otra persona, pero eso aún consume energía y provoca un desgaste en esa GPU que eventualmente deberá desecharse. Parte de ser ciudadanos éticos del mundo es pensar en sus elecciones y considerar su efecto en otras personas.

Además, si está interesado en saber más sobre la huella de carbono de sus propios esfuerzos de modelización, existe una herramienta para ello: https://www.green-algorithms.org/