Una mirada más cercana a la huella de carbono de los modelos lingüísticos y las soluciones sostenibles.
La asociación francesa Datos para siempre lanzó un papel blanco explorar los problemas sociales y ambientales que rodean la IA generativa. Estaba particularmente interesado en el impacto ambiental de los modelos lingüísticos, que está menos tratado que los aspectos éticos. Aquí están mis aprendizajes clave:
- Contexto: líderes mundiales comprometidos con reducir nuestras emisiones para 2050 muy por debajo de 2°C. Eso implica reducir nuestras emisiones del 43% entre 2020 y 2030 (para limitar el calentamiento a 1,5°C, ver la sección C.1.1 en el informe del IPCC). Sin embargo, en el espacio digital, las emisiones no se reducen sino que aumentan. 2 a 7% anual.
- El entrenamiento del GPT-3 emitió la friolera de 2200 toneladas de CO2 equivalente — comparable a 1.600 vuelos de ida y vuelta de París a Nueva York.
- Con 13 millones de usuarios, el uso mensual de ChatGPT equivale a 10.000 toneladas de CO2. Contribuiría con un 0,1% a la huella de carbono anual de las personas en Francia y el Reino Unido si todos lo usaran hoy y con un 0,5% de nuestra huella objetivo en 2050.
- El impacto de ChatGPT+, basado en GPT-4, podría ser de 10 a 100 veces mayorsumando hasta el 10% de nuestra huella de carbono anual actual… o el 50% de nuestra huella objetivo.
- Hay muchas formas de reducir el impacto del uso de dichos modelos.: utilizarlos de forma razonable y optar por servicios en la nube con rendimiento medioambiental demostrado.
Para evaluar el impacto ambiental de cualquier cosa, podemos estimar su huella de carbono: mide las emisiones totales de gases de efecto invernadero causadas directa e indirectamente por un individuo, organización o producto, expresadas en toneladas equivalentes de dióxido de carbono (CO2e).
Para ponerlo en perspectiva, la huella de carbono anual promedio es de aproximadamente 8 a 13 toneladas por persona en el Reino Unido o FraynorteCE, 21 toneladas en EE. UU. y 6 toneladas en todo el mundo.. Consideraré 10 toneladas como nuestra huella actual.
Algunos ejemplos (con fuentes):
Para mantener el aumento de la temperatura global por debajo de los 2 grados, nosotros debería apuntar Reducir nuestra huella de carbono global a 2 toneladas por persona para 2050.
Queda mucho trabajo por hacer para reducir nuestras emisiones en un 80 o 90%, y la creciente demanda de servicios digitales Superar las mejoras de eficiencia no ayuda. ¿Cómo encaja la IA generativa en esta ecuación y qué podemos hacer para alinear nuestros avances digitales con nuestros objetivos medioambientales?
En el capacitación En esta fase, alimentamos a los modelos lingüísticos con algunos datos seleccionados para que puedan aprender de ellos y ser capaces de responder a nuestras solicitudes.
El estudio analizó dos grandes modelos de lenguaje:
1. Bloom de código abierto
2. GPT-3 patentado de OpenAI
Resultados clave:
– Huella de Carbono de Bloom: Inicialmente estimada en 30 toneladas, fue revisada a 120 toneladas después de un análisis exhaustivo.
– Huella de carbono de GPT-3: Extrapolada a 2200 toneladas, equivalente a 1600 vuelos de regreso de París a Nueva York.
Un punto de vista común es que está bien que estos modelos tengan altos costos de capacitación porque muchos usuarios los utilizan ampliamente.
Inferencia En Machine Learning es cuando utilizamos un modelo entrenado para hacer predicciones sobre datos en vivo. Ahora estamos analizando el impacto de ejecutar ChatGPT.
Partiendo del supuesto de que Chatgpt tiene 13 millones de usuarios activos que realizan 15 solicitudes en promedio, la huella de carbono mensual es de 10.000 toneladas de CO2.
Y el aprendizaje clave para mí es que esto es mucho mayor que el impacto de la capacitación.
Para un usuario, la adición a la huella de carbono anual es de 12 meses * 10000 toneladas / 13 millones de usuarios = 9 kilos de CO2eq por año por usuario, equivalente al 0,1% de la huella de carbono anual promedio actual, o al 0,5% de nuestra huella objetivo. .
Pero ¿qué pasa si esa persona usa ChatGPT plus con GPT-4? La huella de GPT-4 es de 10 a 100 veces mayor que la de GPT-3. Esta huella equivale a entre 100 kilos de CO2e y 1 tonelada adicional, hasta el 10% de la huella de carbono de un ciudadano francés, y el doble si se hace todo lo posible para reducirla. Si consideramos nuestra huella objetivo en 2050, ¡eso representa el 50%!
Eso apesta.
¿Y qué pasa si, un día, cada interacción que tengas con cualquier aplicación en tu vida realice solicitudes a modelos de lenguaje? Pensamiento aterrador.
La buena noticia es. El uso extensivo de la API gpt4 es tan costoso que no podemos permitir que nuestros usuarios realicen 15 solicitudes por día a menos que estén dispuestos a pagar una suscripción mensual de más de 100 $, que es mi mercado objetivo para el producto que estoy creando (un asistente personal para meditación) no está dispuesto a pagar. Y no son sólo las pequeñas empresas las que no pueden permitírselo: Google y Microsoft tampoco pueden permitirse el lujo de sustituir sus motores de búsqueda por un modelo del tamaño de GPT4, lo que incrementaría en un 100 el coste de sus consultas.
Las recomendaciones son las siguientes:
- Mantenerse sobrio: Puede resultar tentador reemplazar un proyecto de TI completo con ChatGPT-4, pero en cambio, podemos cuestionar la utilidad del proyecto, la necesidad real de utilizar un modelo de lenguaje y limitar su uso a casos específicos que realmente lo requieran. Utilice un modelo mucho más pequeño que GPT-4 siempre que pueda. Piénselo dos veces antes de usarlo (en) ChatGPT+.
- Optimice la capacitación y el uso: En este punto, las técnicas son numerosas, están en constante evolución y los científicos de datos deberían utilizarlas ya… para reducir costes. Consisten principalmente en reducir el uso de infraestructuras, lo que a su vez reduce el consumo de electricidad y, por tanto, las emisiones de carbono. En esencia, sólo entrenamos un modelo si es necesario; si entrenamos, lo planificamos para evitar desperdiciar recursos. Y utilizamos el modelo más pequeño que satisfaga las necesidades.
- Seleccione el mejor país para alojar su servidor en función de la huella de carbono de su energía. Y aquí viene el orgullo francés: la huella de carbono de nuestra energía principalmente nuclear es 7 veces menor que la de Estados Unidos. Pero supongamos que todos empezamos a alojar aquí nuestros modelos lingüísticos: en ese caso, probablemente importaremos la energía del carbón de nuestros queridos vecinos 🔥.
- Seleccione el mejor servicio en la nube en función de su desempeño ambiental (estos datos a veces son públicos; de lo contrario, existen herramientas para medirlos/estimarlos como https://mlco2.github.io/impact/): favorecen los servicios en la nube que utilizan sus servidores durante más tiempo (sin embargo, los hiperescaladores tienden a conservar su hardware durante no más de 4 años) y los centros de datos con un alto nivel de uso compartido.
Ya sea usted un individuo o una corporación, hay recursos y expertos disponibles para guiarlo por un camino sostenible.
A nivel individual:
– Si quieres evaluar su huella de carbono, hay muchas herramientas en línea. A nivel personal, medir mi huella de carbono me abrió los ojos y me impulsó a explorar formas de generar un impacto positivo. si vive en el Reino Unido, marque https://footprint.wwf.org.uk/
– A obtenga un curso rápido de 3 horas sobre la ciencia fundamental detrás del cambio climático: https://climatefresk.org/
– A investiga las acciones que puedes realizar y estima cuánto reducirías tu huellaotro taller de 3h: https://en.2tonnes.org/
A nivel corporativo:
Muchas empresas están explorando estos temas y esto es lo que pueden hacer:
- educar a sus empleados (con los talleres sugeridos anteriormente),
- realizar auditorías y medir su huella de carbono,
- establecer estrategias para mejorar sus criterios ESG (Ambiental, Social y Gobierno Corporativo) puntuaciones.
Me enteré de este brillante estudio gracias a algunos excelente gente Hace poco me conocí, de Toovalu y Piedra ondulada. ¡Mira lo que hacen!
Por favor comente si encontró algún error en mis estimaciones o desea agregar sus pensamientos y compartir si lo encontró interesante.
🙌 Gracias Por tomarse el tiempo de leer este artículo, ¡espero que haya sido revelador! Muchas gracias a Thibaut, Léo, Benoit y Diane por sus valiosos comentarios y adiciones a este artículo 🙏.
Y si quieres mantenerte actualizado sobre IA generativa y ML responsable, sígueme en LinkedIn 👋.