nanoGPT - 7 minutos

Fri. Apr 17th, 2026

¡Reproduzcamos NanoGPT con JAX! (Parte 1) | por Louis Wang | Jul, 2024

August 4, 2024 Equipo de 7 minutos

Inspirado en el reciente video de YouTube de Andrej Kapathy sobre Reproduzcamos GPT-2 (124M)Me gustaría reconstruirlo con la mayoría de las optimizaciones de entrenamiento en Jax. Jax está diseñado para…

Inteligencia artificial

Conozca GigaGPT: la implementación de Cerebras del nanoGPT de Andrei Karpathy que entrena modelos de IA del tamaño de GPT-3 en solo 565 líneas de código

December 13, 2023 Equipo de 7 minutos

El entrenamiento de modelos de transformadores grandes plantea desafíos importantes, especialmente cuando se busca modelos con miles de millones o incluso billones de parámetros. El principal obstáculo radica en la…