Google DeepMind presenta DiLoCo desacoplado: una arquitectura de capacitación asincrónica que logra un rendimiento del 88 % con altas tasas de fallas de hardware
El entrenamiento de modelos de IA de frontera es, en esencia, un problema de coordinación. Miles de chips deben comunicarse entre sí continuamente, sincronizando cada actualización de gradiente en la…