Entrenar y servir modelos de frontera es ahora un problema de red tanto como un problema de computación. Operaciones colectivas como reducción total y sincronización total de miles de aceleradores durante el entrenamiento, y la transferencia más lenta marca el ritmo de todo el trabajo. Incluso pequeñas cantidades de fricción en la red afectan directamente a una capacidad informática significativa.
Esta semana, Meta presentó MetaRoCE. Se describe como un protocolo de transporte RDMA limpio diseñado específicamente para cargas de trabajo de IA en Ethernet básico. El diseño rompe con el estándar RoCE en su supuesto central. Standard RoCE espera que la red entregue cada cuadro en orden, aprovechando PFC y desalentando la dispersión de paquetes que proporciona rendimiento en redes multiplano y de gran escala. En cambio, MetaRoCE trata la estructura como con pérdida e introduce el pedido, la selección de ruta y la recuperación en la NIC. Meta está lanzando la especificación, una implementación de software de referencia y un conjunto de pruebas de cumplimiento a través de Open Compute Project (OCP).
¿Es desplegable?
Todavía no, los artefactos posiblemente se envíen en octubre de 2026. Meta puede lanzar la especificación MetaRoCE, una implementación de referencia de software optimizada para DPDK y su marco de cumplimiento de producción en la Cumbre Global OCP de 2026. El soporte de hardware es temprano: Meta lo demostró en las NIC programables AMD Pensando, con implementaciones adicionales en curso por parte de otros proveedores. Por ahora se trata de una decisión de arquitectura de tejidos, no de adquisición.
El problema: la estructura ve paquetes, la NIC ve la intención
Meta ha escalado clústeres a cientos de miles de GPU en múltiples centros de datos y regiones. Con ese tamaño, la red se encuentra en el camino crítico de cada paso de la capacitación. Operaciones colectivas como reducción total y sincronización total de miles de aceleradores, y la transferencia más lenta marca el ritmo de todo el trabajo.
El RoCE estándar es la restricción. Espera que la red entregue cada cuadro en orden, se apoya en PFC y desalienta la dispersión de paquetes que proporciona rendimiento en redes multiplano y de gran escala. MetaRoCE invierte eso: la inteligencia se mueve al punto final y la red se descompone en muchas rutas lógicas detalladas, cada una con su propia telemetría en tiempo real: RTT por ruta, estado de ECN y utilización.
Esto se basa directamente en el trabajo a escala RoCE 2024 de Meta y su evolución más amplia de infraestructura.
Seis decisiones de diseño que importan
La entrega fuera de orden es la opción predeterminada: los paquetes se distribuyen a través de muchas rutas y llegan desordenados por diseño. Cada paquete lleva su propio destino, por lo que los datos se escriben directamente en su ubicación final de memoria cuando llegan, sin búfer de reordenamiento ni bloqueo de cabecera de línea. Los envíos llevan la coincidencia a un búfer de recepción publicado, por lo que un envío llega correctamente incluso cuando los mensajes anteriores no han llegado. Las rutas múltiples son nativas: cada ruta lleva un puerto de origen UDP distinto como su entropía ECMP, que la NIC puede cambiar en cualquier momento para desviar el tráfico de una ruta incorrecta. Debido a que cada ruta mantiene su propia ventana y estimación de ida y vuelta, el transporte puede distinguir la congestión de la falla y reequilibrarse explícitamente. La tolerancia a la pérdida reemplaza la ausencia de pérdidas: MetaRoCE trata la estructura como si tuviera pérdidas: sin PFC, sin fotogramas de pausa. Una brecha en el vector de bits de reconocimiento selectivo de 256 bits de una ruta es evidencia de pérdida en lugar de reordenación, por lo que desencadena la retransmisión de exactamente el paquete faltante, en la ruta que lo perdió. El control de la congestión se ejecuta desde ambos extremos: AIMD basado en ECN impulsado por el remitente se combina con sugerencias de tasa de participación justa impulsadas por el receptor. En cada acuse de recibo, el receptor devuelve la parte del ancho de banda entrante que asignó a ese remitente, por lo que los remitentes se acercan directamente a la velocidad correcta en lugar de buscarla. Incast se resuelve en uno o dos viajes de ida y vuelta. Independencia de topología: MetaRoCE solicita a la estructura dos cosas que cada conmutador ya tiene: marcado ECN y ECMP. No requiere recorte de paquetes, telemetría dentro de la red, control de flujo basado en crédito ni pulverización en el lado del conmutador, lo que significa que también se ejecuta en nubes de proveedores cuya configuración no controla. El estado de la conexión deja de explotar: la RDMA tradicional obtiene más ordenamiento o ancho de banda al abrir más pares de colas (docenas por par de nodos), cada uno con una ventana de congestión ciega al resto. MetaRoCE separa los dos: una conexión transporta muchos flujos ordenados independientes arriba y muchas rutas abajo, bajo un controlador de congestión.
los numeros
Meta implementó MetaRoCE en las NIC programables AMD Pensando. En un clúster de GPU AMD de 64 nodos que ejecuta colectivos RCCL, se comparó directamente con RoCEv2 en todos los niveles y en todos los niveles, lo que generó un mayor rendimiento y menores tiempos de finalización del flujo.
El resultado de la resiliencia es la declaración central: MetaRoCE mantiene ~86% de rendimiento con una pérdida de paquetes del 1% y continúa entregando ancho de banda útil incluso con tasas de pérdida del 10%, convergiendo elegantemente en lugar de colapsar. La validación multiplano en topologías de 4 y 8 planos con hasta 4000 conexiones simultáneas confirmó que el rendimiento aumenta linealmente con el recuento de planos, y las fallas de planos simuladas mostraron que el tráfico se redistribuye sin participación de la aplicación ni intervención del operador.
Abierto por diseño
MetaRoCE extiende la filosofía de múltiples proveedores que la iniciativa de red unificada escalable Ethernet (ESUN) de OCP estableció para la estructura hacia la capa de transporte. Se envían tres artefactos: la especificación completa a través de OCP, una suite de cumplimiento que permite a los proveedores demostrar que sus implementaciones coinciden, y libsoftmetaroce como modelo de comportamiento autorizado para el desarrollo de silicio. Meta lo ha demostrado en hardware AMD Pensando, con implementaciones adicionales en marcha por parte de otros proveedores.