¿Cómo se pueden mantener los datos sintéticos actualizados y diversos para los modelos modernos de IA sin convertir un único proceso de orquestación en un cuello de botella? Los investigadores de Meta AI presentan Matrix, un marco descentralizado donde tanto el control como el flujo de datos se serializan en mensajes que se mueven a través de colas distribuidas. A medida que la formación de LLM se basa cada vez más en conversaciones sintéticas, rastreos de herramientas y cadenas de razonamiento, la mayoría de los sistemas existentes todavía dependen de un controlador central o de configuraciones específicas de dominio, lo que desperdicia la capacidad de la GPU, agrega una sobrecarga de coordinación y limita la diversidad de datos. En cambio, Matrix utiliza la programación de agentes de igual a igual en un clúster de Ray y ofrece un rendimiento de token de 2 a 15 veces mayor en cargas de trabajo reales, manteniendo al mismo tiempo una calidad comparable.
De controladores centralizados a agentes peer to peer
Los marcos de agentes tradicionales mantienen el estado del flujo de trabajo y la lógica de control dentro de un orquestador central. Cada llamada de agente, llamada de herramienta y reintento pasa por ese controlador. Es fácil razonar sobre este modelo, pero no se escala bien cuando se necesitan decenas de miles de diálogos sintéticos o trayectorias de herramientas concurrentes.
Matrix adopta un enfoque diferente. Serializa tanto el flujo de control como el flujo de datos en un objeto de mensaje llamado orquestador. El orquestador mantiene el estado de la tarea, incluido el historial de conversaciones, los resultados intermedios y la lógica de enrutamiento. Los agentes sin estado, implementados como actores Ray, extraen un orquestador de una cola distribuida, aplican su lógica específica de función, actualizan el estado y luego lo envían directamente al siguiente agente seleccionado por el orquestador. No hay ningún planificador central en el bucle interno. Cada tarea avanza de forma independiente a nivel de fila, en lugar de esperar barreras a nivel de lote como en Spark o Ray Data.
Este diseño reduce el tiempo de inactividad cuando diferentes trayectorias tienen longitudes muy diferentes. También hace que el manejo de fallas sea local para una tarea. Si un orquestador falla, no detiene ningún lote.
Pila de sistemas y servicios
Matrix se ejecuta en un clúster Ray que normalmente se inicia en SLURM. Ray proporciona colas y actores distribuidos. Ray Serve expone los puntos finales de LLM detrás de vLLM y SGLang, y también puede enrutar a API externas como Azure OpenAI o Gemini a través de servidores proxy.
Las llamadas a herramientas y otros servicios complejos se ejecutan dentro de los contenedores de Apptainer. Esto aísla el tiempo de ejecución del agente de los entornos limitados de ejecución de código, las herramientas HTTP o los evaluadores personalizados. Hydra gestiona la configuración de roles de agentes, tipos de orquestadores, asignaciones de recursos y esquemas de E u O. Grafana se integra con las métricas de Ray para realizar un seguimiento de la longitud de la cola, las tareas pendientes, el rendimiento del token y la utilización de la GPU en tiempo real.
Matrix también introduce la descarga de mensajes. Cuando el historial de conversaciones supera un umbral de tamaño, se almacenan grandes cargas útiles en el almacén de objetos de Ray y solo se mantienen los identificadores de objetos en el orquestador. Esto reduce el ancho de banda del clúster y al mismo tiempo permite a los agentes reconstruir mensajes cuando sea necesario.
Estudio de caso 1: Razonador colaborativo
Collaborative Reasoner, también conocido como Coral, evalúa el diálogo entre múltiples agentes en el que dos agentes de LLM discuten una pregunta, no están de acuerdo cuando es necesario y llegan a una respuesta final. En la implementación original, un controlador central gestiona miles de trayectorias de autocolaboración. Matrix vuelve a implementar el mismo protocolo utilizando orquestadores punto a punto y agentes sin estado.
En 31 nodos A100, utilizando LLaMA 3.1 8B Instruct, Matrix configura la simultaneidad como 248 GPU con 50 consultas por GPU, es decir, 12 400 conversaciones simultáneas. La línea de base de Coral se ejecuta en su simultaneidad óptima de 5000. Con hardware idéntico, Matrix genera alrededor de 2 mil millones de tokens en aproximadamente 4 horas, mientras que Coral produce alrededor de 620 millones de tokens en aproximadamente 9 horas. Esto supone un aumento de 6,8 veces en el rendimiento del token con una corrección de acuerdo casi idéntica, de alrededor de 0,47.
Estudio de caso 2: Curación de datos web con razonamiento natural
NaturalReasoning construye un conjunto de datos de razonamiento a partir de grandes corpus web. Matrix modela el oleoducto con tres agentes. Un agente de filtro utiliza un modelo clasificador más pequeño para seleccionar pasajes en inglés que probablemente contengan razonamiento. Un agente de puntuación utiliza un modelo sintonizado de instrucción más amplio para asignar puntuaciones de calidad. Un agente de preguntas extrae preguntas, respuestas y cadenas de razonamiento.
En 25 millones de documentos web DCLM, sólo alrededor del 5,45 por ciento sobrevive a todos los filtros, lo que produce alrededor de 1,19 millones de pares de preguntas y respuestas con pasos de razonamiento asociados. Luego, Matrix compara diferentes estrategias de paralelismo en un subconjunto de 500 mil documentos. La mejor configuración combina el paralelismo de datos y el paralelismo de tareas, con 20 particiones de datos y 700 tareas simultáneas por partición. Esto logra un rendimiento aproximadamente 1,61 veces mayor que una configuración que solo escala la simultaneidad de tareas.
Durante la ejecución completa de 25 millones de documentos, Matrix alcanza 5853 tokens por segundo, en comparación con 2778 tokens por segundo para una línea base por lotes de Ray Data con 14 000 tareas simultáneas. Esto corresponde a una ganancia de rendimiento de 2,1 veces que proviene exclusivamente de la programación a nivel de fila de igual a igual, no de diferentes modelos.
Estudio de caso 3: Trayectorias de uso de herramientas Tau2-Bench
Tau2-Bench evalúa agentes conversacionales que deben utilizar herramientas y una base de datos en un entorno de atención al cliente. Matrix representa este entorno con cuatro agentes, un simulador de usuario, un asistente, un ejecutor de herramientas y una calculadora de recompensas, además de un sumidero que recopila métricas. Las API de herramientas y la lógica de recompensa se reutilizan de la implementación de referencia de Tau2 y se empaquetan en contenedores.
En un clúster con 13 nodos H100 y docenas de réplicas LLM, Matrix genera 22.800 trayectorias en aproximadamente 1,25 horas. Eso corresponde a aproximadamente 41.000 tokens por segundo. La implementación básica del agente Tau2 en un solo nodo, configurado con 500 subprocesos simultáneos, alcanza aproximadamente 2654 tokens por segundo y 1519 trayectorias. La recompensa promedio se mantiene casi sin cambios en ambos sistemas, lo que confirma que la aceleración no proviene de tomar atajos en el entorno. En general, Matrix ofrece un rendimiento de tokens aproximadamente 15,4 veces mayor en este punto de referencia.
Conclusiones clave
Matrix reemplaza a los orquestadores centralizados con una arquitectura de agente basada en mensajes de igual a igual que trata cada tarea como una máquina de estado independiente que se mueve a través de agentes sin estado. El marco se basa íntegramente en una pila de código abierto, SLURM, Ray, vLLM, SGLang y Apptainer, y se escala a decenas de miles de flujos de trabajo simultáneos de múltiples agentes para la generación de datos sintéticos, la evaluación comparativa y el procesamiento de datos. En tres estudios de caso, Collaborative Reasoner, NaturalReasoning y Tau2-Bench, Matrix ofrece un rendimiento de token entre 2 y 15,4 veces mayor que las líneas de base especializadas con hardware idéntico, al tiempo que mantiene una calidad de producción y recompensas comparables. Matrix descarga grandes historiales de conversaciones al almacén de objetos de Ray y mantiene solo referencias ligeras en los mensajes, lo que reduce el ancho de banda máximo de la red y admite el servicio LLM de alto rendimiento con backends de modelos basados en gRPC.
Notas editoriales
Matrix es una contribución pragmática de sistemas que lleva la generación de datos sintéticos de múltiples agentes desde scripts personalizados hasta un tiempo de ejecución operativo. Al codificar el flujo de control y el flujo de datos en orquestadores y luego impulsar la ejecución en agentes P2P sin estado en Ray, separa claramente la programación, la inferencia LLM y las herramientas. Los estudios de caso sobre Collaborative Reasoner, NaturalReasoning y Tau2-Bench muestran que el diseño cuidadoso de los sistemas, no las nuevas arquitecturas de modelos, es ahora la principal palanca para escalar los canales de datos sintéticos.
Consulte el documento y el repositorio. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.