A medida que los modelos de lenguaje se escalan en el recuento de parámetros y la complejidad del razonamiento, las tuberías de entrenamiento centralizadas tradicionales enfrentan restricciones crecientes. El entrenamiento del modelo de alto rendimiento a menudo depende de grupos de cómputo bien acoplados con interconexiones rápidas, que son costosas, limitadas en disponibilidad y propensas a los cuellos de botella de escalabilidad. Además, las arquitecturas centralizadas restringen la posibilidad de una colaboración y experimentación generalizada, particularmente en entornos de investigación de código abierto. Un cambio hacia métodos descentralizados podría mitigar estos desafíos, permitiendo una participación más amplia y regímenes de capacitación más tolerantes a fallas.
PrimeIntellect Open Sources Intellect-2, un modelo de razonamiento de 32B
PrimeIntellect ha lanzado Intellect-2, un modelo de razonamiento de parámetros de 32 mil millones después de entrenamiento utilizando la optimización de políticas de refuerzo generalizada (GRPO) dentro de un marco de aprendizaje de refuerzo asincrónico totalmente descentralizado. Con licencia bajo Apache 2.0, la versión incluye no solo los pesos del modelo sino también la base de código completa y los registros de capacitación. Intellect-2 supera el rendimiento del modelo QWQ-32B previamente líder en puntos de referencia de razonamiento clave. La naturaleza de código abierto del lanzamiento está destinado a apoyar la reproducibilidad, la extensibilidad y la investigación en curso.
Arquitectura e innovaciones técnicas
Intellect-2 se desarrolla dentro de una nueva pila de capacitación diseñada especialmente para entornos distribuidos. Tres componentes principales apuntalan este sistema:
- Prime-RL: Un motor RL asincrónico que separa las etapas de generación de despliegue, entrenamiento y distribución de parámetros. Este desacoplamiento elimina la necesidad de actualizaciones sincrónicas y permite que el sistema funcione sobre condiciones de red variables y poco confiables.
- Fragmento: Un protocolo HTTP de topología de árbol que respalda la rápida propagación de los pesos modelo entre los trabajadores distribuidos, mejorando la eficiencia de la comunicación sin requerir infraestructura especializada.
- Toploc: Un mecanismo de verificación basado en el hashing sensible a la localidad, que detecta modificaciones en salidas de inferencia. Esto es crítico para garantizar la integridad en entornos de hardware distribuidos y potencialmente no deterministas.
Esta arquitectura permite que el intelecto-2 sea capacitado a través de sistemas heterogéneos con una sobrecarga de coordinación mínima al tiempo que preserva la calidad del modelo y la consistencia de inferencia.
Datos de capacitación, metodología y rendimiento
El proceso posterior a la capacitación para el intelecto-2 utilizó aproximadamente 285,000 tareas verificables con un enfoque en el razonamiento, la codificación y la resolución de problemas matemáticos. Las fuentes incluyeron conjuntos de datos como Numinamath-1.5, DeepScaler y Synthetic-1. El modelo se sometió a un aprendizaje de refuerzo de refuerzo utilizando GRPO con actualizaciones asincrónicas.
El sistema aplicó una estrategia de capacitación en dos fases: se transmitieron nuevos pesos de políticas, mientras que las tuberías existentes de despliegue y capacitación permanecieron activas, minimizando el tiempo de inactividad en toda la red. La estabilidad se mejoró mediante el recorte de relaciones de probabilidad de token a dos lados, lo que reduce la varianza asociada con grandes actualizaciones.
Se utilizó una combinación de heurística y filtros automatizados para seleccionar demostraciones de alta calidad, y se empleó un modelo de recompensa personalizado para completar el rango. El circuito de aprendizaje de refuerzo favoreció constantemente las terminaciones con una mejor estructura de razonamiento, contribuyendo a mejoras de rendimiento medibles en los modelos de referencia.
En términos de evaluación, el intelecto-2 supera a QWQ-32B en múltiples puntos de referencia centrados en el razonamiento, lo que indica una mejor generalización y precisión de razonamiento. Las ganancias son particularmente evidentes en las tareas matemáticas y de codificación, donde el uso del ajuste fino de GRPO asíncrono y el modelado de recompensas curadas produjeron salidas más estructuradas y verificables. Estos resultados sugieren que las tuberías descentralizadas posteriores al entrenamiento pueden lograr un rendimiento comparable o superior a las tuberías RLHF tradicionales al tiempo que ofrecen una mejor flexibilidad y escalabilidad.
Conclusión
Intellect-2 representa un paso metodológicamente sólido para descentralizar el entrenamiento de modelos a gran escala. Al demostrar que un modelo de parámetros 32B puede ser entrenado con alto rendimiento utilizando el aprendizaje de refuerzo asincrónico distribuido, el PrimeIntellect contribuye con una alternativa práctica y extensible a las tuberías centralizadas de RLHF. Los componentes modulares de la arquitectura (PRIME-RL, Shardcast y TopLoc) agregan desafíos clave en escalabilidad, eficiencia de comunicación y verificación de inferencia. A medida que el interés de la investigación crece en el desarrollo abierto de IA descentralizado, Intellect-2 sirve como un punto de referencia reproducible y un marco para una mayor experimentación en la capacitación de modelos distribuidos.
Verificar Papel, Modelo en la cara abrazada y Lanzamiento oficial. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 90k+ ml de subreddit.
Aquí hay una breve descripción de lo que estamos construyendo en MarkTechPost:
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.