El avance de la inteligencia artificial ha aumentado en una era en la que los volúmenes de datos y los requisitos computacionales están creciendo a un ritmo impresionante. Las cargas de trabajo de capacitación e inferencia de IA exigen no solo una potencia de calificación significativa, sino también una solución de almacenamiento que puede administrar el acceso a datos concurrentes a gran escala. Los sistemas de archivos tradicionales a menudo se quedan cortos cuando se enfrentan al acceso a datos de alto rendimiento, lo que puede conducir a cuellos de botella de rendimiento que ralentizan los ciclos de entrenamiento y aumentan la latencia durante la inferencia. En entornos distribuidos, donde miles de nodos de cómputo pueden necesitar acceder a los datos simultáneamente, se vuelve crucial tener un sistema de almacenamiento que ofrezca acceso de baja latencia y escalabilidad confiable. Esto es especialmente importante para las tuberías modernas de IA que manejan vastas conjuntos de datos y operaciones de datos en tiempo real.
Deepseek AI ha introducido el Sistema de archivos Fire-Flyer (3FS), un sistema de archivos distribuido diseñado específicamente para satisfacer las demandas de las cargas de trabajo de capacitación e inferencia de IA. Diseñado con las modernas SSDS y las redes RDMA en mente, 3FS ofrece una capa de almacenamiento compartida que es adecuada para el desarrollo de aplicaciones distribuidas. La arquitectura del sistema de archivos se aleja de los diseños convencionales al combinar el rendimiento de miles de SSD con la capacidad de red proporcionada por numerosos nodos de almacenamiento. Este enfoque desagregado permite que las aplicaciones accedan al almacenamiento sin estar restringidas por las consideraciones de localidad de datos tradicionales, lo que permite un manejo de datos más flexible y eficiente.
Detalles y beneficios técnicos
En el corazón de 3FS se encuentra una integración reflexiva de varias características innovadoras. Un aspecto notable es su arquitectura desagregada. Al unir las capacidades de miles de SSD con el ancho de banda de cientos de nodos de almacenamiento, 3F facilita el acceso a datos a gran escala al tiempo que evita muchas limitaciones vistas en sistemas de archivos más tradicionales dependientes de la localidad.
Otra característica clave es el uso de la replicación de la cadena con consultas distribuidas (CRAQ) para mantener una fuerte consistencia en todo el sistema. Si bien muchos sistemas de archivos distribuidos dependen de la consistencia eventual, lo que puede complicar la lógica de la aplicación, CRAQ asegura que los datos sigan siendo consistentes incluso bajo una alta concurrencia o en caso de fallas de nodos. Esta elección de diseño simplifica el proceso de desarrollo y ayuda a mantener la confiabilidad del sistema.
Además, 3FS incorpora servicios de metadatos apátridos que son compatibles con una tienda de valor clave transaccional, como FoundationDB. Al desacoplar la gestión de metadatos desde la capa de almacenamiento, el sistema no solo se vuelve más escalable, sino que también reduce los posibles cuellos de botella relacionados con las operaciones de metadatos. Esta separación de las preocupaciones significa que a medida que crece el volumen de datos, el sistema puede administrar metadatos de manera más eficiente sin afectar el rendimiento general.
Para cargas de trabajo de inferencia, 3FS ofrece un mecanismo de almacenamiento de almacenamiento innovador conocido como kvcache. El almacenamiento en caché tradicional basado en DRAM puede ser costoso y limitado en capacidad, pero Kvcache proporciona una alternativa rentable que ofrece un alto rendimiento y una mayor capacidad de caché. Esta característica es particularmente valiosa en aplicaciones de IA donde el acceso repetido a datos previamente calculados, como vectores clave y valor en los modelos de lenguaje, es esencial para mantener el rendimiento.
Puntos de referencia de rendimiento e ideas
El rendimiento de 3FS se ha evaluado a través de varias pruebas de evaluación comparativa integral. En una prueba realizada en un clúster de 180 nodos, el sistema logró un rendimiento de lectura de aproximadamente 6.6 TIB/s, incluso al manejar el tráfico de fondo de las operaciones de capacitación. Este punto de referencia ilustra la capacidad del sistema para administrar grandes volúmenes de datos en un entorno exigente y del mundo real.
Otro punto de referencia se centró en la clasificación del rendimiento, utilizando la prueba de Graysort para evaluar qué tan bien 3FS maneja el procesamiento de datos a gran escala. En un clúster de 25 nodos de almacenamiento y 50 nodos de cálculo, el sistema ordenó 110.5 TIB de datos distribuidos en 8,192 particiones en poco más de 30 minutos, lo que resultó en un rendimiento promedio de 3.66 TIB/min. Estas cifras son un fuerte indicador de la capacidad de 3FS para manejar tareas de datos intensivas de manera eficiente.
La función KVCACHE también demostró mejoras de rendimiento notables. Durante las pruebas de inferencia, KVCache alcanzó un máximo de rendimiento de lectura de 40 GIB/s. Este nivel de rendimiento es significativo para los sistemas de IA donde la reducción de la latencia es crítico. Además, el sistema gestionó la memoria de caché dinámicamente, manteniendo un rendimiento robusto incluso cuando manejó las complejidades de la recolección de basura para los datos de caché.
Conclusión
La introducción de Deepseek AI del sistema de archivos de Fire-Flyer (3FS) representa una respuesta reflexiva a los desafíos inherentes a los flujos de trabajo de IA modernos. Al centrarse en la escalabilidad, la consistencia y el acceso a los datos eficientes, 3FS proporciona una plataforma robusta para cargas de trabajo de capacitación e inferencia. Su arquitectura desagregada permite un uso flexible de miles de SSD y cientos de nodos de almacenamiento, mientras que el uso de Craq garantiza que los datos sigan siendo consistentemente confiables, una característica que simplifica el diseño del sistema y mejora la estabilidad general.
La separación de los servicios de metadatos de la capa de almacenamiento, junto con el innovador sistema KVCache para tareas de inferencia, posiciona 3FS como una solución de pensamiento a vienenice para desafíos de almacenamiento de IA distribuidos. Los puntos de referencia de rendimiento confirman aún más que el sistema es capaz de administrar grandes volúmenes de datos con un rendimiento y eficiencia impresionantes. En última instancia, el sistema de archivos Fire-Flyer es una herramienta cuidadosamente diseñada diseñada para satisfacer las necesidades de las aplicaciones de IA intensivas en datos actuales, proporcionando una base confiable para la innovación continua en el campo.
Verificar el Repositorio de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 80k+ ml.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.