¿Cuánta relación de compresión y rendimiento recuperaría al entrenar un compresor de gráficos con reconocimiento de formato y enviar solo un gráfico autodescriptivo a un decodificador universal? Meta AI lanzó OpenZL, un marco de código abierto que crea compresores especializados que reconocen el formato a partir de descripciones de datos de alto nivel y emite un formato de cable autodescriptivo que un decodificador universal puede leer, desvinculando la evolución del compresor de las implementaciones de lectores. El enfoque se basa en un modelo gráfico de compresión que representa canalizaciones como gráficos acíclicos dirigidos (DAG) de códecs modulares.
Entonces, ¿qué hay de nuevo?
OpenZL formaliza la compresión como un gráfico computacional: los nodos son códecs/gráficos, los bordes son flujos de mensajes escritos y el gráfico finalizado se serializa con la carga útil. Cualquier cuadro producido por cualquier compresor OpenZL puede ser descomprimido por el decodificador universal, porque la especificación del gráfico viaja con los datos. Este diseño tiene como objetivo combinar los beneficios de relación/rendimiento de los códecs de dominio específico con la simplicidad operativa de un decodificador binario único y estable.
¿Cómo funciona?
Describir datos → construir un gráfico. Los desarrolladores proporcionan una descripción de los datos; OpenZL compone etapas de análisis/grupo/transformación/entropía en un DAG adaptado a esa estructura. El resultado es un marco que se describe a sí mismo: bytes comprimidos más la especificación del gráfico. Ruta de decodificación universal. La decodificación sigue el procedimiento del gráfico integrado, lo que elimina la necesidad de enviar nuevos lectores cuando los compresores evolucionan.
Herramientas y API
SDDL (lenguaje simple de descripción de datos): los componentes integrados y las API le permiten descomponer las entradas en secuencias escritas a partir de una descripción de datos precompilada; disponible en superficies C y Python en openzl.ext.graphs.SDDL. Enlaces de idiomas: la biblioteca principal y los enlaces son de código abierto; el repositorio documenta el uso de C/C++ y Python, y el ecosistema ya está agregando enlaces comunitarios (por ejemplo, Rust openzl-sys).
¿Cómo se desempeña?
El equipo de investigación informa que OpenZL logra velocidades y relaciones de compresión superiores en comparación con los códecs de uso general de última generación en una variedad de conjuntos de datos del mundo real. También señala implementaciones internas en Meta con mejoras consistentes en tamaño y/o velocidad y plazos de desarrollo de compresores más cortos. Los materiales públicos no asignan un único factor numérico universal; Los resultados se presentan como mejoras de Pareto que dependen de los datos y la configuración de la tubería.
OpenZL hace que la compresión con reconocimiento de formato sea operativamente práctica: los compresores se expresan como DAG, se integran como un gráfico autodescriptivo en cada cuadro y se decodifican mediante un decodificador universal, lo que elimina la implementación de lectores. En general, OpenZL codifica un códec DAG en cada cuadro y lo decodifica mediante un lector universal; Meta informa ganancias de Pareto sobre zstd/xz en conjuntos de datos reales.
Consulte el artículo, la página de GitHub y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín.
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.