La compresión es una piedra angular de la inteligencia computacional, profundamente arraigada en la teoría de la complejidad de Kolmogorov, que define el programa mínimo necesario para reproducir una secuencia dada. A diferencia de los métodos de compresión tradicionales que buscan repetición y redundancia, el marco de Kolmogorov interpreta la compresión como un problema para descubrir patrones estructurados a través de la representación programática. Si bien la teoría promete una compresión óptima, su incomocomputabilidad plantea un obstáculo significativo. Sin embargo, la aparición de modelos de lenguaje grandes capaces de generación de códigos abre una oportunidad intrigante para probar cómo los sistemas estrechamente modernos pueden aproximar este ideal teórico razonando a través del código en lugar de la coincidencia de patrones.
Un problema central surge de las limitaciones de las herramientas actuales en la comprimir secuencias de datos utilizando código ejecutable conciso. Los modelos a menudo replican entradas en lugar de generar programas que los reproducen, lo que indica una brecha en la comprensión de los patrones verdaderos. Esto se hace especialmente evidente cuando se trata de secuencias de audio, texto o ADN del mundo real, donde las estructuras lógicas complejas deben descubrirse para lograr una compresión eficiente. El principal desafío es garantizar que el modelo replique la secuencia y use un conjunto mínimo y racional de instrucciones. Además, aunque los datos de capacitación sintética son útiles para la evaluación controlada, a menudo no respalda la generalización sólida a los datos naturales, lo cual es esencial para aplicaciones prácticas.
Existen varias herramientas de compresión, desde algoritmos tradicionales como GZIP hasta sistemas de compresión neuronal más nuevos. GZIP sigue siendo una línea de base fuerte, especialmente para secuencias largas o repetitivas, debido a su codificación efectiva de regularidades estadísticas. Más recientemente, los enfoques de modelado de idiomas se han integrado con la codificación aritmética, utilizando probabilidades de predicción para comprimir datos de entrada. Sin embargo, estos métodos generalmente requieren acceso a los pesos del modelo completo en el tiempo de decodificación, lo que limita su eficiencia y aplicabilidad. Los modelos de generación de códigos solicitados como GPT-4 y LLAMA también se han evaluado en configuraciones de disparo cero para generar programas de Python que reproduzcan secuencias de entrada. Sin embargo, con frecuencia producen un código largo e impreciso con un éxito limitado, particularmente cuando se enfrentan a secuencias invisibles o complejas.
Investigadores de la Universidad Meta AI y Tel Aviv introdujeron la prueba de Kolmogorov (KT), un punto de referencia para evaluar la capacidad de razonamiento de los modelos de lenguaje generador de código. La prueba evalúa la capacidad de un modelo para generar el programa más corto que genera una secuencia de entrada dada. A diferencia de los puntos de referencia típicos, KT enfatiza la composición lógica y la generación de programas sobre el modelado de texto predictivo. Las secuencias incluyen datos naturales del audio (Librispeech), Text (Wikipedia Enwik9) y ADN (Grch38), así como secuencias sintéticas generadas a través de un lenguaje específico de dominio (DSL) diseñado a medida. Este DSL admite secuencias estructuradas del edificio mediante la composición de operaciones como creación de rango, modificación de secuencias, fusión y filtrado.
Los investigadores desarrollaron un marco automatizado para generar millones de pares de secuencia de programas sintéticos utilizando este DSL. Luego, estos programas capacitan y evalúan modelos, incluidos grandes entrenados y específicamente capacitados como SeqCoder. Para medir el rendimiento, el equipo empleó métricas como la precisión, ya sea que el programa generado reproduce la secuencia y la precisión, cómo se compara con el programa correcto con la compresión de GZIP. La prueba implicó secuencias de comprimir de longitudes variables, con secuencias sintéticas con un promedio de 76 bytes y secuencias reales limitadas en 128.
Los resultados mostraron que incluso los modelos más poderosos lucharon. GPT-4 logró una precisión del 69.5% en audio de alta calidad, pero cayó a 36.4% para audio de 8 bits y 50.3% para datos de ADN. Llama-3.1-405B funcionó peor, con precisiones tan bajas como 3.9% para audio y solo 24.8% para ADN. En datos sintéticos, SeqCoder-8B alcanzó una precisión del 92.5% con una puntuación de precisión de 0.56, superando las herramientas tradicionales como GZIP. Sin embargo, su precisión en los datos del mundo real se mantuvo cerca de cero. Esta discrepancia ilustra la dificultad para transferir el éxito de los puntos de referencia sintéticos a secuencias más variadas y ruidosas del mundo real, destacando las limitaciones de los regímenes de capacitación actuales e impulsando la necesidad de nuevas estrategias.
En general, esta investigación describe claramente la complejidad de la compresión a través de la generación de código. El punto de referencia KT proporciona una prueba de razonamiento y reconocimiento de estructura de modelo riguroso y diverso, que expone la brecha división entre los entornos de aprendizaje sintético y las aplicaciones del mundo real. La metodología introducida y la prueba establecen una barra alta para futuros modelos con el objetivo de unificar el razonamiento con compresión, pero aún se requiere una innovación significativa para enfrentar este desafío.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 85k+ ml de subreddit.
Nikhil es consultor interno en MarktechPost. Está buscando un doble grado integrado en materiales en el Instituto Indio de Tecnología, Kharagpur. Nikhil es un entusiasta de AI/ML que siempre está investigando aplicaciones en campos como biomateriales y ciencias biomédicas. Con una sólida experiencia en la ciencia material, está explorando nuevos avances y creando oportunidades para contribuir.