Investigadores de Meta AI y la Universidad de Ciencia y Tecnología Rey Abdullah (KAUST) han presentado las Computadoras Neurales (NC), una forma de máquina propuesta en la que una red neuronal actúa como una computadora en funcionamiento, en lugar de como una capa situada encima de otra. El equipo de investigación presenta un marco teórico y dos prototipos funcionales basados en video que demuestran las primeras primitivas de tiempo de ejecución en la configuración de la interfaz de línea de comandos (CLI) y la interfaz gráfica de usuario (GUI).
¿Qué lo diferencia de los agentes y los modelos mundiales?
Para comprender la investigación propuesta, es útil compararla con los tipos de sistemas existentes. Una computadora convencional ejecuta programas explícitos. Un agente de IA realiza tareas y utiliza una pila de software existente (sistema operativo, API, terminales) para realizarlas. Un modelo mundial aprende a predecir cómo evoluciona un entorno con el tiempo. Las computadoras neuronales no ocupan exactamente ninguno de estos roles. Los investigadores también distinguen explícitamente las computadoras neuronales (NC) de la línea Neural Turing Machine y Differentiable Neural Computer, que se centraron en la memoria externa diferenciable. La pregunta sobre la computadora neuronal (CN) es diferente: ¿puede una máquina de aprendizaje comenzar a asumir el papel de la computadora en funcionamiento?
Formalmente, una computadora neuronal (NC) se define mediante una función de actualización Fθ y un decodificador Gθ que opera en un estado de tiempo de ejecución latente ht. En cada paso, el NC actualiza ht a partir de la observación actual xt y la acción del usuario ut, luego toma muestras del siguiente cuadro xt+1. El estado latente transporta lo que normalmente haría la pila del sistema operativo (contexto ejecutable, memoria de trabajo y estado de la interfaz) dentro del modelo en lugar de fuera de él.
El objetivo a largo plazo es una computadora completamente neuronal (CNC): una realización madura y de propósito general que satisfaga cuatro condiciones simultáneamente: Turing completo, universalmente programable, con comportamiento consistente a menos que se reprograme explícitamente y que exhiba una arquitectura y una semántica de lenguaje de programación nativas de la máquina. Un requisito operativo clave vinculado a la coherencia del comportamiento es un contrato de ejecución/actualización: las entradas ordinarias deben ejecutar la capacidad instalada sin modificarla silenciosamente, mientras que las actualizaciones que cambian el comportamiento deben ocurrir explícitamente a través de una interfaz de programación, con seguimientos que se pueden inspeccionar y revertir.
Dos prototipos construidos sobre Wan2.1
Ambos prototipos, NCCLIGen y NCGUIWorld, se construyeron sobre Wan2.1, que era el modelo de generación de video de última generación en el momento de los experimentos, con módulos de acción y acondicionamiento específicos de NC agregados en la parte superior. Los dos modelos se entrenaron por separado sin parámetros compartidos. La evaluación de ambas se ejecuta en modo de bucle abierto, implementándose a partir de indicaciones grabadas y flujos de acción registrados en lugar de interactuar con un entorno en vivo.
NCCLIGen modela la interacción del terminal a partir de un mensaje de texto y un marco de pantalla inicial, tratando la generación de CLI como texto e imagen a video. Un codificador de imágenes CLIP procesa el primer fotograma, un codificador de texto T5 incrusta el título y estas características de acondicionamiento se concatenan con ruido de difusión y se procesan mediante una pila DiT (transformador de difusión). Se reunieron dos conjuntos de datos: CLIGen (General), que contiene aproximadamente 823 989 secuencias de vídeo (aproximadamente 1100 horas) procedentes de grabaciones públicas de asciinema.cast; y CLIGen (Clean), divididos en aproximadamente 78 000 seguimientos regulares y aproximadamente 50 000 seguimientos de validación matemática de Python generados utilizando el kit de herramientas vhs dentro de entornos Dockerizados. La capacitación de NCCLIGen en CLIGen (General) requirió aproximadamente 15 000 horas de GPU H100; CLIGen (Clean) requirió aproximadamente 7000 horas de GPU H100.
La calidad de la reconstrucción en CLIGen (General) alcanzó un PSNR promedio de 40,77 dB y un SSIM de 0,989 con un tamaño de fuente de 13 píxeles. La precisión a nivel de carácter, medida con Tesseract OCR, aumentó de 0,03 en la inicialización a 0,54 en 60.000 pasos de entrenamiento, y la precisión de coincidencia de líneas exactas alcanzó 0,31. La especificidad de los subtítulos tuvo un gran efecto: los subtítulos detallados (con un promedio de 76 palabras) mejoraron el PSNR de 21,90 dB en descripciones semánticas a 26,89 dB (una ganancia de casi 5 dB) porque los fotogramas terminales se rigen principalmente por la ubicación del texto, y los subtítulos literales actúan como andamiaje para una alineación precisa del texto a los píxeles. Un hallazgo de la dinámica de entrenamiento que vale la pena destacar: PSNR y SSIM se estabilizan alrededor de 25 000 pasos en CLIGen (Clean), y el entrenamiento de hasta 460 000 pasos no produce ganancias adicionales significativas.
En el cálculo simbólico, la precisión de la sonda aritmética en un conjunto de 1.000 problemas matemáticos fue del 4% para NCCLIGen y del 0% para la base Wan2.1, en comparación con el 71% para Sora-2 y el 2% para Veo3.1. La repetición de indicaciones por sí sola, al proporcionar la respuesta correcta explícitamente en la indicación en el momento de la inferencia, aumentó la precisión de NCCLIGen del 4% al 83% sin modificar la columna vertebral ni agregar aprendizaje por refuerzo. El equipo de investigación interpretó esto como evidencia de direccionabilidad y representación fiel de contenido condicionado, no como cálculo aritmético nativo dentro del modelo.
NCGUIWorld aborda la interacción completa del escritorio, modelando cada interacción como una secuencia sincronizada de fotogramas RGB y eventos de entrada recopilados con una resolución de 1024×768 en Ubuntu 22.04 con XFCE4 a 15 FPS. El conjunto de datos totaliza aproximadamente 1510 horas: aleatorio lento (~1000 horas), aleatorio rápido (~400 horas) y 110 horas de trayectorias dirigidas a objetivos recopiladas con Claude CUA. El entrenamiento utilizó 64 GPU durante aproximadamente 15 días por ejecución, con un total aproximado de 23 000 horas de GPU por pasada completa.
El equipo de investigación evaluó cuatro esquemas de inyección de acción (externo, contextual, residual e interno) que se diferencian en la profundidad con la que las incrustaciones de acción interactúan con la columna vertebral de difusión. El acondicionamiento interno, que inserta acción cruzada directamente dentro de cada bloque transformador, logró la mejor consistencia estructural (SSIM+15 de 0,863, FVD+15 de 14,5). El condicionamiento residual logró la mejor distancia perceptiva (LPIPS+15 de 0,138). En el control del cursor, el acondicionamiento de referencia/máscara SVG elevó la precisión del cursor al 98,7%, frente al 8,7% para la supervisión de solo coordenadas, lo que demuestra que tratar el cursor como un objeto visual explícito para supervisar es esencial. La calidad de los datos resultó tan importante como la arquitectura: el conjunto de datos de Claude CUA de 110 horas superó aproximadamente 1400 horas de exploración aleatoria en todas las métricas (FVD: 14,72 frente a 20,37 y 48,17), lo que confirma que los datos seleccionados y dirigidos a objetivos son sustancialmente más eficientes en cuanto a muestras que la recopilación pasiva.
Lo que queda sin resolver
Sinceramente, el equipo de investigación ha sido directo sobre la brecha entre los prototipos actuales y la definición de CNC. La reutilización estable de rutinas aprendidas, el cálculo simbólico confiable, la coherencia de la ejecución a largo plazo y la gobernanza explícita del tiempo de ejecución están abiertos. La hoja de ruta que describen se centra en tres lentes de aceptación: instalación-reutilización, coherencia de ejecución y gobernanza de actualizaciones. El progreso en los tres, sostiene el equipo de investigación, es lo que haría que las Computadoras Neurales parecieran menos demostraciones aisladas y más una forma de máquina candidata para la informática de próxima generación.
Conclusiones clave
Neural Computers propone convertir el modelo en sí en la computadora en ejecución. A diferencia de los agentes de IA que operan a través de pilas de software existentes, los NC tienen como objetivo combinar la computación, la memoria y las E/S en un único estado de tiempo de ejecución aprendido, eliminando la separación entre el modelo y la máquina en la que se ejecuta. Los primeros prototipos muestran primitivas de interfaz mensurables. Construido sobre Wan2.1, NCCLIGen alcanzó 40,77 dB PSNR y 0,989 SSIM en la representación del terminal, y NCGUIWorld logró una precisión del cursor del 98,7 % utilizando máscara SVG/acondicionamiento de referencia, lo que confirma que la alineación de E/S y el control de horizonte corto se pueden aprender a partir de los rastros de interfaz recopilados. La calidad de los datos importa más que la escala de los datos. En experimentos de GUI, 110 horas de trayectorias dirigidas a objetivos de Claude CUA superaron aproximadamente 1400 horas de exploración aleatoria en todas las métricas, lo que establece que los datos de interacción seleccionados son sustancialmente más eficientes en cuanto a muestras que la recopilación pasiva. Los modelos actuales son potentes renderizadores pero no razonadores nativos. NCCLIGen obtuvo solo un 4% en sondas aritméticas sin ayuda, pero la repetición llevó la precisión al 83% sin modificar la columna vertebral: evidencia de direccionabilidad, no de cálculo interno. El razonamiento simbólico sigue siendo un desafío abierto primario. Deben cerrarse tres brechas prácticas antes de que sea posible lograr una computadora completamente neuronal. El equipo de investigación enmarca el progreso a corto plazo en torno a la instalación-reutilización (las capacidades aprendidas persisten y siguen siendo invocables), la coherencia de la ejecución (comportamiento reproducible entre ejecuciones) y la gobernanza de las actualizaciones (cambios de comportamiento atribuibles a una reprogramación explícita en lugar de una deriva silenciosa).
Consulte el documento y los detalles técnicos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 130.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.