Los LLM se ven cada vez más como clave para lograr la inteligencia general artificial (AGI), pero enfrentan limitaciones importantes en la forma en que manejan la memoria. La mayoría de los LLM dependen del conocimiento fijo almacenado en sus pesos y contexto de corta duración durante el uso, lo que dificulta la retención o actualización de la información con el tiempo. Técnicas como TRAPO Intente incorporar conocimiento externo pero carece de gestión de memoria estructurada. Esto lleva a problemas como olvidar conversaciones pasadas, mala adaptabilidad y memoria aislada en todas las plataformas. Fundamentalmente, las LLM de hoy no tratan la memoria como un sistema manejable, persistente o compartible, lo que limita su utilidad del mundo real.
Para abordar las limitaciones de la memoria en los LLM actuales, los investigadores de Memtensor (Shanghai) Technology Co., Ltd., la Universidad de Shanghai Jiao Tong, la Universidad Renmin de China y el Instituto de Investigación de China Telecom han desarrollado memo. Este sistema operativo de memoria hace de la memoria un recurso de primera clase en los modelos de lenguaje. En su núcleo está Memcube, una abstracción de memoria unificada que gestiona la memoria paramétrica, de activación y de texto sin formato. Las notas permiten el manejo estructurado, rastreable y de memoria de tarea cruzada, lo que permite que los modelos se adapten continuamente, internalicen las preferencias de los usuarios y mantengan la consistencia conductual. Este cambio transforma LLM de generadores pasivos a sistemas evolucionadores capaces de aprender a largo plazo y coordinación multiplataforma.
A medida que los sistemas de IA se vuelven más complejos, manejando múltiples tareas, roles y tipos de datos, los modelos de lenguaje deben evolucionar más allá de comprender el texto para retener la memoria y el aprendizaje continuamente. Los LLM actuales carecen de gestión de memoria estructurada, lo que limita su capacidad para adaptarse y crecer con el tiempo. Memas, un nuevo sistema que trata la memoria como un recurso central y programable. Permite el aprendizaje a largo plazo a través de almacenamiento estructurado, control de versiones y acceso a la memoria unificada. A diferencia de la capacitación tradicional, Memos apoya un paradigma continuo de “entrenamiento de memoria” que desdibuja la línea entre el aprendizaje y la inferencia. También enfatiza la gobernanza, asegurando la trazabilidad, el control de acceso y el uso seguro para la evolución de los sistemas de IA.
Memos es un sistema operativo centrado en la memoria para modelos de lenguaje que trata la memoria no solo como datos almacenados sino como un componente activo y en evolución de la cognición del modelo. Organiza la memoria en tres tipos distintos: memoria paramétrica (conocimiento horneado en pesos del modelo a través de la preparación o ajuste fino), la memoria de activación (estados internos temporales, como cachés de KV y patrones de atención, utilizados durante la inferencia) y la memoria de texto enorme (datos externos editables y recuperables, como documentos o indicaciones). Estos tipos de memoria interactúan dentro de un marco unificado llamado MemoryCube (Memcube), que encapsula tanto el contenido como los metadatos, lo que permite la programación dinámica, el control de versiones, el control de acceso y la transformación en los tipos. Este sistema estructurado permite a los LLM adaptar, recordar información relevante y desarrollar eficientemente sus capacidades, transformándolos en más que solo generadores estáticos.
En el núcleo de las notas hay una arquitectura de tres capas: la capa de interfaz maneja las entradas del usuario y las analiza en tareas relacionadas con la memoria; La capa de operación gestiona la programación, la organización y la evolución de diferentes tipos de memoria; y la capa de infraestructura garantiza un almacenamiento seguro, gobernanza de acceso y colaboración de agentes cruzados. Todas las interacciones dentro del sistema están mediadas a través de memcubos, lo que permite operaciones de memoria rastreables e impulsadas por políticas. A través de módulos como MemScheduler, Memlifecycle y MemGovernance, Memos mantiene un bucle de memoria continuo y adaptativo, desde el momento en que un usuario envía un aviso, a la inyección de memoria durante el razonamiento, hasta el almacenamiento de datos útiles para uso futuro. Este diseño no solo mejora la capacidad de respuesta y la personalización del modelo, sino que también garantiza que la memoria permanezca estructurada, segura y reutilizable.
En conclusión, Memas es un sistema operativo de memoria diseñado para hacer de la memoria un componente central y manejable en LLM. A diferencia de los modelos tradicionales que dependen principalmente de los pesos del modelo estático y los estados de tiempo de ejecución a corto plazo, las notas introducen un marco unificado para manejar la memoria paramétrica, de activación y texto sin formato. En su núcleo está Memcube, una unidad de memoria estandarizada que admite almacenamiento estructurado, gestión de ciclos de vida y aumento de memoria consciente de tareas. El sistema permite un razonamiento, adaptabilidad y colaboración de agentes cruzados más coherentes. Los objetivos futuros incluyen habilitar el intercambio de memoria en los modelos, los bloques de memoria autoevolución y la construcción de un mercado de memoria descentralizado para apoyar el aprendizaje continuo y la evolución inteligente.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 100k+ ml y suscribirse a Nuestro boletín.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.
