Los agentes de modelos de lenguaje grandes están comenzando a almacenar todo lo que ven, pero ¿pueden realmente mejorar sus políticas en el momento de la prueba a partir de esas experiencias en lugar de simplemente reproducir ventanas de contexto?
Investigadores de la Universidad de Illinois Urbana Champaign y Google DeepMind proponen Evo-Memory, un marco de referencia y agente de transmisión que apunta exactamente a esta brecha. Evo-Memory evalúa el aprendizaje en el momento de la prueba con memoria que evoluciona automáticamente y pregunta si los agentes pueden acumular y reutilizar estrategias de flujos de tareas continuos en lugar de depender únicamente de registros de conversación estáticos.
Recuerdo conversacional versus reutilización de experiencias
La mayoría de los agentes actuales implementan el recuerdo conversacional. Almacenan el historial de diálogos, rastros de herramientas y documentos recuperados, que luego se reintegran en la ventana contextual para consultas futuras. Este tipo de memoria sirve como un amortiguador pasivo, capaz de recuperar hechos o recordar pasos anteriores, pero no modifica activamente el enfoque del agente para tareas relacionadas.
En cambio, Evo-Memory se centra en la reutilización de experiencias. Aquí cada interacción se trata como una experiencia que codifica no sólo entradas y salidas, sino también si una tarea tuvo éxito y qué estrategias fueron efectivas. El punto de referencia comprueba si los agentes pueden recuperar esas experiencias en tareas posteriores, aplicarlas como procedimientos reutilizables y refinar la memoria con el tiempo.
Diseño de referencia y flujos de tareas
El equipo de investigación formaliza un agente de memoria aumentada como una tupla ((F, U, R, C)). El modelo base (F) genera resultados. El módulo de recuperación (R) busca en un almacén de memoria. El constructor de contexto (C) sintetiza un mensaje de trabajo a partir de la entrada actual y los elementos recuperados. La función de actualización (U) escribe nuevas entradas de experiencia y hace evolucionar la memoria después de cada paso.
Evo-Memory reestructura los puntos de referencia convencionales en flujos de tareas secuenciales. Cada conjunto de datos se convierte en una secuencia ordenada de tareas donde los primeros elementos conllevan estrategias que son útiles para los posteriores. La suite cubre AIME 24, AIME 25, GPQA Diamond, MMLU-Pro economía, ingeniería, filosofía y ToolBench para el uso de herramientas, junto con entornos de múltiples turnos de AgentBoard, incluidos AlfWorld, BabyAI, ScienceWorld, Jericho y planificación PDDL.
La evaluación se realiza a lo largo de cuatro ejes. Las tareas de un solo turno utilizan coincidencia exacta o precisión de respuesta. Los entornos incorporados informan la tasa de éxito y la tasa de progreso. La eficiencia de los pasos mide el promedio de pasos por tarea exitosa. La solidez de la secuencia prueba si el rendimiento es estable cuando cambia el orden de las tareas.
ExpRAG, una línea base de reutilización de experiencia mínima
Para establecer un límite inferior, el equipo de investigación define ExpRAG. Cada interacción se convierte en un texto de experiencia estructurado con plantilla ⟨xi,yi^,fi⟩donde xi es la entrada, yi^ es la salida del modelo y fi es la retroalimentación, por ejemplo, una señal de corrección. En un nuevo paso
ExpRAG no cambia el bucle de control del agente. Sigue siendo una llamada de un solo disparo a la red troncal, pero ahora aumentada con tareas previas almacenadas explícitamente. El diseño es intencionalmente simple para que cualquier ganancia en Evo-Memory pueda atribuirse a la recuperación de experiencia a nivel de tarea, no a nueva planificación o abstracciones de herramientas.
ReMem, Acción, Pensar, Refinar la Memoria
La principal contribución del lado del agente es ReMem, un canal de acción, pensamiento y refinamiento de memoria construido sobre los mismos modelos troncales. En cada paso interno, dada la entrada actual, el estado de la memoria y los rastros de razonamiento pasados, el agente elige una de tres operaciones:
Pensar genera huellas de razonamiento intermedio que descomponen la tarea. Act emite una acción ambiental o respuesta final visible para el usuario. Refine realiza meta razonamiento en la memoria recuperando, podando y reorganizando entradas de experiencia.
Este bucle induce un proceso de decisión de Markov donde el estado incluye la consulta, la memoria actual y los pensamientos en curso. Dentro de un paso, el agente puede intercalar varias operaciones Pensar y Refinar, y el paso finaliza cuando se emite una operación Actuar. A diferencia de los agentes estándar de estilo ReAct, la memoria ya no es un búfer fijo. Se convierte en un objeto explícito sobre el cual el agente razona y edita durante la inferencia.
Resultados sobre razonamiento, herramientas y entornos corporales
El equipo de investigación crea instancias de todos los métodos en Gemini 2.5 Flash y Claude 3.7 Sonnet bajo un protocolo unificado de búsqueda, predicción y evolución. Esto aísla el efecto de la arquitectura de la memoria, ya que las indicaciones, la búsqueda y la retroalimentación se mantienen constantes en todas las líneas de base.
En los puntos de referencia de un solo turno, los métodos de memoria en evolución producen ganancias consistentes pero moderadas. Para Gemini 2.5 Flash, ReMem alcanza una coincidencia exacta promedio de 0,65 en los subconjuntos AIME 24, AIME 25, GPQA Diamond y MMLU Pro, y API y precisión de 0,85 y 0,71 en ToolBench. ExpRAG también tiene un rendimiento sólido, con un promedio de 0,60, y supera a varios diseños más complejos, como las variantes de Agent Workflow Memory y Dynamic Cheatsheet.
El impacto es mayor en entornos de múltiples turnos. En Claude 3.7 Sonnet, ReMem alcanza un éxito y un progreso de 0,92 y 0,96 en AlfWorld, 0,73 y 0,83 en BabyAI, 0,83 y 0,95 en PDDL y 0,62 y 0,89 en ScienceWorld, lo que da un promedio de 0,78 de éxito y 0,91 de progreso en todos los conjuntos de datos. En Gemini 2.5 Flash, ReMem logra un promedio de 0,50 de éxito y 0,64 de progreso, mejorando el historial y las líneas base de estilo ReAct en los cuatro entornos.
También se mejora la eficiencia del paso. En AlfWorld, los pasos promedio para completar una tarea disminuyen de 22,6 para una línea de base histórica a 11,5 para ReMem. Los diseños livianos como ExpRecent y ExpRAG también reducen los pasos, lo que indica que incluso la reutilización de la experiencia a nivel de tarea simple puede hacer que el comportamiento sea más eficiente sin cambios arquitectónicos en la columna vertebral.
Un análisis adicional vincula las ganancias con la similitud de tareas dentro de cada conjunto de datos. Utilizando incrustaciones del codificador del recuperador, el equipo de investigación calcula la distancia promedio desde las tareas hasta el centro de su grupo. El margen de ReMem sobre una línea de base histórica se correlaciona fuertemente con esta medida de similitud, con una correlación de Pearson informada de aproximadamente 0,72 en Gemini 2.5 Flash y 0,56 en Claude 3.7 Sonnet. Los dominios estructurados como PDDL y AlfWorld muestran mayores mejoras que diversos conjuntos como AIME 25 o GPQA Diamond.
Conclusiones clave
Evo-Memory es un punto de referencia de transmisión integral que convierte conjuntos de datos estándar en tareas ordenadas, de modo que los agentes puedan recuperar, integrar y actualizar la memoria a lo largo del tiempo en lugar de depender de la recuperación conversacional estática. El marco formaliza los agentes de memoria aumentada como una tupla ((F, U, R, C)) e implementa más de 10 módulos de memoria representativos, incluidas memorias jerárquicas, de flujo de trabajo y basadas en recuperación, evaluadas en 10 conjuntos de datos de un solo turno y de múltiples turnos en razonamiento, respuesta a preguntas, uso de herramientas y entornos incorporados. ExpRAG proporciona una línea de base de reutilización de experiencia mínima que almacena cada interacción de tarea como un registro de texto estructurado con entrada, salida del modelo y retroalimentación, luego recupera experiencias similares como ejemplos en contexto para nuevas tareas, lo que ya ofrece mejoras consistentes sobre las líneas de base basadas puramente en el historial. ReMem amplía el bucle de estilo ReAct estándar con un ciclo de control explícito Pensar, Actuar, Refinar la Memoria, que permite al agente recuperar, podar y reorganizar activamente su memoria durante la inferencia, lo que conduce a una mayor precisión, una mayor tasa de éxito y menos pasos tanto en el razonamiento de un solo turno como en los entornos interactivos de largo horizonte. En las columnas vertebrales de Gemini 2.5 Flash y Claude 3.7 Sonnet, las memorias de evolución automática como ExpRAG y especialmente ReMem hacen que los modelos más pequeños se comporten como agentes más fuertes en el momento de la prueba, mejorando las métricas de coincidencia exacta, éxito y progreso sin ningún reentrenamiento de los pesos del modelo base.
Notas editoriales
Evo Memory es un paso útil para evaluar la memoria que evoluciona automáticamente en agentes LLM. Obliga a los modelos a operar en flujos de tareas secuenciales en lugar de indicaciones aisladas. Compara más de 10 arquitecturas de memoria bajo un único marco. Los métodos simples como ExpRAG ya muestran claros beneficios. El bucle de memoria de acción, pensamiento y refinamiento de ReMem mejora la coincidencia exacta, el éxito y el progreso sin volver a entrenar los pesos base. En general, este trabajo de investigación hace que la evolución del tiempo de prueba sea un objetivo de diseño concreto para los sistemas de agentes LLM.
Consulte el documento. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 100.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.
🙌 Siga MARKTECHPOST: agréguenos como fuente preferida en Google.