Construir agentes de IA efectivos significa más que solo elegir un poderoso modelo de idioma. Como descubrió el Proyecto Manus, es primordial cómo diseña y administra el “contexto”, la información que los procesan la IA para tomar decisiones. Esta “ingeniería de contexto” afecta directamente la velocidad, el costo, la confiabilidad y la inteligencia de un agente.
Inicialmente, la elección era clara: aprovechar el aprendizaje en contexto de los modelos fronterizos sobre el ajuste fino lento e iterativo. Esto permite mejoras rápidas, cambios de envío en horas en lugar de semanas, lo que hace que el producto sea adaptable a las capacidades de IA en evolución. Sin embargo, este camino demostró ser muy simple, lo que llevó a múltiples reconstrucciones de marco a través de lo que cariñosamente llaman “descenso de posgrado estocástico”, un proceso de conjeturas experimentales.
Estas son las lecciones críticas aprendidas en Manus para ingeniería de contexto efectiva:
1. Diseñe alrededor del Cache KV
El KV-Cache es vital para el rendimiento del agente, afectando directamente la latencia y el costo. Los agentes agregan continuamente acciones y observaciones a su contexto, lo que hace que la entrada sea significativamente más larga que la salida. KV-Cache reutiliza los prefijos de contexto idénticos, reduciendo drásticamente el tiempo y el costo de procesamiento (por ejemplo, una diferencia de costo 10x con el soneto Claude).
Para maximizar los golpes de KV-Cache:
- Prefijos de inmediato estables: Incluso un cambio de una solakación al comienzo de su mensaje del sistema puede invalidar el caché. Evite elementos dinámicos como las marcas de tiempo precisas.
- Contexto de solo agregar: No modifique las acciones o observaciones pasadas. Asegure la serialización determinista de los datos (como JSON) para evitar saltos de caché sutiles.
- Puntos de interrupción de caché explícito: Algunos marcos requieren inserción manual de puntos de interrupción de caché, idealmente después de la solicitud del sistema.
2. Máscara, no quites
A medida que los agentes ganan más herramientas, su espacio de acción se vuelve complejo, potencialmente “aturdiendo” al agente mientras lucha por elegir correctamente. Si bien la carga de herramientas dinámicas puede parecer intuitiva, invalida el Cache KV y confunde el modelo si el contexto pasado se refiere a herramientas indefinidas.
En su lugar, Manus utiliza una máquina de estado consciente de contexto para administrar la disponibilidad de herramientas mediante enmascarar logits de token durante la decodificación. Esto evita que el modelo seleccione acciones no disponibles o inapropiadas sin alterar las definiciones de la herramienta central, manteniendo el contexto estable y el agente enfocado.
3. Use el sistema de archivos como contexto
Incluso con ventanas de contexto grandes (128k+ tokens), las observaciones de agente del mundo real (como páginas web o PDF) pueden exceder fácilmente los límites, degradar el rendimiento e incurrir en altos costos. La compresión irreversible corre el riesgo de perder información crucial necesaria para futuros pasos.
Manus trata el sistema de archivos como el contexto final e ilimitado. El agente aprende a leer y escribir en archivos a pedido, utilizando el sistema de archivos como estrategias externalizadas de memoria de memoria estructurada siempre están diseñadas para ser restaurables (por ejemplo, mantener una URL pero soltar contenido de página), reduciendo efectivamente la longitud de contexto sin pérdida de datos permanente.
4. Manipule la atención a través de la recitación
Los agentes pueden perder el enfoque u olvidar los objetivos a largo plazo en tareas complejas de varios pasos. Manus aborda esto al hacer que el agente reescribiera constantemente un archivo TODO.MD. Al recitar sus objetivos y progresar al final del contexto, la atención del modelo está sesgada hacia su plan global, mitigando los problemas de “perdidos en el medio” y reduciendo la desalineación de objetivos. Esto aprovecha el lenguaje natural para sesgar el enfoque de la IA sin cambios arquitectónicos.
5. Mantenga las cosas equivocadas en
Los agentes cometerán errores: alucinar, encontrar errores, mal comportarse. El impulso natural es limpiar estas fallas. Sin embargo, Manus descubrió que dejar acciones y observaciones fallidas en el contexto actualiza implícitamente las creencias internas del modelo. Ver sus propios errores ayuda al agente a aprender y reduce la posibilidad de repetir el mismo error, lo que hace que la recuperación de errores sea un indicador clave del verdadero comportamiento de la agente.
6. No se pongan de moda
Si bien la solicitud de pocos disparos es poderoso para LLMS, puede ser contraproducente en los agentes al conducir a la mímica y al comportamiento subóptimo y repetitivo. Cuando el contexto es demasiado uniforme con pares de observación de acción similares, el agente puede caer en una rutina, lo que lleva a la deriva o la alucinación.
La solución es diversidad controlada. Manus introduce pequeñas variaciones en las plantillas de serialización, el fraseo o el formato dentro del contexto. Este “ruido” ayuda a romper los patrones repetitivos y cambia la atención del modelo, evitando que se atasque en una imitación rígida de acciones pasadas.
En conclusión, la ingeniería del contexto es muy nueva pero un campo crítico para los agentes de IA. Va más allá de la potencia del modelo sin procesar, dictando cómo un agente administra la memoria, interactúa con su entorno y aprende de la retroalimentación. Dominar estos principios es esencial para construir agentes de IA robustos, escalables e inteligentes.
Oportunidad de patrocinio: Llegue a los desarrolladores de IA más influyentes en Estados Unidos y Europa. 1M+ lectores mensuales, 500k+ constructores comunitarios, infinitas posibilidades. [Explore Sponsorship]
Max es analista de IA en MarktechPost, con sede en Silicon Valley, quien da forma activamente al futuro de la tecnología. Enseña robótica en Brainvyne, combate el spam con CONTRYEMAIL y aprovecha la IA diariamente para traducir los avances tecnológicos complejos en ideas claras y comprensibles