El diseño de flujos de trabajo computacionales para aplicaciones de IA, como chatbots y asistentes de codificación, es complejo debido a la necesidad de gestionar numerosos parámetros heterogéneos, como avisos e hiperparámetros de ML. Los errores posteriores a la implementación requieren actualizaciones manuales, lo que aumenta el desafío. El estudio explora los problemas de optimización destinados a automatizar el diseño y la actualización de estos flujos de trabajo. Dada su naturaleza intrincada, que involucra pasos interdependientes y operaciones de semicaja negra, las técnicas de optimización tradicionales como la optimización bayesiana y el aprendizaje por refuerzo a menudo deben ser más eficientes. Se han propuesto optimizadores basados en LLM para mejorar la eficiencia, pero la mayoría aún dependen de la retroalimentación escalar y manejan flujos de trabajo con un solo componente.
Los investigadores de Microsoft Research y la Universidad de Stanford proponen un marco llamado Trace para automatizar el diseño y la actualización de sistemas de IA como asistentes de codificación y robots. Trace trata el flujo de trabajo computacional como un gráfico, similar a las redes neuronales, y optimiza los parámetros heterogéneos mediante Optimization with Trace Oracle (OPTO). Trace convierte de manera eficiente los flujos de trabajo en instancias OPTO, lo que permite que un optimizador de propósito general, OptoPrime, actualice los parámetros en función de los rastros de ejecución y la retroalimentación de manera iterativa. Este enfoque mejora la eficiencia de la optimización en varios dominios, superando a los optimizadores especializados en tareas como la optimización rápida, el ajuste de hiperparámetros y el diseño de controladores de robots.
Los marcos existentes como LangChain, Semantic Kernels, AutoGen y DSPy permiten componer y optimizar flujos de trabajo computacionales, principalmente mediante técnicas de retroalimentación escalar y búsqueda de caja negra. A diferencia de estos, Trace utiliza el seguimiento de la ejecución para la optimización automática, generalizando el gráfico computacional para que se adapte a varios flujos de trabajo. El marco OPTO de Trace admite la optimización conjunta de indicaciones, hiperparámetros y códigos con una retroalimentación enriquecida y se adapta dinámicamente a los cambios en la estructura del flujo de trabajo. Extiende los principios de AutoDiff a flujos de trabajo no diferenciables, lo que permite agentes autoadaptables eficientes y una optimización de propósito general en diversas aplicaciones, superando a los optimizadores especializados en varias tareas.
OPTO forma la base de Trace, definiendo una abstracción basada en gráficos para la optimización iterativa. Un gráfico computacional es un DAG donde los nodos representan objetos y los bordes denotan relaciones de entrada-salida. En OPTO, un optimizador selecciona parámetros y el Oracle Trace devuelve una retroalimentación de seguimiento que consiste en un gráfico computacional y una entrada en la salida. Esta retroalimentación puede incluir puntajes, gradientes o sugerencias en lenguaje natural. El optimizador usa esta retroalimentación para actualizar los parámetros de manera iterativa. A diferencia de las configuraciones de caja negra, el seguimiento de ejecución proporciona una ruta clara hacia la salida, lo que permite actualizaciones de parámetros eficientes. Trace aprovecha OPTO para optimizar varios flujos de trabajo mediante la abstracción de componentes de diseño y específicos del dominio.
El algoritmo de optimización basado en LLM OptoPrime está diseñado para el problema OPTO. Aprovecha las capacidades de codificación y depuración de los LLM para manejar subgrafos de seguimiento de ejecución. La retroalimentación de seguimiento es un pseudoalgoritmo que permite que el LLM sugiera actualizaciones de parámetros. OptoPrime incluye un módulo de memoria para realizar un seguimiento de pares de parámetros y retroalimentación anteriores, lo que mejora la robustez. Los experimentos muestran la eficacia de OptoPrime en la optimización numérica, el control de tráfico, la optimización de avisos y las tareas de control de robots de largo plazo. OptoPrime demuestra un rendimiento superior en comparación con otros optimizadores, en particular cuando aprovecha la información de seguimiento de ejecución y la memoria.
Trace convierte los problemas de optimización del flujo de trabajo computacional en problemas OPTO, lo que se demuestra de manera efectiva con el optimizador OPTO, OptoPrime. Esto marca un paso inicial hacia un nuevo paradigma de optimización con varias direcciones futuras. Las mejoras en el razonamiento LLM, como Chain-of-Thought, Few-Shot Prompting, Tool Use y Multi-Agent Workflows, podrían mejorar o inspirar nuevos optimizadores OPTO. Un flujo de trabajo híbrido que combine LLM y algoritmos de búsqueda con herramientas especializadas podría conducir a un optimizador OPTO de propósito general. La especialización del propagador para cálculos específicos, particularmente gráficos grandes, y el desarrollo de optimizadores capaces de razonamiento contrafactual podrían mejorar la eficiencia. Los contextos no textuales y la retroalimentación también podrían ampliar la aplicabilidad de Trace.
Revisar la Detalles, Proyecto, y GitHubTodo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de Telegram y LinkedIn Gr¡Arriba!. Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..
No olvides unirte a nuestro Más de 47 000 suscriptores de ML en Reddit
Encuentra lo próximo Seminarios web sobre IA aquí
Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en el IIT Madrás, es un apasionado de la aplicación de la tecnología y la IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una perspectiva nueva a la intersección de la IA y las soluciones de la vida real.