La ambición de acelerar el descubrimiento científico a través de IA ha sido de larga data, con esfuerzos tempranos como el proyecto de IA aplicada de Oak Ridge que data de 1979. Los avances más recientes en los modelos fundamentales han demostrado la viabilidad de las tuberías de investigación totalmente automatizadas, permitiendo que los sistemas de IA realicen de forma autónoma de forma autónoma. Revisiones de literatura, formular hipótesis, experimentos de diseño, analizar resultados e incluso generar artículos científicos. Además, pueden optimizar los flujos de trabajo científicos automatizando tareas repetitivas, lo que permite a los investigadores centrarse en el trabajo conceptual de nivel superior. Sin embargo, a pesar de estos desarrollos prometedores, la evaluación de la investigación impulsada por la IA sigue siendo desafiante debido a la falta de puntos de referencia estandarizados que pueden evaluar de manera integral sus capacidades en diferentes dominios científicos.
Estudios recientes han abordado esta brecha al introducir puntos de referencia que evalúan a los agentes de IA en diversas tareas de ingeniería de software y aprendizaje automático. Si bien existen marcos para probar agentes de IA en problemas bien definidos como la generación de código y la optimización del modelo, la mayoría de los puntos de referencia actuales no admiten completamente los desafíos de investigación abiertos, donde podrían surgir múltiples soluciones. Además, estos marcos a menudo carecen de flexibilidad en la evaluación de diversos resultados de investigación, como algoritmos novedosos, arquitecturas de modelos o predicciones. Para avanzar en la investigación impulsada por la IA, existe la necesidad de sistemas de evaluación que incorporen tareas científicas más amplias, faciliten la experimentación con diferentes algoritmos de aprendizaje y acomoden diversas formas de contribuciones de investigación. Al establecer marcos tan completos, el campo puede acercarse a realizar sistemas de IA capaces de impulsar independientemente un progreso científico significativo.
Investigadores del University College London, Universidad de Wisconsin – Madison, Universidad de Oxford, Meta y otros institutos han introducido un nuevo marco y punto de referencia para evaluar y desarrollar agentes de LLM en investigación de IA. Este sistema, el primer entorno de gimnasio para tareas de ML, facilita el estudio de las técnicas RL para capacitar a los agentes de IA. El punto de referencia, MLGYM-Bench, incluye 13 tareas abiertas que abarcan visión por computadora, PNL, RL y teoría de juegos, que requieren habilidades de investigación del mundo real. Un marco de seis niveles clasifica las capacidades del agente de investigación de IA, con MLGYM-Bench centrado en el Nivel 1: Mejora de línea de base, donde los LLM optimizan los modelos pero carecen de contribuciones científicas.
MLGYM es un marco diseñado para evaluar y desarrollar agentes LLM para tareas de investigación de ML al habilitar la interacción con un entorno de shell a través de comandos secuenciales. Comprende cuatro componentes clave: agentes, entorno, conjuntos de datos y tareas. Los agentes ejecutan comandos bash, administran el historial e integran modelos externos. El entorno proporciona un espacio de trabajo seguro basado en Docker con acceso controlado. Los conjuntos de datos se definen por separado de las tareas, lo que permite la reutilización entre los experimentos. Las tareas incluyen scripts de evaluación y configuraciones para diversos desafíos de ML. Además, MLGYM ofrece herramientas para la búsqueda de literatura, el almacenamiento de memoria y la validación iterativa, asegurando una experimentación y adaptabilidad eficientes en los flujos de trabajo de investigación de IA a largo plazo.
El estudio emplea un modelo de agente SWE diseñado para el entorno MLGYM, luego de un circuito de toma de decisiones al estilo React. Cinco modelos de vanguardia: Openai O1-Preview, Gemini 1.5 Pro, Claude-3.5-Sonnet, Llama-3-405B-Instructo y GPT-4O) se evalúan en entornos estandarizados. El rendimiento se evalúa utilizando puntajes AUP y perfiles de rendimiento, comparando modelos basados en el mejor intento y las mejores métricas de envío. OpenAI O1-Preview logra el rendimiento general más alto, con Gemini 1.5 Pro y Claude-3.5-Sonnet de cerca. El estudio destaca los perfiles de rendimiento como un método de evaluación efectivo, lo que demuestra que la previsión OpenAI O1 se ubica constantemente entre los principales modelos en varias tareas.
En conclusión, el estudio destaca el potencial y los desafíos del uso de LLM como agentes de flujo de trabajo científico. Mlgym y Mlgymbench demuestran adaptabilidad en varias tareas cuantitativas, pero revelan brechas de mejora. Ampliarse más allá de ML, probar la generalización interdisciplinaria y la evaluación de la novedad científica son áreas clave para el crecimiento. El estudio enfatiza la importancia de la apertura de los datos para mejorar la colaboración y el descubrimiento. A medida que avanza la investigación de IA, los avances en el razonamiento, las arquitecturas de agentes y los métodos de evaluación serán cruciales. El fortalecimiento de la colaboración interdisciplinaria puede garantizar que los agentes impulsados por la IA aceleren el descubrimiento científico al tiempo que mantienen la reproducibilidad, la verificabilidad e integridad.
Verificar el Papel y Página de Github. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro Subreddit de 80k+ ml.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.