Los grandes modelos de lenguaje como ChatGPT están revolucionando la forma en que la gente escribe, pero eso crea un problema para los científicos. Estos modelos se entrenan con el conocimiento humano que ya existe, mientras que la ciencia generalmente se ocupa de nuevos hallazgos que amplían este cuerpo de conocimiento.
Por lo tanto, los artículos científicos pueden contener información que un LLM nunca habrá visto. Eso significa que pedirle a una de estas máquinas que escriba un artículo científico plantea preguntas importantes sobre si puede escribir afirmaciones precisas sobre un tema sobre el que no tiene formación.
Probablemente por eso, varios análisis muestran que los científicos han estado usando LLM para editar sus artículos, pero no para escribirlos. Ahora parece que eso va a cambiar con la presentación de un “científico de IA” que realiza todo el proceso científico, incluida la redacción. Chris Lu, Robert Lange y David Ha de Sakana AI y sus colegas han creado una máquina que desarrolla y prueba hipótesis, diseña y ejecuta experimentos, reúne e interpreta datos y, finalmente, escribe todo esto en un artículo científico.
El científico de inteligencia artificial incluso evalúa el artículo para determinar si es adecuado para su publicación. “Presentamos el primer marco integral para el descubrimiento científico totalmente automatizado”, afirma el equipo.
Su trabajo tiene profundas implicaciones sobre la forma en que los científicos realizan su trabajo, sobre la naturaleza de la ciencia misma y sobre cómo la sociedad debería pensarla y explotarla.
Automatización científica
Lu y compañía comienzan por dividir el proceso científico en una serie de tareas que pueden ser manejadas por un LLM suficientemente bien preparado. Además, limitan el área de investigación al aprendizaje automático para que el trabajo pueda realizarse dentro de un área de la ciencia que es en gran medida accesible para una máquina.
Pero, en principio, dicen, no hay razón por la que el científico de IA no pueda aplicar su oficio a la física, la biología, la química o cualquier subdisciplina de la ciencia, siempre que tenga la capacidad de experimentar en esas áreas. Prosiguen para probar esto utilizando varios LLMS disponibles públicamente, incluidos Claude Sonnet 3.5, ChatGPT-4o, DeepSeek Coder y Llama-3.1 405b.
Lu y compañía dicen que el científico de IA trabaja en tres fases principales, siendo la primera la de generar una idea que valga la pena explorar basándose en un archivo de investigaciones previas. Luego, el equipo le pide al modelo que refine la idea utilizando el razonamiento en cadena y la autorreflexión, dos mecanismos que recientemente han ayudado a mejorar el resultado de grandes modelos de lenguaje utilizando el razonamiento deductivo. Para cada idea, el sistema también produce un plan para probarla.
El modelo determina entonces la novedad del enfoque comparándolo con los que ya existen en su base de datos. “Esto permite a The AI Scientist descartar cualquier idea que sea demasiado similar a la literatura existente”, afirman Lu y compañía.
Una vez que ha encontrado una idea suficientemente novedosa, el científico de IA pasa a la siguiente fase, que consiste en realizar el experimento y recopilar datos. Como el área de la ciencia es el aprendizaje automático, los experimentos se llevan a cabo en su totalidad en silico. Entonces, el sistema escribe el código para el conjunto de experimentos propuestos y luego los ejecuta en orden, mientras corrige cualquier error de codificación que surja.
Este proceso produce un conjunto de resultados. El científico de IA utiliza luego estos datos para generar notas al estilo de un diario experimental y traza varias figuras con descripciones detalladas de lo que muestran.
La etapa final consiste en redactar el experimento “al estilo de las actas de una conferencia de aprendizaje automático estándar”. Para ello, utiliza una plantilla de papel en blanco dividida previamente en un formato estándar: introducción, antecedentes, métodos, configuración experimental, resultados y conclusión. La IA edita cada sección una vez mediante el proceso de autorreflexión antes de buscar en la web referencias relevantes, que luego agrega.
El equipo afirma que el documento resultante suele ser demasiado verboso y repetitivo, por lo que necesita otra ronda de edición. “Para resolver esto, realizamos una ronda final de autorreflexión sección por sección, con el objetivo de eliminar cualquier información duplicada y simplificar los argumentos del documento”, afirman.
El proceso finaliza con la revisión por parte del científico de IA de su propio trabajo basándose en una base de datos de revisiones humanas de los artículos presentados en la Conferencia Internacional sobre Representaciones del Aprendizaje de 2022. El objetivo es otorgarle al artículo una puntuación que coincida con la evaluación que podría otorgar un revisor humano.
De esta manera, el científico de inteligencia artificial del equipo generó cientos de artículos a un costo de alrededor de $15 cada uno, significativamente menos que los $100,000 que se cree que cuesta un artículo humano en términos de salarios, etc. “Encontramos que Claude Sonnet 3.5 produce consistentemente los artículos de mayor calidad, con GPT-4o en segundo lugar”, dicen.
Pero los artículos no son perfectos en absoluto; Lu y sus colegas los describen como de “calidad media”. “En general, consideramos que el desempeño de The AI Scientist está cerca del nivel de un investigador de aprendizaje automático en etapa inicial que puede ejecutar una idea de manera competente, pero que puede no tener el conocimiento de fondo completo para interpretar por completo las razones detrás del éxito de un algoritmo”, afirman.
¿Rendimiento sobrehumano?
En otras palabras, el científico de IA no siempre aprecia la importancia de lo que ha hecho.
El equipo dice que un supervisor humano probablemente recomendaría a un investigador en una etapa tan temprana que regresara al laboratorio y planificara un conjunto adicional de experimentos que ayudarían a analizar y responder las preguntas que genera el trabajo.
Pero estos problemas no parecen ser un impedimento. “Naturalmente, esperamos que muchos de los defectos del científico de IA mejoren, si no se eliminan, a medida que los modelos básicos sigan mejorando drásticamente”, dicen Lu y compañía.
Se trata de un trabajo interesante que plantea preguntas profundas para la ciencia y los propios científicos. Una de ellas, y no la menos importante, es qué ocurrirá cuando el científico de la IA empiece a superar a los humanos. “Las futuras generaciones de modelos básicos pueden proponer ideas que resulten difíciles de razonar y evaluar para los humanos”, señalan los investigadores, y añaden que el reto de supervisar sistemas de IA que sean más inteligentes que los humanos se está convirtiendo en un área activa de investigación, al menos entre los humanos.
Luego está la cuestión de cómo los humanos deberían acceder y explotar cualquier flujo futuro de investigación científica generada por IA. No es difícil imaginar que los humanos se verán rápidamente abrumados por este volumen, así como incapaces de razonar con suficiente profundidad sobre él.
Se trata de preguntas importantes para los científicos y para la sociedad en general. El futuro de la ciencia está en juego.
Ref.: El científico de la IA: hacia un descubrimiento científico abierto y totalmente automatizado : arxiv.org/abs/2408.06292