Los laboratorios científicos pueden ser lugares peligrosos
PersonasImágenes/Shutterstock
El uso de modelos de IA en laboratorios científicos corre el riesgo de permitir experimentos peligrosos que podrían provocar incendios o explosiones, advirtieron los investigadores. Estos modelos ofrecen una convincente ilusión de comprensión, pero son susceptibles de omitir precauciones de seguridad básicas y vitales. En las pruebas de 19 modelos de IA de última generación, todos cometieron errores potencialmente mortales.
Los accidentes graves en los laboratorios universitarios son raros, pero ciertamente no son inauditos. En 1997, la química Karen Wetterhahn murió a causa del dimetilmercurio que se filtró a través de sus guantes protectores; en 2016, una explosión le costó el brazo a una investigadora; y en 2014, un científico quedó parcialmente ciego.
Ahora, los modelos de IA se están poniendo en servicio en una variedad de industrias y campos, incluidos laboratorios de investigación donde pueden usarse para diseñar experimentos y procedimientos. Los modelos de IA diseñados para tareas específicas se han utilizado con éxito en varios campos científicos, como la biología, la meteorología y las matemáticas. Pero los grandes modelos de propósito general son propensos a inventar cosas y responder preguntas incluso cuando no tienen acceso a los datos necesarios para formar una respuesta correcta. Esto puede ser una molestia si se investigan destinos de vacaciones o recetas, pero potencialmente fatal si se diseña un experimento de química.
Para investigar los riesgos, Xiangliang Zhang de la Universidad de Notre Dame en Indiana y sus colegas crearon una prueba llamada LabSafety Bench que puede medir si un modelo de IA identifica peligros potenciales y consecuencias dañinas. Incluye 765 preguntas de opción múltiple y 404 escenarios de laboratorio pictóricos que pueden incluir problemas de seguridad.
En pruebas de opción múltiple, algunos modelos de IA, como Vicuña, obtuvieron puntuaciones casi tan bajas como se vería con conjeturas aleatorias, mientras que GPT-4o alcanzó una precisión de hasta el 86,55 por ciento y DeepSeek-R1 hasta un 84,49 por ciento de precisión. Cuando se probaron con imágenes, algunos modelos, como el InstructBlip-7B, obtuvieron una precisión inferior al 30 por ciento. El equipo probó 19 modelos de lenguaje grande (LLM) y modelos de lenguaje de visión de vanguardia en LabSafety Bench y descubrió que ninguno obtuvo más del 70 por ciento de precisión en general.
Zhang es optimista sobre el futuro de la IA en la ciencia, incluso en los llamados laboratorios autónomos donde los robots trabajan solos, pero dice que los modelos aún no están listos para diseñar experimentos. “¿Ahora? ¿En un laboratorio? No lo creo. Muy a menudo fueron capacitados para tareas de propósito general: reescribir un correo electrónico, pulir un documento o resumir un artículo. Se desempeñan muy bien en este tipo de tareas. [But] no tienen el conocimiento de dominio sobre estos [laboratory] peligros”.
“Damos la bienvenida a la investigación que ayuda a que la IA en la ciencia sea segura y confiable, especialmente en entornos de laboratorio de alto riesgo”, dice un portavoz de OpenAI, señalando que los investigadores no probaron su modelo líder. “GPT-5.2 es nuestro modelo científico más capaz hasta la fecha, con un razonamiento, planificación y detección de errores significativamente más sólidos que el modelo analizado en este documento para apoyar mejor a los investigadores. Está diseñado para acelerar el trabajo científico mientras los humanos y los sistemas de seguridad existentes siguen siendo responsables de las decisiones críticas para la seguridad”.
Google, DeepSeek, Meta, Mistral y Anthropic no respondieron a una solicitud de comentarios.
Allan Tucker, de la Universidad Brunel de Londres, dice que los modelos de IA pueden ser invaluables cuando se usan para ayudar a los humanos a diseñar experimentos novedosos, pero existen riesgos y los humanos deben permanecer informados. “El comportamiento de estos [LLMs] “Ciertamente no se entienden bien en ningún sentido científico típico”, dice. “Creo que la nueva clase de LLM que imitan el lenguaje -y no mucho más- se están utilizando claramente en entornos inapropiados porque la gente confía demasiado en ellos. Ya hay evidencia de que los humanos comienzan a sentarse y desconectarse, dejando que la IA haga el trabajo duro pero sin un escrutinio adecuado”.
Craig Merlic, de la Universidad de California en Los Ángeles, dice que ha realizado una prueba sencilla en los últimos años, preguntando a modelos de IA qué hacer si se derrama ácido sulfúrico sobre sí mismo. La respuesta correcta es enjuagar con agua, pero Merlic dice que ha descubierto que las IA siempre advierten contra esto, adoptando incorrectamente consejos no relacionados sobre no agregar agua al ácido en experimentos debido a la acumulación de calor. Sin embargo, afirma, en los últimos meses los modelos han empezado a dar la respuesta correcta.
Merlic dice que inculcar buenas prácticas de seguridad en las universidades es vital, porque hay un flujo constante de nuevos estudiantes con poca experiencia. Pero es menos pesimista que otros investigadores sobre el lugar de la IA en el diseño de experimentos.
“¿Es peor que los humanos? Una cosa es criticar todos estos grandes modelos de lenguaje, pero no los han probado con un grupo representativo de humanos”, dice Merlic. “Hay seres humanos que son muy cuidadosos y hay seres humanos que no lo son. Es posible que los grandes modelos de lenguaje sean mejores que cierto porcentaje de graduados principiantes, o incluso investigadores experimentados. Otro factor es que los grandes modelos de lenguaje están mejorando cada mes, por lo que las cifras contenidas en este documento probablemente serán completamente inválidas en otros seis meses”.
Temas: