Los investigadores han destacado las preocupaciones con respecto a las alucinaciones en LLM debido a su generación de contenido plausible pero inexacto o no relacionado. Sin embargo, estas alucinaciones tienen potencial en los campos impulsados por la creatividad como el descubrimiento de fármacos, donde la innovación es esencial. Los LLM se han aplicado ampliamente en dominios científicos, como la ciencia de los materiales, la biología y la química, ayudando a tareas como la descripción molecular y el diseño de fármacos. Mientras que los modelos tradicionales como MOLT5 ofrecen precisión específica del dominio, los LLM a menudo producen salidas alucinadas cuando no se ajustan. A pesar de su falta de consistencia objetiva, tales resultados pueden proporcionar información valiosa, como descripciones moleculares de alto nivel y aplicaciones compuestas potenciales, lo que respalda procesos exploratorios en el descubrimiento de fármacos.
El descubrimiento de drogas, un proceso costoso y intensivo en el tiempo, implica evaluar vastos espacios químicos e identificar nuevas soluciones a los desafíos biológicos. Estudios anteriores han utilizado el aprendizaje automático y los modelos generativos para ayudar en este campo, con investigadores que exploran la integración de LLM para el diseño de moléculas, la curación del conjunto de datos y las tareas de predicción. Las alucinaciones en LLMS, a menudo vistas como un inconveniente, pueden imitar procesos creativos recombinando el conocimiento para generar ideas novedosas. Esta perspectiva se alinea con el papel de la creatividad en la innovación, ejemplificado por descubrimientos accidentales innovadores como la penicilina. Al aprovechar las ideas alucinadas, los LLM podrían avanzar en el descubrimiento de fármacos identificando moléculas con propiedades únicas y fomentando la innovación de alto nivel.
Los investigadores de la Universidad Tecnológica de SCADS.AI y Dresde plantean la hipótesis de que las alucinaciones pueden mejorar el rendimiento de LLM en el descubrimiento de fármacos. Utilizando siete LLMS ajustados por instrucciones, incluidos GPT-4O y LLAMA-3.1-8B, incorporaron descripciones de lenguaje natural alucinado de las cadenas de sonrisas de las moléculas en las indicaciones para las tareas de clasificación. Los resultados confirmaron su hipótesis, con LLAMA-3.1-8B logrando una mejora ROC-AUC del 18.35% sobre la línea de base. Los modelos más grandes y las alucinaciones generadas por los chinos demostraron las mayores ganancias. Los análisis revelaron que el texto alucinado proporciona información no relacionada pero perspicaz, ayudando a las predicciones. Este estudio destaca el potencial de las alucinaciones en la investigación farmacéutica y ofrece nuevas perspectivas sobre el aprovechamiento de los LLM para el descubrimiento innovador de fármacos.
Para generar alucinaciones, las cuerdas de las moléculas de las sonrisas se traducen al lenguaje natural utilizando un aviso estandarizado donde el sistema se define como un “experto en descubrimiento de fármacos”. Las descripciones generadas se evalúan para consistencia objetiva utilizando el modelo HHM-2.1 abre, con texto generado por MOLT5 como referencia. Los resultados muestran una baja consistencia fáctica entre LLMS, con Chemllm con puntaje 20.89% y otros con un promedio de 7.42–13.58%. Las tareas de descubrimiento de fármacos se formulan como problemas de clasificación binaria, prediciendo propiedades moleculares específicas a través de la predicción de la siguiente token. Las indicaciones incluyen sonrisas, descripciones e instrucciones de tareas, con modelos limitados a la salida “sí” o “no” según la mayor probabilidad.
El estudio examina cómo las alucinaciones generadas por diferentes LLM tienen el rendimiento del impacto en las tareas de predicción de la propiedad molecular. Los experimentos utilizan un formato de inmediato estandarizado para comparar predicciones basadas en cadenas de sonrisas solas, sonrisas con descripciones generadas por MOLT5 y descripciones alucinadas de varios LLM. Se analizaron cinco conjuntos de datos Moleculenet utilizando puntajes ROC-AUC. Los resultados muestran que las alucinaciones generalmente mejoran el rendimiento sobre las sonrisas o las líneas de base MOLT5, con GPT-4O logrando las ganancias más altas. Los modelos más grandes se benefician más de las alucinaciones, pero las mejoras se estabilizan más de 8 mil millones de parámetros. La configuración de temperatura influye en la calidad de la alucinación, con valores intermedios que producen las mejores mejoras de rendimiento.
En conclusión, el estudio explora los beneficios potenciales de las alucinaciones en LLM para tareas de descubrimiento de fármacos. Al hipotetizar que las alucinaciones pueden mejorar el rendimiento, la investigación evalúa siete LLM en cinco conjuntos de datos utilizando descripciones de moléculas alucinadas integradas en indicaciones. Los resultados confirman que las alucinaciones mejoran el rendimiento de LLM en comparación con las indicaciones de referencia sin alucinaciones. En particular, Llama-3.1-8b logró una ganancia ROC-AUC del 18.35%. Las alucinaciones generadas por GPT-4O proporcionaron mejoras consistentes entre los modelos. Los resultados revelan que los tamaños de modelo más grandes generalmente se benefician más de las alucinaciones, mientras que factores como la temperatura de generación tienen un impacto mínimo. El estudio destaca el potencial creativo de las alucinaciones en la IA y fomenta una mayor exploración de aplicaciones de descubrimiento de fármacos.
Verificar el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos Gorjeo y únete a nuestro Canal de telegrama y LinkedIn GRsalpicar. No olvides unirte a nuestro 70k+ ml de subreddit.
🚨 [Recommended Read] Nebius AI Studio se expande con modelos de visión, nuevos modelos de idiomas, incrustaciones y Lora (Promocionado)
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.