Los modelos de IA del lenguaje lograron una precisión del 81 % en la predicción de los resultados de la investigación en neurociencia, superando significativamente la tasa de éxito del 63 % de los expertos humanos en un estudio único en su tipo que señala el potencial de la IA para acelerar los descubrimientos científicos.
Publicado en Naturaleza Comportamiento Humano | Tiempo estimado de lectura: 3 minutos
La vasta escala de la literatura científica moderna ha creado una paradoja: la riqueza de la investigación disponible se ha vuelto tan abrumadora que los conocimientos cruciales a menudo pasan desapercibidos. Ahora, investigadores de la UCL han demostrado que la inteligencia artificial puede ayudar a resolver este problema al identificar patrones en miles de estudios para predecir los resultados de la investigación con mayor precisión que los expertos humanos.
Dirigido por el Dr. Ken Luo del departamento de Psicología y Ciencias del Lenguaje de la UCL, el equipo de investigación desarrolló BrainBench, una herramienta para evaluar qué tan bien los modelos de lenguaje grandes (LLM) pueden pronosticar los resultados de la neurociencia. Cuando se probó con 171 expertos en neurociencia, cada modelo de IA superó a los especialistas humanos, incluso aquellos con mayor experiencia en el campo.
El modelo especializado del equipo, BrainGPT, logró una precisión aún más impresionante del 86% después de haber sido entrenado específicamente en literatura de neurociencia. En particular, al igual que los expertos humanos, los modelos de IA mostraron una mayor precisión cuando expresaron mayor confianza en sus predicciones.
“El progreso científico a menudo se basa en prueba y error, pero cada experimento meticuloso exige tiempo y recursos”, explica el Dr. Luo. “Incluso los investigadores más hábiles pueden pasar por alto conocimientos críticos de la literatura”. Esta tecnología podría ayudar a los investigadores a diseñar experimentos más eficaces y tomar decisiones más informadas sobre la dirección de su investigación.
El profesor Bradley Love, autor principal de la UCL, sugiere que estos hallazgos revelan algo más profundo sobre la naturaleza de la investigación científica: “Este éxito sugiere que gran parte de la ciencia no es verdaderamente novedosa, sino que se ajusta a los patrones de resultados existentes en la literatura. Nos preguntamos si los científicos están siendo lo suficientemente innovadores y exploratorios”.
Glosario
- Modelos de lenguajes grandes (LLM)
- Sistemas de inteligencia artificial entrenados con grandes cantidades de texto que pueden procesar y generar un lenguaje similar al humano
- banco de cerebros
- Una herramienta de prueba que compara resultados reales de estudios de neurociencia con alternativas plausibles pero incorrectas
- Puntuación de perplejidad
- Una medida de cuán sorprendente o inesperado es un modelo de IA que encuentra un fragmento de texto en particular según su entrenamiento.
Pon a prueba tus conocimientos
¿Cuál fue la tasa de precisión de los modelos generales de IA al predecir los resultados del estudio?
Los modelos generales de IA lograron una precisión del 81%.
¿Cuánto mejor se desempeñaron los expertos humanos cuando solo consideraron su área específica de especialización?
Incluso en sus dominios específicos, los expertos solo lograron una precisión del 66%, todavía muy por debajo de los modelos de IA.
¿Cómo se compara el rendimiento del modelo BrainGPT especializado con su versión de propósito general?
BrainGPT logró un 86% de precisión en comparación con el 83% del Mistral de uso general, mostrando una mejora del 3% a través de capacitación especializada.
¿Qué sugiere el éxito de la IA sobre la investigación científica actual, según el profesor Love?
La alta precisión de la predicción sugiere que gran parte de la investigación científica sigue patrones existentes en lugar de ser verdaderamente novedosas, lo que plantea dudas sobre si los científicos están siendo lo suficientemente innovadores en su enfoque.
Más información
¿Disfrutas esta historia? Suscríbete a nuestro boletín en blogdeciencia.substack.com.