Los avances recientes en modelos econométricos y pruebas de hipótesis han sido testigos de un cambio de paradigma hacia la integración de técnicas de aprendizaje automático. Si bien se han logrado avances en la estimación de modelos econométricos del comportamiento humano, aún es necesario realizar más investigaciones para generar y probar rigurosamente estos modelos de manera efectiva.

Investigadores del MIT y Harvard introducen un enfoque novedoso para abordar esta brecha: fusionar la generación automatizada de hipótesis con pruebas de hipótesis in silico. Este método innovador aprovecha las capacidades de los grandes modelos de lenguaje (LLM) para simular el comportamiento humano con notable fidelidad, ofreciendo una vía prometedora para la prueba de hipótesis que puede descubrir conocimientos inaccesibles a través de métodos tradicionales.

El núcleo de este enfoque radica en la adopción de modelos causales estructurales como marco rector para la generación de hipótesis y el diseño experimental. Estos modelos delinean relaciones causales entre variables y han servido durante mucho tiempo como base para expresar hipótesis en la investigación de las ciencias sociales. Lo que distingue a este estudio es el uso de modelos causales estructurales no sólo para la formulación de hipótesis sino también como modelo para diseñar experimentos y generar datos. Al mapear construcciones teóricas en parámetros experimentales, este marco facilita la generación sistemática de agentes o escenarios que varían a lo largo de dimensiones relevantes, lo que permite probar hipótesis rigurosas en entornos simulados.

Un hito fundamental en la puesta en práctica de este enfoque basado en modelos causales estructurales es el desarrollo de un sistema computacional de código abierto. Este sistema integra a la perfección la generación automatizada de hipótesis, el diseño experimental, la simulación utilizando agentes impulsados ​​por LLM y el análisis posterior de los resultados. A través de una serie de experimentos que abarcan diversos escenarios sociales (desde situaciones de negociación hasta procedimientos legales y subastas), el sistema demuestra su capacidad para generar y probar de forma autónoma múltiples hipótesis falsificables, generando hallazgos procesables.

Si bien los hallazgos derivados de estos experimentos pueden no ser innovadores, subrayan la validez empírica del enfoque. Es importante destacar que no son meros productos de conjeturas teóricas, sino que se basan en experimentación y simulación sistemáticas. Sin embargo, el estudio plantea cuestiones críticas sobre la necesidad de simulaciones en las pruebas de hipótesis. ¿Pueden los LLM participar efectivamente en “experimentos mentales” para obtener conocimientos similares sin recurrir a la simulación? El estudio realiza tareas predictivas para abordar esta cuestión, revelando disparidades notables entre las predicciones generadas por LLM y los resultados empíricos y las expectativas teóricas.

Además, el estudio explora el potencial de aprovechar modelos causales estructurales ajustados para mejorar la precisión de la predicción en simulaciones basadas en LLM. Al proporcionar información contextual sobre escenarios y estimaciones de rutas experimentales, el LLM funciona mejor en la predicción de resultados. Sin embargo, persisten brechas significativas entre los resultados previstos y los puntos de referencia empíricos y teóricos, lo que subraya la complejidad de capturar con precisión el comportamiento humano en entornos simulados.

Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.

Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..

No olvides unirte a nuestro SubReddit de más de 40.000 ml