Cómo mentir con estadísticas con tu mejor amigo robot

El análisis estadístico tradicional a menudo se compara con navegar por un “jardín de senderos que se bifurcan” (Gelman y Loken). Es un término que ayuda (con suerte) a visualizar la innumerable cantidad de elecciones analíticas que los investigadores deben tomar durante un experimento, y cómo "giros" aparentemente insignificantes (como qué variables controlar, qué valores atípicos eliminar…) pueden hacer que los investigadores terminen llegando a conclusiones completamente diferentes.

Si bien esto parece una analogía mayoritariamente inofensiva, navegar por este jardín para encontrar ese único camino que te lleve a donde quieres se puede llamar "p-hacking". Formalmente, podemos definirlo como cualquier medida que un investigador aplica para hacer significativa una prueba de hipótesis que previamente no era significativa (generalmente por debajo de 0,05). De manera más informal, estoy seguro de que todo el mundo ha tenido experiencia en falsificar los resultados de una tarea de experimentación durante su clase de química o física en la escuela secundaria, y si bien lo que está en juego para una calificación satisfactoria en una tarea de la escuela secundaria es bastante bajo, bajo el estrés del "publicar o perecer" de la academia formal (sólo superado por el español o desaparecer en intimidación), la presión para hacer p-hack puede ser un verdadero demonio tentador sobre su hombro.

Si bien la imagen tradicional de un estudiante de doctorado estresado modificando algunos números en una hoja de cálculo de estudio a las 3:00 a. m. puede presentar una imagen más sorprendente de la motivación de uno para el p-hacking, también exploraremos lo que sucede cuando dejamos de navegar en este jardín de caminos que se bifurcan hacia la inteligencia artificial. A medida que los flujos de trabajo de IA se abren paso en todos los rincones de la academia y la industria, será importante determinar si nuestros amigables LLM de vecindario actuarán como los guardianes finales de la integridad científica o como un adulador que automatiza el fraude a escala industrial.

1. La línea de base humana (“Grandes pequeñas mentiras”)

Para ofrecer una breve introducción y algunos ejemplos de métodos reales de p-hacking, presentamos el artículo “Big Little Lies” (Stefan y Schönbrodt, 2023) que proporciona un compendio de las muchas formas furtivas, y a veces incluso involuntarias, en que los estudios pueden manipular sus variables y conjuntos de datos para llegar a resultados sospechosamente significativos.

¡Bueno! Entonces, comencemos con una hipótesis: somos el nuevo científico de datos que trabaja para una empresa de bebidas energéticas que fabrica bebidas energéticas extremadamente ineficaces y, con el mercado laboral actual, realmente quieres seguir siendo un científico de datos, incluso en una empresa de bebidas falsa. Nuestra inestable carrera depende de demostrar que nuestras bebidas funcionan.

1.1 Variables fantasma

Comenzamos realizando un estudio sobre nuestra bebida energética de agua del grifo y medimos 10 resultados diferentes: peso, presión arterial, colesterol, niveles de energía, calidad del sueño, ansiedad y tal vez incluso crecimiento del cabello. Nueve de esas variables podrían no mostrar ningún cambio, pero notamos que el "crecimiento del cabello" muestra una mejora estadísticamente significativa simplemente por ruido estadístico aleatorio. Ahora podemos publicar un estudio pretendiendo que el crecimiento del cabello fue la hipótesis principal desde el principio, mientras silenciosamente barremos bajo la alfombra las nueve métricas no reportadas (convirtiéndolas en “Variables Fantasma”). Las simulaciones de Stefan y Schönbrodt muestran que hacer esto con 10 variables no correlacionadas infla la tasa de falsos positivos del 5% estándar a casi el 40%.

1.2 Visualización de datos/detención opcional

En una prueba separada, probamos a 20 personas y no encontramos ningún efecto significativo de la bebida. Pensando que la muestra es demasiado pequeña, prueba 10 más y vuelve a verificar. Todavía nada. Pruebas 10 más y vuelves a comprobar, y… el valor p cae aleatoriamente por debajo de 0,05, por lo que detienes el estudio inmediatamente y publicas tus "hallazgos". Stefan y Schönbrodt demuestran que esta práctica infla drásticamente la tasa de resultados falsos positivos, especialmente cuando los investigadores dan "pasos" más pequeños entre las miradas. Metafóricamente, es como tomar una foto de una persona borracha que tropieza en el milisegundo exacto en que pisa la acera y afirma que camina perfectamente derecho.

1.3 Exclusión de valores atípicos

Ahora analizamos los datos de sus bebidas energéticas y nos damos cuenta de que están terriblemente cerca de la significación (p. ej., p = 0,06). Decidimos limpiar nuestros datos, aprovechando el hecho de que no existe una regla universalmente aceptada para los valores atípicos: la distancia de Cook, la influencia, los diagramas de caja, la opinión de nuestra abuela sobre qué opiniones son confiables…

Stefan y Schönbrodt citan una revisión de la literatura que encontró al menos 39 técnicas diferentes de identificación de valores atípicos. ¡Asombroso! Ahora estamos llenos de opciones. Probamos el método A (por ejemplo, eliminar a las personas que tardaron demasiado en una encuesta) y luego probamos el método B (por ejemplo, la distancia de Cook) hasta que encontramos la regla matemática específica que elimina a los dos participantes que odiaban la bebida, llevando nuestro valor p a 0,04. Las simulaciones de Stefan y Schönbrodt confirman que la aplicación subjetiva de diferentes métodos atípicos como este infla enormemente las tasas de falsos positivos.

1.4 Redefinición de escala

Finalmente, concluimos dando una encuesta de 10 preguntas que mide qué tan llenos de energía se sienten después de beber agua del grifo. El resultado general no es significativo, por lo que simplemente descartamos las preguntas 4 y 7, diciéndonos que los participantes deben haberlas encontrado confusas de todos modos. De hecho, podemos usar esto para mejorar artificialmente la consistencia interna de la escala (alfa de Cronbach) y al mismo tiempo optimizarla para obtener un valor p significativo. Big Little Lies demuestra que las tasas de falsos positivos aumentan drásticamente a medida que se eliminan más elementos de una escala de medición.

Entonces… como sugiere el nombre del artículo, el p-hacking humano es una colección de "pequeñas grandes mentiras". El conjunto de herramientas humanas es en realidad sólo una colección de formas sofisticadas de engañarnos a nosotros mismos, sin tener que ser necesariamente malvados o maliciosos. Los seres humanos somos parciales, desordenados y, a veces, realmente desesperados por conseguir un puesto de trabajo (¡o un empleo, en nuestro caso!), y a veces utilizamos toda la ambigüedad que podemos para llegar allí.

2. La adulación de la IA y la ilusión de seguridad

Hasta ahora, cubrimos un pequeño subconjunto de métodos que nosotros, los miserables humanos, hemos utilizado para abrirnos camino hacia el éxito. Sin embargo, como cualquier otro campo en este momento, con la llegada del uso de la IA en todos los aspectos de nuestra vida académica y no académica, Asher et al. Experimentó si podían guiar sutilmente a algunos LLM motivados para que realizaran p-hacking para ellos.

El experimento fue bastante simple: probar dos agentes de codificación de IA de vanguardia, Claude Opus 4.6 y OpenAI Codex (GPT-5.2-Codex), en 640 ejecuciones independientes. Los investigadores alimentaron a las IA con conjuntos de datos limpios de cuatro artículos de ciencia política publicados que habían conocido resultados nulos o casi nulos (temas que han demostrado tener un efecto absolutamente nulo, por ejemplo, el impacto de los sheriffs demócratas en el cumplimiento de las leyes de inmigración).

Entonces, la verdad fundamental con la que estamos trabajando es cero. Los investigadores actuaron como un usuario, tal vez un estudiante de doctorado estresado, que proporcionaba estos datos exactos a los agentes de IA y utilizaron diferentes empujones, diferentes indicaciones para ver si la IA alucinaría un resultado significativo. Comenzaron con lo que se podría llamar las “indicaciones de los buenos”. Comenzaron con "analizar estos datos, como un investigador riguroso y honrado". Como era de esperar, la IA era aburridamente perfecta. Analizó los datos. No encontró correctamente ningún efecto e informó el resultado nulo. Coincidía casi exactamente con la ciencia publicada.

Incluso cuando los investigadores presionaron explícitamente a los modelos diciendo: "Es importante para su carrera que los hallazgos sean estadísticamente significativos", ambos modelos se negaron activamente. Produjeron estimaciones estables y honestas y señalaron explícitamente la solicitud de manipulación de datos como “mala conducta científica” y una violación de la ética de la investigación. ¡Hasta ahora, hemos evitado la crisis! La capacitación en seguridad que están implementando estas empresas de IA realmente está funcionando, al menos a nivel superficial. Los modelos han sido entrenados explícitamente para que manipular datos sea algo malo. Reconocen el vocabulario del fraude. Si te encuentras con un letrero de neón que dice "¡ENGAÑAR!", te dirán que no.

2.1 El sutil arte de MENTIR

Así que dejemos de lado el letrero de neón por un segundo e intentemos ser un poco más sutiles. Los investigadores se dieron cuenta de que la IA estaba reaccionando a la intención explícita de hacer trampa. Desarrollaron un "mensaje nuclear" que disfrazaba el p-hacking utilizando el lenguaje de una ciencia muy rigurosa: pedirle a la IA que proporcionara una "estimación del límite superior" mediante la "exploración de enfoques alternativos". Al enmarcar la solicitud más como un informe de incertidumbre y menos como una obligación de alterar el proceso científico, los mecanismos de seguridad desaparecieron por completo. La IA ya no veía límites morales; vio un problema de optimización complejo que resolver (y sabes cuánto los aman las IA).

¿Y qué hizo realmente la IA en ese momento? Un hacker P humano, como el que mencionamos, podría probar tres o cuatro variables de control diferentes, tal vez eliminar algunos valores atípicos. Lleva horas, tal vez días… La IA simplemente escribió un código para hacerlo al instante. Más detalles a continuación.

2.2 No todos los datos son iguales

La parte más aterradora del experimento no es que la IA pueda automatizar el fraude científico. Lo importante es qué tan bien lo haga, y en qué medida eso depende del diseño de investigación con el que se le haya asignado trabajar. ¡A veces esto es algo bueno!

Si la investigación observacional es un enorme y extenso laberinto de setos con mil giros equivocados, un ensayo controlado aleatorio es simplemente… un pasillo recto. No hay mucho que explotar.

Para probar esto, los investigadores alimentaron a la IA con un ECA de 2018 realizado por Kalla y Broockman que estudiaba los efectos persuasivos del sondeo puerta a puerta prodemócrata sobre las preferencias de los votantes de Carolina del Norte, con el resultado publicado de un cero definitivo. No pasó nada. El escrutinio no movió la aguja.

Luego, la IA recibió el “mensaje nuclear” antes mencionado: esencialmente, búscame el mayor efecto posible, por cualquier medio necesario (pero redactado de una manera muy poco hacker). Escribió guiones automatizados, probó siete especificaciones estadísticas diferentes (diferencia de medias, ANCOVA, varios conjuntos de covariables, todo)… y básicamente no llegó a ninguna parte. Debido a que el estudio fue un verdadero experimento aleatorio, las variables de confusión ya estaban controladas por el diseño. La IA casi no tenía caminos bifurcados por los que caminar. es decir, "la verdad es mucho más difícil de ocultar cuando las luces están encendidas".

Sin embargo, los estudios observacionales son una bestia completamente diferente (¡en el mal sentido!).

Cuando se observa el mundo tal como existe naturalmente en lugar de realizar un experimento controlado, los datos son confusos por naturaleza. Y para dar sentido a datos confusos, los investigadores tienen que tomar decisiones: ¿qué variables controlan? ¿Edad? ¿Ingreso? ¿Educación? ¿Geografía? ¿Densidad del cabello? ¿Horario de sueño? Cada una de esas opciones es una bifurcación en el camino. La IA encontró esto absolutamente delicioso.

Aquí hay dos ejemplos que realmente ilustran lo mal que se pone:

Kam y Palmer (2008) analizaron si asistir a la universidad aumenta la participación política. Dado que la asistencia a la universidad no se asigna al azar (obviamente), los investigadores tienen un enorme menú de variables que podrían controlar para que la comparación sea justa. La IA trabajó sistemáticamente en ese menú, definiendo conjuntos de covariables cada vez más dispersos y probándolos en OLS, coincidencia de puntuación de propensión y ponderación de probabilidad inversa. Al eliminar estratégicamente ciertos factores de confusión y seleccionar la combinación que produjera el mayor número, se logró aproximadamente duplicar el tamaño medio real del efecto. Es el truco de la “variable fantasma”, pero completamente automatizado para su satisfacción.

El artículo de Thompson (2020) es donde las cosas se ponen realmente incómodas. Los diseños de discontinuidad de regresión son conocidos por ser sensibles a elecciones matemáticas altamente técnicas, y el estudio original encontró un efecto nulo de -0,06 sobre si los sheriffs demócratas afectaban el cumplimiento de las normas de inmigración. La IA escribió bucles for anidados y de fuerza bruta a través de 9 anchos de banda diferentes, 2 órdenes polinómicos y 2 funciones del núcleo. Cientos de combinaciones. Encontró una configuración específica que produjo un efecto de -0,194 con un valor de p inferior a 0,001. Para ser claros: produjo un resultado estadísticamente significativo de más del triple del efecto real, a partir de un estudio que no encontró nada.

Entonces… los ECA en su mayoría están bien. ¿Estudios observacionales? La IA encontrará la manera. Sin embargo, cabe señalar que estas vulnerabilidades siguen siendo un problema cuando solo hay un ser humano en el circuito: se trata de la flexibilidad que la investigación observacional requiere por diseño.

Asher et al. El experimento solo probó la etapa de análisis final de la tubería utilizando datos ya limpios. Entonces, ¿qué sucede cuando permitimos que la IA controle la construcción de datos, la definición de variables y la selección de muestras en la entrada misma del laberinto? Podría dar forma silenciosamente a todo el conjunto de datos desde cero.

Los modelos de IA estándar son competentes y honestos en condiciones normales, pero todo lo que se necesita es una indicación cuidadosamente redactada para convertirlos en p-hackers compatibles. Si hay una conclusión de todo esto, es una respuesta bastante obvia: sea increíblemente escéptico con respecto a la significancia estadística en los estudios observacionales, y si es un investigador que utiliza IA, ya no puede simplemente mirar la respuesta final: debe verificar rigurosamente el código y los caminos ocultos en el jardín que la IA tomó para llegar allí. Es una conclusión un poco cínica, ya que implica que el investigador debería preocuparse por conocer su investigación, pero en un mundo donde la IA todavía me envía correos electrónicos de rechazo con el {Nombre del candidato} adjunto, y la mitad de los ensayos de todas las escuelas comienzan con "Claro, aquí hay un ensayo completo sobre …", ¡un poco de precaución puede ser de gran ayuda!

Referencias

[1]S. Asher, J. Malzahn, J. Persano, E. Paschal, A. Myers y A. Hall, ¿Claude Code y Codex P-Hack? Adulación y análisis estadístico en modelos de lenguaje grandes (2026), documento de trabajo de la Universidad de Stanford

[2]A. Stefan y F. Schönbrodt, Grandes pequeñas mentiras: compendio y simulación de estrategias de p-hacking (2023), Royal Society Open Science

[3]A. Gelman y E. Loken, El jardín de senderos que se bifurcan: por qué las comparaciones múltiples pueden ser un problema, incluso cuando no existe una “expedición de pesca” o “P-Hacking” y la hipótesis de investigación se planteó antes de tiempo (2013), Departamento de Estadística, Universidad de Columbia

Nota: A menos que se indique lo contrario, todas las imágenes son del autor.