En 2010, dos economistas famosos, Carmen Reinhart y Kenneth Rogoff, publicaron un artículo que confirmaba lo que muchos políticos fiscalmente conservadores habían sospechado durante mucho tiempo: que el crecimiento económico de un país se estanca si la deuda pública supera un cierto porcentaje del PIB. El documento cayó en los oídos receptivos del futuro canciller del Reino Unido, George Osborne, quien lo citó varias veces en un discurso en el que expuso lo que se convertiría en el manual político del gobierno. austeridad era: recortar los servicios públicos para pagar la deuda nacional.
Sólo había un problema con el artículo de Reinhart y Rogoff. Sin darse cuenta, habían omitido cinco países en su análisis: calcularon los números en solo 15 países en lugar de los 20 que pensaban que habían seleccionado en su hoja de cálculo. Cuando algunos economistas menos conocidos ajustaron este error y algunas otras irregularidades, la parte más llamativa de los resultados desapareció. La relación entre deuda y PIB todavía estaba ahí, pero los efectos de una deuda elevada fueron más sutiles que el drástico abismo al que aludió en el discurso de Osborne.
Los científicos, como el resto de nosotros, no son inmunes a los errores. “Está claro que los errores están en todas partes, y una pequeña porción de estos errores cambiará las conclusiones de los artículos”, dice Malte Elson, profesor de la Universidad de Berna en Suiza que estudia, entre otras cosas, métodos de investigación. El problema es que no hay mucha gente que busque estos errores. Los errores de Reinhart y Rogoff solo fueron descubiertos en 2013 por un estudiante de economía cuyos profesores habían pedido a su clase que intentaran replicar los hallazgos en destacados artículos de economía.
Con sus colegas investigadores de metaciencia Ruben Arsland e Ian Hussey, Elson ha creado una manera de encontrar sistemáticamente errores en la investigación científica. El proyecto—llamado ERROR—está inspirado en recompensas de errores en la industria del software, donde los piratas informáticos son recompensados por encontrar errores en el código. En el proyecto de Elson, a los investigadores se les paga para que busquen posibles errores en los documentos y se les otorgan bonificaciones por cada error verificado que descubren.
La idea surgió de una discusión entre Elson y Arsland, quien anima a los científicos a encontrar errores en su propio trabajo ofreciéndoles comprarles una cerveza si identifican un error tipográfico (con un límite de tres por artículo) y 400 euros (430 dólares) por un error que cambia la conclusión principal del artículo. “Ambos éramos conscientes de artículos en nuestros respectivos campos que eran totalmente defectuosos debido a errores demostrables, pero era extremadamente difícil corregir el registro”, dice Elson. Todos estos errores públicos podrían plantear un gran problema, razonó Elson. Si un investigador de doctorado gastara su título buscando un resultado que resultó ser un error, eso podría equivaler a decenas de miles de dólares desperdiciados.
La verificación de errores no es una parte estándar de la publicación de artículos científicos, dice Hussey, investigador de metaciencia en el laboratorio de Elson en Berna. Cuando un artículo es aceptado por una revista científica, como Naturaleza o Ciencia–se envía a algunos expertos en el campo quienes ofrecen sus opiniones sobre si el artículo es de alta calidad, lógicamente sólido y hace una contribución valiosa al campo. Sin embargo, estos revisores normalmente no comprueban si hay errores y en la mayoría de los casos no tendrán acceso a los datos sin procesar o al código que necesitarían para eliminar los errores.