¿Qué salió mal en un análisis de mascarillas COVID muy publicitado?

El Pandemia de COVID-19 está en curso, pero en mayo los funcionarios finalizaron su designación como emergencia de salud pública. Por lo tanto, ahora es justo preguntar si todos nuestros esfuerzos para frenar la propagación de la enfermedad (desde el uso de mascarillas hasta el lavado de manos y el trabajo desde casa) valieron la pena. Un grupo de científicos ha enturbiado seriamente las aguas con un informe que dio la falsa impresión de que el uso de mascarillas no ayudaba.

El informe del grupo fue publicado por Cochrane, una organización que recopila bases de datos y publica periódicamente revisiones “sistemáticas” de evidencia científica relevante para la atención médica. Este año publicó un artículo direccionamiento la eficacia de las intervenciones físicas para frenar la propagación de enfermedades respiratorias como el COVID. Los autores determinaron que el uso de mascarillas quirúrgicas “probablemente hace poca o ninguna diferencia” y que el valor de mascarillas n95 es “muy incierto”.

Los medios de comunicación redujeron estas declaraciones a la afirmación de que las máscaras no funcionaron. Bajo un titular que proclama “Los mandatos de las máscaras no hicieron nada”, New York Times El columnista Bret Stephens escribió que “los principales expertos y comentaristas… estaban equivocados” y exigió que se disculparan por las molestias innecesarias que habían causado. Otros titulares y comentarios declararon que “las máscaras aún no funcionan”, que la evidencia a favor de las máscaras era “Aproximadamente cero” eso “Las mascarillas hicieron ‘poca o ninguna diferencia’” e incluso eso “12 estudios de investigación demuestran que las máscaras no funcionaron”.

Karla Soares-Weiser, editora en jefe de la Biblioteca Cochrane, objetó a tales caracterizaciones de la revisión. El informe tenía no Llegó a la conclusión de que “las mascarillas no funcionan”, insistió. Más bien, la revisión de los estudios sobre el enmascaramiento concluyó que los “resultados no fueron concluyentes”.

Para ser justos con la Biblioteca Cochrane, el informe dejó claro que sus conclusiones se referían a la calidad y capacidad de la evidencia disponible, que los autores consideraron insuficiente para demostrar que el enmascaramiento era efectivo. Era “incierto si usar [surgical] Las mascarillas o respiradores N95/P2 ayudan a frenar la propagación de virus respiratorios”. Aun así, los autores tampoco estaban seguros de esa incertidumbre y afirmaron que su confianza en su conclusión era “baja a moderada”. Puedes ver por qué la persona promedio podría estar confundida.

Esto no fue sólo una falta de comunicación. Los problemas con el enfoque de Cochrane respecto de estas revisiones son mucho más profundos.

Es revelador una mirada más cercana a cómo el informe de la máscara confundió las cosas. El autor principal del estudio, Tom Jefferson, de la Universidad de Oxford, promovió la interpretación engañosa. Cuando se le preguntó sobre los diferentes tipos de mascarillas, incluidas las N95, declaró: “No hay diferencia, nada de eso”. En otro entrevistallamó mandatos de máscara científicamente sin base.

Recientemente Jefferson ha reclamado que las políticas de COVID estaban “libres de evidencia”, lo que pone de relieve un segundo problema: el error clásico de combinar la ausencia de evidencia con la evidencia de ausencia. El hallazgo Cochrane fue no que el enmascaramiento no funcionó pero que los científicos carecían de evidencia suficiente y de calidad suficiente para concluir que trabajaron. Jefferson borró esa distinción, argumentando de hecho que debido a que los autores no pudieron probar que las máscaras funcionaban, se podría decir que no funcionaron. Eso está mal.

Cochrane ha cometido este error antes. En 2016, una avalancha de informes en los medios declaró que usar hilo dental era una pérdida de tiempo. “¿Te sientes culpable por no usar hilo dental?” el New York Times preguntó. No hay necesidad de preocuparse, Semana de noticias nos tranquilizó, porque el “mito del uso del hilo dental” había “quedado destrozado”. Pero la Academia Estadounidense de Periodoncia, los profesores de odontología, los decanos de las facultades de odontología y los dentistas clínicos (incluido el mío) afirmaron que la práctica clínica revela diferencias claras en la salud de los dientes y las encías entre quienes usan hilo dental y quienes no. ¿Que esta pasando?

La respuesta demuestra un tercer problema con el enfoque Cochrane: cómo define la evidencia. La organización afirma que su opiniones “identificar, evaluar y sintetizar toda la evidencia empírica que cumpla con los criterios de elegibilidad preespecificados”. El problema es cuáles son esos criterios de elegibilidad.

Las revisiones Cochrane basan sus hallazgos en ensayos controlados aleatorios (ECA), a menudo denominados el “estándar de oro” de la evidencia científica. Pero muchas preguntas no pueden responderse bien con los ECA y algunas no pueden responderse en absoluto. La nutrición es un buen ejemplo. Es casi imposible estudiar nutrición con ECA porque no se puede controlar lo que come la gente, y cuando les preguntas qué han comido, mucha gente miente. Usar hilo dental es similar. Una encuesta concluyó que uno de cada cuatro estadounidenses que afirmaba utilizar hilo dental con regularidad estaba mintiendo.

De hecho, hay pruebas sólidas de que las máscaras funcionan para prevenir la propagación de enfermedades respiratorias. Simplemente no proviene de ECA. Viene de Kansas. En julio de 2020, el gobernador de Kansas emitió una orden ejecutiva que exigía el uso de mascarillas en lugares públicos. Sin embargo, apenas unas semanas antes, la legislatura había aprobado un proyecto de ley que autorizaba a los condados a optar por no participar en cualquier disposición estatal. En los meses siguientes, las tasas de COVID disminuyeron en los 24 condados con mandatos de uso de mascarillas y continuaron aumentando en otros 81 condados que optaron por no hacerlo.

Otro estudiar descubrió que los estados con mandatos de uso de mascarillas experimentaron una disminución significativa en la tasa de propagación de COVID apenas unos días después de la firma de los mandatos. Los autores concluyeron que en el período del estudio (del 31 de marzo al 22 de mayo de 2020) se evitaron más de 200.000 casos, ahorrando dinero, sufrimiento y vidas.

Cochrane ignoró esta evidencia epidemiológica porque no cumplía con su rígido estándar. He llamado a este enfoque “fetichismo metodológico” cuando los científicos se fijan en una metodología preferida y descartan los estudios que no la siguen. Lamentablemente, no es exclusivo de Cochrane. Al insistir dogmáticamente en una definición particular de rigor, los científicos en el pasado han llegado a respuestas equivocadas más de una vez.

A menudo pensamos en la prueba como una proposición de sí o no, pero en ciencia, la prueba es una cuestión de discernimiento. Muchos estudios no son tan rigurosos como nos gustaría, porque el desorden del mundo real lo impide. Pero eso no significa que no nos digan nada. No significa, como insistió Jefferson, que las máscaras “no hagan ninguna diferencia”.

El informe sobre las mascarillas, al igual que el informe anterior sobre el hilo dental, utilizó “procedimientos metodológicos Cochrane estándar”. Es hora de que se cambien esos procedimientos estándar.