Digamos que un científico ambiental está estudiando si la exposición a la contaminación del aire está asociada con un menor peso al nacer en un condado en particular.
Podrían entrenar un modelo de aprendizaje automático para estimar la magnitud de esta asociación, ya que los métodos de aprendizaje automático son especialmente buenos para aprender relaciones complejas.
Los métodos estándar de aprendizaje automático destacan por hacer predicciones y, en ocasiones, proporcionan incertidumbres, como intervalos de confianza, para estas predicciones. Sin embargo, generalmente no proporcionan estimaciones ni intervalos de confianza para determinar si dos variables están relacionadas. Se han desarrollado otros métodos específicamente para abordar este problema de asociación y proporcionar intervalos de confianza. Pero, en entornos espaciales, los investigadores del MIT descubrieron que estos intervalos de confianza pueden estar completamente fuera de lugar.
Cuando variables como los niveles de contaminación del aire o las precipitaciones cambian en diferentes lugares, los métodos comunes para generar intervalos de confianza pueden reclamar un alto nivel de confianza cuando, de hecho, la estimación no logró capturar el valor real. Estos intervalos de confianza defectuosos pueden inducir a error al usuario a confiar en un modelo que falló.
Después de identificar este déficit, los investigadores desarrollaron un nuevo método diseñado para generar intervalos de confianza válidos para problemas que involucran datos que varían en el espacio. En simulaciones y experimentos con datos reales, su método fue la única técnica que generó consistentemente intervalos de confianza precisos.
Este trabajo podría ayudar a los investigadores en campos como las ciencias ambientales, la economía y la epidemiología a comprender mejor cuándo confiar en los resultados de ciertos experimentos.
“Hay tantos problemas en los que la gente está interesada en comprender fenómenos en el espacio, como el clima o la gestión forestal. Hemos demostrado que, para esta amplia clase de problemas, existen métodos más apropiados que pueden brindarnos un mejor rendimiento, una mejor comprensión de lo que está sucediendo y resultados que son más confiables”, dice Tamara Broderick, profesora asociada en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT, miembro del Laboratorio de Sistemas de Información y Decisión (LIDS) y el Instituto de Datos, Sistemas y Sociedad, un afiliado del Laboratorio de Informática e Inteligencia Artificial (CSAIL), y autor principal de este estudio.
A Broderick se unen en el artículo los coautores principales David R. Burt, un postdoctorado, y Renato Berlinghieri, un estudiante graduado de EECS; y Stephen Bates, profesor asistente en EECS y miembro de LIDS. La investigación se presentó recientemente en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
Suposiciones inválidas
La asociación espacial implica estudiar cómo se relacionan una variable y un determinado resultado en un área geográfica. Por ejemplo, uno podría querer estudiar cómo la cubierta arbórea en los Estados Unidos se relaciona con la elevación.
Para resolver este tipo de problema, un científico podría recopilar datos de observación de muchos lugares y utilizarlos para estimar la asociación en un lugar diferente donde no tenga datos.
Los investigadores del MIT se dieron cuenta de que, en este caso, los métodos existentes generan a menudo intervalos de confianza completamente erróneos. Un modelo podría decir que tiene un 95 por ciento de confianza en que su estimación captura la verdadera relación entre la cubierta arbórea y la elevación, cuando no captura esa relación en absoluto.
Después de explorar este problema, los investigadores determinaron que los supuestos en los que se basan estos métodos de intervalos de confianza no se sostienen cuando los datos varían espacialmente.
Los supuestos son como reglas que deben seguirse para garantizar que los resultados de un análisis estadístico sean válidos. Los métodos comunes para generar intervalos de confianza operan bajo varios supuestos.
En primer lugar, suponen que los datos de origen, que son los datos de observación recopilados para entrenar el modelo, son independientes y están distribuidos de forma idéntica. Este supuesto implica que la posibilidad de incluir una ubicación en los datos no influye en la inclusión de otra. Pero, por ejemplo, los sensores de aire de la Agencia de Protección Ambiental de EE. UU. (EPA) se colocan teniendo en cuenta otras ubicaciones de sensores de aire.
En segundo lugar, los métodos existentes a menudo suponen que el modelo es perfectamente correcto, pero esta suposición nunca es cierta en la práctica. Finalmente, asumen que los datos de origen son similares a los datos de destino donde se quiere estimar.
Pero en entornos espaciales, los datos de origen pueden ser fundamentalmente diferentes de los datos de destino porque los datos de destino se encuentran en una ubicación diferente a la de donde se recopilaron los datos de origen.
Por ejemplo, un científico podría utilizar datos de los monitores de contaminación de la EPA para entrenar un modelo de aprendizaje automático que pueda predecir los resultados de salud en una zona rural donde no hay monitores. Pero los monitores de contaminación de la EPA probablemente estén ubicados en áreas urbanas, donde hay más tráfico e industria pesada, por lo que los datos de calidad del aire serán muy diferentes a los datos de calidad del aire en el área rural.
En este caso, las estimaciones de asociación que utilizan datos urbanos sufren de sesgo porque los datos objetivo son sistemáticamente diferentes de los datos fuente.
Una solución fluida
El nuevo método para generar intervalos de confianza tiene en cuenta explícitamente este posible sesgo.
En lugar de asumir que los datos de origen y de destino son similares, los investigadores suponen que los datos varían suavemente en el espacio.
Por ejemplo, con la contaminación del aire por partículas finas, no se esperaría que el nivel de contaminación en una cuadra de la ciudad fuera marcadamente diferente al nivel de contaminación en la siguiente cuadra. En cambio, los niveles de contaminación disminuirían gradualmente a medida que uno se alejara de una fuente de contaminación.
“Para este tipo de problemas, esta suposición de suavidad espacial es más apropiada. Se ajusta mejor a lo que realmente sucede en los datos”, afirma Broderick.
Cuando compararon su método con otras técnicas comunes, descubrieron que era el único que podía producir consistentemente intervalos de confianza confiables para análisis espaciales. Además, su método sigue siendo fiable incluso cuando los datos de observación están distorsionados por errores aleatorios.
En el futuro, los investigadores quieren aplicar este análisis a diferentes tipos de variables y explorar otras aplicaciones en las que pueda proporcionar resultados más fiables.
Esta investigación fue financiada, en parte, por una subvención inicial de Responsabilidades Sociales y Éticas de la Computación (SERC) del MIT, la Oficina de Investigación Naval, Generali, Microsoft y la Fundación Nacional de Ciencias (NSF).