El equipo de Google AI Research lanzó recientemente Groundsource, una nueva metodología que utiliza el modelo Gemini para extraer datos históricos estructurados de informes de noticias públicas no estructurados. El proyecto aborda la falta de datos históricos sobre desastres naturales de rápida aparición. Su primer resultado es un conjunto de datos de código abierto que contiene 2,6 millones de inundaciones repentinas urbanas históricas en más de 150 países.
La brecha de datos hidrometeorológicos
Los modelos de aprendizaje automático para sistemas de alerta temprana (EWS) requieren extensas bases históricas para su capacitación y validación. Sin embargo, los peligros hidrometeorológicos como las inundaciones repentinas carecen de redes de observación globales estandarizadas.
El impacto de las inundaciones repentinas: Según la Organización Meteorológica Mundial (OMM), las inundaciones repentinas causan aproximadamente el 85% de las muertes relacionadas con las inundaciones, lo que resulta en más de 5.000 muertes al año. Limitaciones de los datos existentes: Las bases de datos satelitales, como la Base de Datos Global sobre Inundaciones (GFD) y el Observatorio de Inundaciones de Dartmouth (DFO), están limitadas por la cobertura de nubes, los tiempos de revisión de los satélites y una tendencia hacia eventos de larga duración. Escala del déficit: El Sistema Mundial de Coordinación y Alerta de Desastres (GDACS) proporciona un inventario de aproximadamente 10.000 eventos de alto impacto. Este volumen es insuficiente para entrenar modelos predictivos a escala global.
La metodología Groundsource
Para construir un corpus de capacitación más amplio, el equipo de investigación de Google desarrolló un canal que procesa décadas de informes de noticias localizados para sintetizar una base histórica.
Análisis semántico con Gemini: el LLM se implementa para la extracción de entidades. Procesa texto multilingüe no estructurado para identificar eventos peligrosos específicos, clasificar su gravedad y filtrar ruido irrelevante. Mapeo geoespacial: las descripciones de texto extraídas de las ubicaciones de inundaciones se integran con las API de Google Maps para asignar coordenadas geográficas precisas y límites poligonales a cada evento.
Este canal convierte con éxito los informes periodísticos cualitativos en un conjunto de datos altamente estructurado y legible por máquina.
Aplicación: Pronóstico de inundaciones repentinas
Históricamente, la Iniciativa de Pronóstico de Inundaciones de Google se centró en las inundaciones fluviales, que se desarrollan lentamente y son más fáciles de rastrear. Las inundaciones repentinas requieren distintos enfoques predictivos debido a su rápida aparición.
Utilizando el conjunto de datos de Groundsource con 2,6 millones de registros, el equipo de investigación entrenó un nuevo modelo de inteligencia artificial para predecir los riesgos de inundaciones repentinas urbanas con hasta 24 horas de anticipación. Los estudios empíricos señalan que incluso un plazo de 12 horas puede reducir los daños por inundaciones repentinas en un 60%. Estos pronósticos ahora están disponibles en la plataforma Flood Hub de Google. El conjunto de datos subyacente ha sido de código abierto para permitir que la comunidad científica de datos en general entrene sus propios modelos predictivos localizados.
Conclusiones clave
Canal de datos impulsado por LLM: Groundsource utiliza el modelo Gemini para el análisis semántico para extraer datos históricos estructurados sobre desastres a partir de informes de noticias públicas multilingües y no estructurados. Generación masiva de conjuntos de datos: el proyecto produjo con éxito un conjunto de datos de código abierto que contiene 2,6 millones de registros históricos de inundaciones repentinas urbanas en más de 150 países. Superar las limitaciones de los sensores: este enfoque basado en PNL aborda el ‘desierto de datos’ histórico, evitando las limitaciones físicas de la detección remota (como la cobertura de nubes o los tiempos de revisita de los satélites) y el volumen limitado de bases de datos tradicionales existentes como GDACS. Integración geoespacial: las descripciones extraídas en lenguaje natural de las ubicaciones de peligro se integran con las API de Google Maps para asignar coordenadas geográficas precisas y límites poligonales a cada evento. Implementación del modelo predictivo: el conjunto de datos resultante se utilizó para entrenar un nuevo modelo de IA capaz de predecir riesgos de inundaciones repentinas urbanas con hasta 24 horas de anticipación, que ahora se implementa activamente en la plataforma Flood Hub de Google.
Consulte el conjunto de datos, el papel de preimpresión y los detalles técnicos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 120.000 ML y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en transformar conjuntos de datos complejos en conocimientos prácticos.