Un equipo de Google Research y USC ha lanzado Mobility-Embedded POI (ME-POI), un marco que integra el movimiento humano agregado en incrustaciones de lugares basadas en texto. La premisa es que los modelos lingüísticos describen qué es un lugar, pero no cómo se utiliza. Dos cafeterías pueden compartir una categoría, un bloque de direcciones y un vector de texto, mientras que una gestiona la facturación de los viajeros y la otra retiene a los clientes durante noventa minutos. ME-POI codifica cada visita como un vector contextualizado y luego utiliza el aprendizaje contrastivo para alinear esas visitas con un prototipo que se puede aprender por punto de interés. En cinco tareas de enriquecimiento de mapas en datos de movilidad de Los Ángeles y Houston, agregar ME-POI a codificadores de texto potentes mejoró 34 de 35 emparejamientos de modelo-tarea en Los Ángeles, con ganancias relativas de hasta 81,9% F1 en intención de visita y una reducción de MAE de 24,7% en actividad. En particular, una variante basada únicamente en la movilidad superó a las incorporaciones de Gemini en la clasificación del nivel de precios.
¿Es desplegable?
En parte, es un marco que se reconstruye, no un punto de control que se descarga. En el momento de su publicación, Google Research ha publicado el artículo, pero no tiene ningún código público ni ponderaciones. La barra de cálculo es baja: el modelo tiene ~53,7 millones de parámetros y fue entrenado previamente en una única NVIDIA Tesla V100 de 16 GB. La verdadera puerta son los datos: necesita tráfico peatonal con licencia o registros de visitas propios, además de polígonos de puntos de interés.
Cómo funciona el marco
Cada visita es triple: coordenadas, hora de llegada y hora de salida. Tres codificadores factorizados los manejan: Space2Vec para ubicación de múltiples escalas y dos codificadores Time2Vec para llegada y salida por separado, de modo que la hora de inicio y la duración de permanencia se mantienen distinguibles. Los vectores concatenados obtienen una codificación posicional sinusoidal y pasan a través de un transformador de 4 capas y 8 cabezales (d_h = 512) para producir incrustaciones de visitas contextualizadas.
El objetivo central es contrastivo. Cada PDI posee un prototipo que se puede aprender, y una pérdida de InfoNCE hace que cada visita se incorpore hacia su propio prototipo de PDI mientras aleja los otros PDI en el minibatch. El prototipo se convierte en un centroide funcional que promedia los horarios de los usuarios individuales.
La escasez es la parte difícil. Sólo el 9,07% de los puntos de interés de Los Ángeles y el 7,04% de los puntos de interés de Houston superaron el umbral de anclaje (100 y 50 visitas en total, respectivamente). Para la cola larga, ME-POI calcula núcleos gaussianos normalizados en tres anchos de banda (0,3 km, 1,0 km, 3,0 km) y transfiere histogramas de visitas de anclaje a puntos de interés dispersos, luego agrega un término KL que obliga a la incrustación dispersa a predecir eso antes. Un segundo término de KL supervisa los anclajes frente a sus propias distribuciones empíricas. Una cuarta pérdida maximiza la similitud del coseno con las incrustaciones de texto proyectadas, cuyas indicaciones siguen la receta de GeoLLM: coordenadas, categoría, dirección y los diez puntos de interés más cercanos con distancia y dirección.
Lo que dicen los números
La evaluación cubre dos conjuntos de datos de movilidad anónimos: Los Ángeles (39.557 puntos de interés, 6,9 millones de visitas, todo el año 2019) y Houston (28.419 puntos de interés, 715.604 visitas, 20 días en marzo de 2020), en cinco tareas de enriquecimiento de mapas con sondeo de incrustación congelada. Las etiquetas provienen de SafeGraph para los horarios de apertura y cierres, y de Google Maps para la intención de visita, la actividad y el nivel de precios.
Agregar ME-POI mejoró 34 de 35 emparejamientos modelo-tarea en Los Ángeles. Ganancias relativas máximas: 16,2% F1 en horario de apertura semanal (OpenAI-grande), 81,9% F1 en intención de visita (Gemini), 6,5% F1 en cierre permanente (E5) y una reducción de MAE del 24,7% en actividad (Gemini). En Houston, el nivel de precios F1 subió un 75,1% para el GTR-T5. La única regresión fue Géminis en cierre permanente, con una caída del 0,4%.
El resultado más interesante es la variante exclusiva de movilidad. Entrenado sin ninguna alineación de texto, alcanza una precisión de 0,600 en el nivel de precios de Los Ángeles frente al 0,559 de Gemini: un comportamiento colectivo que supera las palabras utilizadas para etiquetar el lugar. También supera todas las líneas de base basadas en trayectorias en cada tarea.
Explicador: el mecanismo, paso a paso
Conclusiones clave
Los ME-POI aprenden un vector independiente del contexto por PDI, no uno condicionado por la trayectoria. La alineación contrastante más la transferencia KL de múltiples escalas corrige la cola larga: el 91% de los puntos de interés de LA son escasos. Las ganancias alcanzan el 81,9% F1 en intención de visita y una reducción del 24,7% MAE en actividad. Las incorporaciones exclusivas de movilidad superan a las incorporaciones de texto Gemini en la clasificación de niveles de precios. Aún no hay códigos públicos ni pesos; Los datos de visitas con licencia son la verdadera barrera, no el cálculo.
Consulte el documento y los detalles técnicos. No dude en consultar nuestra página de GitHub para tutoriales, códigos y cuadernos.
Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro SubReddit de más de 150.000 ml y suscribirse a nuestro boletín. ¡Esperar! estas en telegrama? Ahora también puedes unirte a nosotros en Telegram.
¿Necesita asociarse con nosotros para promocionar su repositorio de GitHub O su página principal de Hugging O su lanzamiento de producto O seminario web, etc.? Conéctate con nosotros
Michal Sutter es un profesional de la ciencia de datos con una Maestría en Ciencias de Datos de la Universidad de Padua. Con una base sólida en análisis estadístico, aprendizaje automático e ingeniería de datos, Michal se destaca en la transformación de conjuntos de datos complejos en conocimientos prácticos.