Atención, como lo popularizó el artículo histórico Atención es todo lo que necesitas (2017), es posiblemente la tendencia arquitectónica más importante en el aprendizaje automático en este momento. Originalmente pensado para el modelado de secuencia a secuencia, la atención se ha extendido a prácticamente todas las subdisciplinas del aprendizaje automático.
Esta publicación describirá un tipo particular de atención que precedió al estilo de atención transformador. Discutiremos cómo funciona y por qué es útil. También repasaremos algo de literatura y un tutorial que implementa esta forma de atención en PyTorch. Al leer esta publicación, comprenderá mejor la atención como concepto general, lo cual será útil para explorar aplicaciones más innovadoras.
El mecanismo de atención se popularizó originalmente en Traducción automática neuronal aprendiendo conjuntamente a alinear y traducir(2014), que es la referencia orientadora de este post en particular. Este artículo emplea una arquitectura codificador-decodificador para la traducción del inglés al francés.
Esta es una arquitectura muy común, pero los detalles exactos pueden cambiar drásticamente de una implementación a otra. Por ejemplo, parte de la literatura anterior sobre codificadores-decodificadores de secuencia a secuencia eran redes recurrentes que “construían” y luego “deconstruían” incrementalmente la incrustación.
Esta idea general, y sus variaciones menores, fue lo último en tecnología durante varios años. Sin embargo, un problema con este enfoque es que toda la secuencia de entrada debe incrustarse en el espacio de incrustación, que generalmente es un vector de tamaño fijo. Como resultado, estos modelos pueden olvidar fácilmente el contenido de secuencias demasiado largas. El mecanismo de atención fue diseñado para aliviar el problema de tener que encajar toda la secuencia de entrada en el espacio de incrustación. Lo hace diciéndole al modelo cuál…