Atención desde la alineación, explicada de forma práctica |  por Daniel Warfield

Aprende de lo que importa, ignora lo que no.

Foto por Armand Khoury en desempaquetar

Atención, como lo popularizó el artículo histórico Atención es todo lo que necesitas (2017), es posiblemente la tendencia arquitectónica más importante en el aprendizaje automático en este momento. Originalmente pensado para el modelado de secuencia a secuencia, la atención se ha extendido a prácticamente todas las subdisciplinas del aprendizaje automático.

Esta publicación describirá un tipo particular de atención que precedió al estilo de atención transformador. Discutiremos cómo funciona y por qué es útil. También repasaremos algo de literatura y un tutorial que implementa esta forma de atención en PyTorch. Al leer esta publicación, comprenderá mejor la atención como concepto general, lo cual será útil para explorar aplicaciones más innovadoras.

El mecanismo de atención se popularizó originalmente en Traducción automática neuronal aprendiendo conjuntamente a alinear y traducir(2014), que es la referencia orientadora de este post en particular. Este artículo emplea una arquitectura codificador-decodificador para la traducción del inglés al francés.

La arquitectura codificador-decodificador en pocas palabras, para una tarea de traducción del francés al inglés

Esta es una arquitectura muy común, pero los detalles exactos pueden cambiar drásticamente de una implementación a otra. Por ejemplo, parte de la literatura anterior sobre codificadores-decodificadores de secuencia a secuencia eran redes recurrentes que “construían” y luego “deconstruían” incrementalmente la incrustación.

Conceptualización del flujo de información de una secuencia simple a una secuencia codificador-descodificador recurrente. El codificador incrusta gradualmente las palabras en inglés, palabra por palabra, en el espacio de incrustación, que luego el decodificador deconstruye. En este diagrama, los círculos representan las incrustaciones en todo el codificador (rojo), el espacio de incrustación intermedio (blanco) y en todo el decodificador (azul). En este caso, las incrustaciones son vectores largos y complejos con contenido abstracto que no es fácilmente interpretable por humanos.

Esta idea general, y sus variaciones menores, fue lo último en tecnología durante varios años. Sin embargo, un problema con este enfoque es que toda la secuencia de entrada debe incrustarse en el espacio de incrustación, que generalmente es un vector de tamaño fijo. Como resultado, estos modelos pueden olvidar fácilmente el contenido de secuencias demasiado largas. El mecanismo de atención fue diseñado para aliviar el problema de tener que encajar toda la secuencia de entrada en el espacio de incrustación. Lo hace diciéndole al modelo cuál…