Transformers y mecanismo de atención
La atención por producto escalar explicada paso a paso en PyTorch: cabezas múltiples, codificación posicional, coste cuadrático y lo que la atención no demuestra.
Hasta ahora, todas las representaciones tenían el mismo defecto: no sabían qué palabra mirar. La bolsa de palabras ignora el orden. Los embeddings estáticos asignan un vector fijo a cada palabra. Las redes recurrentes, que dominaron el campo hasta 2017, leen la frase palabra a palabra manteniendo una memoria, pero esa memoria se desvanece y el cálculo es secuencial por construcción: no se puede procesar la palabra 50 antes de haber procesado la 49.
Tomemos la frase «Le rapport que la commission avait commandé au cabinet parisien il y a deux ans est enfin arrivé» (El informe que la comisión había encargado al gabinete parisino hace dos años por fin ha llegado). Para concordar «arrivé», hay que relacionar ese participio con «rapport», trece palabras atrás, ignorando todos los sustantivos intermedios. Una red recurrente debe transportar esa información a lo largo de trece pasos sucesivos, y por el camino se diluye. Es el problema de las dependencias a larga distancia, y el francés, con sus oraciones de relativo anidadas y sus concordancias a distancia, las produce constantemente.
El artículo Attention Is All You Need, publicado por Vaswani y sus coautores en 2017, resuelve ambos problemas de un solo golpe con una idea de una sencillez desarmante: en lugar de transportar la información de un paso al siguiente, dejemos que cada palabra mire directamente a todas las demás y aprendamos cuánto debe mirar a cada una. La distancia desaparece («arrivé» accede a «rapport» en una sola operación) y, como todas las palabras calculan su mirada simultáneamente, todo se paraleliza en una GPU.