We introduce attention, focusing on self-attention and its hidden layer representations of the inputs. Then, we introduce the key-value store paradigm and discuss how to represent queries, keys, and values as rotations of an input. Finally, we use attention to interpret the transformer architecture, taking a forward pass through a basic transformer, and comparing the encoder-decoder paradigm to sequential architectures.
Nous introduisons l’attention, en nous concentrant sur l’auto-attention et ses représentations de couches cachées des entrées. Ensuite, nous abordons le paradigme des valeurs des clés et discutons de la manière de représenter les requêtes, les clés et les valeurs comme des rotations d’une entrée. Enfin, nous utilisons l’attention pour interpréter l’architecture du transformer, en prenant une propagation avant à travers un transformer de base. Enfin nous comparons le paradigme de l’encodeur-décodeur à celui des architectures séquentielles.