Each of the vectors q,k,v can simply be viewed as rotations of the specific input x. Where q is just x rotated by Wq​, k is just x rotated by Wk​ and similarly for v. Note that this is the first time we are introducing “learnable” parameters. We also do not include any non-linearities since attention is completely based on orientation.
Chacun des vecteurs q,k,v peut être simplement considéré comme une rotation de l’entrée spécifique x. Où q est juste x tourné par Wq​, k est juste x tourné par Wk​ et de même pour v. Notons que c’est la première fois que nous introduisons des paramètres apprenables. Nous n’incluons pas non plus de non-linéarités puisque l’attention est entièrement basée sur l’orientation.