A set, x1 to xt​ is fed through the encoder. Using self-attention and some more blocks, an output representation, {hEnc}i=1t​ is obtained, which is fed to the decoder. After applying self-attention to it, cross attention is applied. In this block, the query corresponds to a representation of a symbol in the target language yi​, and the key and values are from the source language sentence (x1 to xt​). Intuitively, cross attention finds which values in the input sequence are most relevant to constructing yt​, and therefore deserve the highest attention coefficients. The output of this cross attention is then fed through another 1D-convolution sub-block, and we have hDec. For the specified target language, it is straightforward from here to see how training will commence, by comparing {hDec}i=1t​ to some target data.
Un ensemble, x1​ à xt​ est transmis par l’encodeur. En utilisant l’auto-attention et quelques autres blocs, on obtient une représentation de sortie, t{hEnc}i=1t​, qui est envoyée au décodeur. Après lui avoir appliqué l’auto-attention, l’attention croisée est appliquée. Dans ce bloc, la requête correspond à une représentation d’un symbole dans la langue cible yi​, et la clé et les valeurs proviennent de la phrase de la langue source (x1​ à xt​). Intuitivement, l’attention croisée permet de trouver quelles valeurs de la séquence d’entrée sont les plus pertinentes pour construire yt​, et méritent donc les coefficients d’attention les plus élevés. La sortie de cette attention croisée est ensuite acheminée à travers un autre sous-bloc à convolution 1D et nous obtenons hDec. Pour la langue cible spécifiée, il est facile de voir comment l’entraînement va commencer, en comparant {hDec}i=1t à certaines données cibles.