Step 3: Combine target hidden with source vector Take weighted sum (weights are in the attention score vector) of the source embeddings and combine it with target hidden representation zt+1​. After final transformation G(z), we get a distribution yt+1​ over the next word.
Etape 3 : combiner la cible cachée avec le vecteur source. Prendre la somme pondérée (les poids sont dans le vecteur de score d’attention) des enchâssements source et la combiner avec la représentation cachée cible zt+1​. Après transformation finale G(z), on obtient une distribution yt+1​ sur le mot suivant.