In a transformer, y (target sentence) is a discrete time signal. It has discrete representation in a time index. The y is fed into a unit delay module succeeded by an encoder. The unit delay here transforms y[j]↦y[j−1]. The only difference with the autoencoder here is this delayed variable. So we can use this structure in the language model to produce the future when given the past.
Dans un transformer, y (phrase cible) est un signal temporel discret. Il a une représentation discrète dans un index temporel. Le y est introduit dans un module de retard unitaire suivi d’un encodeur. Le retard unitaire transforme ici y[j]↦y[j−1] La seule différence avec l’auto-encodeur ici est cette variable retardée. Nous pouvons donc utiliser cette structure dans le modèle de langage pour produire le futur lorsqu’on nous donne le passé.