In language modelling, given a token xt​ at time t, we are trying to predict the next word yt​. As shown in the figure below, hidden state zt is generated by a RNN/CNN/Transformer block depending on the input vector xt​ and the previous hidden state zt−1​.
Dans la modélisation du langage, étant donné un token xt​ au temps t, nous essayons de prédire le mot suivant yt​. Comme le montre la figure ci-dessous, l’état caché zt est généré par un bloc RNN/ConvNet/Transformer en fonction du vecteur d’entrée xt​ et de l’état caché précédent zt−1​.