XLNet: Instead of predicting all the masked tokens conditionally independently, XLNet predicts masked tokens auto-regressively in random order
XLNet : Au lieu de prédire tous les tokens masqués de façon conditionnelle et indépendante, XLNet prédit les tokens masqués de façon auto-régressive et dans un ordre aléatoire