Self attention is quadratic (all time-steps can attend to all others), limiting maximum sequence length. As self attention is quadratic, its expense grows linearly in practice, which could cause a problem.
L’auto-attention est quadratique (tous les pas de temps peuvent s’occuper de tous les autres), ce qui limite la longueur maximale de la séquence. La nature quadratique entraîne aussi que la dépense augmente linéairement ce qui pourrait poser un problème en pratique.