3. Self-attention is quadratic (all time-steps can attend to all others), limiting maximum sequence length
3. L’auto-attention est quadratique (tous les pas de temps peuvent s’occuper de tous les autres), ce qui limite la longueur maximale des séquences.