With hard-attention, we impose the following constraint on the alphas: ∥a∥0=1. This means a is a one-hot vector. Therefore, all but one of the coefficients in the linear combination of the inputs equals zero, and the hidden representation reduces to the input xi corresponding to the element αi​=1.
Avec beaucoup d’attention, nous imposons aux alphas la contrainte suivante : ∥a∥0=1. Cela signifie que a est un vecteur one-hot. Par conséquent, tous les coefficients de la combinaison linéaire des entrées sauf un sont égaux à 0 et la représentation cachée se réduit à l’entrée xi correspondant à l’élément αi​=1.