With soft attention, we impose that ∥a∥1=1. The hidden representations is a linear combination of the inputs where the coefficients sum up to 1.
Avec une attention douce, nous imposons que ∥a∥1=1. La représentation cachée est une combinaison linéaire des entrées où les coefficients s’additionnent à 1.