The square brackets represent an optional argument. Note that if argmax(⋅) is used, we get a one-hot vector of alphas, resulting in hard attention. On the other hand, soft(arg)max(⋅) leads to soft attention. In each case, the components of the resulting vector a sum to 1.
Les crochets représentent un argument facultatif. A noter que si argmax(⋅) est utilisé, nous obtenons un vecteur one-hot d’alphas, ce qui entraîne une attention soutenue. En revanche, soft(arg)max(⋅) conduit à une attention douce. Dans chaque cas, les composantes du vecteur résultant a s’additionnent à 1.