In self-attention, we have a set of input {xi​}i=1t​. Unlike a sequence, it does not have an order.
Dans l’auto-attention, nous avons un ensemble d’entrées {xi​}i=1t​. Contrairement à une séquence, elle n’a pas d’ordre.