Ils évaluent l'importance des différentes parties d'une séquence d'entrée lors du traitement de chaque élément de la séquence.
Les modèles basés sur des transformateurs utilisent un mécanisme d'auto-attention. Ils évaluent l'importance des différentes parties d'une séquence d'entrée lors du traitement de chaque élément de la séquence.