Pour capturer différents types de relations entre les mots, les modèles génératifs basés sur des transformateurs utilisent plusieurs couches d'encodeur appelées têtes d'attention.
L'auto-attention aide le modèle à se concentrer sur les mots pertinents lorsqu'il traite chaque mot. Pour capturer différents types de relations entre les mots, les modèles génératifs basés sur des transformateurs utilisent plusieurs couches d'encodeur appelées têtes d'attention. Chaque tête apprend à traiter les différentes parties de la séquence d'entrée. Cela permet au modèle de prendre en compte simultanément différents aspects des données.