Les transformateurs ont parfaitement intégré l'architecture encodeur-décodeur grâce à un mécanisme d'attention.
En 2017, un nouveau tournant dans la recherche sur l'IA s'est produit avec l'introduction des transformateurs. Les transformateurs ont parfaitement intégré l'architecture encodeur-décodeur grâce à un mécanisme d'attention. Ils ont rationalisé le processus d'entraînement des modèles de langage avec une efficacité et une polyvalence exceptionnelles. Des modèles remarquables tels que GPT se sont imposés comme des modèles incontournables capables de se pré-entraîner sur de vastes corpus de texte brut et de les affiner pour des tâches variées.