In this section we discuss the various architectures used in NLP applications, beginning with CNNs, RNNs, and eventually covering the state of-the art architecture, transformers. We then discuss the various modules that comprise transformers and how they make transformers advantageous for NLP tasks. Finally, we discuss tricks that allow transformers to be trained effectively.
Dans cette section, nous discutons des différentes architectures utilisées dans les applications de traitement du langage naturel, en commençant par les ConvNets, les RNNs et en couvrant finalement l’architecture de pointe, les transformers. Nous abordons ensuite les différents modules qui composent les transformers et leurs avantages pour les tâches de texte. Enfin, nous discutons des astuces qui permettent d’entraîner efficacement les transformers.