Let us take a quick look at different self-supervised pre training approaches that have been researched for NLP.
Examinons rapidement les différentes approches de pré-entraînement autosupervisé qui ont été étudiées en en traitement du langage naturel :