In this section, we understand the motivation behind Self-Supervised Learning (SSL), define what it is and see some of its applications in NLP and Computer Vision. We understand how pretext tasks aid with SSL and see some example pretext tasks in images, videos and videos with sound. Finally, we try to get an intuition behind the representation learned by pretext tasks.
Dans cette section, nous voyons la motivation qui sous-tend l’apprentissage autosupervisé. Nous le définissons et voyons certaines de ses applications en traitement du langage naturel et en vision par ordinateur. Nous comprenons comment les tâches de prétexte aident en apprentissage autosupervisé et voyons quelques exemples de ces tâches en images, vidéos et vidéos avec son. Enfin, nous essayons d’avoir une intuition de la représentation apprise par les tâches de prétexte.