There is an asymmetry in architecture between student teacher as student has an additional prediction head. The gradient backpropagation only happens through Student encoder clearly creating an asymmetry in learning rate. In BYOL there is an additional source of asymmetry which is in weights of student encoder and teacher encoder. Teacher encoder is created as moving average of student encoder. These asymmetries will prevent the model from trivial solutions.
Il y a une asymétrie dans l’architecture entre l’étudiant et l’enseignant car l’étudiant a une tête de prédiction supplémentaire. La rétropropagation du gradient ne se fait qu’à travers l’encodeur de l’étudiant créant clairement une asymétrie dans le taux d’apprentissage. Dans BYOL, il y a une source supplémentaire d’asymétrie qui se trouve dans les poids de l’encodeur de l’étudiant et de l’encodeur de l’enseignant avec l’encodeur de l’enseignant qui est créé comme une moyenne mobile de l’encodeur de l’étudiant. Ces trois asymétries vont empêcher le modèle d’avoir des solutions triviales.