In learning rate, when backpropagating the gradients are passed only through student encoder but not the teacher encoder. After each epoch, the weights of student encoder are copied to the teacher encoder.
2. Dans le taux d’apprentissage, lors de la rétropropagation, où les gradients ne passent que par l’encodeur de l’étudiant mais pas par celui de l’enseignant. Après chaque époque, les poids de l’encodeur étudiant sont copiés dans l’encodeur de l’enseignant.