Recent studies showed that all the three sources of asymmetry discussed in BYOL are not needed to prevent the trivial solutions. In SimSiam architecture the student and teacher share the same set of weights and there are two sources of asymmetry.
Des études récentes ont montré que les trois sources d’asymétrie présentes dans BYOL ne sont pas nécessaires pour empêcher les solutions triviales. Dans l’architecture SimSiam (Simple Siamese), l’étudiant et l’enseignant partagent le même ensemble de poids et il existe deux sources d’asymétrie :