Issue: Because B is updated every step, the backbone is updated every step, and thus, after a while, the old negative samples are not valid anymore and can lead to a decrease in performance. To avoid this, MoCO uses a momentum backbone that slows down the training of the right backbone. In that case, the difference between the older momentum backbone and the new momentum backbone is not that different, retaining the validitiy of the negative sample even after a while.
Problème : Parce que B est mis à jour à chaque pas de temps, le backbone est mis à jour à chaque pas de temps, alors après un certain temps, les vieux échantillons négatifs ne sont plus encore valides ce qui peut mener à une baisse des performances. Pour éviter cela, MoCo utilise un backbone avec momentum qui ralentit l’entraînement du backbone de droite. Dans ce cas, la différence entre le vieux backbone avec momentum et le nouveau backbone avec momentum n’est pas grande, conservant la validité des échantillons négatifs même après un certain temps.