BYOL adds a predictor, predicting hy from hx​. The energy function (D) is a cosine similarity between hy and predicted hy​. There is no term for negative samples i.e., this method only pushes positive pairs closer and has no enforcement on negative pairs. It is thought that asymmetrical architecture with extra layers makes this method work.
BYOL ajoute un prédicteur, prédisant hy à partir de hx​. La fonction d’énergie (D) est une similarité cosinus entre hy​ et le hy prédit. Il n’y a pas de terme pour les échantillons négatifs, c’est-à-dire que cette méthode ne fait que rapprocher les paires positives et n’a aucune action sur les paires négatives. On pense que l’architecture asymétrique avec des couches supplémentaires permet à cette méthode de fonctionner.