Distillation methods are similarity maximization based methods. Like other SSL methods distillation tries to prevent trivial solutions. It does so by asymmetry in two different ways.
Les méthodes de distillation sont des méthodes basées sur la maximisation de la similarité. Comme les autres méthodes d’apprentissage autosupervisé, la distillation tente d’empêcher les solutions triviales. Elle le fait par l’asymétrie de deux manières différentes :