2 crops from an image are passed through the network to compute the corresponding codes. The 2nd2nd code is then predicted from the 1st embedding and vice versa. This task forces the network to become invariant to data augmentations. Gradients are backpropagated onto the prototypes as well. Hence this model is updated in an online manner.
Deux patchs d’une image sont passés par le réseau pour calculer les codes correspondants. Le code 22 est alors prédit à partir de l’enchâsement 1 et vice versa. Cette tâche force le réseau à devenir invariant aux augmentations de données. Les gradients sont également rétropropagés sur les prototypes. Ce modèle est donc mis à jour en ligne.