During Forward Pass, each sample is forwarded through both encoders. Some of the embeddings from fθEMA​​ are kept aside for use as negative embeddings. For the algorithm, original embeddings comes from fθ​, positive embeddings from fθEMA​​ and negative embeddings come from the set of stored embeddings.
Pendant la passe avant, chaque échantillon est passé à travers les deux encodeurs. Certains des enchâssements de fθEMA​​ sont gardés de côté pour être utilisés comme enchâssements négatifs. Pour l’algorithme, les enchâssements originales proviennent de fθ​, les enchâssements positives de fθEMA​​ et les enchâssements négatives proviennent de l’ensemble des enchâssements stockées.