For contrastive leaning on an Audio-Video dataset, when the (audio-video) inputs are passed to the two encoders (fa,fv​) we will get two embeddings (audio and video). The embeddings from the same sample should be close in feature space compared to embeddings from different samples.
Pour l’apprentissage contrastif sur un jeu de données audio-vidéo, lorsque les entrées (audio-vidéo) sont transmises aux deux encodeurs (fa,fv), nous obtenons deux enchâssements (audio et vidéo). Les enchâssements d’un même échantillon doivent être proches dans l’espace des caractéristiques par rapport aux enchâssements de différents échantillons.