In this section, we focused on the introduction of contrastive methods in Energy-Based Models in several aspects. First, we discuss the advantage brought by applying contrastive methods in self-supervised learning. Second, we discussed the architecture of denoising autoencoders and their weakness in image reconstruction tasks. We also talked about other contrastive methods, like contrastive divergence and persistent contrastive divergence.
Dans cette section, nous nous focalisons sur l’introduction des méthodes contrastives dans les modèles à base d’énergie (EBMs) sous plusieurs aspects. Tout d’abord, nous discutons de l’avantage apporté par l’application des méthodes contrastives dans l’apprentissage autosupervisé. Ensuite, nous discutons de l’architecture des auto-encodeurs débruiteurs et de leur faiblesse dans les tâches de reconstruction d’images. Nous évoquons également d’autres méthodes contrastives, comme la divergence contrastive et la divergence contrastive persistante.