We discussed self-supervised learning, introduced how to train an Energy-based models, discussed Latent Variable EBM, specifically with an explained K-means example. We also introduced Contrastive Methods, explained a denoising autoencoder with a topographic map, the training process, and how it can be used, followed by an introduction to BERT. Finally, we talked about Contrastive Divergence, also explained using a topographic map.
Nous discutons de l’apprentissage autosupervisé, présentons la manière d’entraîné un EBM, discutons de la gestion des variables latentes, en particulier avec l’exemple des K-means. Nous présentons également les méthodes contrastives, expliquons le fonctionnement d’un auto-encodeur débruiteur avec une carte topographique ainsi que le processus d’entraînement et la façon dont il peut être utilisé. Nous poursuivons avec une introduction à BERT. Enfin, nous parlons de la divergence contrastive, également expliquée à l’aide d’une carte topographique.