In this section, we discussed non-contrastive methods which are based on information theory and don’t require special architectures or engineering techniques. Then, he went on to discuss clustering methods which prevent trivial solution by quantizing the embedding space. Finally, he discussed “Other” methods which are local and don’t create problem with distributed training unlike previous methods. He concluded the lecture by suggesting various improvisations for JEMs w.r.t Data augmentation and network architecture.
Dans cette section, nous abordons les méthodes non-contrastives qui sont basées sur la théorie de l’information et ne nécessitent pas d’architectures ou de techniques d’ingénierie particulières. Ensuite, nous voyons les méthodes de clustering qui empêchent une solution triviale en quantifiant l’espace d’enchâssement. Enfin, nous parlons d’« autres méthodes » qui sont locales et ne créent pas de problème pour l’entraînement distribué contrairement aux méthodes précédentes. Nous concluons en suggérant diverses améliorations pour les JEMs par rapport à l’augmentation de données et l’architecture des réseaux.