Contrastive divergence (CD) is another model that learns the representation by smartly corrupting the input sample. In a continuous space, we first pick a training sample y and lower its energy. For that sample, we use some sort of gradient-based process to move down on the energy surface with noise. If the input space is discrete, we can instead perturb the training sample randomly to modify the energy. If the energy we get is lower, we keep it. Otherwise, we discard it with some probability. Keep doing so will eventually lower the energy of y. We can then update the parameter of our energy function by comparing y and the contrasted sample yˉ​ with some loss function.
La divergence contrastive est un autre modèle qui apprend la représentation en corrompant intelligemment l’échantillon d’entrée. Dans un espace continu, nous choisissons d’abord un échantillon d’entraînement y et nous en diminuons l’énergie. Pour cet échantillon, nous utilisons une sorte de processus basé sur des gradients pour descendre sur la surface de l’énergie avec du bruit. Si l’espace d’entrée est discret, nous pouvons à la place perturber l’échantillon d’entraînement de manière aléatoire pour modifier l’énergie. Si l’énergie que nous obtenons est plus faible, nous la gardons. Sinon, nous la rejetons avec une certaine probabilité. Si nous continuons ainsi, nous finissons par diminuer l’énergie de y. Nous pouvons alors mettre à jour le paramètre de notre fonction d’énergie en comparant y et l’échantillon contrasté yˉ​ avec une certaine fonction de perte.