Let’s talk about marginalization now. When the model is trained at ZTL and the temperature is increased, the points were picked individually to be pushed towards the training point. However, in case of marginalization, if we pick one point y (the green cross point on the left bottom image), the gradient is just the average of all the arrows pointing towards this particular point y~). This makes all the points that get pulled towards y~, making sure that it does not overfit the training data. Notice how the trained version does not fit over all of the training points.
Lorsque le modèle est entraîné à la ZTL et que la température est augmentée, les points sont choisis individuellement pour être poussés vers le point d’entraînement. Cependant, en cas de marginalisation, si nous choisissons un point y (le point vert en croix sur l’image en bas à gauche), le gradient est juste la moyenne de toutes les flèches pointant vers ce point particulier y~). Tous les points sont tirés vers y~, en s’assurant que cela ne surcharge pas les données d’entraînement. La version entraînée ne s’adapte pas à tous les points d’entraînement.