p is called the SGD momentum. At each update step we add the stochastic gradient to the old value of the momentum, after dampening it by a factor β (value between 0 and 1). p can be thought of as a running average of the gradients. Finally we move w in the direction of the new momentum p.
p est appelé le momentum da la SGD. À chaque étape de la mise à jour, nous ajoutons le gradient stochastique à l’ancienne valeur du momentum, après l’avoir amorti d’un facteur β (valeur comprise entre 0 et 1). On peut considérer p comme une moyenne mobile des gradients. Enfin, nous déplaçons w dans la direction du nouvel élan p.