The step size parameter usually needs to be decreased when the momentum parameter is increased to maintain convergence. If β changes from 0.9 to 0.99, learning rate must be decreased by a factor of 10.
La valeur du pas doit généralement être diminuée lorsque le paramètre de momentum est augmenté pour maintenir la convergence. Si β passe de 0,9 à 0,99, le taux d’apprentissage doit être diminué d’un facteur 10.