Momentum averages gradients. It is a running average of gradients that we use for each step update.
Le momentum est une moyenne mobile des gradients que nous utilisons pour chaque étape de mise à jour.