ADAM, or Adaptive Moment Estimation, which is RMSprop plus momentum, is a more commonly used method. The momentum update is converted to an exponential moving average and we don’t need to change the learning rate when we deal with β. Just as in RMSprop, we take an exponential moving average of the squared gradient here.
ADAM ou Adaptive Moment Estimation est une méthode couramment utilisée consistant en un RMSprop avec momentum. La mise à jour du momentum est convertie en une moyenne mobile exponentielle et nous n’avons pas besoin de changer le taux d’apprentissage lorsque nous traitons avec β. Tout comme pour RMSprop, nous prenons ici une moyenne mobile exponentielle du gradient au carré.