In the SGD formulation, every single weight in network is updated using an equation with the same learning rate (global γ). Here, for adaptive methods, we adapt a learning rate for each weight individually. For this purpose, the information we get from gradients for each weight is used.
Dans la formule de la SGD, chaque poids dans le réseau est mis à jour en utilisant une équation avec le même taux d’apprentissage global (γ). Ici, pour les méthodes adaptatives, nous adaptons un taux d’apprentissage pour chaque poids individuellement. À cette fin, nous utilisons les informations que nous obtenons des gradients pour chaque poids.