We begin by introducing Gradient Descent. We discuss the intuition and also talk about how step sizes play an important role in reaching the solution. Then we move on to SGD and its performance in comparison to Full Batch GD. Finally we talk about Momentum Updates, specifically the two update rules, the intuition behind momentum and its effect on convergence.
Nous commençons par introduire la méthode de descente de gradient (GD pour Gradient Descent). Nous discutons de l’intuition et expliquons également comment la taille des pas joue un rôle important dans l’obtention de la solution. Nous passons ensuite à la descente de gradient stochastique (SGD) et à ses performances par rapport à la descente de gradient « Full Batch ». Enfin, nous parlons des mises à jour dans le momentum, en particulier des deux règles de mise à jour, de l’intuition derrière le momentum et de son effet sur la convergence.