The more efficient way is called Stochastic Gradient Descent (SGD). Since we want to minimize average loss over the training set, we take one sample or small group of samples and calculate the error, then use gradient descent. Then, we take a new sample and get a new value for the error, then get the gradient which is a different direction normally. Two of the main reasons for using SGD are that it helps a model to converge fast empirically if the training set is very large and it enables better generalization, which means getting similar performance on various sets of data.
Le chemin le plus efficace est appelé la « descente de gradient stochastique » (SGD en anglais pour Stochastic Gradient Descent). Comme nous voulons minimiser la perte moyenne sur le jeu d’entraînement, nous prenons un échantillon ou un petit groupe d’échantillons et nous calculons l’erreur. Puis nous utilisons la descente de gradient. Ensuite, nous prenons un nouvel échantillon et obtenons une nouvelle valeur pour l’erreur. Nous avons alors le gradient qui est normalement une direction différente. Deux des principales raisons d’utiliser la SGD sont qu’elle permet à un modèle de converger rapidement si le jeu d’entraînement est très grand et qu’elle permet une meilleure généralisation, c’est-à-dire qu’elle donne des performances similaires sur différents jeux de données.