3. Annealing - The noise in SGD update can prevent convergence to a bad(shallow) local minima.
3. Le bruit dans la mise à jour de la SGD peut empêcher la convergence vers un mauvais minimum local (peu profond).