2. At early stages, the noise is small as compared to the information in the gradient. Therefore a SGD step is virtually as good as a GD step.
2. Aux premiers stades, le bruit est faible par rapport aux informations dans le gradient. Par conséquent, une étape de SGD est virtuellement aussi bonne qu’une étape de GD.