It is known to give generalization errors. If the neural network is trained to give zero loss on the data you trained it on, it will not give zero loss on other data points that it has never seen before. It is quite common, particularly on image problems, that we get worse generalization errors than when SGD is used. Factors could include that it finds the closest local minimum, or less noise in ADAM, or its structure, for instance.
Elle est connue pour donner des erreurs de généralisation. Si le réseau est entraîné à donner une perte nulle sur les données sur lesquelles on l’a entraîné, il ne donnera pas une perte nulle sur d’autres données que le réseau n’aura jamais vus auparavant. Il est assez courant, en particulier pour les problèmes d’image, que nous obtenions des erreurs de généralisation pires que lorsque la SGD est utilisée. Cela peut venir du fait qu’il trouve le minimum local le plus proche, qu’il y ait moins de bruit dans ADAM, ou encore sa structure.