With ADAM we need to maintain 3 buffers, whereas SGD needs 2 buffers. This doesn’t really matter unless we train a model on the order of several gigabytes in size, in which case it might not fit in memory.
Avec ADAM, nous devons garder en mémoire 3 paramètres, alors que la SGD en a besoin que de 2. Cela n’a pas vraiment d’importance, à moins que nous n’entrainions un modèle de l’ordre de plusieurs giga-octets, auquel cas il pourrait ne pas tenir en mémoire.