Batch norm was the first method developed and is the most widely known. However, Aaron Defazio recommends using group norm instead. It’s more stable, theoretically simpler, and usually works better. Group size 32 is a good default.
La normalisation par batchs a été la première méthode développée et est la plus connue. Cependant, Aaron Defazio recommande d’utiliser plutôt la normalisation par groupes. Elle est plus stable, théoriquement plus simple, et fonctionne généralement mieux. La taille de groupe 32 est une bonne valeur par défaut.