We can use higher learning rate when applying batch norm. Batch normalization is used to prevent the internal covariate shift of a neural network but there is a lot debate if it actually does this and what the true benefit actually is.
Nous pouvons utiliser un taux d’apprentissage plus élevé lorsque nous appliquons la normalisation par batch. Elle est utilisée pour empêcher le déplacement des covariables internes d’un réseau neuronal, mais la question de savoir si elle permet réellement d’atteindre cet objectif et quel en est le véritable avantage fait l’objet de nombreux débats.