Note that for RReLU, a is a random variable that keeps samplings in a given range during training, and remains fixed during testing. For PReLU , a is also learned. For Leaky ReLU, a is fixed.
Notez que pour la RReLU, a est une variable aléatoire qui maintient les échantillonages dans une fourchette donnée pendant l’entraînement, et reste fixe pendant le test. Pour la PReLU, a est également appris. Pour la LeakyReLU, a est fixe.