An ideal to prevent gradients from exploding or vanishing is to skip connections. To fulfill this, multiply networks can be used.
L’idéal pour éviter que les gradients n’explosent ou ne disparaissent est de sauter des connexions. Pour y parvenir, on peut utiliser des réseaux de multiplication.