Differences between a nonlinear activation having kinks and a smooth nonlinear activation. Why/when one of them is preferred?
Différences entre une activation non linéaire ayant des coudes et une activation non linéaire lisse. Pourquoi/quand l’une d’entre elles est préférée ?