In this section, we discussed about the common activation functions in Pytorch. In particular, we compared activations with kink(s) versus smooth activations - the former is preferred in a deep neural network as the latter might suffer with gradient vanishing problem. We then learned about the common loss functions in Pytorch.
Dans cette section, nous discutons des fonctions d’activation communes dans PyTorch. En particulier, nous comparons les fonctions d’activation avec coude(s) par rapport aux fonctions d’activation lisses. La première est préférée dans un réseau neuronal profond car la seconde pourrait souffrir d’un problème de disparition du gradient. Nous découvrons ensuite les fonctions de perte communes dans PyTorch.