In the above diagram and equations, x∈Rn represents the input vector. Wk∈Rnk×nk−1​ represents the matrix of an affine transformation corresponding to the kth block and is described below in further detail. The function h is called the activation function and this function forms the non-linear block of the neural network. Sigmoid, ReLu and tanh are some of the common activation functions and we will look at them in the later parts of this section. After alternate applications of linear and non-linear blocks, the above network produces an output vector sk∈Rnk−1​.
Dans le schéma et les équations ci-dessus, x∈Rn représente le vecteur d’entrée. Wk​∈Rnk​×nk−1​ représente la matrice d’une transformation affine correspondant au keˋmekeˋme bloc et est décrite plus en détail ci-dessous. La fonction h est appelée fonction d’activation et cette fonction forme le bloc non linéaire du réseau neuronal. Sigmoïde, ReLU et tanh sont quelques-unes des fonctions d’activation les plus courantes et nous les examinerons dans les parties suivantes de cette section. Après des applications alternées des blocs linéaire et non linéaire, le réseau ci-dessus produit un vecteur de sortie sk​∈Rnk−1​.