where f(⋅) is a non-linear function such as ReLU (⋅)+, Sigmoid σ(⋅), and hyperbolic tangent tanh(⋅).
où f(⋅) est une fonction non linéaire telle que ReLU (⋅)+, Sigmoïde σ(⋅) et tangente hyperbolique tanh(⋅).