The first equation indicates a non-linear function applied on a rotation of a stack version of input where the previous configuration of the hidden layer is appended. At the beginning, h[0] is set 0. To simplify the equation, Wh​ can be written as two separate matrices, [Whx​ Whh​], thus sometimes the transformation can be stated as
La première équation indique une fonction non linéaire appliquée à une rotation d’une version empilée de l’entrée où la configuration précédente de la couche cachée est ajoutée. Au début, h[0] est mis à 0. Pour simplifier l’équation, Wh​ peut être écrit sous forme de deux matrices séparées, [Whx​ Whh​], ainsi parfois la transformation peut être énoncée comme