To be specific, zt​ is a gating vector that determines how much of the past information should be passed along to the future. It applies a sigmoid function to the sum of two linear layers and a bias over the input xt​ and the previous state ht−1​. zt​ contains coefficients between 0 and 1 as a result of applying sigmoid. The final output state ht​ is a convex combination of ht−1​ and ϕh(Wh​xt​+Uh​(rt​⊙ht−1​)+bh​) via zt​. If the coefficient is 1, the current unit output is just a copy of the previous state and ignores the input (which is the default behaviour). If it is less than one, then it takes into account some new information from the input.
Pour être précis, zt​ est un vecteur de porte qui détermine quelle part des informations passées doit être transmise dans la suite. Il applique une fonction sigmoïde à la somme de deux couches linéaires et un biais sur l’entrée xt​ et l’état précédent ht−1​. zt​ contient des coefficients entre 0 et 1 résultant de l’application de la fonction sigmoïde. L’état final de sortie ht​ est une combinaison convexe de ht−1​ et de ϕh​(Wh​xt​+Uh​(rt​⊙ht−1​)+bh​) via zt​. Si le coefficient est égal à 1, la sortie de l’unité actuelle n’est qu’une copie de l’état précédent et ignore l’entrée (ce qui est le comportement par défaut). S’il est inférieur à 1, il prend en compte de nouvelles informations provenant de l’entrée.