Don’t forget gate is multiplying the previous value of cell memory c[t−1]. Total cell value c[t] is don’t forget gate plus input gate. Final hidden representation is element-wise multiplication between output gate o[t] and hyperbolic tangent version of the cell c[t], such that things are bounded. Finally, candidate gate c~[t] is simply a recurrent net. So we have a o[t] to modulate the output, a f[t] to modulate the don’t forget gate, and a i[t] to modulate the input gate. All these interactions between memory and gates are multiplicative interactions. i[t], f[t] and o[t] are all sigmoids, going from zero to one. Hence, when multiplying by zero, you have a closed gate. When multiplying by one, you have an open gate.
La « Don’t forget gate » sur le graphique multiplie la valeur précédente de la cellule mémoire c[t−1]. La valeur totale de la cellule c[t] est égale à la somme de la « Don’t forget gate» et de l’« Input gate ». La représentation cachée finale est une multiplication par élément entre la porte de sortie o[t] et la version tangente hyperbolique de la cellule c[t], de sorte que les valeurs soient limitées. Enfin, la porte candidate c~[t] est simplement un réseau récurrent. Nous avons donc un o[t] pour moduler la sortie, un f[t] pour moduler la porte « don’t forget », et un i[t] pour moduler la porte d’entrée. Toutes ces interactions entre la mémoire et les portes sont des interactions multiplicatives. i[t], f[t] et o[t] sont tous des sigmoïdes, allant de 0 à 1. Par conséquent, en multipliant par 0, vous obtenez une porte fermée. En multipliant par 1, vous avez une porte ouverte.